SWE-Bench Pro Public
벤치마크 및 리더보드 · 부분유료
Scale AI SWE-Bench Pro의 공개판 실전 소프트웨어 엔지니어링 벤치마크
한눈에 보기
- 만든 곳
- Scale AI
- 한국어
- 없음(영어 등만)
- 쓸 수 있는 곳
- 웹
SWE-Bench Pro Public는 어떤 AI인가요?
SWE-Bench Pro는 데이터 오염, 과제 다양성 부족, 지나치게 단순한 문제, 재현 불가 테스트 같은 기존 벤치마크의 한계를 보완하려고 만든 소프트웨어 엔지니어링 벤치마크다. 41개 저장소의 과제 1,865개 중 공개 세트 731개가 공개 리더보드에 쓰이며, 오염을 줄이려고 GPL 같은 강한 카피레프트 라이선스 저장소에서 과제를 가져왔다. 전문 엔지니어가 Docker 기반 재현 환경을 만들고 사람이 문제 설명과 요구사항을 보강한다. 순위 지표는 새 테스트 통과와 기존 테스트 유지 두 조건을 모두 만족한 과제 비율(Resolve Rate)이다.
- 공개 세트 731개 과제(전체 1,865개, 41개 저장소)
- 카피레프트(GPL) 저장소로 데이터 오염 억제
- Docker 기반 재현 환경
- 사람이 보강한 문제 설명·요구사항
- Resolve Rate(회귀 없는 해결률) 지표
- 스타트업 비공개 코드 세트 별도 리더보드
SWE-Bench Pro Public, 이런 사람·일에 써요
- 코딩 에이전트의 실전형 문제 해결 능력 비교
가격
무료(공개 벤치마크/리더보드)
대부분 학술·커뮤니티 목적의 무료 공개 리더보드/데이터셋
AI 지식 기반 추정 - 공식 사이트 확인 권장
SWE-Bench Pro Public와 비슷한 AI (대안)
SWE-Bench Pro Public와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| SWE-Bench Pro Public | 부분유료 | 0개 | 5개 | — | — | 없음 |
| Aider Leaderboard | 부분유료 | 0개 | 12개 | — | — | 없음 |
| CORE-Bench Hard | 부분유료 | 0개 | 12개 | — | — | 없음 |
| Live-SWE-agent | 부분유료 | 0개 | 12개 | — | — | 없음 |
비교한 4개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 SWE-Bench Pro Public
- 벤치마크 및 리더보드 분야 AI 27개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 11위예요.
자주 묻는 질문
SWE-Bench Pro Public, 무료로 쓸 수 있나요?
무료(공개 벤치마크/리더보드). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
SWE-Bench Pro Public 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 Aider Leaderboard, CORE-Bench Hard, Live-SWE-agent, BigCodeArena 등이 지도에 연결돼 있어요.
SWE-Bench Pro Public, 한국어로 쓸 수 있나요?
공식 페이지 기준: 없음(영어 등만).
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.