SWE-bench
벤치마크 및 리더보드 · 부분유료
깃허브에서 수집한 실제 소프트웨어 이슈로 LLM 성능을 평가
한눈에 보기
- 만든 곳
- SWE-bench Team
- 한국어
- 없음(영어 등만)
SWE-bench는 어떤 AI인가요?
SWE-bench는 12개 Python 저장소의 실제 GitHub 이슈 2,294개로 만든 원조 벤치마크이며, 각 항목은 해결한 과제 비율(% Resolved)로 보고된다. 사람이 걸러낸 Verified(500개), 저비용 평가용 Lite(300개), 9개 프로그래밍 언어 42개 저장소의 Multilingual(300개), 시각 요소가 있는 Multimodal(480개), 같은 mini-SWE-agent 환경에서 비교하는 Bash Only 등 여러 리더보드가 있다. 비용 대비 해결률 등 다양한 차트로 결과를 비교할 수 있다.
- 원조 SWE-bench(2,294개 과제)
- SWE-bench Verified(사람 검수 500개)
- Lite(300개)·Multilingual(300개, 9개 언어)·Multimodal(480개)
- Bash Only: 같은 mini-SWE-agent 환경에서 비교
- 해결률·비용·단계 수 등 결과 비교 차트
- 오픈 가중치 모델 선택 필터
- SWE-agent·SWE-smith·SWE-bench CLI 등 관련 도구
가격
무료(공개 벤치마크/리더보드)
대부분 학술·커뮤니티 목적의 무료 공개 리더보드/데이터셋
AI 지식 기반 추정 - 공식 사이트 확인 권장
SWE-bench와 비슷한 AI (대안)
SWE-bench와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| SWE-bench | 부분유료 | 0개 | 5개 | — | — | 없음 |
| Aider Leaderboard | 부분유료 | 0개 | 12개 | — | — | 없음 |
| CORE-Bench Hard | 부분유료 | 0개 | 12개 | — | — | 없음 |
| Live-SWE-agent | 부분유료 | 0개 | 12개 | — | — | 없음 |
비교한 4개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 SWE-bench
- 벤치마크 및 리더보드 분야 AI 27개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 11위예요.
자주 묻는 질문
SWE-bench, 무료로 쓸 수 있나요?
무료(공개 벤치마크/리더보드). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
SWE-bench 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 Aider Leaderboard, CORE-Bench Hard, Live-SWE-agent, BigCodeArena 등이 지도에 연결돼 있어요.
SWE-bench, 한국어로 쓸 수 있나요?
공식 페이지 기준: 없음(영어 등만).
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.