SWE-rebench
벤치마크 및 리더보드 · 부분유료
지속적으로 갱신·오염제거되는 소프트웨어 엔지니어링 LLM 벤치마크
한눈에 보기
- 한국어
- 없음(영어 등만)
- 쓸 수 있는 곳
- 웹
SWE-rebench는 어떤 AI인가요?
SWE-rebench는 SWE-bench의 데이터 오염, 스캐폴딩 차이로 인한 비교 불가, 검증 부족 문제를 보완하려고 만든 벤치마크다. 실제 소프트웨어 과제로 LLM을 표준화된 방식으로 계속 새로 평가해 에이전트 성능에서 LLM 자체의 기여를 분리하는 것을 목표로 한다. 리더보드는 기간을 골라 그 기간의 문제(예: 65개 저장소 111개 문제)로 해결률, Pass@5, 문제당 비용·토큰을 보여 주며 오염 가능성도 표시한다. 모델뿐 아니라 Claude Code·Codex·Cursor 같은 에이전트도 함께 비교한다.
- 기간(시간 창) 선택형 리더보드
- 해결률·Pass@5·문제당 비용·토큰 표시
- 오염 가능성(Potential contamination) 표시
- 모델과 에이전트 함께 비교
- SWE-rebench v2 리더보드
- 신규 모델 정기 추가
SWE-rebench, 이런 사람·일에 써요
- 모델 개발자·연구자가 LLM 코딩 능력을 공정 비교
가격
무료(공개 벤치마크/리더보드)
대부분 학술·커뮤니티 목적의 무료 공개 리더보드/데이터셋
AI 지식 기반 추정 - 공식 사이트 확인 권장
SWE-rebench와 비슷한 AI (대안)
SWE-rebench와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| SWE-rebench | 부분유료 | 0개 | 5개 | — | — | 없음 |
| Aider Leaderboard | 부분유료 | 0개 | 12개 | — | — | 없음 |
| CORE-Bench Hard | 부분유료 | 0개 | 12개 | — | — | 없음 |
| Live-SWE-agent | 부분유료 | 0개 | 12개 | — | — | 없음 |
비교한 4개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 SWE-rebench
- 벤치마크 및 리더보드 분야 AI 27개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 11위예요.
자주 묻는 질문
SWE-rebench, 무료로 쓸 수 있나요?
무료(공개 벤치마크/리더보드). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
SWE-rebench 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 Aider Leaderboard, CORE-Bench Hard, Live-SWE-agent, BigCodeArena 등이 지도에 연결돼 있어요.
SWE-rebench, 한국어로 쓸 수 있나요?
공식 페이지 기준: 없음(영어 등만).
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.