HumanEval
관측성 및 평가 · 부분유료
코드 생성 평가를 위한 오픈AI의 벤치마크
한눈에 보기
- 만든 곳
- OpenAI
- 쓸 수 있는 곳
- CLI
- 오픈소스
- 공개 코드(라이선스 이름은 받은 본문에 없음)
- GitHub
- 별 3,402개 · MIT
HumanEval는 어떤 AI인가요?
HumanEval은 손으로 작성한 평가 세트로, 이 저장소는 HumanEval 문제 데이터셋을 위한 평가 하네스를 제공한다. 사용자가 모델로 생성한 코드 완성 결과를 JSON Lines 형식으로 저장하면 evaluate_functional_correctness 명령이 테스트를 돌려 pass@1·pass@10·pass@100 같은 지표를 계산한다. 각 결과에는 통과·시간 초과·실패 여부가 기록된다. 신뢰할 수 없는 모델 생성 코드를 실행하므로 보안 샌드박스 밖에서 쓰지 말라고 강하게 권고한다.
- 손으로 작성한 코드 생성 평가 문제 세트
- JSON Lines 형식의 생성 결과 입력
- evaluate_functional_correctness 명령으로 기능 정확성 평가
- pass@k 지표 계산(k 값 지정 가능)
- 결과별 통과·시간 초과·실패 기록
HumanEval, 이런 사람·일에 써요
- 코드로 학습한 언어 모델의 코드 생성 능력 평가
가격
오픈소스(무료)
GitHub에 공개된 벤치마크 데이터셋·평가 하네스 코드뿐이고 유료 플랜·관리형 클라우드 언급 없음
공식 페이지 확인 2026-10-14(산출 규칙 2026-10-15)
HumanEval와 비슷한 AI (대안)
HumanEval와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| HumanEval | 부분유료 | 0개 | 7개 | — | — | — |
| Braintrust | 부분유료 | 0개 | 7개 | 있음 | $249/월 | 없음 |
| DeepEval | 부분유료 | 10개 | 7개 | — | — | 없음 |
| EleutherAI LM Evaluation Harness | 부분유료 | 0개 | 7개 | — | — | — |
| LangSmith | 부분유료 | 10개 | 5개 | — | — | — |
비교한 5개 중 무료로 시작할 수 있는 곳은 1개예요. 유료 중 가장 싼 곳은 Braintrust($249/월)예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 HumanEval
- 관측성 및 평가 분야 AI 27개 가운데 하나예요.
- 다른 도구와 연결된 수 7개 — 같은 분야에서 1위예요.
자주 묻는 질문
HumanEval, 무료로 쓸 수 있나요?
오픈소스(무료). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
HumanEval 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 Braintrust, DeepEval, EleutherAI LM Evaluation Harness, LangSmith 등이 지도에 연결돼 있어요.
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.