EleutherAI LM Evaluation Harness
관측성 및 평가 · 부분유료
퓨샷 언어모델 평가 프레임워크
한눈에 보기
- 만든 곳
- EleutherAI
- 쓸 수 있는 곳
- CLI
- 오픈소스
- 오픈소스(라이선스 이름은 받은 본문에 없음)
- GitHub
- 별 14,213개 · MIT
EleutherAI LM Evaluation Harness는 어떤 AI인가요?
Language Model Evaluation Harness는 생성형 언어 모델을 많은 평가 과제로 테스트하는 통합 프레임워크다. 60개 이상의 표준 학술 벤치마크와 수백 개의 하위 과제·변형을 구현해 두었다. transformers, GPT-NeoX, Megatron-DeepSpeed로 불러온 모델과 vLLM·SGLang, OpenAI 호환 API로 호스팅한 모델을 평가할 수 있다. CLI 하위 명령(run, ls, validate)과 YAML 설정 파일을 지원한다.
- 60개 이상 표준 학술 벤치마크와 수백 개 하위 과제
- transformers·GPT-NeoX·Megatron-DeepSpeed 모델 지원
- vLLM·SGLang 백엔드 지원
- API 모델 평가(배치·비동기 요청)
- 설정 기반 과제 생성과 Jinja2 프롬프트 설계
- Open LLM Leaderboard 과제 묶음
- CLI 하위 명령(run·ls·validate)과 YAML 설정
- 플러그인으로 모델 백엔드·필터·지표 등록
EleutherAI LM Evaluation Harness, 이런 사람·일에 써요
- 여러 학술 벤치마크로 언어 모델 성능 비교 평가
가격
오픈소스(무료)
GitHub에 공개된 평가 프레임워크(pip 설치 라이브러리·CLI)만 있고, 받은 본문에 유료 플랜이나 관리형 클라우드 언급 없음
공식 페이지 확인 2026-10-14(산출 규칙 2026-10-15)
EleutherAI LM Evaluation Harness와 비슷한 AI (대안)
EleutherAI LM Evaluation Harness와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| EleutherAI LM Evaluation Harness | 부분유료 | 0개 | 7개 | — | — | — |
| Braintrust | 부분유료 | 0개 | 7개 | 있음 | $249/월 | 없음 |
| DeepEval | 부분유료 | 10개 | 7개 | — | — | 없음 |
| HumanEval | 부분유료 | 0개 | 7개 | — | — | — |
| LangSmith | 부분유료 | 10개 | 5개 | — | — | — |
비교한 5개 중 무료로 시작할 수 있는 곳은 1개예요. 유료 중 가장 싼 곳은 Braintrust($249/월)예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 EleutherAI LM Evaluation Harness
- 관측성 및 평가 분야 AI 27개 가운데 하나예요.
- 다른 도구와 연결된 수 7개 — 같은 분야에서 1위예요.
자주 묻는 질문
EleutherAI LM Evaluation Harness, 무료로 쓸 수 있나요?
오픈소스(무료). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
EleutherAI LM Evaluation Harness 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 Braintrust, DeepEval, HumanEval, LangSmith 등이 지도에 연결돼 있어요.
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.