HarmBench
AI 보안 및 안전 · 부분유료
LLM 견고성을 위한 표준화된 평가 프레임워크
한눈에 보기
- 만든 곳
- The HarmBench Team
- 한국어
- 없음(영어 등만)
- 쓸 수 있는 곳
- CLI
- 오픈소스
- 오픈소스 (라이선스 이름은 페이지에 없음)
- GitHub
- 별 1,069개 · MIT
HarmBench는 어떤 AI인가요?
HarmBench는 자동화된 레드티밍 방법을 엄밀하게 평가하기 위한 표준화된 평가 프레임워크다. 레드티밍 방법을 여러 LLM에 대해 평가하거나, 반대로 LLM을 여러 레드티밍 방법에 대해 평가하는 두 가지 방식으로 쓸 수 있다. 18개 레드티밍 방법과 33개 대상 LLM·방어 기법을 대규모로 비교했다. LLM의 견고성을 높이는 효율적인 적대적 학습 방법도 함께 제시한다.
- 레드티밍 방법을 LLM 집합에 대해 평가
- LLM을 레드티밍 방법 집합에 대해 평가
- 테스트 케이스 생성→응답 생성→응답 평가의 평가 파이프라인
- 파이프라인 자동 실행 도구 run_pipeline.py
- transformers 호환 LLM·폐쇄형 API·멀티모달 모델 지원
- 적대적 학습 코드와 모델 제공
HarmBench, 이런 사람·일에 써요
- 연구자가 자동화 레드티밍 기법의 성능을 비교
- LLM 개발자가 모델의 공격 견고성을 평가
가격
오픈소스(무료)
연구용 오픈소스 평가 프레임워크(논문·GitHub 공개), 요금 페이지는 비어 있음
공식 페이지 확인 2026-10-14(산출 규칙 2026-10-15)
HarmBench와 비슷한 AI (대안)
HarmBench와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| HarmBench | 부분유료 | 0개 | 6개 | — | — | 없음 |
| ART | 부분유료 | 0개 | 6개 | — | — | 없음 |
| Foolbox | 부분유료 | 0개 | 6개 | — | — | 없음 |
| Garak | 부분유료 | 0개 | 6개 | 있음 | — | 없음 |
| TextAttack | 부분유료 | 0개 | 5개 | — | — | 없음 |
비교한 5개 중 무료로 시작할 수 있는 곳은 1개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 HarmBench
- AI 보안 및 안전 분야 AI 21개 가운데 하나예요.
- 다른 도구와 연결된 수 6개 — 같은 분야에서 1위예요.
자주 묻는 질문
HarmBench, 무료로 쓸 수 있나요?
오픈소스(무료). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
HarmBench 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 ART, Foolbox, Garak, TextAttack 등이 지도에 연결돼 있어요.
HarmBench, 한국어로 쓸 수 있나요?
공식 페이지 기준: 없음(영어 등만).
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.