LlamaGuard

Llama Guard는 사람-AI 대화 사용 사례를 위한 LLM 기반 입력·출력 안전 장치 모델이다. 안전 위험 분류 체계를 갖추고 LLM 프롬프트를 분류(프롬프트 분류)하고 그 프롬프트에 대한 LLM 응답도 분류(응답 분류)한다. 수집한 데이터셋으로 지시 튜닝한 Llama2-7b 모델이며, OpenAI Moderation Evaluation·ToxicChat 같은 벤치마크에서 기존 콘텐츠 검수 도구와 같거나 더 나은 성능을 보였다고 논문은 밝힌다. 다중 클래스 분류와 이진 판정 점수를 만들고, 분류 범주를 사용 사례에 맞게 바꾸거나 제로샷·퓨샷으로 다른 분류 체계를 쓸 수 있다. Meta는 모델 가중치를 공개한다고 밝혔다(2023-12-07 논문 페이지 기준).

• 프롬프트 분류(입력 검사)
• 응답 분류(출력 검사)
• 안전 위험 분류 체계
• 다중 클래스 분류·이진 판정 점수
• 분류 범주 맞춤 조정
• 제로샷·퓨샷 프롬프팅으로 다른 분류 체계 사용
• 모델 가중치 공개

오픈소스 + 엔터프라이즈 유료 플랜

일부 오픈소스 도구 무료 제공, 엔터프라이즈용 보안 플랫폼은 별도 계약 기반 과금

AI 지식 기반 추정 - 공식 사이트 확인 권장

• AI 보안 및 안전 분야 AI 21개 가운데 하나예요.
• 다른 도구와 연결된 수 6개 — 같은 분야에서 1위예요.