Promptfoo

관측성 및 평가 · 무료

LLM 프롬프트를 테스트·평가·레드팀

한눈에 보기

만든 곳: Promptfoo, Inc. (OpenAI 소속)
한국어: 없음(영어 등만)
API: 있음
쓸 수 있는 곳: CLI, 웹
오픈소스: MIT
GitHub: 별 25,987개 · MIT

Promptfoo는 어떤 AI인가요?

promptfoo는 LLM 기반 앱을 평가하고 레드팀 테스트하는 CLI이자 라이브러리다. 실제 사용자를 흉내 낸 맞춤 공격(프롬프트 인젝션·탈옥·개인정보 유출 등)으로 앱별 취약점을 찾는다. 프롬프트·모델·RAG 파이프라인을 자동 평가하고 여러 모델을 나란히 비교하며, CI/CD와 PR 코드 스캔에 넣을 수 있다. 평가는 100% 로컬에서 돌아 프롬프트가 외부로 나가지 않는다. 공식 페이지에 따르면 Promptfoo는 OpenAI에 합류했으며 계속 MIT 오픈소스로 유지된다.

에이전트·RAG 대상 자동 레드팀(프롬프트 인젝션·탈옥·PII 유출 등)
프롬프트·모델 자동 평가와 모델 나란히 비교
CI/CD 자동 점검과 PR 코드 스캔
실시간 가드레일(탈옥·적대적 공격 방어)
MCP 프록시
로컬 실행(프롬프트가 기기를 떠나지 않음)
결과 공유·취약점 보고서

Promptfoo, 이런 사람·일에 써요

개발자가 프롬프트·모델 품질을 자동 테스트
보안팀이 LLM 앱 취약점을 지속 점검
금융·보험·통신 등 업종별 AI 보안·규정 준수 테스트

가격

무료로 쓸 수 있는 범위 — 있음 (Community: 영구 무료 오픈소스, 레드팀 월 10k 프로브)

요금제	가격	주요 한도
Community	0	Free Forever, 모든 평가 기능, 레드팀 월 10k 프로브, 로컬·셀프호스팅, 커뮤니티 지원
Enterprise	문의	맞춤 가격, 팀 협업·지속 모니터링·SSO·API 접근·관리형 클라우드
On-Premise	문의	맞춤 가격, 자체 인프라 배포·데이터 완전 격리·전담 엔지니어

공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요. · 공식 요금 페이지

Promptfoo와 비슷한 AI (대안)

Guidance PromptLayer PromptFlow

Promptfoo와 대안 한눈에 비교

AI	가격	지도 속 조합	연결된 도구	무료	가장 싼 월 요금	한국어
Promptfoo	무료	0개	3개	있음	—	없음
Guidance	무료	0개	3개	—	—	—
PromptLayer	부분유료	0개	3개	있음	$49/월	없음

비교한 3개 중 무료로 시작할 수 있는 곳은 2개예요. 유료 중 가장 싼 곳은 PromptLayer($49/월)예요. 요금은 각 공식 페이지 기준이에요.

조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.

AI 갤럭시 지도에서 본 Promptfoo

관측성 및 평가 분야 AI 27개 가운데 하나예요.
다른 도구와 연결된 수 3개 — 같은 분야에서 20위예요.

자주 묻는 질문

Promptfoo, 무료로 쓸 수 있나요?

있음 (Community: 영구 무료 오픈소스, 레드팀 월 10k 프로브). 요금제: Community 0, Enterprise, On-Premise. 공식 페이지 확인일 2026-10-14 기준이며, 결제 전 공식 사이트에서 다시 확인하세요.

Promptfoo 대신 쓸 수 있는 AI는?

같은 일을 하는 도구로 Guidance, PromptLayer, PromptFlow 등이 지도에 연결돼 있어요.

Promptfoo, 한국어로 쓸 수 있나요?

공식 페이지 기준: 없음(영어 등만).

출처(공식 페이지)

공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.

3D 지도에서 Promptfoo 보기 공식 사이트