LiteLLM
LLM 게이트웨이 및 API · 무료
100개 이상 LLM 제공업체를 위한 통합 API 게이트웨이
한눈에 보기
- 만든 곳
- BerriAI
- 한국어
- 없음(영어 등만)
- API
- 있음
- 쓸 수 있는 곳
- API, 맥, 리눅스, 윈도
- 오픈소스
- 오픈소스(라이선스 이름은 페이지에 없음)
- GitHub
- 별 61,199개 · NOASSERTION
LiteLLM는 어떤 AI인가요?
LiteLLM은 OpenAI, Anthropic, Gemini, Bedrock, Azure 등 100개 이상 LLM 공급자를 OpenAI 형식의 단일 인터페이스로 부르게 해 주는 오픈소스·셀프호스팅 AI 게이트웨이다. Python SDK로 라이브러리처럼 쓰거나, 프록시 서버로 배포해 팀·조직의 중앙 게이트웨이로 쓸 수 있다. 앱·사람마다 예산과 속도 제한이 걸린 가상 키를 주고, 요청마다 비용을 기록하며, MCP 도구와 A2A 에이전트도 같은 게이트웨이로 연결한다.
- OpenAI 호환 단일 API(140+ 공급자, 1,800+ 모델)
- 가상 키·예산·속도 제한
- 요청별 비용(지출) 추적
- 가드레일(PII 마스킹·프롬프트 인젝션 등)
- SSO 로그인·팀/프로젝트 범위 지정
- MCP 게이트웨이
- 에이전트(A2A) 게이트웨이
- Python SDK(스트리밍·재시도·폴백)
LiteLLM, 이런 사람·일에 써요
- 플랫폼 팀이 사내 전체에 모든 모델 접근을 열고 지출을 통제
- 앱 코드 변경 없이 백엔드 모델 교체
가격
무료로 쓸 수 있는 범위 — 오픈소스·셀프호스팅 (자체 요금표는 페이지에 없음)
| 요금제 | 가격 | 주요 한도 |
|---|---|---|
| Enterprise | 문의 | 가격 미표기, 영업 문의 |
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.
LiteLLM와 함께 쓰면 좋은 조합
모델별 비용·품질·장애 대응
ChatGPT이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: API 종량제 + 구독형(ChatGPT) / 오픈소스 + 종량제/구독 혼합
모델별 비용·품질·장애 대응
Claude이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: 프리미엄(무료+유료 구독) + API 종량제 / 오픈소스 + 종량제/구독 혼합
모델별 비용·품질·장애 대응
Gemini이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: 프리미엄(무료+유료 구독) + API 종량제 / 오픈소스 + 종량제/구독 혼합
모델별 비용·품질·장애 대응
DeepSeek이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: 오픈소스(무료) + API 종량제 / 오픈소스 + 종량제/구독 혼합
모델별 비용·품질·장애 대응
Perplexity이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: 프리미엄(무료+유료 구독) / 오픈소스 + 종량제/구독 혼합
모델별 비용·품질·장애 대응
Grok-2이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: 구독형(X 구독 포함) + API 종량제 / 오픈소스 + 종량제/구독 혼합
모델별 비용·품질·장애 대응
Llama이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: 오픈소스(무료, 라이선스 조건부) / 오픈소스 + 종량제/구독 혼합
모델별 비용·품질·장애 대응
Mistral이 작업 난이도와 예상 토큰을 기준으로 저비용·고성능 모델을 라우팅한다. LiteLLM + OpenRouter + PortKey 조합이 게이트웨이가 키 관리·호출 로그·대체 모델 정책을 일관되게 적용한다. 샘플 평가·오류율·비용을 비교해 라우팅 규칙을 주기적으로 조정한다.
비용: 오픈소스(무료) + API 종량제 / 오픈소스 + 종량제/구독 혼합
LiteLLM와 비슷한 AI (대안)
LiteLLM와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| LiteLLM | 무료 | 10개 | 5개 | 없음 | — | 없음 |
| Cloudflare AI Gateway | 부분유료 | 0개 | 5개 | 있음 | — | UI 한국어 |
| OpenRouter | 부분유료 | 10개 | 5개 | 있음 | — | 없음 |
| PortKey | 부분유료 | 10개 | 5개 | 있음 | $49/월 | 없음 |
| Vercel AI Gateway | 부분유료 | 10개 | 5개 | 있음 | $5/월 | 없음 |
비교한 5개 중 무료로 시작할 수 있는 곳은 4개예요. 유료 중 가장 싼 곳은 Vercel AI Gateway($5/월)예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 LiteLLM
- LLM 게이트웨이 및 API 분야 AI 14개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 6위예요.
- 지도에 정리된 작업 조합 10개에 들어가 있어요.
자주 묻는 질문
LiteLLM, 무료로 쓸 수 있나요?
오픈소스·셀프호스팅 (자체 요금표는 페이지에 없음). 요금제: Enterprise. 공식 페이지 확인일 2026-10-14 기준이며, 결제 전 공식 사이트에서 다시 확인하세요.
LiteLLM, 무엇과 함께 쓰면 좋나요?
지도에 정리된 조합 기준으로 '모델별 비용·품질·장애 대응'처럼 GPT(지피티), OpenRouter, PortKey 등과 함께 쓰는 흐름이 있어요.
LiteLLM 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 Cloudflare AI Gateway, OpenRouter, PortKey, Vercel AI Gateway 등이 지도에 연결돼 있어요.
LiteLLM, 한국어로 쓸 수 있나요?
공식 페이지 기준: 없음(영어 등만).
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.