vLLM
추론 및 컴퓨팅 인프라 · 부분유료
고처리량·메모리 효율적인 LLM 서빙
한눈에 보기
- 만든 곳
- vLLM 커뮤니티 프로젝트 (UC Berkeley Sky Computing Lab에서 시작)
- 한국어
- 없음(영어 등만)
- API
- 있음
- 쓸 수 있는 곳
- API, CLI
- 오픈소스
- Apache-2.0
- GitHub
- 별 93,741개 · Apache-2.0
vLLM는 어떤 AI인가요?
vLLM은 빠르고 쓰기 쉬운 LLM 추론·서빙 라이브러리로, UC Berkeley Sky Computing Lab에서 시작해 2000명 넘는 기여자가 유지하는 커뮤니티 오픈소스 프로젝트다. PagedAttention과 연속 배치로 GPU 활용을 높이고, OpenAI 호환 API로 바로 연동할 수 있다. NVIDIA·AMD·Intel GPU와 x86/ARM/PowerPC CPU, TPU 등 다양한 하드웨어에서 Hugging Face의 200개 이상 모델 구조를 지원한다. uv나 pip로 설치한다.
- PagedAttention 기반 어텐션 KV 메모리 관리
- 연속 배치·청크 프리필·프리픽스 캐싱
- FP8·INT4·GPTQ/AWQ·GGUF 등 양자화
- n-gram·EAGLE 등 추측 디코딩
- 텐서·파이프라인·데이터·전문가·컨텍스트 병렬 분산 추론
- OpenAI 호환 API 서버·Anthropic Messages API·gRPC
- Dense·MoE용 멀티 LoRA
- NVIDIA·AMD·Intel GPU, CPU, TPU 등 폭넓은 하드웨어
vLLM, 이런 사람·일에 써요
- 다양한 하드웨어에서 오픈소스 LLM 서빙
- OpenAI 호환 API로 기존 앱에 자체 호스팅 모델 연동
가격
오픈소스(무료)
커뮤니티 오픈소스 LLM 서빙 라이브러리(uv·pip 설치, 후원금으로 운영), 요금 표기 없음
공식 페이지 확인 2026-10-14(산출 규칙 2026-10-15)
vLLM와 비슷한 AI (대안)
vLLM와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| vLLM | 부분유료 | 0개 | 5개 | — | — | 없음 |
| llama.cpp | 부분유료 | 0개 | 6개 | — | — | — |
| ONNX Runtime | 부분유료 | 0개 | 6개 | — | — | 없음 |
| SGLang | 부분유료 | 0개 | 6개 | — | — | 없음 |
| Sol Engine | 부분유료 | 0개 | 6개 | — | — | 없음 |
비교한 5개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 vLLM
- 추론 및 컴퓨팅 인프라 분야 AI 43개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 16위예요.
자주 묻는 질문
vLLM, 무료로 쓸 수 있나요?
오픈소스(무료). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
vLLM 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 llama.cpp, ONNX Runtime, SGLang, Sol Engine 등이 지도에 연결돼 있어요.
vLLM, 한국어로 쓸 수 있나요?
공식 페이지 기준: 없음(영어 등만).
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.