llama.cpp
추론 및 컴퓨팅 인프라 · 부분유료
로컬 배포용 C/C++ 기반 LLM 추론
한눈에 보기
- 만든 곳
- ggml-org (GitHub 조직)
- API
- 있음
- 쓸 수 있는 곳
- CLI, API, 맥
- 오픈소스
- MIT
- GitHub
- 별 131,110개 · MIT
llama.cpp는 어떤 AI인가요?
llama.cpp는 최소한의 설정으로 다양한 하드웨어에서 LLM(및 VLM) 추론을 최고 수준 성능으로 돌리는 것을 목표로 하는 C/C++ 프로젝트다. 의존성 없는 순수 C/C++ 구현이며 Apple silicon을 중요하게 지원한다. 설치 스크립트·Docker·미리 빌드된 바이너리·소스 빌드로 설치할 수 있고, Hugging Face에서 모델을 바로 받아 실행하거나 OpenAI 호환 API 서버와 내장 웹 UI를 띄울 수 있다.
- 의존성 없는 순수 C/C++ 구현
- Apple silicon 우선 지원
- Hugging Face 모델 바로 다운로드·실행(llama cli)
- OpenAI 호환 API 서버(llama serve)
- llama serve 내장 웹 UI
- Docker·미리 빌드된 바이너리·소스 빌드 설치
llama.cpp, 이런 사람·일에 써요
- 로컬 PC나 클라우드에서 LLM·VLM 추론 실행
가격
오픈소스(무료)
MIT 라이선스 오픈소스 C/C++ 추론 엔진, 직접 설치해 로컬·클라우드에서 실행, 요금 표기 없음
공식 페이지 확인 2026-10-14(산출 규칙 2026-10-15)
llama.cpp와 비슷한 AI (대안)
llama.cpp와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| llama.cpp | 부분유료 | 0개 | 6개 | — | — | — |
| ONNX Runtime | 부분유료 | 0개 | 6개 | — | — | 없음 |
| SGLang | 부분유료 | 0개 | 6개 | — | — | 없음 |
| Sol Engine | 부분유료 | 0개 | 6개 | — | — | 없음 |
| TensorRT | 부분유료 | 0개 | 6개 | 없음 | — | UI 한국어 |
비교한 5개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 llama.cpp
- 추론 및 컴퓨팅 인프라 분야 AI 43개 가운데 하나예요.
- 다른 도구와 연결된 수 6개 — 같은 분야에서 6위예요.
자주 묻는 질문
llama.cpp, 무료로 쓸 수 있나요?
오픈소스(무료). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
llama.cpp 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 ONNX Runtime, SGLang, Sol Engine, TensorRT 등이 지도에 연결돼 있어요.
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.