TensorRT-LLM
추론 및 컴퓨팅 인프라 · 부분유료
TensorRT 가속을 활용하는 NVIDIA GPU용 LLM 추론 프레임워크
한눈에 보기
- 만든 곳
- NVIDIA
- 한국어
- 없음(영어 등만)
- API
- 있음
- 쓸 수 있는 곳
- API, CLI
- 오픈소스
- Apache 2.0
- GitHub
- 별 14,807개 · NOASSERTION
TensorRT-LLM는 어떤 AI인가요?
TensorRT LLM은 자주 쓰는 연산용 전용 커널, 효율적인 런타임, 직접 고치고 확장할 수 있는 파이썬 프레임워크로 LLM과 비주얼 생성 모델의 추론을 최적화한다. LLM API·trtllm-serve 서버·벤치마크 CLI를 제공하고 OpenAI 호환 클라이언트 예제가 있다. 분리형 서빙, 추측 디코딩, KV 캐시 압축·오프로딩, 다중 LoRA, 양자화 등을 지원하며 Blackwell·Hopper용 모델 배포 가이드를 제공한다.
- 분리형(Disaggregated) 서빙
- 추측 디코딩
- KV 캐시 압축·오프로딩
- 다중 LoRA 어댑터 생성
- 비주얼 생성 모델 지원(베타)
- trtllm-serve 온라인 서빙(OpenAI 클라이언트 예제)
- trtllm-bench·trtllm-eval CLI
- Prometheus 지표
TensorRT-LLM, 이런 사람·일에 써요
- Blackwell·Hopper GPU에서 GPT-OSS·Qwen3 등 LLM 배포
- Slurm 클러스터에서 LLM 서빙·벤치마크
가격
오픈소스(무료)
Apache 2.0 오픈소스 LLM 추론 라이브러리(직접 설치), 요금 표기 없음
공식 페이지 확인 2026-10-14(산출 규칙 2026-10-15)
TensorRT-LLM와 비슷한 AI (대안)
TensorRT-LLM와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| TensorRT-LLM | 부분유료 | 0개 | 5개 | — | — | 없음 |
| llama.cpp | 부분유료 | 0개 | 6개 | — | — | — |
| ONNX Runtime | 부분유료 | 0개 | 6개 | — | — | 없음 |
| SGLang | 부분유료 | 0개 | 6개 | — | — | 없음 |
| Sol Engine | 부분유료 | 0개 | 6개 | — | — | 없음 |
비교한 5개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 TensorRT-LLM
- 추론 및 컴퓨팅 인프라 분야 AI 43개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 16위예요.
자주 묻는 질문
TensorRT-LLM, 무료로 쓸 수 있나요?
오픈소스(무료). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
TensorRT-LLM 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 llama.cpp, ONNX Runtime, SGLang, Sol Engine 등이 지도에 연결돼 있어요.
TensorRT-LLM, 한국어로 쓸 수 있나요?
공식 페이지 기준: 없음(영어 등만).
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.