TensorRT
추론 및 컴퓨팅 인프라 · 부분유료
NVIDIA의 고성능 추론 SDK
한눈에 보기
- 만든 곳
- NVIDIA
- 한국어
- UI 한국어
- API
- 있음
- 쓸 수 있는 곳
- 윈도, API
TensorRT는 어떤 AI인가요?
NVIDIA TensorRT는 추론 컴파일러·런타임·모델 최적화를 담아 프로덕션 앱의 저지연·고처리량 추론을 돕는 도구 모음이다. CUDA 위에서 주요 프레임워크로 학습한 모델을 최적화하고 저정밀도로 보정해 데이터센터·워크스테이션·노트북·엣지에 배포한다. 양자화·레이어/텐서 융합·커널 튜닝을 쓰며, TensorRT-LLM·Model Optimizer·TensorRT for RTX·TensorRT Cloud가 같은 생태계에 속한다. PyTorch·Hugging Face와 직접 통합되고 ONNX 파서를 제공한다.
- 양자화·레이어/텐서 융합·커널 튜닝 추론 최적화
- FP8·FP4·INT8·INT4·AWQ 양자화(Model Optimizer)
- PyTorch·Hugging Face 직접 통합
- ONNX 모델 가져오기 파서
- RTX PC에서 15~30초 엔진 빌드(TensorRT for RTX)
- 제한된 파트너용 클라우드 엔진 최적화(TensorRT Cloud)
- CPU 전용 대비 최대 36배 추론 가속(공식 주장)
TensorRT, 이런 사람·일에 써요
- 영상 분석·음성 AI·추천 시스템 등 프로덕션 추론 배포
- 자동차 임베디드용 안전 규격 추론
- RTX PC 앱의 온디바이스 추론
가격
무료로 쓸 수 있는 범위 — 부분 확인 (TensorRT-LLM은 GitHub 무료, Model Optimizer는 NVIDIA PyPI 무료로 명시; TensorRT 본체 가격 표기 없음)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.
TensorRT와 비슷한 AI (대안)
TensorRT와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| TensorRT | 부분유료 | 0개 | 6개 | 없음 | — | UI 한국어 |
| llama.cpp | 부분유료 | 0개 | 6개 | — | — | — |
| ONNX Runtime | 부분유료 | 0개 | 6개 | — | — | 없음 |
| SGLang | 부분유료 | 0개 | 6개 | — | — | 없음 |
| Sol Engine | 부분유료 | 0개 | 6개 | — | — | 없음 |
비교한 5개 중 무료로 시작할 수 있는 곳은 0개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 TensorRT
- 추론 및 컴퓨팅 인프라 분야 AI 43개 가운데 하나예요.
- 다른 도구와 연결된 수 6개 — 같은 분야에서 6위예요.
자주 묻는 질문
TensorRT, 무료로 쓸 수 있나요?
부분 확인 (TensorRT-LLM은 GitHub 무료, Model Optimizer는 NVIDIA PyPI 무료로 명시; TensorRT 본체 가격 표기 없음). 공식 페이지 확인일 2026-10-14 기준이며, 결제 전 공식 사이트에서 다시 확인하세요.
TensorRT 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 llama.cpp, ONNX Runtime, SGLang, Sol Engine 등이 지도에 연결돼 있어요.
TensorRT, 한국어로 쓸 수 있나요?
공식 페이지 기준: UI 한국어.
출처(공식 페이지)
- https://developer.nvidia.com/tensorrt
- https://docs.nvidia.com/deeplearning/tensorrt/latest/index.html
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.