TRL

TRL은 지도 미세조정(SFT), GRPO, DPO, 보상 모델링 등의 방법으로 트랜스포머 언어 모델을 학습시키는 도구 모음 라이브러리로, 🤗 transformers와 통합되어 있다. SFTTrainer·GRPOTrainer·DPOTrainer·KTOTrainer 같은 트레이너로 각 방법을 쓸 수 있다. Accelerate로 단일 GPU에서 멀티 노드 클러스터까지 확장하고, PEFT 통합으로 양자화·LoRA/QLoRA를 써서 적은 하드웨어로 큰 모델을 학습한다. 코드를 쓰지 않고 파인튜닝하는 CLI도 제공한다.

• SFT·GRPO·DPO·KTO·RLOO·보상·증류 트레이너
• 같은 GPU에서 최대 6.9배 긴 시퀀스(fused LM head)
• Accelerate로 단일 GPU~멀티 노드 확장(DDP·DeepSpeed)
• PEFT 통합으로 양자화·LoRA/QLoRA 학습
• Unsloth 통합으로 학습 가속
• 코드 없이 파인튜닝하는 CLI

오픈소스 + 클라우드 매니지드 유료 플랜

오픈소스 버전은 무료 자체호스팅 가능, 매니지드 클라우드 서비스는 사용량/시트 기반 유료

AI 지식 기반 추정 - 공식 사이트 확인 권장

• MLOps 및 학습 분야 AI 45개 가운데 하나예요.
• 다른 도구와 연결된 수 3개 — 같은 분야에서 38위예요.