StyleTTS2

StyleTTS 2는 스타일 확산(style diffusion)과 대형 사전학습 음성 언어 모델(SLM)을 이용한 적대적 학습으로 사람 수준의 텍스트 음성 변환(TTS)을 목표로 하는 연구 모델이다. 스타일을 확산 모델의 잠재 변수로 다뤄 참조 음성 없이도 텍스트에 맞는 스타일을 생성한다. 단일 화자(LJSpeech)·다중 화자(VCTK)·제로샷 화자 적응(LibriTTS)·긴 낭독 등의 샘플을 공개하며, 학습·추론 코드와 사전학습 모델, 새 화자 미세조정 스크립트를 GitHub에 제공한다.

• 참조 음성 없이 텍스트에 맞는 말투 스타일 생성(스타일 확산)
• WavLM 등 대형 음성 언어 모델을 판별기로 쓰는 적대적 학습
• 제로샷 화자 적응 — VALL-E보다 250배 적은 데이터로 유사한 일반화
• 긴 문단 낭독(롱폼 내레이션)
• 기본 다중 화자 모델로 새 화자 미세조정 스크립트 제공
• 학습·추론 코드와 사전학습 모델 공개

오픈소스(무료, 가중치/코드 공개)

오픈소스 라이선스로 무료 공개되며 자체 호스팅 시 별도 비용 없음(클라우드 API 형태 제공 시 사용량 과금)

AI 지식 기반 추정 - 공식 사이트 확인 권장

• 파운데이션 모델 분야 AI 60개 가운데 하나예요.
• 다른 도구와 연결된 수 5개 — 같은 분야에서 16위예요.