LLaVA
멀티모달 및 인지 · 무료
오픈소스 비주얼 인스트럭션 튜닝 모델
한눈에 보기
- 만든 곳
- University of Wisconsin-Madison · Microsoft Research 등(연구팀)
- 오픈소스
- 오픈소스(연구용 한정, 데이터셋 CC BY NC 4.0 — 코드·모델 라이선스 이름은 페이지에 없음)
- GitHub
- 별 25,066개 · Apache-2.0
LLaVA는 어떤 AI인가요?
LLaVA(Large Language and Vision Assistant)는 CLIP ViT-L/14 비전 인코더와 Vicuna 언어 모델을 간단한 투영 행렬로 연결해 범용 시각·언어 이해를 하는 대형 멀티모달 모델이다. 언어 전용 GPT-4로 만든 멀티모달 지시 따르기 데이터로 시각 지시 튜닝을 처음 시도했다. 일상 사용자용 시각 채팅과 과학 QA 두 용도로 미세조정했고, GPT-4와 함께 쓰면 Science QA에서 92.53%로 최고 성능을 냈다고 밝힌다. 데이터·모델·코드를 공개하되 연구용으로만 허가한다.
- CLIP ViT-L/14 비전 인코더 + Vicuna LLM 연결
- GPT-4로 만든 158K 멀티모달 지시 데이터(LLaVA-Instruct-150K)
- 2단계 지시 튜닝(특징 정렬 사전학습 → 엔드투엔드 미세조정)
- LLaVA-1.5: 11개 벤치마크 최고 성능, 8-A100 노드 하나로 약 1일 학습
- 광학 문자 인식(OCR) 예시
- LLaVA-NeXT: 4배 더 많은 픽셀 처리
LLaVA, 이런 사람·일에 써요
- 일상 사용자용 시각 채팅
- 과학 분야 멀티모달 추론(Science QA)
가격
오픈소스(무료, 가중치/코드 공개)
오픈소스 라이선스로 무료 공개되며 자체 호스팅 시 별도 비용 없음(클라우드 API 형태 제공 시 사용량 과금)
AI 지식 기반 추정 - 공식 사이트 확인 권장
LLaVA와 비슷한 AI (대안)
LLaVA와 대안 한눈에 비교
| AI | 가격 | 지도 속 조합 | 연결된 도구 | 무료 | 가장 싼 월 요금 | 한국어 |
|---|---|---|---|---|---|---|
| LLaVA | 무료 | 0개 | 5개 | — | — | — |
| Gemini Pro Vision | 부분유료 | 0개 | 7개 | 있음 | — | UI 한국어 |
| InternVL 2 | 무료 | 0개 | 7개 | — | — | — |
비교한 3개 중 무료로 시작할 수 있는 곳은 1개예요. 요금은 각 공식 페이지 기준이에요.
조합·연결 수는 AI 갤럭시 지도에 정리된 관계 기준(2026-10-26)이며 품질 순위가 아닙니다.
AI 갤럭시 지도에서 본 LLaVA
- 멀티모달 및 인지 분야 AI 22개 가운데 하나예요.
- 다른 도구와 연결된 수 5개 — 같은 분야에서 11위예요.
자주 묻는 질문
LLaVA, 무료로 쓸 수 있나요?
오픈소스(무료, 가중치/코드 공개). 요금은 바뀔 수 있으니 결제 전 공식 사이트에서 확인하세요.
LLaVA 대신 쓸 수 있는 AI는?
같은 일을 하는 도구로 Gemini Pro Vision, InternVL 2, Flamingo, GPT-4o 등이 지도에 연결돼 있어요.
출처(공식 페이지)
공식 페이지에서 확인한 내용(확인일 2026-10-14). 요금·기능은 바뀔 수 있으니 결제 전 공식 사이트에서 다시 확인하세요.