무료 로컬 AI 깃허브 TOP 10 — 내 PC에서 돌리는 LLM·채팅 화면·문서 AI (2026)

Ollama·llama.cpp부터 AnythingLLM·KoboldCpp까지, 인터넷 요금 없이 내 PC에서 AI와 대화하는 오픈소스 10개를 설치 방법·필요 사양·주의점과 함께 정리했습니다. 2026-10-26 깃허브 공식 자료 기준.

2026-10-26 · 공식 자료로 확인한 날짜는 아래 출처에

써야 하나?써 볼 만함

Ollama·KoboldCpp·AnythingLLM처럼 Windows 설치 파일이 있는 도구는 명령어를 몰라도 시작할 수 있고 프로그램 값이 들지 않습니다. 다만 속도와 쓸 수 있는 모델 크기가 내 PC의 RAM·그래픽카드에 묶이므로, 사양을 먼저 확인하고 작은 모델부터 써 보는 것이 좋습니다.

무엇이 나왔나
AI 모델을 내 PC에 내려받아 인터넷·월 요금 없이 대화·문서 질문을 하게 해 주는 무료 오픈소스 프로그램들
누구에게 좋은가
대화 내용을 밖으로 내보내기 싫은 사람, AI 월 구독료가 부담되는 사람, 회사 문서를 안전하게 AI로 다루고 싶은 사람
무료로 되는 것
  • 프로그램 10개 모두 무료(MIT·Apache-2.0·AGPL-3.0)
  • Ollama·llama.cpp로 받는 공개 모델
  • KoboldCpp·textgen의 Windows 실행 파일(설치 없이 실행)
  • AnythingLLM 데스크톱 앱의 내장 로컬 엔진
  • llama.cpp·LocalAI·KoboldCpp는 그래픽카드 없이 CPU로도 실행
유료만 되는 것
  • 넉넉한 RAM(RAGFlow 권장 16GB 등)
  • 빠르게 쓰려면 그래픽카드(NVIDIA·AMD·Intel GPU)
  • 모델 저장용 디스크 공간(RAGFlow 50GB, textgen 전체 설치 약 10GB)
  • Cherry Studio 등에서 클라우드 모델을 연결할 때의 API 사용 요금
기존 것과 차이
ChatGPT·Claude 같은 클라우드 AI는 설치 없이 바로 쓰고 답이 더 똑똑한 대신 대화가 회사 서버로 가고 많이 쓰면 요금이 듭니다. 로컬 AI는 대화가 내 PC 밖으로 나가지 않고 요금이 없지만, 답 품질과 속도가 내 PC 사양과 고른 모델 크기에 달려 있습니다.
바로 시작
ollama/ollama 저장소 ↗irm https://ollama.com/install.ps1 | iex
Ollama 공식 다운로드 ↗
AnythingLLM 데스크톱 다운로드 ↗

ChatGPT·Claude 같은 AI는 편하지만 대화 내용이 회사 서버로 가고, 많이 쓰면 월 요금이 듭니다. 깃허브에는 AI 모델을 내 PC에 내려받아 인터넷 없이도 돌리게 해 주는 무료 오픈소스가 많습니다. 별(인기) 수, 최근 업데이트, 라이선스, 설치 방법을 직접 확인해 실제로 쓸 만한 10개만 골랐습니다.

이 글은 2026-10-26 기준으로 최근 1년 안에 수정됐고, 라이선스가 있고, 설치 설명이 있는 저장소만 골랐어요. 별 수·마지막 수정일·라이선스는 깃허브 공식 API에서 받은 숫자 그대로이고, 돈 드는 곳은 각 저장소 설명서(README)에 적힌 내용으로만 적었어요.

프로그램은 무료, 진짜 비용은 내 PC 사양

10개 모두 오픈소스라 프로그램과 모델은 무료로 받을 수 있습니다. 대신 AI를 내 컴퓨터가 직접 계산하므로 RAM과 그래픽카드가 성능을 좌우합니다. kotaemon README는 모델 크기가 내 PC 메모리보다 작아야 하고 약 2GB는 남겨 두라고 안내하며, RAGFlow는 RAM 16GB를 권장 시작 사양으로 적고 있습니다. llama.cpp·KoboldCpp·LocalAI는 그래픽카드 없이 CPU만으로도 돌아가지만 그만큼 느립니다.

목적별로 하나만 고른다면

이럴 때추천이유
처음 써 본다, 가장 쉬운 시작ollama/ollamaWindows 설치 파일 하나로 깔고 명령 한 줄로 바로 대화, 다른 채팅 앱의 엔진으로도 쓰임
설치 없이 파일 하나로LostRuins/koboldcppkoboldcpp.exe 더블클릭으로 끝, 그래픽카드 없는 PC용 exe도 따로 있음
내 문서로 대화하고 싶다Mintplex-Labs/anything-llmWindows 데스크톱 앱에 로컬 엔진이 내장돼 있고 문서를 넣어 바로 질문 가능
인터넷 연결 없이 완전 오프라인oobabooga/textgenREADME가 사용 통계·외부 연결 0이라고 명시, 압축 풀고 더블클릭으로 실행

한눈에 보는 10개

#저장소별마지막 수정윈도우비용
1ollama184,7582026-10-25설치판·안내 있음완전 무료
2llama.cpp132,3542026-10-25설치판·안내 있음완전 무료
3anything-llm67,5532026-10-25설치판·안내 있음완전 무료
4cherry-studio52,9732026-10-26설치판·안내 있음무료+조건
5textgen47,7262026-08-17설치판·안내 있음완전 무료
6koboldcpp12,0642026-10-25설치판·안내 있음완전 무료
7LocalAI49,9562026-10-25안내 없음(Docker·Colab 등)완전 무료
8kotaemon25,8292026-07-14안내 없음(Docker·Colab 등)무료+조건
9ragflow92,8552026-10-25안내 없음(Docker·Colab 등)무료+조건
10private-gpt57,6132026-10-23설치판·안내 있음무료+조건

저장소별 정리

1. ollama/ollama

내 PC에 AI 모델(Gemma·Qwen 등)을 내려받아 명령 한 줄로 바로 대화할 수 있게 해 주는 가장 유명한 로컬 AI 실행 프로그램. 다른 채팅 화면·앱이 붙어 쓰는 '엔진' 역할도 한다.

  • 잘 맞는 사람: 로컬 AI를 처음 써 보는 사람 누구나. 다른 채팅 화면(AnythingLLM·Cherry Studio 등)과 같이 쓸 엔진이 필요한 사람
  • 돈 드는 곳: 완전 무료(모델도 무료로 내려받음). 다만 README 첫 줄에 '로컬 또는 클라우드'라고 적혀 있어 클라우드 모델 기능은 따로 있음. 필요한 RAM·GPU 사양은 README에 적혀 있지 않음.
  • 윈도우: README 명시(Windows 설치 명령과 OllamaSetup.exe 설치 파일 제공)
  • 주의: 기본은 검은 창(명령줄)에서 대화하는 방식이라 예쁜 채팅 화면을 원하면 다른 앱을 붙여야 한다. 모델 크기에 맞는 RAM·GPU가 필요한데 README엔 기준이 없어 모델 페이지에서 크기를 직접 확인해야 한다.
  • 믿을 만한가: 별 184,758개, 마지막 수정 2026-10-25, 라이선스 MIT

irm https://ollama.com/install.ps1 | iex

2. ggml-org/llama.cpp

로컬 AI 실행의 바탕이 되는 핵심 엔진. 모델을 작게 줄여(양자화) 일반 PC의 CPU나 그래픽카드로도 돌아가게 해 주며, 내장 웹 채팅 화면도 들어 있다. Ollama·KoboldCpp 등 많은 도구가 이것을 바탕으로 만들어졌다.

  • 잘 맞는 사람: 가장 가볍고 빠른 방식으로 직접 돌려 보고 싶은 사람, 사양이 낮은 PC에서 작은 모델을 써 보려는 사람
  • 돈 드는 곳: 완전 무료. 그래픽카드가 없어도 CPU로 돌아가고, 그래픽카드 메모리(VRAM)보다 큰 모델은 CPU와 나눠서 돌릴 수 있다고 README가 밝힘.
  • 윈도우: README 명시(PowerShell 설치 명령, 미리 만든 실행 파일, Winget 배포)
  • 주의: 명령어 중심이라 초보에겐 Ollama나 KoboldCpp가 더 쉽다. 업데이트가 매우 잦아 명령 이름이 바뀌기도 하므로 README 최신판을 보고 따라 해야 한다.
  • 믿을 만한가: 별 132,354개, 마지막 수정 2026-10-25, 라이선스 MIT

irm https://llama.app/install.ps1 | iex

3. Mintplex-Labs/anything-llm

내 문서(PDF·워드 등)를 넣고 그 내용으로 대화할 수 있는 올인원 AI 데스크톱 앱. 로컬 모델 엔진이 내장돼 있고 Ollama 등 다른 엔진이나 클라우드 AI도 연결할 수 있다.

  • 잘 맞는 사람: 회사 자료·논문·매뉴얼을 밖으로 내보내지 않고 AI에게 물어보고 싶은 사람. 설치 파일로 바로 쓰고 싶은 비개발자
  • 돈 드는 곳: 완전 무료(MIT). 내장 엔진으로 CPU 또는 GPU(NVIDIA는 CUDA, AMD·Intel은 Vulkan)에서 모델을 돌림. 클라우드 AI를 연결하면 그쪽 요금은 별도.
  • 윈도우: README 명시(Mac·Windows·Linux용 데스크톱 앱 다운로드)
  • 주의: 익명 사용 통계(텔레메트리)가 기본으로 켜져 있어, 원하지 않으면 앱 왼쪽 메뉴의 Privacy에서 꺼야 한다고 README가 안내한다. 꺼도 모델 내려받기용 연결은 남는다.
  • 믿을 만한가: 별 67,553개, 마지막 수정 2026-10-25, 라이선스 MIT

https://anythingllm.com/download

4. CherryHQ/cherry-studio

여러 AI 모델과 한 화면에서 대화하고, 지식 베이스(내 문서)·이미지 생성·에이전트까지 쓰는 데스크톱 AI 작업 공간. Ollama·LM Studio로 돌리는 로컬 모델도 연결된다.

  • 잘 맞는 사람: ChatGPT 같은 깔끔한 채팅 화면에서 로컬 모델과 클라우드 모델을 번갈아 쓰고 싶은 사람
  • 돈 드는 곳: 무료지만 로컬 모델을 쓰려면 Ollama나 LM Studio를 따로 설치해야 함. 클라우드 모델은 각 서비스의 API 키(유료 사용량)가 필요하다고 README가 밝힘.
  • 윈도우: README 명시(Windows·macOS·Linux용 데스크톱 앱)
  • 주의: 자체 엔진이 없어 Ollama 등과 함께 설치해야 로컬로 돈다. 라이선스는 AGPL-3.0이라 상업적 사용은 허용되지만, 고쳐서 서비스로 내놓을 땐 소스 공개 의무가 있고 면제받으려면 별도 상업 라이선스 문의가 필요하다.
  • 믿을 만한가: 별 52,973개, 마지막 수정 2026-10-26, 라이선스 AGPL-3.0

https://cherryai.com/download

5. oobabooga/textgen

예전 이름 text-generation-webui. 내려받아 압축 풀고 더블클릭하면 창이 뜨는 로컬 AI 데스크톱 앱으로, 채팅·이미지 이해·PDF 첨부·웹 검색 도구를 지원한다.

  • 잘 맞는 사람: 인터넷 연결 없이 완전히 내 PC 안에서만 AI를 쓰고 싶은 사람, 캐릭터 대화·글쓰기를 즐기는 사람
  • 돈 드는 곳: 완전 무료. 사용 통계·외부 연결이 전혀 없다고 README가 밝힘. 추가 기능(학습·이미지 생성 등)을 쓰는 전체 설치는 디스크 약 10GB가 필요.
  • 윈도우: README 명시(Windows용 휴대용 빌드, CUDA·Vulkan·ROCm·CPU 전용 선택)
  • 주의: 저장소 이름이 text-generation-webui에서 textgen으로 바뀌었다(GitHub가 자동 연결). 휴대용 빌드는 GGUF 모델만 되고, 다른 형식은 전체 설치가 필요하다. 마지막 push가 2026-08로 다른 후보보다 덜 잦다.
  • 믿을 만한가: 별 47,726개, 마지막 수정 2026-08-17, 라이선스 AGPL-3.0

https://github.com/oobabooga/textgen/releases

6. LostRuins/koboldcpp

설치 없이 실행 파일 하나로 로컬 AI를 돌리는 프로그램. 웹 채팅 화면이 들어 있고 글쓰기·롤플레이는 물론 이미지·음성·음악 생성까지 지원한다.

  • 잘 맞는 사람: 설치 과정 없이 파일 하나로 바로 써 보고 싶은 사람, 소설·롤플레이 글쓰기를 좋아하는 사람
  • 돈 드는 곳: 완전 무료. CPU나 GPU 어느 쪽으로도 돌아감. 모델 파일(GGUF)은 따로 구해야 한다고 README가 밝힘.
  • 윈도우: README 명시(koboldcpp.exe 더블클릭, 그래픽카드 없는 PC용·오래된 PC용 exe 따로 제공)
  • 주의: 모델 파일을 직접 골라 내려받아야 해서 처음엔 어떤 모델을 받을지 헷갈릴 수 있다. RAM이나 그래픽카드 메모리가 모자라면 더 작은 모델을 쓰라고 README가 안내한다.
  • 믿을 만한가: 별 12,064개, 마지막 수정 2026-10-25, 라이선스 AGPL-3.0

cmd /c "curl -fLo koboldcpp.exe https://github.com/LostRuins/koboldcpp/releases/latest/download/koboldcpp.exe && koboldcpp.exe"

7. mudler/LocalAI

글 AI뿐 아니라 이미지·음성·영상 모델까지 내 PC에서 돌리고, OpenAI·Anthropic과 같은 방식의 API로 다른 프로그램에 연결해 주는 로컬 AI 서버.

  • 잘 맞는 사람: ChatGPT API를 쓰던 프로그램을 내 PC의 무료 모델로 바꿔 끼우고 싶은 사람, 글·그림·음성을 한 서버로 모으고 싶은 사람
  • 돈 드는 곳: 완전 무료. 그래픽카드 없이 CPU만으로도 된다고 README가 밝힘(NVIDIA·AMD·Intel GPU는 전용 이미지 제공). Docker 설치가 필요.
  • 윈도우: 안내 없음(README는 Docker 실행과 macOS 앱 안내만 있음)
  • 주의: Windows용 설치 파일 안내가 README에 없고 Docker 중심이라 비개발자에겐 어렵다. 기능이 매우 많아 처음엔 무엇부터 할지 헷갈릴 수 있다.
  • 믿을 만한가: 별 49,956개, 마지막 수정 2026-10-25, 라이선스 MIT

docker run -ti --name local-ai -p 8080:8080 localai/localai:latest

8. Cinnamon/kotaemon

내 문서를 올리고 질문하면 근거 위치까지 보여 주며 답하는 '문서 채팅' 웹 화면. Ollama 같은 로컬 모델과 OpenAI 등 클라우드 모델 모두 연결된다.

  • 잘 맞는 사람: 여러 PDF·보고서를 모아 두고 '어디에 그렇게 적혀 있나'까지 확인하며 묻고 싶은 사람
  • 돈 드는 곳: 무료지만 Docker(또는 Python 3.10 이상) 필요. 로컬 모델은 내 PC 메모리보다 작은 것을 고르고 약 2GB는 남기라고 README가 안내함(예: RAM 16GB 중 12GB 여유면 10GB 이하 모델).
  • 윈도우: 안내 없음(Docker 권장, linux/amd64·linux/arm64에서 시험한다고 명시)
  • 주의: 마지막 push가 2026-07로 업데이트가 뜸해지는 중이다. Docker 명령이 길고 .doc·.docx 등 일부 파일은 full 이미지나 추가 프로그램이 필요하다.
  • 믿을 만한가: 별 25,829개, 마지막 수정 2026-07-14, 라이선스 Apache-2.0

docker run -e GRADIO_SERVER_NAME=0.0.0.0 -e GRADIO_SERVER_PORT=7860 -v ./ktem_app_data:/app/ktem_app_data -p 7860:7860 -it --rm ghcr.io/cinnamon/kotaemon:main-full

9. infiniflow/ragflow

표·스캔 문서까지 깊이 읽어 들여 근거와 함께 답하는 본격 '문서 AI' 플랫폼. 회사 자료실처럼 많은 문서를 다룰 때 쓰는 큰 규모 도구다.

  • 잘 맞는 사람: 문서가 수백 개 이상이고 표·이미지가 섞인 자료를 정확히 찾아야 하는 사람·팀
  • 돈 드는 곳: 무료지만 사양이 높음: 권장 시작 사양 CPU 4코어·RAM 16GB·디스크 50GB, Docker 필요. 로컬 모델을 같이 돌리면 자원이 더 든다고 README가 밝힘.
  • 윈도우: 안내 없음(Docker로 Windows·macOS·Linux에 설치하라고 안내)
  • 주의: 개인 PC에서 가볍게 쓰기엔 무겁다(RAM 16GB 권장 + 모델 몫). 설치는 git clone 후 docker compose로 여러 서비스를 띄우는 방식이라 비개발자에겐 어렵다.
  • 믿을 만한가: 별 92,855개, 마지막 수정 2026-10-25, 라이선스 Apache-2.0

git clone https://github.com/infiniflow/ragflow.git

10. zylon-ai/private-gpt

로컬 모델 위에 문서 읽기·근거 인용 검색·도구 사용을 얹어 '나만의 비공개 AI 앱'을 만들게 해 주는 API 서버. 시험용 웹 화면(/ui)도 들어 있다.

  • 잘 맞는 사람: 회사 안에서만 도는 문서 AI 서비스를 직접 만들려는 개발자·담당자
  • 돈 드는 곳: 무료지만 Ollama 같은 모델 서버를 따로 돌려야 함. README 예시 모델(qwen3.5:35b)은 약 24GB라 큰 RAM이나 그래픽카드 메모리가 필요.
  • 윈도우: README 명시(Windows PowerShell 설치·실행 명령 제공)
  • 주의: README가 'API가 실제 제품'이라고 밝히는 개발자용 도구라 채팅 앱을 기대한 일반 사용자에겐 맞지 않는다. 같은 회사의 기업용 유료 플랫폼(Zylon) 소개가 함께 있다.
  • 믿을 만한가: 별 57,613개, 마지막 수정 2026-10-23, 라이선스 Apache-2.0

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex" uv tool install --python 3.11 ` --find-links https://wheels.privategpt.dev/packages/ ` "private-gpt[core]"

쓰기 전에 꼭 볼 것

  • PC 사양: 모델이 클수록 RAM·그래픽카드 메모리가 많이 필요합니다. 예시로 PrivateGPT README의 qwen3.5:35b 모델은 약 24GB입니다. 처음엔 작은 모델부터 시작하세요.
  • 사용 통계: AnythingLLM은 익명 사용 통계가 기본으로 켜져 있어 Privacy 메뉴에서 끌 수 있습니다.
  • 라이선스: Cherry Studio·textgen·KoboldCpp는 AGPL-3.0이라 개인 사용은 자유롭지만, 고쳐서 서비스로 내놓으면 소스 공개 의무가 생깁니다.
  • Docker 필요: LocalAI·kotaemon·RAGFlow는 Docker 설치가 사실상 필수라 비개발자에겐 문턱이 있습니다.
  • 모델은 따로: KoboldCpp는 모델 파일(GGUF)을 직접 구해야 하고, Cherry Studio·PrivateGPT는 Ollama 같은 모델 실행기를 먼저 설치해야 로컬로 돕니다.

뺀 저장소와 이유

  • Open WebUI(별 156,753): 인기는 많지만 자체 라이선스(브랜딩 유지 의무)로 바뀌어 표준 오픈소스 라이선스 기준에서 제외
  • Jan(별 45,086): README엔 Apache 2.0으로 적혀 있으나 깃허브 라이선스 판별이 되지 않아(NOASSERTION) 제외
  • GPT4All(별 77,357): 마지막 업데이트가 2025-05-27로 1년 넘게 멈춰 제외
  • LobeHub(별 83,489): 라이선스 판별 불가(NOASSERTION)로 제외

출처 (공식 자료, 확인한 날짜)

요금과 무료 한도는 자주 바뀌어요. 결제 전에 공식 페이지에서 한 번 더 확인하세요.

← IT 트렌드 목록

홈트렌드도구