ChatGPT, Gemini, Claude… 다들 클라우드 AI를 쓰고 있죠. 근데 이런 생각 해본 적 없나요?

“내 컴퓨터에서 AI를 돌리면 무료에, 내 데이터도 안 나가잖아?”

맞습니다. 로컬 LLM(Large Language Model)을 돌리면 구독료도 없고, 대화 내용이 외부 서버로 전송되지 않아요. 프라이버시 완벽 보장이죠.

근데 현실은… 좀 다릅니다. 1편에서 소개한 제 SER9 MAX에 직접 AI를 올려봤는데, 결론부터 말하면 “돌아는 간다. 근데 느리다.”

Ollama — 로컬 LLM 엔진

Ollama는 내 컴퓨터에서 AI 모델을 돌릴 수 있게 해주는 프로그램입니다. 어려울 것 같죠? 설치는 AI한테 시켰습니다. 터미널에 명령어 몇 줄 넣으면 끝이에요.

설치가 끝나면 ollama run qwen3:14b 한 줄로 AI가 대답하기 시작합니다. 모델은 알아서 다운로드되고, 별도 설정 없이 바로 채팅이 가능해요.

현재 돌릴 수 있는 오픈소스 모델이 수십 개가 넘습니다. Llama, Qwen, Gemma, Mistral, DeepSeek… 전부 무료. 원하는 걸 골라 쓰면 됩니다.

Open WebUI — 브라우저에서 ChatGPT처럼

터미널에서 채팅하는 건 솔직히 불편합니다. 그래서 Open WebUI를 설치했어요. 브라우저에서 ChatGPT와 똑같은 인터페이스로 AI랑 대화할 수 있는 프로그램이에요.

이것도 설치는 AI한테 시켰습니다. Docker 컨테이너 하나 올리면 끝.

제일 좋은 건 와이프도 접속한다는 거예요. 같은 네트워크에 있으면 폰이든 태블릿이든 브라우저만 열면 됩니다. 계정도 만들 수 있어서 대화 기록도 각자 관리되고요. 2편에서 설정한 Tailscale로 외부에서도 접속 가능합니다.

스펙과 성능의 현실 — 핵심은 여기

로컬 AI 얘기에서 제일 중요한 게 “내 컴퓨터로 돌릴 수 있는가?”입니다. 솔직한 실측 데이터를 공유할게요.

제 서버 스펙

실측 성능 (qwen3:14b 모델)

ChatGPT나 Gemini가 1초 만에 답하는 걸, 제 서버는 25초 걸립니다. 체감으로 5~10배 느려요. 글자가 한 자 한 자 천천히 나타나는 걸 보고 있으면… 인내심 테스트입니다.

왜 이렇게 느린가?

GPU가 없기 때문입니다. AI 연산은 GPU(그래픽카드)에 최적화되어 있는데, 제 미니PC에는 내장 그래픽밖에 없어요. AMD 780M iGPU는 WSL2 환경에서 AI 가속으로 사용할 수 없다는 것도 확인했습니다. 결국 CPU로만 연산하니까 느린 거예요.

NVIDIA GPU가 있는 PC라면? 같은 모델이 5~10배 빨라집니다. RTX 4060 정도면 30토큰/초 이상 나와요. 하지만 일반 미니PC에는 외장 GPU를 달 수 없으니, 이건 데스크톱이나 게이밍 노트북 영역이에요.

RAM이 곧 모델 크기를 결정한다

로컬 AI에서 제일 중요한 스펙은 RAM입니다. 모델 전체가 메모리에 올라가거든요.

7B vs 14B vs 70B — 크기가 곧 품질입니다. 7B는 간단한 대화는 되지만 복잡한 질문에서 헛소리를 자주 합니다. 14B가 “그래도 쓸만하다”고 느끼는 최소 기준선이에요. 70B는 품질이 확 올라가지만 RAM도 40GB 이상 필요합니다.

제가 32GB인 이유도 이겁니다. 14B 모델을 올리면서 다른 Docker 서비스들(Immich, WordPress, n8n 등)도 동시에 돌려야 하니까요.

그래서 쓸만한가?

솔직하게 정리하면 이렇습니다.

쓸만한 경우:

• 단순 대화, 번역, 요약 — 느려도 결과물은 나옴
• 프라이버시가 중요한 내용 — 회사 기밀 문서 분석 등
• 인터넷 없이 쓰고 싶을 때 — 비행기, 오프라인 환경
• AI 기능을 다른 프로그램에 연결할 때 — API 호출 무제한, 무료

안 쓸만한 경우:

• 코딩, 복잡한 분석 — 클라우드 AI가 압도적으로 잘함
• 빠른 응답이 필요할 때 — 25초 기다릴 인내심이 없다면
• 최신 정보가 필요할 때 — 로컬 모델은 학습 시점 이후 정보를 모름

결론적으로, 로컬 AI의 핵심 가치는 “무료”와 “프라이버시”입니다. 성능을 기대하면 실망하고, 이 두 가지가 중요한 사람에게는 충분한 가치가 있어요.

다음 편 예고

지금까지 서버 조립부터 원격 접속, 사진 백업, 로컬 AI까지 왔습니다. 다음 편에서는 이 모든 걸 하나로 묶어주는 핵심 — AI 에이전트와 텔레그램 봇을 다뤄볼게요. 텔레그램으로 말 걸면 AI가 알아서 일하는, 진짜 “내 졸개” 만들기입니다.

EP.5 — AI 에이전트 + 텔레그램: 내 서버에 비서를 두다, 기대해주세요.

The post [컴퓨터 놀이] 코알못도 했다! 나만의 홈서버 구축기 (4) — Ollama로 내 PC에서 AI 돌리기 appeared first on Prsm Studio.