"키미 K3 무료로 로컬 돌릴 수 있다던데?" 최근 이런 이야기가 꽤 돌고 있다. 결론부터 말하면 개인 PC나 홈서버 수준에서는 사실상 불가능하다. 왜 그런지, 실제로 돌리려면 얼마가 드는지 숫자로 짚어본다.
키미 K3는 어떤 모델인가
문샷AI(Moonshot AI)가 2026년 7월 27일 공개한 키미 K3는 지금까지 나온 오픈 웨이트 모델 중 최대 규모다.
- 총 파라미터: 2.8조 개
- 구조: MoE(전문가 혼합) 방식, 전문가 896개 중 토큰당 16개만 활성화
- 활성 파라미터: 약 1,040억 개
- 컨텍스트 윈도우: 100만 토큰
- 가중치 용량: MXFP4(4비트 양자화) 기준 약 1.56TB, 96개 샤드로 분할 배포
숫자만 보면 "활성 파라미터가 1,040억밖에 안 되니 웬만한 GPU 몇 장이면 되지 않나" 싶을 수 있다. 여기서 착각이 시작된다.
왜 활성 파라미터가 적어도 소용없나
MoE 모델은 토큰마다 어떤 전문가가 필요할지 라우터가 그때그때 결정한다. 다음 토큰에서 다른 전문가 조합이 필요할 수도 있기 때문에, 지금 안 쓰는 전문가라고 메모리에서 빼놓을 수가 없다. 결국 실제로 계산에 쓰이는 건 일부지만, 언제든 불려나올 수 있는 896개 전문가 전부를 항상 메모리에 올려둬야 한다.
즉, 연산량은 가볍지만(1,040억 파라미터 수준) 메모리 요구량은 전체(2.8조 파라미터)를 기준으로 잡아야 한다는 뜻이다. 이게 로컬 구동을 사실상 막는 핵심 이유다.
필요 하드웨어 스펙
- VRAM (MXFP4·4비트 기준): 최소 1.5TB 이상 — 가중치 파일 자체가 약 1.56TB라 이보다 적은 VRAM으로는 로딩 자체가 안 됨
- GPU 구성: 문샷AI 권장 기준 64개 가속기 이상(예: H100 8장×8노드)
- GPU 간 연결: NVLink·InfiniBand급 고대역폭 인터커넥트 필수 (일반 PCIe로는 토큰 처리마다 통신 지연 발생)
- 저장 공간: 1.56TB 이상 (가중치만, 96개 샤드로 분할 배포)
- 대상 하드웨어: 데스크톱·워크스테이션 불가, 멀티 GPU 데이터센터 클러스터급만 가능
참고로 이전 세대 모델인 키미 K2(1조 파라미터 규모)는 4비트 양자화 기준으로 약 577~630GB의 VRAM이 필요했다. K3는 총 파라미터가 K2의 2.8배 수준이라 필요 VRAM도 그만큼 늘어난다.
실제 구축비용은 얼마나 될까
64개 가속기 규모의 클러스터를 개인이나 소규모 팀이 직접 구축한다고 가정하면, GPU 서버 하드웨어(H100/H200급 기준)만으로 최소 수억 원에서 수십억 원대 투자가 필요하다. 여기에 다음 비용이 추가로 들어간다.
- 고대역폭 인터커넥트(NVLink, InfiniBand 등) 구성 비용
- 전력·냉각 인프라
- 운영·모니터링·장애 복구 체계
- 호스트 RAM, 고속 체크포인트 스토리지
개인 개발자나 1인 프로젝트 수준에서 감당할 수 있는 금액이 아니다.
그럼 API로 쓰는 게 답인가
대부분의 경우 답은 그렇다. 키미 K3는 API로 백만 토큰당 입력 3달러, 출력 15달러 수준에 제공된다. 자체 GPU 클러스터를 구축해서 이 비용을 회수하려면 매우 크고 지속적인 사용량이 뒷받침돼야 하는데, 개인 프로젝트나 스타트업 초기 단계에서는 API 비용이 압도적으로 저렴하다.
셀프 호스팅이 그나마 정당화되는 경우는 다음 세 가지 정도로 좁혀진다.
- 데이터를 외부로 절대 내보낼 수 없는 망분리(air-gap) 요건이 있을 때
- 자체 데이터로 K3 자체를 파인튜닝해야 할 때
- 사용량이 API 비용을 명백히 초과할 만큼 압도적으로 많을 때
로컬 LLM을 쓰고 싶다면 대안은
키미 K3 자체를 로컬로 돌리는 건 포기하더라도, 로컬 LLM 자체를 포기할 필요는 없다. 다음과 같은 대안이 현실적이다.
- Qwen 32B급, Llama 70B급 등 중형 오픈 모델: 단일 GPU(24GB~48GB VRAM)로도 구동 가능
- 향후 나올 수 있는 K3의 경량화·증류(distill) 버전
- 커뮤니티 양자화 변형 모델
일반적인 홈서버나 워크스테이션 환경에서 로컬 AI를 시도하고 싶다면, K3가 아니라 이런 모델부터 시작하는 게 현실적이다.
정리
- 키미 K3는 2.8조 파라미터, 활성 1,040억 파라미터의 MoE 모델
- MoE 구조상 전문가 전체를 항상 메모리에 올려야 해서, 활성 파라미터가 적어도 메모리 요구량은 줄지 않는다
- 로컬 구동에는 가중치만으로 최소 1.5TB 이상 VRAM, 64개 가속기급 클러스터가 필요
- 구축비용은 수억~수십억 원대로, 개인 프로젝트 수준을 벗어난다
- 대부분의 사용자에게는 API 사용이 현실적인 선택지