概述

Kimi K3 近期正式开源，权重已在 HuggingFace 发布。本文带你从零完成本地部署。

环境准备

  • 显卡：建议 24G 显存起步（如 RTX 4090）
  • 推理框架：vLLM 0.6+
  • Python 3.11

快速启动

pip install vllm
vllm serve moonshotai/Kimi-K3 --tensor-parallel-size 1 --gpu-memory-utilization 0.9

显存优化

  1. 开启 --enable-prefix-caching 复用前缀
  2. 使用 AWQ 量化版本可降到 12G 显存
  3. 长上下文场景建议关闭不必要的采样参数

小结

整体体验流畅，中文长文本能力突出，适合做本地知识库问答。