Kimi-K2-Instruct 是由 Moonshot AI 開發的開源指令微調大型語言模型。基於龐大的 Kimi-K2 模型架構,支援多輪對話、程式碼生成、文件摘要等功能。本指南將帶您逐步部署 Kimi-K2-Instruct 進行本地或雲端推理,非常適合開發者和 AI 愛好者。
1️⃣ 什麼是 Kimi-K2-Instruct?
Kimi-K2-Instruct 是 Kimi-K2 模型的微調版本,專為指令跟隨任務優化。其特點包括:
- 🔁 支援多輪對話(指令式提示)
- 🧠 採用混合專家架構,總參數達 1 兆 / 活躍參數 3200 億
- 🛠️ 支援 FP16 / BF16 推理加速,GPU 優化
- 🌐 完全開源,兼容 HuggingFace Transformers
原創大约 3 分鐘