一份关于 Kimi K3 的详尽阅读笔记：2.8T 参数、1M 上下文、原生多模态，以及它在编码、科研、芯片设计上的惊人表现。
Kimi K3 是 Moonshot AI 发布的最新旗舰模型，核心定位是"Open Frontier Intelligence"——把前沿级智能能力以开源形式提供给社区。
值得注意的是，Kimi K3 默认使用 max thinking effort（最大推理努力）模式运行，后续才会引入低/高努力模式。这意味着当前体验到的已经是模型的"全力输出"。
Kimi K3 不是简单的"堆参数"，而是在架构层面做了多个针对性设计：
为超大参数规模下的注意力计算提供高效基础，是模型能够扩展到万亿参数以上的关键。Kimi 已向 vLLM 社区贡献了 KDA 的 prefix caching 实现。
选择性检索跨深度的表示，而不是均匀累积。这让信息在模型深层之间流动更高效，缓解了深层 Transformer 的信息衰减问题。
896 个专家中激活 16 个。通过 Quantile Balancing 直接从路由分数分位数推导专家分配，消除了敏感的超参数调优。
将 Muon 优化器扩展到独立优化每个注意力头，实现更大规模下的自适应学习。
Sigmoid Tanh Unit 改进激活控制，Gated MLA 提升注意力选择性，两者共同支撑 2.8T 参数的稳定高效训练。
从 SFT 阶段就使用 MXFP4 权重 + MXFP8 激活，兼顾硬件兼容性。训练时采用完全平衡的专家并行方法，无主机同步。
Kimi K3 的编码能力不是"能写 LeetCode"级别，而是能处理长达数小时的工程会话、在大型代码库中导航、编排终端工具。官方展示了五个层面的案例：
在独立沙盒中，模型最多有 24 小时来 profile、重写和 benchmark 四个 GPU kernel 任务（涵盖 AttnRes、KDA 和 512-head-dimension MLA）。
更值得注意的是：在 Kimi K3 开发后期，一个早期版本的 K3 承担了团队大部分的 kernel 优化工作——模型在优化自己的架构实现。
这是最令人震惊的案例之一。Kimi K3 从头开发了一个类似 Triton 的紧凑编译器 MiniTriton，包含：
在 roofline benchmark 中，MiniTriton 的性能与 Triton 和 torch.compile 持平或更优。更关键的是，它能端到端训练 nanoGPT 并保持稳定收敛——这说明 K3 不是写孤立的小函数，而是能构建一个完整的、自洽的编译器系统。
K3 能将概念、图片和视频转化为可玩的交互体验。官方强调它实现了真正的 "vision in the loop"：在代码和实时截图之间无缝迭代，看到问题立即修正。
这可能是整篇文章中最硬核的案例。Kimi K3 在 48 小时自主运行 中，使用开源 EDA 工具和 Nangate 45nm 库，完成了一款芯片的设计、优化和验证：
这款芯片服务于一个基于 K3 自身架构的 nano 模型。A chip built by a model, for a model.
K3 能将科学文献转化为可执行代码。一个案例是复现天体物理学中的 I–Love–Q 通用关系：
Kimi K3 在 Kimi Work 中展现了强大的知识工作端到端能力：
120+ 轮递归自我改进，2,800+ 次搜索，11,000+ 页文档，产出可下钻的交互式研究报告。
咨询风格的行业报告，含时间线、漏斗图、范围条形图、甘特图和出版级幻灯片。
20+ 并发子 Agent 分析 391 个引力波事件，产出 7 个科学可视化 + 文献综合。
Kimi Work 引入了两个新功能：Widgets（在聊天中生成可交互组件，可连接本地数据或外部插件）和 Dashboard（将关心的 Widget 聚合到一个围绕主题/项目/目标的持久化个性化视图中）。这标志着从"对话式 AI"向"工作空间 AI"的演进。
K3 的原生多模态架构让它在视频编辑上也表现出色：
Kimi K3 的训练效率得益于多层优化：
推理部署建议：使用 64 卡以上超节点配置，以获得更大高带宽通信域的效率优势。KDA 的 prefix caching 实现已贡献给 vLLM 社区。
| 渠道 | 说明 |
|---|---|
| Kimi App | iOS / Android / HarmonyOS，或访问 kimi.com |
| Kimi Work | 桌面端 v3.1.0+，支持 Windows 和 Apple Silicon Mac |
| Kimi Code | 终端运行，使用 /model 命令切换至 K3 |
| Kimi API | 模型 ID 为 kimi-k3 |
| Kimi Enterprise | 企业级数据隐私，个人与组织账户完全隔离 |
Mooncake 的分离式推理架构让官方 API 在编码工作负载中实现了 90% 以上的缓存命中率，这对长上下文编码场景非常友好。
官方坦诚了三个关键局限，这些对实际使用者非常重要：
K3 在"保留思考历史"模式下训练。如果 Agent harness 没有完整传回历史思考内容，或在会话中途切换到 K3，生成质量会变得极不稳定。建议使用 Kimi Code 等已验证兼容的 harness，避免中途切换模型。
K3 的训练特别重视长周期、高难度任务，因此在遇到小问题或用户意图模糊时，它可能会替用户做出意外的自主决策。如果应用需要 Agent 在明确定义的边界内运行，需在 system prompt 或 AGENTS.md 中施加更明确的行为约束。
尽管 K3 整体竞争力很强，但在用户体验方面与 Claude Fable 5 和 GPT 5.6 Sol 仍存在明显差距。"能用"和"好用"之间还有一段路要走。
2.8T 参数 + 即将开源权重，标志着开源模型在规模上首次摸到 3T 门槛。这会对闭源模型的定价策略和生态壁垒产生压力。
MiniTriton 案例表明，顶级模型的能力评估标准正在从"解算法题"转向"构建复杂系统"。写编译器、设计芯片、复现科研——这些是真正的高阶智能标志。
KDA + AttnRes + Quantile Balancing 等设计让 K3 相比 K2 实现了约 2.5× 的缩放效率提升。在算力边际收益递减的今天，架构效率是核心竞争力。
$0.30 vs $3.00 的输入定价差距高达 10 倍。Mooncake 的分离式推理架构在编码场景中实现 90%+ 缓存命中，这让 K3 的实际使用成本远低于标价。