- Published on
Kimi K3：开源2.8T参数MoE模型，原生多模态智能体
- Authors
- Name
- nateb2022
- huggingface.co
模型概述
月之暗面于 Hugging Face 正式发布 Kimi K3，这是全球首个开源的 3T 级参数规模混合专家（MoE）模型。Kimi K3 总参数量达 2.8T，但每次推理仅激活 104B 参数，兼顾了规模与效率。模型原生支持文本、图像、视频等多模态输入，并具备 1M token 的超长上下文窗口，为长文档、复杂代码库和持续对话提供了基础。
架构创新
Kimi Delta Attention (KDA) 与 Attention Residuals (AttnRes)
Kimi K3 采用全新的 KDA 注意力机制和 AttnRes 残差连接，显著提升了长序列建模的稳定性与效率。在 93 层 Transformer 中，69 层使用 KDA，24 层使用 Gated MLA，这种混合设计平衡了计算成本与表征能力。
Stable LatentMoE 框架
模型基于改进的 MoE 框架，拥有 896 个专家，每次激活其中 16 个，外加 2 个共享专家。相比前代 Kimi K2，扩展效率提升约 2.5 倍，同时保持了稀疏激活带来的推理速度优势。
原生多模态视觉编码器
视觉部分采用 MoonViT-V2，参数量为 401M，支持高分辨率图像与视频帧的联合理解。所有视觉能力与文本处理在同一模型内完成，无需外部视觉模块。
性能表现
Kimi K3 在多个权威基准测试中展现了强劲实力，尤其在编码、智能体与知识工作领域：
- 推理与知识：GPQA Diamond 得分 93.5，HLE-Full 在工具辅助下达到 56.0，AA-LCR 得分 74.7，均处于业界领先水平。
- 编码能力：DeepSWE 得分 67.5，Terminal-Bench 2.1 得分 88.3，FrontierSWE 得分 81.2，SWE-Marathon 得分 42.0，在多轮代码修改、命令行工具使用方面表现突出。
- 智能体任务：BrowseComp 得分 91.2，DeepSearchQA F1 得分 95.0，Toolathlon-Verified 得分 76.5，MCPMark-Verified 得分 94.5，Agent's Last Exam 得分 28.3，展示了强大的工具调用与自主规划能力。
- 多模态：OmniDocBench 得分 91.1，Video-MME 得分 90.0，MMVU 得分 82.1，在文档理解、视频问答等任务中表现优异。
所有结果均基于最大推理努力（reasoning_effort=max）及温度 1.0 设定，并采用了与竞品一致的评估框架以确保公平。
量化与部署
Kimi K3 从 SFT 阶段开始就采用量化感知训练，最终权重为 MXFP4，激活为 MXFP8，在保证性能的同时大幅降低显存占用。模型支持 vLLM、SGLang 和 TokenSpeed 等推理引擎，并提供了详细的部署指南。
模型使用与开放许可
- API 调用：可通过 platform.kimi.ai 选择
kimi-k3模型，兼容 OpenAI/Anthropic 的 API 格式。 - 推理配置：始终开启思考模式，返回
reasoning_content。可通过reasoning_effort参数（low/high/max）调整思考深度。 - 完整权重开源：在 Kimi K3 License 下开放全部权重，允许研究、部署和二次创新。
总结
Kimi K3 的发布标志着开源大模型迈入 3T 级参数时代。其创新的注意力机制、高效 MoE 架构、原生多模态与超长上下文能力，使其在编码、智能体、知识工作等前沿任务中具备与最强闭源模型竞争的实力。开源的策略将进一步推动 AI 社区的协作与创新。
原标题：Kimi-K3 on HuggingFace。 HN 原始发布时间：2026年7月27日星期一。当前记录为 1313 分、515 条评论。