Kimi K3：开源前沿智能模型发布

模型概述

Kimi K3 是 Kimi 公司最新发布的最强模型，拥有 2.8 万亿参数，基于 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 架构构建。它具备原生视觉能力和 100 万 token 上下文窗口，是全球首个开源的 3T 级模型。虽然整体性能仍落后于最强大的闭源模型（如 Claude Fable 5 和 GPT 5.6 Sol），但在评估套件中展现出前沿水平，持续优于其他被测试的模型。

Kimi K3 即日起在 Kimi.com、Kimi Work、Kimi Code 和 Kimi API 上可用。默认使用最大思考努力模式，后续将引入低和高努力模式。完整模型权重将于 2026 年 7 月 27 日发布，技术报告将随权重一同发布。

架构创新

Kimi K3 建立在 Kimi Delta Attention (KDA) 和 Attention Residuals (AttnRes) 之上。KDA 为扩展注意力提供了高效基础，而 AttnRes 则选择性跨深度检索表示，而非均匀累积。两者共同构成了旨在扩展到万亿参数以上的架构骨干。

Kimi K3 使用 Stable LatentMoE，有效激活 896 个专家中的 16 个。在此稀疏度下，路由和优化成为首要挑战。Quantile Balancing 直接从路由器分数分位数推导专家分配，消除了启发式更新和敏感的平衡超参数。Per-Head Muon 扩展了 Muon，通过独立优化注意力头实现更自适应的学习。Sigmoid Tanh Unit (SiTU) 和 Gated MLA 分别改善了激活控制和注意力选择性。这些进步使得在 2.8 万亿参数规模下实现稳定高效的训练成为可能。

Kimi K3 从 SFT 阶段开始应用量化感知训练，使用 MXFP4 权重和 MXFP8 激活以实现广泛的硬件兼容性。为防止专家不平衡在大型专家并行规模下降低吞吐量，引入了一种完全平衡的专家并行训练方法，具有静态形状且关键路径上无主机同步。由于推理效率同样受益于更大的高带宽通信域，建议在 64 个或更多加速器的超节点配置上部署 Kimi K3。

编码能力

Kimi K3 在长周期编码方面表现出色。在最小人工监督下，它能维持长时间的工程会话，导航大型代码仓库，并编排终端工具。Kimi K3 在融合软件工程与视觉推理的任务中也表现出色——它利用截图和视觉信息优化游戏开发、前端和 CAD 工作。

内核优化

在 GPU 内核优化测试中，每个模型在相同沙箱中独立工作，有 24 小时来剖析、重写和基准测试四个任务（涵盖 AttnRes、KDA 和 512 头维度的 MLA 内核），分别在 NVIDIA H200 和另一供应商的 GPGPU 上运行。Kimi K3 与 Fable 5（含回退）竞争激烈，并大幅优于 Opus 4.8、GPT 5.6 Sol 和 GPT 5.5。在 Kimi K3 开发后期，早期版本处理了团队大部分的内核优化工作。

GPU 编译器开发

Kimi K3 从头构建了一个 GPU 编程系统——MiniTriton，这是一个紧凑的类 Triton 编译器，拥有自己的基于 MLIR 的 tile 级 IR 层、优化通道和 PTX 代码生成流水线。在支持的 roofline 基准测试中，MiniTriton 的性能与 Triton 和 torch.compile 相当或更好，在某些工作负载上甚至超过 Triton。除了微基准测试，MiniTriton 还能维持端到端的 nanoGPT 训练，损失曲线紧密跟踪参考值，仅出现微小偏差。这些结果表明 Kimi K3 能够构建一个连贯的端到端编译器——从 DSL 前端、IR 通道到 PTX 代码生成和运行时——而非孤立的核函数。

游戏开发与数字创作

Kimi K3 结合了强大的 3D 推理、编码和视觉能力，将概念、图像和视频转化为完全可玩的交互体验。它实现了真正的“视觉在环”，通过在代码和实时截图之间无缝迭代，即时查看并优化输出。

案例 1：3D 开放世界——Kimi K3 使用 Three.js WebGPU 和 GPU 计算构建了一个完全程序化的浏览器端 3D 探索游戏。它程序化生成环境，同时使用 3D 资产生成工具创建骑手和马匹模型，生成了一个广阔的开放世界，包含森林、木屋村庄、雪山和动态天气。

芯片设计

作为早期概念验证，Kimi K3 设计了一颗芯片，用于运行基于自身架构的 nano 模型。在单次 48 小时自主运行中，K3 使用开源 EDA 工具在 Nangate 45nm 库上构建、优化并验证了芯片。在 4 mm² 内，芯片在 100 MHz 下闭合时序，在仿真中维持超过 8,700 tokens/s 的解码吞吐量，包含 146 万个标准单元、0.277 MB SRAM 和一个带有融合反量化的 INT4 MAC 阵列。

科研编码

Kimi K3 连接科学文献与可执行代码，自主实现、验证和分析复杂的计算研究流程。在一个案例中，Kimi K3 在大约两小时内完成了通常需要经验丰富的研究人员一到两周的工作。为了重现计算天体物理学中的 I–Love–Q 普适关系，它审查并交叉验证了 20 多篇论文，实现了完整的数值流水线，评估了 300 多个状态方程，识别了已发表公式中的不一致，生成了 3,000 多行 Python 代码，并生成了一个交互式 HTML 仪表板用于探索结果。

知识工作

Kimi K3 推进了端到端的知识工作。除了公开基准测试，Kimi K3（最大模式）在内部评估中展现出持续的优势，这些评估源自真实用户-智能体工作流中观察到的重复模式和挑战。这些跨不同生产导向工作流的一致优势反映了 Kimi K3 智能体知识工作能力的广泛提升。

交互式可视化研究

以下是一些 Kimi K3 在 Kimi Work 中生成的示例，涵盖金融咨询和科学研究：

• 案例 1：交互式 42 年 AI ASIC 行业研究网站——一个可深入探索的交互式研究报告：42 年的 ASIC 行业，通过 120 多轮递归自我改进创建。Kimi K3 将证据转化为定制图表、动画图表和交互式视觉叙事。它通过 2,800 多次网络搜索/获取和 1,100 多次终端数据拉取，从 11,000 多页（涵盖 87 份季度报告和 99 份原始 PDF）中提取数据。
• 案例 2：聚变行业研究——一份咨询风格的行业报告，包含交互式可视化——时间线、漏斗图、范围条形图、甘特图和出版质量的幻灯片。
• 案例 3：GWTC-5 引力波分析——使用 20 多个并发子智能体分析 391 个引力波事件，生成 7 个科学可视化、2 个表格和来自 10 多篇论文的文献综述。

Kimi K3 还特别擅长生成信息图风格的演示，例如完全可编辑的热力图和年度报告。

小部件和仪表板

在 Kimi Work 中，引入了两个新功能——小部件和仪表板——使与 Kimi K3 的交互更加可视化和持久化。小部件允许在聊天中直接生成交互式组件，并连接到本地数据或外部插件以实现持续更新。仪表板将您最关心的小部件整合到一个围绕主题、项目或目标组织的持久个性化视图中。

视频编辑

Kimi K3 在动态设计、动画和视频编辑方面表现出色，因为其原生多模态架构在同一模型中理解文本、图像和视频。在一个示例中，K3 创建了一个 3Blue1Brown 风格的自身架构动态图形解说，将技术思想转化为动画图表和过渡。在另一个示例中，Kimi K3 从 56 个源片段编辑了自己的预告视频，处理了片段选择、运动匹配剪辑、帧精确节拍同步、音频处理和多次修订。一个高密度短视频通常需要经验丰富的编辑一到两个工作日，或初学者三到五天。

可用性

• Kimi K3 智能体：从移动应用商店下载或更新最新 Kimi 应用，适用于 iOS、Android 和 HarmonyOS，或访问 kimi.com。
• 使用 Kimi K3 工作：下载最新 Kimi Work 桌面应用（3.1.0 或更高版本），适用于 Windows 和 Apple silicon Mac。
• 使用 Kimi K3 编码：在终端中运行 Kimi Code，并使用 /model 命令选择 Kimi K3。
• 使用 Kimi API 构建：访问 Kimi API 平台并选择 kimi-k3。定价为：缓存命中输入 $0.30/MTok，缓存未命中输入 $3.00/MTok，输出 $15.00/MTok。由 Mooncake 的分离推理架构驱动，官方 Kimi API 实现高缓存命中率。

总结

Kimi K3 作为全球首个开源 3T 级模型，在架构、编码、知识工作和多模态能力上实现了显著突破。其开源策略和创新的注意力机制（KDA、AttnRes）以及高效的 MoE 训练方法，为大规模语言模型的发展提供了新方向。从 GPU 编译器到芯片设计，从游戏开发到科研自动化，Kimi K3 展示了强大的自主智能体能力，有望推动 AI 在更多领域的实际应用。

原标题：Kimi K3: Open Frontier Intelligence。 HN 原始发布时间：2026年7月16日星期四。当前记录为 1205 分、748 条评论。

阅读原文 · 查看 HN 讨论