推理加速

• Published on

  2026年7月17日

  Kimi K3：开源前沿智能模型发布

  大语言模型开源推理加速注意力

  Kimi 发布全球首个开源 3T 级模型 Kimi K3，拥有 2.8 万亿参数、原生多模态和百万 token 上下文。在编码、知识工作和推理方面达到前沿水平，并开源完整权重。文章详述其架构创新（KDA、AttnRes、Stable LatentMoE）及在 GPU 编译器、游戏开发、芯片设计等领域的突破性应用。

• Published on

  2026年7月1日

  Qwen 3.6 27B：本地开发最佳选择

  大语言模型开源推理加速本地部署

  Qwen 3.6 27B 模型在本地开发中表现出色，性能接近前沿模型，且能在 Macbook 或 Nvidia RTX 上运行。通过 llama.cpp 部署，速度可达 30+ tokens/s，支持代码生成、创意写作等任务。文章详细介绍了安装、量化选择和性能测试，并讨论了本地模型的前景。

• Published on

  2026年6月28日

  DeepSeek DSpark：推测解码加速大语言模型推理

  大语言模型推理加速开源人工智能

  DeepSeek 发布 DSpark 论文，提出基于推测解码的 LLM 推理加速方法。通过小型草稿模型快速生成候选序列，再由目标模型并行验证，在不改变输出质量的前提下实现 2 到 4 倍加速，为高效部署大模型提供了实用方案，相关代码已开源。

已加载全部