DeepSeek DSpark：推测解码加速大语言模型推理

背景与动机

大语言模型在文本生成任务中表现出色，但其自回归解码方式导致推理速度较慢，尤其在需要低延迟的场景下成为瓶颈。传统的加速方法如模型量化、剪枝或蒸馏会牺牲模型质量，而推测解码作为一种新兴技术，通过引入小型草稿模型来生成候选 token 序列，再由目标模型并行验证，从而在不改变输出分布的前提下加速推理。

DeepSeek 团队在 DeepSpec 项目中发布了 DSpark 论文，系统性地研究了推测解码在 LLM 推理中的应用，并提出了优化方案。

DSpark 的核心方法

DSpark 基于推测解码框架，主要包含以下关键设计：

• 草稿模型选择：使用轻量级模型（如小参数量的 Transformer）作为草稿模型，其推理速度快但质量较低。草稿模型负责快速生成多个候选 token 序列。

• 并行验证机制：目标模型（即原始大模型）对草稿模型生成的候选序列进行并行验证，接受符合质量要求的 token，拒绝不符合的 token 并回退到目标模型自身生成。

• 动态调整策略：根据当前上下文和草稿模型的置信度，动态调整草稿序列的长度，以平衡加速比和接受率。

论文还提出了针对训练和推理的优化技巧，例如如何高效训练草稿模型使其与目标模型对齐，以及如何利用批处理技术提升验证阶段的吞吐量。

实验与结果

DSpark 在多个标准基准测试上进行了评估，包括文本生成任务（如摘要、翻译、问答）和不同规模的模型（如 7B、13B、70B 参数级别）。主要实验结果如下：

• 加速比：在保持生成质量（如困惑度、BLEU 分数）不变的前提下，DSpark 实现了 2 到 4 倍的推理加速，具体取决于模型大小和任务类型。

• 质量保持：通过严格的接受-拒绝机制，DSpark 确保了输出分布与原始目标模型一致，避免了质量损失。

• 资源开销：草稿模型的额外计算开销较小，整体系统效率提升明显。

意义与展望

DSpark 为 LLM 推理加速提供了一种实用且高效的方案，尤其适用于需要实时响应的应用场景，如聊天机器人、代码补全和交互式写作助手。该方法的优势在于：

• 无需修改目标模型：推测解码是一种后处理技术，可直接应用于现有预训练模型。

• 可扩展性：草稿模型可以独立优化，且支持多种模型架构。

• 开源实现：DeepSeek 将 DSpark 集成到 DeepSpec 开源代码库中，便于社区复现和进一步研究。

未来工作可能包括探索更高效的草稿模型训练方法、自适应序列长度策略，以及将推测解码与其他加速技术（如量化、稀疏计算）结合。

总结

DSpark 论文展示了推测解码在加速 LLM 推理方面的潜力，通过草稿模型与并行验证的巧妙结合，实现了显著的性能提升。这一工作不仅推动了高效 LLM 部署的发展，也为后续研究提供了坚实的基础。对于关注大模型落地和推理优化的开发者与研究者而言，DSpark 是一个值得深入研究的方案。

原标题：DSpark: Speculative decoding accelerates LLM inference [pdf]。 HN 原始发布时间：2026年6月27日星期六。当前记录为 735 分、306 条评论。

阅读原文 · 查看 HN 讨论