- Published on
DeepInfer:DeepSeek 开源高性能大规模推理框架
- Authors
- Name
- ggcr
- github.com
开源背景与定位
DeepSeek 近日在 GitHub 上正式开源了 DeepInfer,这是驱动其大规模生产服务的高性能推理框架。从仓库信息来看,该框架此前一直服务于 DeepSeek 的内部生产环境,此次开源的版本提供了离线推理能力,并包含了支撑规模化服务所需的核心功能。首个公开发布的版本主要面向 DeepSeek-V4.1-Flash 模型,采用 Apache License 2.0 协议,目前已在 GitHub 上获得超过 1.8 万颗星标,社区关注度相当高。
核心特性概览
DeepInfer 的定位是高性能、大规模推理,围绕这一目标,项目整合了多条技术路线,涵盖内核优化、调度策略、采样控制等多个层面。官方将其特性划分为几个主要方向:优化的内核与运行时、DSpark 与置信调度验证、解码器 SWA 有界重放、异步调度、批不变量推理、确定性采样以及结构化输出。这些特性相互配合,共同服务于低延迟、高吞吐、可复现的推理场景。
自研优化内核体系
框架集成了 DeepSeek 此前陆续开源的多项底层优化成果,包括 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect 以及定制化的 TileLang 内核。这些内核分别针对注意力计算、矩阵乘法、专家并行通信等关键路径做了深度优化,是框架实现高性能的基础。在并行策略上,DeepInfer 采用了注意力数据并行与均衡上下文并行(Attention DP / balanced CP)的组合,同时结合 MoE 专家并行与 EPLB 负载均衡机制,以应对大规模混合专家模型特有的通信和负载挑战。
DSpark 与置信调度验证
DeepInfer 引入了 DSpark 机制,通过草稿 token 加速解码过程,并利用置信度估计来决定验证的调度时机。日常使用中,可以通过环境变量 DEEPINFER_ENABLE_MTP_VARLEN 控制是否启用这一功能,而 DEEPINFER_USE_NEXTN_DECODE 则用于调节最大草稿长度,默认值为 5。这种基于置信度的验证调度策略,能够在保证生成质量的前提下,有效减少逐 token 解码的开销。
解码器 SWA 有界重放
针对解码器预填充阶段计算量偏大的问题,DeepInfer 实现了 SWA(滑动窗口注意力)有界重放机制,通过仅重放一段有界后缀来降低预填充工作量。对于默认的 V4.1 配置,官方建议设置 DEEPINFER_YOCO_PREFILL_TRUNCATION_MODE=compact,并将 DEEPINFER_YOCO_PREFILL_KEEP_TOKENS 设为 140。需要注意的是,保留的后缀长度必须覆盖 SWA 窗口加上最大回溯长度,才能保证语义信息的完整性。
异步调度与批不变量推理
框架默认启用了异步调度,将 CPU 端的批处理调度与设备端的执行过程重叠起来,实现零开销的批调度器,从而提升整体流水线效率。批不变量推理是一项面向可观测性和调试的特性,开启 DEEPINFER_BATCH_INVARIANT=1(目前仅支持 NVIDIA 平台)后,无论批处理由哪些请求组合而成,模型输出结果都保持一致,这对于线上问题排查和结果比对非常实用。
确定性采样与结构化输出
确定性采样确保在相同输入 token 与相同采样参数下,模型总能产生完全一致的输出。这一特性需要同时设置 DEEPINFER_BATCH_INVARIANT=1 和 DEEPINFER_ENABLE_MTP_VARLEN=0,并在 SamplingParams 中传入固定的 seq_seed,当前同样仅支持 NVIDIA 平台。结构化输出方面,DeepInfer 支持将生成结果约束为正则表达式、JSON Schema 或 EBNF 文法,通过在 SamplingParams 中传递 so_args 参数即可启用,这为函数调用、数据抽取等需要强格式控制的应用场景提供了便利。
硬件支持与运行环境
DeepInfer 目前支持两类加速硬件:NVIDIA SM100 GPU 与华为昇腾 950 NPU,分别对应 NVIDIA 和昇腾两套构建与运行流程。软件层面,系统要求 Linux 操作系统、GCC 13.0 及以上版本以及 Python 3.12 环境。NVIDIA 平台需要安装 CUDA 13,昇腾平台则需要 CANN 9.2。构建前需要先创建并激活一个全新的 Python 3.12 环境,然后通过 DEEPINFER_ACCELERATOR 环境变量指定目标平台(nvidia 或 ascend),最后执行 ./build.sh 完成编译。
离线推理与使用方式
仓库提供了离线推理的示例脚本 examples/offline_inference.py。首次运行时,默认检查点 deepseek-ai/DeepSeek-V4.1-Flash-1017 会被自动下载到 Hugging Face 缓存目录;如果希望从本地加载模型,可以通过设置 DEEPINFER_HF_MODEL_DIR 指向本地路径来跳过下载。整体使用流程延续了主流推理框架的习惯,对于熟悉 vLLM 生态的开发者来说上手成本较低。
性能基准与评测
据项目文档披露,DeepInfer 的预填充(Prefill)性能测试在 4 块 SM100 GPU 上完成,解码(Decode)性能测试则在 64 块 SM100 GPU 上完成,每组测试都限制在单个 scale-up 域内。仓库中提供了 run_sweep.sh 脚本用于复现基准测试,另有独立的 eval 目录存放评测相关说明。这种将复现脚本一并开源的做法,有利于社区验证和对比框架的实际性能表现。
缺失组件与生产化路径
需要特别指出的是,本次开源版本聚焦于离线推理,并未包含搭建完整推理服务所需的全部组件。官方明确列出三项未包含的内容:KV cache 系统、VE/Prefill/Decode 分离架构(不过引擎所需的大部分功能已经实现),以及数据并行副本间的负载均衡。这意味着用户若要在生产环境中部署完整的在线服务,仍需要在此基础上自行补齐上述模块。
技术传承与开源生态
DeepInfer 的技术脉络相当清晰。官方在致谢中说明,该框架最初主要基于 vLLM 构建,并参考了 SGLang 和 TensorRT-LLM 的设计理念。因此,DeepInfer 可以看作是 DeepSeek 在吸收主流开源推理框架优点的基础上,结合自身模型特性与生产实践沉淀出的成果。项目以 Apache 2.0 协议开源,并附带贡献指南(CONTRIBUTING.md),显示出 DeepSeek 希望推动社区共同参与建设的意愿。对于关注大语言模型推理优化和国产硬件适配的开发者来说,DeepInfer 的代码库值得深入研究。
原标题:DeepInfer: High-performance inference framework for DeepSeek models。 HN 原始发布时间:2026年10月20日星期二。当前记录为 2303 分、883 条评论。