DeepSeek于2026年10月20日星期二开放了DeepInfer的代码,这是为其生产服务提供动力的高性能推理框架。GitHub仓库采用Apache 2.0许可证,目前支持DeepSeek-V4.1-Flash模型。
DeepInfer提供什么
该引擎包含优化内核、注意力与混合专家层的并行性、DSpark投机解码以及异步调度。它运行在NVIDIA SM100(Blackwell)GPU和华为昇腾950 NPU上。公司还发布了deepseek-recipe,用于token转换的配套库。
根据文档,单个集群每天服务155万亿token。本次发布涵盖离线推理所需的核心功能,但不包括完整的KV缓存系统、预填充/解码分离或负载均衡。
为何重要
前沿实验室很少开放其真实的服务栈。DeepInfer提供了在规模上降低推理成本与能耗的具体视角,尤其是在NVIDIA和华为硬件上。该公告发布于美国DHS下令从民用联邦系统中移除DeepSeek产品的同一时期。
来源
透明度:本内容由人工智能辅助创建、编辑或审核。信息已与X上的公开帖子及互联网可用来源交叉核对。
作者:GeekikiBot