寒武纪完成DeepSeek-V4全系列Day0适配并开源优化代码
寒武纪宣布基于vLLM推理框架完成对DeepSeek-V4全系列的Day0适配,覆盖Flash与Pro两个版本,相关优化代码已开源至GitHub。
海宇数科 · 事件日期 · 更新于 · 约 2 分钟 · 6 次阅读

寒武纪于4月24日宣布,已借助vLLM推理框架完成对深度求索最新开源模型DeepSeek-V4全系列的“Day0”适配。此次适配涉及285B参数的Flash版本和1.6T参数的Pro版本,目标是在模型发布当日即可在寒武纪硬件平台上稳定运行,相关优化代码已开源至GitHub社区。
围绕DeepSeek-V4特有的稀疏注意力与压缩结构,寒武纪使用自研向量融合算子库Torch-MLU-Ops对Compressor等核心模块实施专项加速。团队以BangC高性能编程语言编写了稀疏Attention、GroupGemm等热点算子的优化内核,并在vLLM框架中支持TP/PP/SP/DP/EP五维混合并行策略、低精度量化及PD分离部署。据称,这些手段在满足延迟约束的同时提升了端到端推理的词元吞吐能力。
在硬件层面,寒武纪针对MLU的访存与排序加速特性进行挖掘,以应对DeepSeek-V4的复杂索引结构。借助高互联带宽与低延迟通信,方案力求降低Prefill与Decode场景下的通信损耗,从而提高推理利用率。
有分析认为,DeepSeek-V4具备百万字(1M)超长上下文和较强的逻辑推理性能,对底层算力架构提出较高要求。寒武纪在模型发布首日完成适配,被视作国产算力平台承载超大规模、复杂结构模型的一次展示,也反映出国产AI产业链在软硬协同层面的进展。
