DeepSeek开源推理框架DeepInfer,实现对华为昇腾与英伟达芯片对等支持

推理时代到来后,国产芯片在AI基础设施中的角色已经发生变化。

10月20日,DeepSeek宣布开源自研推理框架DeepInfer。该框架的支持名单中同时包含华为昇腾950系列NPU与英伟达SM100(Blackwell架构GPU),两者处于对等的构建选项地位,来自同一代码树。在模型推理过程中,开发者仅通过一个环境变量即可完成在两类硬件之间的切换。

这一技术安排与当前的监管环境形成对照。当地时间10月19日,美国国土安全部公开一份禁令,要求美国相关行政机构停止采购DeepSeek相关产品和服务。在此背景下,DeepInfer对国产芯片与英伟达芯片的对等支持成为技术社区讨论的焦点。

长期以来,国产芯片架构在DeepSeek等国产大模型中多作为次序靠后的补充后端存在。在国产模型与国产芯片的适配过程中,往往需要围绕既有模型和软件框架进行大量移植工作。即使模型能够运行,也不意味着能够达到理想的吞吐量、延迟和稳定性。由于CUDA及其配套工具积累深厚,开发者通常优先选择英伟达平台,其他硬件则需要额外的适配与优化,增加了成本和不稳定性。这种差距不仅来自芯片性能,也来自软件生态的成熟程度。

在DeepInfer框架中,开发者能够在相对统一的软件框架下开展部署和优化。对于目前原生支持的华为与英伟达相关芯片而言,二者间的迁移成本理论上趋于抹平。有创业者在社群讨论中表示,新项目启动时,开发团队不再天然地先假设英伟达、再考虑其他硬件,而是可以在同一套框架下,根据供货、成本、合规或地缘条件做出选择。获得原生支持和更多用例的国产芯片,也有望通过真实的业务部署积累优化经验。

推理场景的技术特征为这一变化提供了基础。云天励飞董事长兼CEO陈宁曾介绍,训练对CUDA的依赖和推理对CUDA的依赖不在一个量级上。英伟达是训练时代的标准制定者,换平台等于重新造轮子。但在推理时代,模型是训练好的要去完成任务的,关键变量变为成本、效率和系统能力,所有参与者实际上站在同一条新的起跑线上。这为新的软件栈和生态体系竞争留下了空间。不少业内人士认为,训练芯片生态壁垒极高,但推理赛道门槛相对较低,国产场景丰富,有利于国产芯片企业的生态突围。

供应端的现状也为国产芯片提供了机会窗口。路透社10月20日报道称,中国互联网大厂近期都在大批量采购英伟达显卡,相关产品虽非AI数据中心专用但仍能满足AI推理需求,英伟达方面面对集中爆发的订单已经难以拿出足够的供给。如果顶尖模型能进一步压低国产芯片适配门槛,后者就有机会在实际部署中获得更多订单。

不过,目前DeepInfer公开的性能基准主要还是基于英伟达GPU,尚无法据此判断昇腾950在相同模型、相同负载下的吞吐量、延迟和能耗是否接近英伟达平台。DeepSeek也在技术报告中说明,DeepInfer此次开放的是离线推理框架,完整生产服务所需的KV Cache管理、负载均衡等部分组件并未全部公开。社交平台X上有科技博主提示,目前虽然代码能在两类硬件上构建和运行,但要证明这种能力足以支撑大规模商业部署,还需要更多实测数据和第三方验证。

竞争态势同样在演变。英伟达于2025年3月开源了推理框架Dynamo,今年3月进行了生产级迭代,旨在配合自家硬件应对大模型推理挑战,其近期战略布局和资源倾斜明显更加重视推理场景。另一方面,国产芯片在训练场景仍在追赶。根据The Information的最新报道,DeepSeek正与华为深度合作,共同设计下一代AI芯片,华为工程师已进驻DeepSeek参与研发,并计划优先供应下一代训练芯片,优化芯片的数据计算与传输能力,帮助DeepSeek未来使用国产芯片训练先进模型,降低对英伟达的依赖。

从DeepSeek在国产生态支持下的降价,到推理框架的对等兼容,再到训练场景降低对英伟达依赖的尝试,国产芯片替代与国产芯模协同的节奏正在加快。推理框架层面的对等支持能否转化为大规模商业部署的实际能力,仍取决于后续的性能验证与生态建设进展。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
微软OneDrive推出Hero Links统一文件共享链接体系
上一篇 3小时前
宇树科技发布H2-X人形机器人,续航提升至8小时并展示高负载作业能力
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部