天数智芯天垓300实测对标H200,国产GPU竞争转向系统效率与软件适配

从性能接近到客户采购,再到持续扩容,中间仍隔着系统效率、软件适配和稳定交付。

在近日举行的天数智芯媒体开放日上,该公司披露了最新一代通用GPU天垓300与英伟达H200的实机对比测试结果。第三方测试数据显示,在典型PD分离部署下,天垓300折算单卡端到端吞吐达到H200的1.05倍。这一结果表明,国产通用GPU在特定高端推理负载中已具备与H200直接竞争的性能基础。

此次披露的测试覆盖四大主流模型、三类场景。其中,在GLM-5.3的64K长上下文场景下,保障同等用户体验时,天垓300的MoE吞吐达到H200的1.15倍;在8K至128K长上下文的Agent场景中,首字延迟较H200降低约10%至30%。天数智芯方面表示,性能领先的关键在于针对实际负载进行了架构优化。基于天枢架构的天垓300单卡显存容量达144GB,通过Tensor Core与Vector Core并行处理Attention中的矩阵运算和向量操作,并针对MoE中的小规模矩阵、低精度计算与通信协同进行优化,减少计算环节之间的等待。

在推理需求催生专用芯片的背景下,天数智芯展示了AFD分离方案,在Prefill与Decode分离的基础上进一步拆分Decode阶段的Attention与FFN:天垓300承担Prefill全流程计算及Decode中的Attention,合作厂商的XPU承担FFN专家网络计算。该方案在所展示的场景中使Decode推理延迟降低60%。天数智芯AI与加速计算负责人单天逸表示,未来的AI算力系统不一定由一种芯片包打天下,关键在于如何将它们高效组织起来。

软件适配是国产GPU从性能展示走向商业化的另一关键环节。据天数智芯介绍,其已服务380多个客户、覆盖30多个行业,客户应用迁移通常在小时以内,性能优化则可能需要数天至一周。为此,其软件栈引入Agent与Skills,将经过验证的步骤、判断方法和验收要求组织为可复用流程。在完整模型服务部署案例中,从环境准备到模型正常提供服务的时间由约一小时缩短至约20分钟。天数智芯副总裁石加圣强调,编译器、运行时、算法库和性能工具仍是技术底座。

除云端产品外,天数智芯此次还展示了彤央端侧产品TY1200,提供300 TOPS算力,并将英伟达Thor T5000作为实测对比对象。测试结果显示,在Qwen3.8-27B、Qwen3.6-35B-A3B等大语言模型中,TY1200性能达到Thor T5000的1.2倍;在英伟达开源世界基础模型Cosmos-R2-8B测试中达到1.8倍。天数智芯透露,端侧600T算力的下一代产品已在推进中。

从峰值算力竞争到系统效率、软件适配与实际交付的比拼,国产GPU的竞争维度正在发生变化。对客户而言,采购决策的依据逐渐从参数表转向同等响应要求下系统能承接多少请求、持续运行表现如何,以及设备、电力和运维成本的综合权衡。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
InfoQ发布2026年AI、机器学习与数据工程趋势报告
上一篇 6小时前
Sierra Club报告称AI算力扩张或推高美国电力碳排放42%,抵消15年减排成
下一篇 5小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部