高通于当地时间11月17日宣布,携手AI私有云企业Cirrascale向部分客户开放Dragonfly AI200推理加速器的评估。客户可通过云环境测试其AI工作负载在该芯片上的实际表现,这标志着高通在数据中心AI推理市场的布局进入客户验证阶段。
Dragonfly AI200是高通推出的首款机架级人工智能解决方案。单卡配备768GB LPDDR5X内存,支持PCIe Gen6纵向扩展与RoCE横向扩展。每个140kW液冷ORv3机架由56张加速卡组成,总内存容量达43TB,内存带宽为0.414 PB/s。高通方面表示,该配置可在单一机架中运行10T级超大模型的推理任务,并提供更低的总持有成本。
此次与Cirrascale的合作,为高通提供了面向客户的私有云测试环境。Cirrascale作为AI私有云服务商,其基础设施可承载客户对Dragonfly AI200的评估需求,使客户在不自建机房的情况下验证该加速器在推理场景中的性能与能效表现。这一模式有助于高通在正式规模化出货前收集客户反馈,并降低客户的试用门槛。
从行业角度看,AI推理需求正随着大模型应用的普及而快速增长,数据中心加速器市场的竞争焦点也从训练逐步向推理延伸。高通以机架级方案切入,强调大内存容量与总持有成本优势,目标指向需要运行超大模型推理的企业客户。Dragonfly AI200的客户评估进展,将影响其在AI基础设施市场中的实际落地节奏。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。