寒武纪完成商汤SenseNova Loop-9B Day 0适配,打通MLU平台循环计算推理链路

寒武纪采用静态展开方案,将循环计算转换为56个顺序执行的层,使模型能够复用vLLM标准调度和KV cache机制。

11月18日,寒武纪宣布已完成对商汤科技前一日晚间发布的SenseNova Loop-9B模型的Day 0适配。基于vllm_mlu推理框架,寒武纪打通了该模型在MLU平台上的完整推理链路,适配工作主要围绕Loop循环结构、MLU算子适配与mHC路由性能优化三个方向展开。

SenseNova Loop-9B是商汤在循环计算架构上的新尝试。该模型以约9B参数规模为基础,通过Loop结构复用模型层的参数,并结合流形约束超连接(mHC),在有限参数下扩展计算深度,面向复杂推理、代码生成、工具调用及多模态任务,重点优化模型在Agent、代码与数据分析场景中的表现。按照官方数据,模型经4bit量化后权重仅约4.9GB,部署显存需求低至10GB以内,可显著拓宽可部署的硬件范围,降低本地与私有化部署门槛。

Loop循环结构是本次适配的核心技术点。该模型将32个物理解码层通过循环执行共享中间层,扩展为56次层计算。为兼容vLLM现有的模型执行与调度机制,寒武纪采用静态展开方案,将循环计算转换为56个顺序执行的层,使模型得以复用vLLM标准调度与KV cache机制。在实现过程中,不同执行槽位的循环层共享同一份权重存储,显存占用与32层模型保持一致。

在算子层面,针对模型中的Attention、Linear Attention和MLP等核心计算模块,寒武纪将其替换为vllm_mlu中已有的Qwen3-Next系列MLU算子实现,通过复用现有算子能力快速完成适配。多模态部分则复用Qwen3.5-VL的MLUQwen3_VisionTransformer与多模态Processor,实现图像输入处理及视觉特征提取,打通文本与图像输入场景下的推理链路。

mHC路由计算是循环计算中的重要组成部分,其双流信息路由涉及归一化及Sinkhorn迭代计算,对算子执行效率提出较高要求。寒武纪对此进行了专项优化:一方面通过TMO融合接口实现归一化计算,减少算子执行开销;另一方面使用CNAgent Triton Skill自动生成Triton融合算子,将Sinkhorn计算整合为单个Triton Kernel,降低多次Kernel Launch带来的调度开销。

Day 0适配指芯片或推理框架厂商在新模型发布当日即完成兼容支持,已成为衡量AI基础设施厂商工程响应能力的一项指标。对商汤而言,新模型在发布次日即获得国产算力平台的推理支持,有助于其循环计算架构在私有化部署场景中更快落地;对寒武纪而言,此次适配延续了其在vllm_mlu框架下对主流新模型的快速跟进节奏,进一步扩展了MLU平台可承载的模型类型。随着循环计算、稀疏化等新型架构不断出现,模型与算力平台之间的协同适配效率,将直接影响大模型在实际业务场景中的部署成本与迭代速度。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
英伟达设立董事会常设委员会,监管国家安全与出口管制合规
上一篇 4小时前
SCRM进化,TOB销售救命稻草?
下一篇 2021年8月12日 上午11:54

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部