商汤开源SenseNova Loop-9B-Preview,以循环计算架构探索小参数模型性能边界

模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在 WorkBuddy Bench、RaccoonPPT Bench 和 AutomationBench 等评测中进一步超过 Qwen3.5-27B。

商汤近日开源日日新 SenseNova Loop-9B-Preview,该模型采用 Looped Transformer 架构,通过引入循环计算扩展模型的有效计算深度,在仅 9B 参数规模下实现与 27B 参数模型相当的性能表现。模型权重已在 GitHub 和 Hugging Face 平台发布。

随着大模型能力持续演进,参数规模不再是提升模型能力的唯一路径。如何在控制参数规模的同时,通过增加有效计算深度释放模型潜力,正成为架构研究的重要方向。循环计算近期成为国内外研究社区的重点攻关方向,但现有探索多停留在学术研究层面,社区缺乏可直接面向日常使用的 Looped Transformer 模型。SenseNova Loop-9B-Preview 的开源填补了这一空白,为社区提供了 9B 级 Looped Transformer 的开源实践。

在架构设计上,该模型以 9B 尺度模型为基座,保留首尾各 4 层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。模型同时引入 mHC(Manifold-Constrained Hyper-Connections)机制,利用多路残差连接与受约束的信息混合增强特征交互,并维持信号传播的稳定性。整体设计旨在控制参数规模的前提下,探索提升模型推理能力的新路径。

评测数据显示,SenseNova Loop-9B-Preview 在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在 WorkBuddy Bench、RaccoonPPT Bench 和 AutomationBench 等评测中超过 Qwen3.5-27B。消融实验进一步评估了 mHC 机制的实际收益,采用该机制后,模型在 GPQA Diamond 和 TeamBench 上分别提升 4.42 分和 13.34 分,展现出在复杂推理任务及多步骤 Agent 任务中的应用潜力。

商汤方面表示,SenseNova Loop-9B-Preview 只是起点。面向下一代 SenseNova,公司将进一步探索 Looped Transformer 在更大模型规模下的 Scaling 潜力、自适应“快慢思考”机制以及参数共享的更多潜能,同时继续研究 DSA、自适应迭代次数等机制,以提升模型的推理效率与任务表现。如何让多轮计算真正转化为模型能力提升,尤其是在信息传递、特征交互和训练稳定性方面,仍是后续需要持续攻关的方向。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
谷歌在轨TPU完成首次AI推理,生成一首俳句
上一篇 3天前
第八届智能驾驶大会在苏州举行,行业讨论从智能驾驶延伸至物理AI
下一篇 3天前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部