商汤科技于10月30日宣布开源商汤日日新SenseNova Loop-9B-Preview。该模型采用Looped Transformer架构,通过引入循环计算扩展模型的有效计算深度,官方称其在仅9B参数规模下可媲美27B参数级别模型。
据官方介绍,SenseNova Loop-9B-Preview以9B尺度模型为基座,保留首尾各4层原始解码器模块,将中间层改造为参数共享的循环计算模块,通过多轮迭代扩展有效计算深度。在此基础上,模型进一步探索循环计算中的信息传递机制,尝试引入mHC(Manifold-Constrained Hyper-Connections),利用多路残差连接与受约束的信息混合,增强特征交互并维持信号传播的稳定性。
评测数据显示,在当前设置下,该模型在代码生成、办公场景和智能体任务等多个方向上均优于其他模型,并在WorkBuddy Bench、RaccoonPPT Bench和AutomationBench等评测中超过Qwen3.5-27B。商汤方面表示,这些结果初步展现了通过扩展有效计算深度提升小参数模型复杂任务处理能力的潜力。
商汤还通过消融实验评估了mHC机制的实际收益。采用该机制后,模型在GPQA Diamond和TeamBench上分别提升4.42分和13.34分,显示出在复杂推理任务及多步骤Agent任务中的应用潜力。官方表示,后续将继续探索DSA、自适应迭代次数等机制,以提升模型的推理效率与任务表现。
当前大模型竞争正从单纯堆叠参数转向架构效率的优化。在算力成本与推理部署压力持续上升的背景下,以循环计算、参数共享等方式提升小模型的单位参数效能,成为厂商探索的重要方向。商汤此次开源的9B模型若能在实际任务中稳定兑现对标27B模型的性能,将为企业在受限算力条件下的模型选型提供新的参考路径。该模型已在GitHub与Hugging Face平台开放下载。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。