在CNCC 2026大会上，上海交通大学人工智能学院教授严骏驰分享了其团队在大模型架构方向的两项探索工作：JTok与xHC。两项研究均聚焦同一问题——在Transformer现有框架之上，能否以较低的额外计算代价引入新增容量，并在规模扩大后持续带来训练收益。
严骏驰指出，增加参数、扩展专家数量、投入更多训练数据是大模型提升能力的常见路径，但对算力与数据资源有限的高校团队而言，沿这些方向持续扩大规模并不现实。同时，当前从底层硬件、驱动、算子到上层模型软件的整个生态均围绕Transformer构建，架构改动过大将面临生态适配困难。因此团队选择在现有架构上做有限调整，为工业界后续更大幅度的创新提供前期探索。
JTok的思路是在Transformer主干旁增加一条分支，为每个token配置可学习的向量参数表，按token编号查表取出向量，经归一化与逐维缩放后，以逐元素运算调制前馈网络的残差增量。该方式引入的参数较多，但无需为新增参数执行大规模矩阵乘法，且旁路可与主干并行计算，推理实现较为友好。团队还借鉴混合专家模型思路提出JTok-M，在查表之外加入路由，动态选择部分分支参与计算。
实验覆盖不同规模的稠密模型与MoE模型。结果显示，JTok的损失曲线持续低于底座，JTok-M在两个MoE底座上进一步优于JTok，且差距在训练后期未消失。在规模定律层面，团队采用IsoFLOPs方法比较算力最优前沿，JTok-M的前沿整体下移：同一算力预算下损失稳定降低约2.2％，达到同样损失所需训练算力约为底座的65％，即节省约35％。团队同时说明，这些规模定律目前仍属经验公式，尚不具备完整理论解释。
JTok也存在明显限制。在团队的工程实现中，推理延迟增加约7％，对于大规模商业应用而言代价不小；新增参数表还带来存储与带宽压力，内存与显存占用虽有工程处理，仍有优化空间。
另一项工作xHC（Expanded Hyper-Connections）沿残差流维度扩展容量。标准残差连接为网络增加一条跳过子层的通路，Hyper-Connections在此基础上引入可学习映射并将残差流扩展为多路。团队注意到，此前工作通常采用四路残差流，但为何是四路缺乏系统研究。针对模型规模变大后超连接结构可能出现的训练震荡甚至不收敛问题，mHC通过对映射矩阵施加双随机矩阵约束、以Sinkhorn操作交替归一化行列来改善稳定性。但观察显示，残差流从两路增至四路收益明显，从四路增至八路收益已变小，继续增至十六路、三十二路则开销过高。团队分析，原因一是新增通路中的更新存在强相关性，有效信息维度受限；二是相关映射生成代价随通路数呈立方级增长。
两项工作反映出当前架构创新的共同约束：新增容量能否在规模扩大后保持收益，训练端节省的算力如何与推理延迟、访存开销相权衡，以及系统工程能力对架构验证效果的影响。对于资源有限的团队而言，在成熟生态内做可控的增量改进，正成为一种务实的探索路径。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
