大模型领域长期流传“参数越多，模型越强”的说法。智谱创始人唐杰近日在X平台发布长文《Thoughts About Scaling Law》，对这一观点提出质疑。文章指出，参数量不能单独决定模型能力，数据规模、算力分配和推理部署条件缺一不可。行业评价模型的标尺，正在从“数参数”切换到“算算力”。这一判断牵动整个产业对模型能力评估方式的重新审视。
过去几年，大模型公司普遍将参数量作为核心宣传口径，参数量从1750亿、5300亿到上万亿不断刷新。但早在2021年，一项标志性实验已为“参数失灵”埋下伏笔。2021年1月，Google Brain团队发表论文《Switch Transformers: Scaling to Trillion Parameter Models with Simple and Efficient Sparsity》，采用稀疏激活的混合专家架构（MoE）训练出1.6万亿参数的Switch-C模型。该模型包含2048个专家，权重文件达3.1TB，是当时规模最大的语言模型。但1.6万亿是“总参数”，并非每次调用都会激活的参数。Switch Transformer的门控网络每次只将输入路由给一个专家，一次前向传播实际激活的参数仅占总数的极小比例。这是MoE架构的核心设计，它将“知识仓库容量”与“一次能调动的算力”分离。
实验效果明显。Switch-C的预训练速度比谷歌上一代最大密集模型T5-XXL（110亿参数）快4倍，训练时间仅为后者的四分之一。更小的Switch-Base对T5-Base实现7倍预训练加速。但在相同计算量（FLOPs）对照下，Switch-Base在SuperGLUE上比T5-Base高出4.4分，在Winogrande上高出6.7分，在闭卷TriviaQA上高出6.2分；而在ARC Challenge这类多步推理任务上，Switch-Base以32.8分输给T5-Base的35.5分，落后2.7分。这一结果表明，扩大总参数换来的是“记住更多”，而非“想得更深”。参数量的膨胀对不同任务的作用存在错位。
要理解这轮错位，需分清总参数、激活参数与FLOPs三个概念。总参数量相当于图书馆的藏书总量，决定模型能装下多少知识，是容量上限。激活参数量是本次阅读真正翻开的书，在密集模型中总参数与激活参数一致，在MoE架构下激活参数可能只有总参数的百分之几。FLOPs衡量每次“思考”实际消耗的浮点运算次数，是能力与成本的真实标尺。唐杰在文中以安全场景举例：模型记住更多CVE漏洞只能说明它见过更多案例，但面对新漏洞，需要从异常代码一路追到触发条件，再设计验证方法和利用路径，连续完成二十步推理且不丢失线索，这种能力不在总参数量中。
行业对Scaling Law的认识经历了迭代过程。2020年，OpenAI的Kaplan团队得出结论，参数规模增长应快于数据增长，比例约为2.7比1。该结论推动GPT-3、Gopher、MT-NLG等超大规模模型涌现，万亿参数一度被视为通往强智能的必经之路。唐杰复盘指出，早期Scaling Law的拟合误差会随算力量级提升不断放大，模型越大，参数与数据之间的资源错配越严重。2022年，DeepMind的Hoffmann团队对400多个模型重新实验，得出最优配比应接近每参数20个Token，即Chinchilla Scaling Law。一个700亿参数、以1.4万亿Token训练的Chinchilla，在绝大多数评测任务上超过1750亿参数的GPT-3、1780亿的Jurassic-1、5300亿的MT-NLG和2800亿的Gopher，MMLU平均准确率达67.5％。这一结果让行业重新思考方向，参数并非堆得越多越好，而是要与数据配平。
唐杰进一步指出，Chinchilla给出的答案并非终点。它优化的是“训练一次、评测一次”的模型，而当前主流模型每天可能被调用数十亿次，推理成本在全生命周期远超一次性训练成本。将推理成本纳入目标函数后，最优解向“更小模型、训练更久”的方向漂移。他以Llama-2-7B和Gemma-2-9B为例，两者的每参数Token数分别约为290和889，远超Chinchilla时代的20，是刻意“过训练”的结果。2025年Roberts等人的研究显示，最优每参数Token数并非固定常数，而是随任务变化：记忆类任务更依赖参数规模，推理类任务更依赖数据量；在固定每参数Token数条件下，继续扩大总参数反而降低推理能力，激活更多专家才能稳定提升推理表现。
当前产业界的宣传口径仍停留在第一轮认识。无论国内还是海外，混合专家模型的发布会几乎只报总参数量，但这类数字在MoE架构下已失真。总参数1.6万亿的Switch-C每次实际激活的专家极为有限，市面上号称数千亿参数的MoE模型，实际一次推理调动的参数可能只有几十分之一。唐杰总结称，FLOPs是智能，参数是知识，前者决定模型“能想多深”，后者决定模型“知道多少”，两者不在同一坐标系。行业从万亿参数一路试错后折返，最优Scaling的答案仍在探索中，但评估模型能力的维度已不再局限于参数规模这一单一指标。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
