近期,X平台上围绕字节跳动Seed团队的一场讨论引发行业关注。爆料者指出,Seed团队拥有优质的人才储备和充足的算力资源,但大语言模型的研发进展却不够快,问题根源不在技术限制,而在于组织机制——字节长期推行的赛马机制与大模型研发所需的全局协同模式存在结构性冲突。
大模型预训练本质上是类似精密重工业的流水线工程。从分词过滤、数据配比,到千卡乃至万卡集群的通信调优,每个环节都需要严丝合缝的全局协同。这一过程要求高度集权的指挥部统一调度GPU资源、统一清洗数十万亿Token、统一对齐底层基础设施架构。任何细微的数据配比错误或集群网络故障,都可能导致耗时数月、耗资数千万的训练彻底崩溃。而赛马机制强调小步快跑、资源隔离与团队竞争,将其套用于超大集群研发,直接导致本应集中调度的算力池被拆分为各自为战的资源孤岛。
爆料提到,字节内部资源囤积已成常态。已抢到算力的团队即便闲置也不愿共享,团队之间信息不透明、沟通戒备,甚至互相藏匿关键代码与数据。类似问题并非字节独有,爆料者称谷歌内部研发Gemini的团队抱怨缺卡,而广告团队却掌握大量GPU资源。该说法目前仅见于爆料转述,尚无独立信源交叉印证,但其指向的部门壁垒与本位主义,确实构成大模型时代的高昂沉没成本。
考核体系同样构成制约。大模型研发需要大量枯燥的数据清洗与通信调优工作,但在大厂通行的OKR考核下,这类决定模型下限的基础工作难以转化为汇报材料与顶会论文。研发人员为完成考核,倾向选择更易出成果的架构创新,基础性工作则面临无人承担的困境。此前引发关注的字节Seed团队训练环境破坏事件,公开报道显示为一名前实习生在训练环境中篡改底层代码、随机终止训练进程并埋设后门,团队在数月排查中相互指责。这一事件被视为极端内卷与组织割裂的产物。
另有评论指出,字节拥有较多资源,但缺乏真正意义上的研究团队。其技术产出多集中于局部优化的工程成果,而非底层范式突破。公开报道显示,字节此后已推动Seed团队组织收敛,并取消了Seed Edge项目的季度OKR和半年考核,从侧面说明旧有的赛马机制与短周期考核方式已难以为继。对大模型时代的传统巨头而言,如何重建算力分配机制与长期导向的考核体系,仍是待解命题。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。