字节AI慢下来,张一鸣拒绝蒸馏,数据飞轮能再造一个奇迹吗?
张一鸣罕见露面,就扔下一句狠话:字节不把蒸馏当捷径。这话说给谁听的?说给内部Seed团队,也说给整个躁动的国内AI圈。话音未落,字节新成立一级部门”AI数据与安全”,整合超千人,跟Seed、Flow平起平坐。更狠的是,据传字节在讨论训练超5万亿参数的模型,这要是落地,就是国内已知最大。豆包商业化也没闲着,三档包月上线、生活服务抽佣、飞书团队并入豆包猛攻桌面Agent。一套组合拳下来,字节AI的叙事从”追赶”变成了”重构”。
往好听了说,字节在坚持长期主义,拒绝用别人的成果给自己贴金。往坏了说,字节在赌一条更慢、更贵、更不确定的路。蒸馏这事儿,业内心照不宣,DeepSeek R1自己都发了蒸馏版本,Anthropic指控DeepSeek、Kimi、MiniMax工业级蒸馏Claude,人家也没正面回应。但字节偏要拧着来,2023年就禁止GPT数据入训练集,今年Kimi K3逼近闭源旗舰,Seed内部倾向蒸馏的声音更大,张一鸣直接拍板:不接受。会后政策落地,禁止蒸馏K3等开放权重模型,还要追溯排查。就问你,这决心够不够硬?
但字节的底气不在”不做什么”,而在”能做什么”。数据,才是字节最擅长的牌。过去十年,今日头条靠算法推荐杀出重围,靠的就是数据飞轮。现在全球用户每天在字节系平台产生海量行为数据,图文、视频、直播、互动,这些不是普通语料,是跨模态的富矿。行业趋势也印证了这点,EpochAI测算,高质量语言数据可能在2026年就枯竭,Anthropic今年给RL数据拨了超10亿美元,OpenAI数据开销约10亿,2030年预计80亿。字节成立”AI数据与安全”部门,整合千人团队,数据预算超千万美元且可随时追加,这是把数据当战略核武器来打。
拒绝蒸馏,本质是拒绝复制别人的编码地基。字节的核心战场是原生多模态,要从零构建对物理世界的感知,建立文本、图像、视频、音频的深层对齐。如果蒸馏别人的模型,就继承了别人的天花板。牛津、剑桥的研究登上《Nature》封面,AI用AI生成的数据训练,尾部信息会不可逆退化。字节不想做第二个谁,只想做第一个自己。慢,是为了更快地到达别人到不了的地方。大力出奇迹,这次出的是数据之力,方向变了,但字节的狠劲儿没变。就问你,这局棋,敢不敢跟?
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。