字节跳动明确拒绝模型蒸馏,成立千余人AI数据与安全部门强化自研路线

只有颠覆行业已有的经验,才能走出属于自己的赛道,这是字节从打造第一款产品就学会的经验,在AI大模型领域更是如此。

字节跳动创始人张一鸣在7月底的Seed全员会上罕见现身,明确表示“字节跳动不会把蒸馏当作提升AI模型能力的捷径,即便Seed的模型能力暂时落后于国内主要的竞争对手”。随后,字节CEO梁汝波在8月5日的全员会上进一步定调:“字节大语言模型会坚定自研,做好基本功,接受短期落后,坚持优化长期,最重要的是动作不要变形。”

在明确技术路线的同时,字节跳动正加速组织架构调整。据36氪报道,公司新成立一级部门“AI数据与安全”,整合超千人的数据团队,与Seed、Flow、抖音等部门平行。该部门前身之一是由TikTok创始团队成员傅越成立的数据团队Global Data,核心职能是为字节所有大模型提供跨模态数据服务。另据《晚点LatePost》报道,字节正在讨论训练一个参数规模超5万亿的模型,若落地将成为国内已知参数规模最大的模型。

模型蒸馏是指用更强大的前沿模型生成输出来训练自有模型,是一种相对快速的能力提升方式。在国内AI圈,蒸馏几乎成为常规操作,但字节对此始终保持警惕。早在2023年,模型团队内部就明确不得将GPT生成数据加入训练数据集;2025年初DeepSeek R1发布后,Seed内部曾讨论是否采用蒸馏方式引入美国头部模型生成结果,最终被管理层否决。据36氪报道,Seed内部已出台新政策,明确禁止蒸馏Kimi K3等开放权重模型,并追溯排查疑似蒸馏行为。

字节选择“拒绝蒸馏”与其自身基因密切相关。从今日头条时期起,字节便依靠算法推荐技术走出区别于门户的差异化路线。在AI大模型领域,字节的核心战场是原生多模态,要求模型从零构建对物理世界的多维度感知。如果选择蒸馏,就相当于继承别人的编码地基,将失去从零定义多模态模型规则的能力。此外,2024年牛津、剑桥等机构发表在《Nature》上的研究指出,模型反复用AI生成数据训练会导致能力不可逆退化。

在数据层面,字节正加大投入。据《智能涌现》报道,字节2026年数据预算已超千万美元级别,且处于“可随时追加预算”状态。整个AI行业正经历结构性转变,算法架构带来的能力提升趋缓,数据逐渐成为决定模型能力上限的变量。据EpochAI测算,高质量语言数据枯竭可能提前至2026年。而字节过去十年积累的数据飞轮——全球用户每天产生的海量图文、视频和互动数据——正是其构建自研模型差异化优势的核心资产。

从明确拒绝蒸馏到成立千余人数据团队,字节的AI战略正从“追赶”转向“自建”。更大的模型参数、更完整的数据闭环,以及豆包商业化加速(68元、200元、500元三档包月上线,生活服务订单开始抽佣,飞书产品团队与豆包合并),表明字节正在尝试讲一个更慢但更具想象力的故事。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

(0)
英特尔高管放话:PC市场两极分化,未来高低端平台可能分道扬镳
上一篇 17小时前
黑客大会刚散场,达美航班万米高空上演恶意Wi-Fi钓鱼,FBI已经盯上了
下一篇 17小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部