字节跳动 Seed 成立独立大模型安全与对齐部门,由严林负责

Seed 团队内部判断,随着模型能力越来越强、应用场景越来越复杂,安全与对齐已不只是风险防范,而是决定模型能否规模化应用的核心能力。

字节跳动 Seed 团队近日通过内部邮件宣布,正式成立“Seed Model-Alignment & Preparedness”部门,由严林负责,直接向 Seed 负责人吴永辉汇报。原 Responsible AI 团队及部分 Chat 团队成员将转入该部门。这是国内前沿 AI 实验室首次将大模型安全与对齐工作从公司整体安全合规体系中独立出来,单独设立一级部门。

据内部信息,新部门的核心目标是加强安全与对齐方向的投入。对齐工作的重点在于让模型行为与人类意图及安全约束保持一致,从而提升 Agent Model(智能体模型)的安全能力,并防范 CBRN(化学、生物、放射、核)等前沿能力风险。Seed 团队判断,随着模型能力增强和应用场景复杂化,安全与对齐已不再局限于风险防范层面,而是决定模型能否规模化应用的关键能力。

该部门的成立背景与当前大模型安全形势直接相关。智能体逃逸引发的网络攻击等安全事件频繁发生,前沿模型在自主性提升的同时,行为偏离和滥用风险也随之增加。此前,国内大模型研究团队的安全与对齐工作大多嵌入公司整体安全合规框架,缺乏独立、专门的组织架构来应对前沿模型特有的安全挑战。

在具体方向上,Seed 安全与对齐部门将围绕模型规范制定、安全评估体系建设、对齐训练、防护系统搭建和风险监控等方向持续投入。同时,该部门计划加强与外部研究机构和第三方评测的公开合作,目标是在安全与授权约束内使前沿模型有效完成任务,并随着模型能力和自主性增强,持续降低滥用及行为偏离风险,建立面向未知风险的全面安全体系。

从行业角度看,字节跳动 Seed 单独设立安全与对齐部门,反映出前沿 AI 实验室在模型能力快速迭代过程中,对安全治理组织化、专业化的需求正在上升。将安全与对齐从合规职能升级为与模型研发并行的核心能力建设,或将成为国内大模型团队组织架构调整的一个参考方向。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
华为公布麒麟9050 Pro架构图,下一代麒麟2027芯片已就绪
上一篇 4小时前
Intent IQ推出BidPulse,以确定性方法测量程序化广告身份标识准确率
下一篇 2小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部