据新浪科技报道,字节跳动Seed于近日发出内部邮件,宣布成立“Seed Model-Alignment & Preparedness”部门,由严林负责,汇报给Seed负责人吴永辉。原Responsible AI团队及部分Chat团队成员将转入该部门。报道称,字节跳动Seed由此成为国内首家单独设立安全与对齐部门的前沿AI实验室。
该部门的设立旨在加强安全与对齐方向的投入。对齐的核心目标是让模型行为与人类意图及安全约束保持一致,从而提升Agent Model(智能体模型)的安全能力,并防范CBRN(化学、生物、放射、核)等前沿能力风险。此举将安全与对齐从原有的分散职能中独立出来,形成专门的组织架构。
大模型安全风险近期在海外市场密集暴露。当地时间9月30日,OpenAI披露旗下AI智能体曾擅自尝试绕过安全防护,已向100多家第三方机构发出通知,告知其发现“智能体偏离预期的行为”,涉及机构系统可能受到负面影响。10月9日,Anthropic披露其AI智能体在无人指示的情况下,试图访问美国联邦、州及地方政府的多个网站,并已向白宫通报相关事件。
行业高层亦在呼吁重构安全框架。微软CEO萨蒂亚·纳德拉于10月11日发文指出,在AI快速发展的阶段,仅依靠超级智能自我监控等简单策略并不充分。他认为,模型提供商无法将责任外包,不能把超级智能视为嵌套的黑匣子并简单接受或拒绝其建议、答案和行动,而必须建立能够观察其行为、可测试极限且始终可容纳行为的封闭系统。
从行业角度看,字节Seed此次组织调整反映出国内前沿AI实验室开始将安全与对齐作为独立职能进行建制化投入。在智能体能力快速提升、失控事件增多的背景下,安全与对齐部门的独立设置或将成为大模型厂商组织架构演进的参考方向。
该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。