OpenAI与Goodfire启动嵌入式评估合作,此前曾探讨超50亿美元收购

嵌入式评估允许独立专家在较长时间内深入接触实验室内部模型和系统,评估模型对齐情况及安全防护措施的有效性。

11月17日,OpenAI宣布与Apollo Research、METR、Transluce和Goodfire达成合作,启动首阶段嵌入式评估项目(Embedded Assessments),共同开展模型可解释性与安全评估工作。据《The Information》同日报道,OpenAI此前曾探讨以超过50亿美元收购Goodfire的方案,但双方最终未能达成收购协议。

根据Goodfire发布的公告,该公司将派遣可解释性研究人员进驻OpenAI,使用自有可解释性分析平台监测模型训练过程、排查非预期行为,并帮助改善模型对齐与安全性。研究人员将获得OpenAI内部模型和系统的深度访问权限,具体包括训练过程中的内部信号及相关技术资源。

此次合作的重点是模型取证(Model Forensics)。Goodfire将通过分析模型内部计算过程,监测训练期间出现的已知风险和异常行为,帮助OpenAI研究人员发现传统监控手段可能遗漏的问题。相关评估结果主要提供给OpenAI内部研究团队,用于改进模型安全性。Goodfire还表示,随着合作推进,将逐步公开部分研究成果。

OpenAI在公告中表示,嵌入式评估允许独立专家在较长时间内深入接触实验室内部模型和系统,评估模型对齐情况及安全防护措施的有效性。根据不同评估项目的需求,外部评估人员可以接触模型检查点、源代码、训练与评估数据、监控系统、技术文档,以及负责相关工作的研究人员和工程师。

收购谈判方面,据《The Information》报道,OpenAI今年夏季曾多次与Goodfire接触,OpenAI CEO萨姆·奥尔特曼也参与了相关讨论。当时OpenAI正在调查AI模型引发的内部及外部安全事件,希望借助Goodfire的技术更深入地理解模型行为。知情人士称,OpenAI一名高级管理人员曾提出以超过50亿美元收购Goodfire,或采取其他形式的商业合作。若按收购报价计算,其估值将超过Goodfire今年2月融资时公布的12.5亿美元估值的四倍。

不过,双方最终没有达成收购协议。Goodfire管理层认为,保持独立经营并向多家AI开发商销售技术,可能为公司带来更高的长期价值。

《The Information》还提到,Anthropic于2025年向Goodfire投资100万美元,这是Anthropic首次直接投资其他初创公司。Anthropic CEO达里奥·阿莫迪当时表示,这笔投资反映了公司对机制可解释性技术的重视,希望将黑箱神经网络转变为更容易理解和控制的系统。

从行业层面看,此次合作反映出头部AI实验室在模型安全评估上的外部化趋势。随着模型能力提升,传统的内部监控手段难以覆盖全部风险,引入独立第三方进行深度评估正在成为补充机制。而Goodfire拒绝收购、坚持独立向多家AI开发商提供技术的选择,也意味着可解释性工具市场可能形成独立供应商生态,而非被单一实验室整合。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
Bloomreach收购AthenaHQ,将生成式引擎优化纳入客户互动与电商搜索业务
上一篇 1小时前
AI网络安全初创公司Corma成立三个月获1.25亿美元A轮融资,估值达10亿美元
下一篇 1小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部