Anthropic上市首日遭前研究员抗议,考克森呼吁全面禁止AI递归自我改进

考克森在演讲中呼吁 Anthropic 游说政府,并与其他企业合作,推动全面禁止递归自我改进。

当地时间11月19日,人工智能公司Anthropic股票首次上市交易当天,其前研究员雅各布·考克森与数十名抗议者聚集在Anthropic旧金山总部外,要求禁止AI递归自我改进技术。考克森在接受采访时表示,股票交易本身并不重要,关键在于必须阻止递归自我改进。所谓递归自我改进,指让先进AI系统参与训练下一代AI,从而推动AI能力持续提升。

抗议现场,参与者举着标语并高喊口号。考克森、OpenAI前研究员丹尼尔·科科塔伊洛以及YouTube博主罗布·迈尔斯先后发表演讲,随后赶到的Stop AI组织成员封堵了办公楼入口。考克森今年9月因担忧AI发展从Anthropic离职,此后在美国引发了对AI技术风险的广泛讨论。此次抗议的时间点选择在公司上市首日,显示出AI安全议题正与资本市场产生直接碰撞。

考克森在演讲中呼吁Anthropic游说政府,并与其他企业合作,推动全面禁止递归自我改进。他表示,到了当前阶段,企业本身已成为问题的一部分,2027年全球只有少数几个地方能够实现递归自我改进,而Anthropic总部所在地正是其中之一。科科塔伊洛则提到,私下里经常听到AI研究人员表达对技术风险的担忧,并形容让AI自主训练下一代模型是漫画中疯狂科学家式超级反派才会做的事。

AI安全研究机构METR近期发布的独立报告发现,AI正在帮助Anthropic加快研发进度。Anthropic也在IPO招股说明书中承认,让AI在缺乏监督的情况下完全自主设计下一代模型并不安全,目前正在考虑修改政策,确保前沿AI模型的开发仍由人类掌控。不过考克森认为,仅靠企业层面的政策调整并不足够,需要更严格的外部约束。

Anthropic由前OpenAI研究人员于2021年创立,以AI安全为核心定位,旗下拥有Claude系列大模型。此次IPO使其成为少数登陆资本市场的头部大模型公司之一,上市首日即面临安全活动人士的公开施压,反映出AI企业在商业化与安全治理之间的张力正在加剧。随着前沿模型能力提升,递归自我改进是否应被纳入监管禁令,或将成为AI政策讨论的下一个焦点。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

赞 (0)
腾讯三季度AI投入致经营利润减少152亿元,WorkBuddy年化收入超5亿美元、小微日活达3000万
上一篇 12小时前
AMD XDNA 2 NPU率先适配Unsloth Desktop,支持超百款智能体本地运行
下一篇 11小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部