Anthropic发布AI研发自动化指数:Claude已主导26%内部AI研发工

截至2026年8月,Claude未在任何被测量的AI研发工作中实现“完全自主运行”,但已经“主导”Anthropic约26%的AI研发工作,同时处于“AI协作”及更高等级的工作占比已经超过90%。

Anthropic于9月18日发布了一套用于衡量前沿AI实验室研发进度的方法体系,并首次公开公司内部的阶段性数据。该体系主要关注三项指标:AI参与AI研发的程度、AI智能体的监督情况,以及算力在AI研发与安全研究之间的分配。Anthropic表示,随着AI能力提升,AI正在越来越多地参与下一代AI系统的研发,公司希望通过公开这些指标,让公众、第三方机构和政府更直观地了解前沿AI研发的推进速度。

在AI参与AI研发方面,Anthropic提出了“Anthropic研发自动化指数”,用于衡量Claude参与公司AI研发工作的程度。该指标采用Epoch AI提出的自动化等级体系,从AL0到AL5,分别对应没有AI参与、AI辅助、AI协作、AI主导以及完全自主运行。这一分级方式类似于汽车自动驾驶的评判等级,其中AL5指AI完全自主运行、无需人类介入,AL4指AI可依据高层提示完成大部分任务、人类只负责监督。

截至2026年8月,Claude未在任何被测量的AI研发工作中实现“完全自主运行”,但已经“主导”Anthropic约26%的AI研发工作,同时处于“AI协作”及更高等级的工作占比已经超过90%。Anthropic披露,这一比例在2026年2月还不到1%。公司认为,这类指标有助于观察AI研发自动化程度是否持续提高,以及距离“递归自我改进”——即AI能够完全自主开发下一代AI——还有多远。

为建立这一指标,Anthropic从2026年7月的内部工作记录、Slack及其他文档中抽样整理出约1.5万个模型研发任务,并将其归纳为542个不同层级的任务节点,其中378个属于最细分的任务类别。随后由Claude研究这些任务的执行方式及AI参与程度,并由独立的Claude评估模型进行自动化等级判断。

在智能体监督方面,Anthropic采用了实时监控与事后监控两套系统。实时监控系统会在智能体执行操作前检查行为,并在发现危险操作时进行拦截或调整。Anthropic对2026年8月超过10亿次智能体决策进行分析后发现,约0.002%的操作被该系统拦截,相当于约每4.7万次操作出现1次拦截。事后监控系统则分析智能体已经完成的操作,每周约标记10万份对话记录进行进一步检查,其中优先级最高的约50份会升级至人工审核。此外,约千分之一至千分之二的智能体活动会被标记为需要进一步审查。

在算力分配方面,Anthropic统计了2026年7月13日至7月20日期间的算力使用情况。数据显示,该公司用于AI研发的算力中约6%投入安全研究;如果仅统计基于AI的AI研发工作,其安全研究算力占比约12%。Anthropic强调,上述算力比例是较为保守的估计,因为同时促进模型能力和安全性的工作没有被计入安全研究,而且该统计也没有计算用于安全分类器的另一部分算力。公司同时指出,安全研究通常并不需要像前沿模型训练那样消耗大量算力,因此算力占比不能直接代表安全工作的整体投入程度。

Anthropic CEO达里奥·阿莫代伊曾呼吁协调放缓前沿AI发展,若出现协调,相关数字预计会变化。公司称,这些指标目前仍属于原型测量体系,跨实验室比较还面临统一方法和独立验证等问题。Anthropic计划引入来自多个组织的独立第三方评估人员,让其获得与内部风险评估团队相近的流程、系统和数据访问权限,以验证安全实践并持续监测相关指标。公司表示,公布这些测量是为了让公众、第三方和政府更好了解前沿实验室内部的AI发展速度,并希望继续发布相关数据。

从行业角度看,Anthropic此次公开的自动化指数提供了一种可量化的框架,用于追踪AI参与自身研发的进展。随着前沿模型能力持续提升,AI研发自动化程度或将成为衡量实验室竞争力和安全实践的重要参考维度,而跨实验室的统一评估标准与独立验证机制仍是该领域亟待解决的问题。

该文观点仅代表作者本人,企服科学平台仅提供信息存储空间服务。

(0)
PrismML推出微型大模型,探索端侧AI新路径
上一篇 9小时前
微软承认Defender防病毒更新存在误报,多版本Windows显示”已关闭”提示
下一篇 9小时前

相关推荐

发表回复

登录后才能评论
分享本页
返回顶部