OpenAI、谷歌、微软与Anthropic近日宣布，将共同采用一项新的内容抓取管控标准，允许内容发布方通过统一机制声明其网站内容是否可用于AI模型训练。该标准旨在替代当前发布方需向每家AI企业单独设置规则的繁琐流程，降低内容方在AI数据使用上的管理成本。
据披露，该标准由Anthropic技术负责人Kevin Kelley向互联网工程任务组（IETF）提出，并将集成在网站已有的robots.txt文件中。robots.txt长期以来是网站与网络爬虫之间的基础协议，用于告知爬虫哪些页面允许抓取、哪些应当回避，适用场景涵盖搜索索引、网页归档以及AI模型训练。新标准在此基础上扩展了针对AI训练的偏好声明能力，使发布方能够一次性向多家AI企业统一申明内容使用意愿。
当前的实际状况是，内容发布方若要限制或允许自家内容被用于AI训练，必须逐一向不同AI公司分别提交偏好设置，流程分散且难以统一管理。与此同时，各类AI爬虫持续抓取网页内容并输入模型训练，内容方在版权保护与内容控制方面面临持续压力。新标准试图通过行业通用的信号机制，将分散的单独声明整合为一次配置、多方识别的统一方案。
在落地节奏上，Anthropic已率先采纳该标准，OpenAI计划在未来几个月内落实，谷歌和微软则预计于明年提供支持。Meta发言人Andy Stone表示支持建立此类通用信号，但未明确具体的落地时间表。四家主要AI厂商的联合采用，意味着该标准在提出后较短时间内获得了覆盖主流大模型提供方的初步共识。
从行业影响看，该标准将AI内容抓取的治理重心从企业间的双边协商转向可公开识别的协议层信号。对内容发布方而言，robots.txt是已具备技术基础的既有入口，集成新标准的学习与部署成本相对可控；对AI企业而言，统一信号有助于减少逐家谈判带来的合规摩擦，但也意味着内容方拒绝抓取的态度将更易被批量识别和执行。标准能否在IETF框架下完成规范化，以及后续是否获得更多AI厂商跟进，将决定其在AI数据治理中的实际约束力。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
