Cloudflare 于 9 月 15 日宣布推出一项名为“Disallow AI Training”的新设置，允许网站管理员在继续接受搜索引擎爬取的同时，拒绝网站内容被用于 AI 训练。苹果、谷歌和微软已承诺遵守该设置。
根据 Cloudflare 的说明，网站管理员启用该设置后，系统仍会允许同时承担搜索与 AI 训练任务的混合爬虫抓取内容，前提是该爬虫被系统标记为“Accountable”（可问责）。其他以 AI 训练为目的的爬虫将被拦截。官方同时提示，拦截此类爬虫有可能影响网站的搜索排名。
对于现有客户，Cloudflare 表示大多数客户无需进行任何更改。此前在 Training 选项中选择“Block”或“Block on pages with ads”的网站，将自动迁移至“Disallow AI Training”设置。
在配套工具方面，谷歌计划在未来几周推出 Google-Extended 的 URL 层级透明度工具，苹果也在开发自己的 URL 层级工具，微软则计划于 2027 年初支持通过 robots.txt 拒绝 AI 训练。上述举措表明，主流平台正在尝试在搜索索引与 AI 训练之间建立更细粒度的内容授权机制。
随着大模型训练对高质量网页数据的需求持续增长，内容方与 AI 公司之间的授权矛盾日益突出。Cloudflare 此次推出的设置，为网站管理员提供了一种介于完全开放与全面封禁之间的中间选项，即在不牺牲搜索可见性的前提下，对 AI 训练爬虫进行限制。苹果、谷歌和微软的承诺遵守，也为该机制的落地提供了执行层面的支撑。不过，该设置能否有效约束未标记为“Accountable”的爬虫，以及 URL 层级透明度工具的实际效果，仍有待观察。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
