Cloudflare本周推出了一项针对AI内容抓取的新机制，旨在让AI公司为其获取的内容向出版商付费。据Cloudflare披露的数据，AI机器人在抓取内容后仅向出版商回送少量人类读者，却抓取了数千个页面，这一比例严重失衡。
Cloudflare媒体、创作者及AI战略合作副总裁Lara Cohen表示，出版商最初允许搜索引擎爬虫抓取其网站，是以换取流量为条件的。但AI机器人当前的大规模抓取行为，与这一初衷存在本质差异。Cohen指出，AI公司利用出版商的内容训练模型并从中获利，而出版商并未从中获得相应的回报。
Cloudflare作为全球主要的CDN和网络安全服务商，其网络覆盖大量网站流量。该公司此次推出的机制，核心逻辑是通过技术手段识别AI爬虫，并为其内容访问行为建立付费通道。这意味着AI公司若要通过Cloudflare网络抓取内容用于模型训练，需要按照新的规则进行付费。
这一举措反映了内容创作者与AI公司之间日益紧张的关系。随着大模型训练对数据需求的持续增长，出版商、创作者与AI企业之间围绕内容使用权的博弈正在加剧。此前已有多家媒体机构对AI公司提起诉讼，指控其在未经授权的情况下使用版权内容训练模型。
Cloudflare的付费机制若能得到广泛采用，可能为内容方与AI公司之间的利益分配提供一种新的参考模式。不过，该机制的实际效果仍取决于AI公司是否愿意配合，以及有多少网站选择接入这一体系。目前，围绕AI内容抓取的行业规范仍在形成过程中。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
