11月3日，据Business Insider报道，儿童绘本作家、插画师切尔西·保卢斯（Chelsea Paulus）的网站近期遭遇Meta旗下AI爬虫大规模访问，一周内请求量超过55万次，导致其托管资源耗尽、网站濒临宕机。这一事件再次将AI训练数据抓取与中小网站运营成本之间的矛盾推向台前。
保卢斯经营创作事业已有十年，去年转为全职创作者，此前具备科技与网页设计从业背景。10月24日，其主机服务商SiteGround发出预警邮件，称分配给她的CPU资源已使用80％。保卢斯的四个网站共用该服务商的一套主机方案。她在网站安全面板中发现，每秒有数次访问请求涌入，通过WordFence插件查询IP地址后确认，请求归属Meta位于达拉斯的节点，访问程序标识为“Meta External Agent”。根据Meta开发者页面说明，该程序在全网抓取内容，用途包括基础大模型训练以及直接收录内容以优化产品。
保卢斯表示，她偶尔投放Meta广告，此前也见过Facebook爬虫访问，但如此量级的请求尚属首次。她修改了robots.txt文件并配置防火墙，但规则生效通常需要24小时，无法即时拦截。在主机服务商提供隐藏配置文件代码后，爬虫访问短暂受控。至本周中旬，另一款名为“Meta Web Indexer”的爬虫再次将主机资源占用拉满。Meta开发文档将该程序定义为网页爬虫，作用是浏览网页并优化Meta AI返回的搜索结果质量。
Meta发言人回应称，网站运营方有权管控爬虫行为，管理者可通过robots.txt等工具设定爬虫与站点的交互方式，Meta公开提供相应配置指引并尊重站点所有者设置的规则。SiteGround方面则表示，其服务器侧防护已在限制爬虫请求。截至周一，保卢斯的网站仍不稳定，她已删除Instagram主页中的网站链接，以避免真人访客与爬虫流量叠加导致网站彻底宕机。
保卢斯目前正尝试使用Cloudflare免费的人机验证工具拦截爬虫。她指出，爬虫不产生任何收入，自己无力支付升级流量配额的费用，且现行法律并未禁止AI爬虫访问公开可浏览的网站。她认为，Meta应设置约束机制避免类似事故重演，若此类事件频发，小微企业最终只能增加支出，要么升级资源配额，要么购买防护服务，而Cloudflare等服务商能否长期免费提供防护也存在不确定性。
随着大模型训练与AI搜索索引对全网内容的需求持续上升，爬虫流量对中小网站托管资源的挤占正成为普遍性问题。如何在数据获取与站点运营成本之间建立更明确的规则，将成为AI基础设施与企业服务领域需要共同面对的课题。
该文观点仅代表作者本人，企服科学平台仅提供信息存储空间服务。
