云服务公司 Fastly 的报告显示，AI 爬虫给开放 Web 带来了沉重的负担。访问网站的 AI 机器人流量中 AI 爬虫占八成，剩余二成是 AI 抓取程序——用户请求大模型集成训练数据日期之后的信息时抓取程序会按需要触发。Fastly 的监测显示，网站负载的增加不是来自人类访客，而是机器人程序，尤其是 AI 公司的爬虫和抓取程序。其中 Meta 的 AI 爬虫占到了所有 AI 爬虫流量的 52%，而 Google 和 OpenAI 分别占 23% 和 20%，Anthropic 仅占 3.76%，Perplexity AI 占 1.12%。相比 AI 爬虫，AI 抓取程序会在短时间内造成流量爆发。Fastly 称一个抓取程序每分钟产生了逾 39,000 个请求。98% 的 AI 抓取程序流量来自于 OpenAI 公司。

www.theregister.com/2025/08/21/ai_crawler_traffic/