被用于在网站上抓取图像构建用于训练 AI 模型的数据集的下载工具引发了争议。网站抱怨抓取工具不遵守他们在 robots.txt 中列举的要求,而抓取工具 img2dataset 的作者 Romain Beaumont 则宣称所有人能在未来受益于 AI。他要求不想被抓取图像的网站主动在 HTTP 头文件中添加 X-Robots-Tag: noai 和 X-Robots-Tag: noindex 等标记,否则他的工具将会不管不顾的抓取图像。他说,一部分人不理解 AI 和开放 AI 的潜力,还因此决定与之对抗。
https://github.com/rom1504/img2dataset/issues/293
https://tech.slashdot.org/story/23/04/25/2035259/an-ai-scraping-tool-is-overwhelming-websites-with-traffic