Reddit 限制除 Google 之外的搜索引擎抓取其内容
2024-7-25 13:20:19 Author: www.solidot.org(查看原文) 阅读量:4 收藏

在 Reddit 与 Google 达成了价值数亿美元的内容授权协议之后,它限制了除 Google 之外的搜索引擎爬虫抓取其内容。如果使用 Bing、DuckDuckGo、Mojeek、Qwant 或任何其它替代搜索引擎,设定“site:reddit.com”搜索 Reddit 内容,你看不到过去一周的任何结果。微软代表证实,Reddit 于 7 月 1 日更新了它的 robots.txt 文件,阻止了很多搜索引擎和 AI 工具抓取内容。

https://searchengineland.com/microsoft-confirms-reddit-blocked-bing-search-444385
https://tech.slashdot.org/story/24/07/24/1832237/googles-exclusive-reddit-access


文章来源: https://www.solidot.org/story?sid=78791
如有侵权请联系:admin#unsafe.sh