亚马逊Amazonbot更新:终于开始遵守robots.txt爬虫协议

针对亚马逊爬虫Amazonbot长期无视网站抓取规则的争议,最新动态显示其已开始严格遵守robots.txt协议。此前,该爬虫因在未获授权的情况下抓取网站数据用于AI训练而受到广泛批评。此次行为修正意味着网站所有者现在可以通过配置标准协议文件,有效拒绝Amazonbot的访问。这一转变不仅维护了网站管理者的权益,也为当前AI大模型在数据采集合规性方面树立了新的风向标。

原文链接:Hacker News

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册