Fuzzy Canary是一款专门设计用来阻止AI爬虫抓取网站内容的工具。当前,AI公司正在大量抓取互联网内容用于训练模型,这让许多自托管博客作者感到担忧。该工具通过在HTML中植入不可见的链接(指向成人网站)来触发爬虫的内容保护机制,使AI爬虫误认为网站包含不适合抓取的内容。工具提供服务器端和客户端两种使用方式,服务器端更为推荐,因为它能在HTML初始加载时就包含防护措施。不过,对于静态网站,作者需要注意SEO问题,因为无法在构建时区分搜索引擎和AI爬虫。这个工具为内容创作者提供了一个简单而有效的解决方案,来保护他们的原创内容不被AI公司未经授权地使用。
原文链接:Hacker News

IT资源栈
评论前必须登录!
立即登录 注册