IT资源栈BBC 近期的一项深度调查揭露了生成式 AI 系统面临的一个严峻安全漏洞：不法分子通过极其简单的手段即可操纵 ChatGPT、Google Gemini 和 AI 搜索概览，使其输出虚假或带有偏见的信息。调查记者仅用 20 分钟，通过在个人网站发布一篇宣称自己是“热狗竞食世界冠军”的虚假博客，成功欺骗了多家科技巨头的 AI 系统，使其在回答相关问题时引用了该谣言。这一现象揭示了 AI 依赖互联网抓取数据的脆弱性：只需精心炮制单一网页，即可让 AI 在健康、金融等严肃领域传播错误信息。作为回应，谷歌已悄然更新其反垃圾邮件政策，明确将操纵 AI 搜索结果视为违规行为，并开始对试图通过 AI 答案自我推广的公司进行降权或屏蔽，甚至去除答案中的具体实体名称。尽管谷歌官方声称这只是政策的“澄清”，但 SEO 专家证实，各大 AI 公司正在加紧研发识别和过滤垃圾信息的机制。然而，这场猫鼠游戏远未结束，随着谷歌 AI 开始引用 YouTube 视频内容，操纵者正转向利用网红视频进行更隐蔽的营销操纵。
事件分析
此次事件揭示了当前大模型应用中“检索增强生成”（RAG）技术的固有软肋。LLM 在生成答案时严重依赖网络抓取源的权威性和真实性，而传统的 SEO（搜索引擎优化）技术正在演变为针对生成式 AI 的操纵手段（GAIO）。从技术角度看，AI 搜索从传统的“十条蓝色链接”转变为“单一确定答案”，虽然提升了用户体验，但也极大地降低了信息验证的冗余度，导致错误信息被直接采纳的风险激增。谷歌通过修改算法尝试在生成阶段剔除自我引用或高嫌疑源，显示出防御策略正从单纯的索引清洗转向生成后的语义过滤。长远来看，这标志着搜索与 AI 巨头之间将爆发一场持续的信任博弈，未来的核心竞争力可能不再仅仅是模型参数的大小，而是对训练数据源和引用信源的实时清洗与验证能力。
💡 核心观点：从“搜索信息”到“生成答案”的范式转移，让原本分散的互联网垃圾信息具备了集中作恶的能力，AI 搜索的可信度危机才刚刚开始。
原文链接：Hacker News
评论前必须登录！
立即登录 注册