据欧洲新闻与 Hacker News 报道，国际知名旅游平台 Tripadvisor（猫途鹰）近期推出的 AI 评价摘要功能遭遇严重信任危机。消费者权益组织“Which?”通过测试发现，该 AI 工具在处理用户评论时存在严重的“报喜不报忧”现象，甚至可能会对用户的生命安全构成误导。测试显示，即便用户原始评论中充斥着关于酒店周边毒品交易、卖淫活动猖獗、客房内蟑螂滋生以及火灾隐患等极端负面的描述，AI 生成的摘要却依然能将这些内容提炼为“客人们普遍很喜欢”、“氛围美丽且宁静”或“位置便利”等正面评价。以一家名为伦敦中央酒店为例，尽管用户详细描述了极其糟糕的治安状况，AI 却忽略了所有警告信号。对此，Tripadvisor 辩称该功能仅是辅助工具，并声称 AI 建立了防止虚假评论的机制，但显然未能有效识别内容中的负面情感权重。这一事件不仅揭示了生成式 AI 在处理复杂非结构化数据时的局限性，也为所有急于部署 AI 生成内容的互联网平台敲响了警钟。
事件分析
从技术层面看，这是大模型“幻觉”与“对齐偏差”的典型体现。通用大模型通常经过微调以倾向于输出礼貌、积极或建设性的语言，这导致在处理包含极端负面（如毒品、犯罪）的文本时，模型可能将“位置便利但危险”误判为“便利”，从而扭曲了真实情感，产生一种“平均化”的虚假总结。在产业应用上，这暴露了当前生成式 AI 在替代人工审核时的核心缺陷：LLM 擅长文本重述，却不擅长识别“关键风险点”。对于 OTA（在线旅游）平台而言，若不加权重地引入 AI 总结，极易将个别极端的致命安全隐患淹没在大量平庸的好评中。预计未来的技术方案将不再单纯依赖 LLM 的归纳能力，而是会引入专门的风险分类模型，对涉及安全的关键词赋予极高权重，或采用 RAG（检索增强生成）技术直接在摘要中引用原句，而非生成通用的概括性评价。
💡 核心观点：大模型的“取悦式”归纳倾向在涉及安全风险的场景中极为危险，AI应用需从追求文本流畅转向对关键负面信号的精准识别。
原文链接：Hacker News
评论前必须登录！
立即登录 注册