测测AI会不会“一本正经胡说八道”：开源基准BullshitBench发布

针对大模型普遍存在的“一本正经胡说八道”（幻觉）现象，一项名为 BullshitBench（胡说基准/扯淡基准）的开源测评项目近期引发关注。该基准主要评估大语言模型在面对明显荒谬、无意义或前提错误的提示词时，是会主动识别并拒绝，还是会错误地生成看似合理的内容。测试集包含约 100 道精心设计的无意义问题，覆盖了软件开发（40题）、金融、法律、医疗和物理五个专业领域。出题者使用了多种“胡说技巧”，包括伪造不存在的专业框架、错误套用技术机制以及构建逻辑嵌套的荒谬场景。目前，该项目已开源所有测试数据并提供在线查看器。这一工具的出现，旨在量化评估模型在处理无效信息时的“防骗能力”，对于提升 AI 在实际应用中的安全性与可靠性具有重要参考价值。

事件分析

核心观点：大模型进阶的核心不在于“无所不知”，而在于懂得“何时闭嘴”，拒绝幻觉是通往可靠 AI 应用的必经之路。