专治 AI “一本正经胡说八道”：新基准测试 BullshitBench 衡量模型抗噪能力

英国 AI 专家 Peter Gostev 在 GitHub 推出了名为 BullshitBench 的全新开源基准测试。该项目旨在评估大语言模型在面对无意义提示词时的反应，重点衡量模型是会质疑并拒绝荒谬指令，还是会自信地生成错误的“幻觉”回答。这一工具为解决大模型普遍存在的过度自信问题提供了新的评估标准。