据Hacker News报道,一项针对AI回答一致性的测试引发广泛讨论:测试者将完全相同的210个购物类问题连续两天提交给AI,结果发现84%的答案在两次提问之间发生了改变。这些变化并非仅停留在措辞层面,而是涉及推荐产品、推荐理由乃至最终结论的实质性分歧,意味着用户在不同时间咨询同一问题,可能得到方向完全相反的购买建议。测试揭示了大模型输出非确定性的普遍程度:受采样随机性、模型版本静默更新、检索内容变化等因素影响,即使提问一字不差,模型的回答也可能出现大幅漂移。该结果对AI充当消费决策助手的可靠性提出直接质疑,当答案频繁变动时,用户无从判断哪一次回答值得采信。这一现象也与近期业界关于’模型行为漂移’的讨论相呼应,即模型服务商在未作声明的情况下迭代模型,导致相同提示词在不同时间产生差异显著的输出,进而影响依赖模型输出的应用稳定性与用户体验。
事件分析
核心观点:84%的答案漂移说明,随机性正在动摇大模型作为可信顾问的根基,一致性将成AI商业化的隐形门槛。
原文链接:Hacker News

评论前必须登录!
立即登录 注册