LLMs中的'幻觉神经元':存在、影响与起源研究

大型语言模型(LLMs)经常产生看似合理但事实不正确的输出(即’幻觉’),严重影响其可靠性。本研究首次从神经元层面系统探索了与幻觉相关的神经元(H-Neurons)。研究发现,极少数神经元(不到总神经元的0.1%)可以可靠预测幻觉发生,且在不同场景下有很强的泛化能力。控制性实验证实这些神经元与模型的过度服从行为有因果关系。更令人惊讶的是,这些神经元可追溯到预训练阶段,表明它们在基础模型形成时就已出现。这一发现连接了AI模型的宏观行为模式与微观神经机制,为开发更可靠的LLMs提供了新思路和新方法。该研究对AI安全性、可靠性以及模型设计具有重要指导意义。

原文链接:Hacker News

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册