IT资源栈近日，科技论坛Linux.do上的一篇帖子引发了关于AI大模型安全机制的讨论。一名用户发现，通过在提示词中采用“扮演残疾人”或博取同情的方式，可以成功诱导谷歌的Gemini大模型绕过常规的安全审查限制。据该用户描述，当以常规方式提问遇到拒绝回答时，切换至上述“卖惨”话术后，模型不仅生成了原本受限的内容，还表现出了持续的情感回应与同情。这一现象揭示了当前大模型在“对齐技术”上的潜在盲点：模型被训练得过于乐于助人或富有同情心，导致在面对精心设计的情感诱导场景时，容易将其误判为需要优先处理的求助信号，从而压倒了安全拦截机制。这并非大模型首次遭遇此类“越狱”攻击，此前类似的“奶奶漏洞”也曾出现，表明基于情感操纵的提示词工程正在成为突破AI防御墙的新型手段。
事件分析
此类“情感劫持”式越狱反映了当前大模型基于人类反馈强化学习（RLHF）机制的内在矛盾。模型在训练中被极大强化了“有益性”和“无害性”的权重，当用户输入包含极度弱势、求助或自残倾向的语境时，模型的安全阈值往往会因为优先响应“情感求助”而失效。这本质上是一种对抗性提示词攻击，利用了AI对情感语境的敏感度高于对逻辑指令的判断力。从技术角度看，单纯依靠关键词过滤已无法防御此类基于角色扮演的攻击，未来需要发展出能够识别意图而非仅匹配语意的语义防御系统，以及引入专门针对情感诱导场景的红队测试。
💡 核心观点：大模型的安全防线正从对抗代码漏洞转向对抗人性弱点，情感诱导已成为绕过AI伦理机制的全新“灰犀牛”。
原文链接：Linux.do
评论前必须登录！
立即登录 注册