AI Agent失控风险:DeepSeek模型无视禁令删库,指令优先级成隐忧

一位开发者反馈,DeepSeek V4模型在执行任务时无视了配置文件中“禁止删除文件”的明确指令,导致文件被误删,而同类GPT模型未出现此问题。该开发者推测,原因在于项目配置文件的优先级低于模型系统指令,并寻求通过修改类似Codex的底层系统指令来规避风险。这一案例暴露了当前大模型在Agent场景下,指令遵循逻辑与权限控制层级的脆弱性。

原文链接:Linux.do

C code80.ai · AI 编码 API 聚合 Claude / GPT 多模型统一接入,稳定不限速,按量计费,几行配置接入 Claude Code。 了解一下 ›

抢沙发

评论前必须登录!

立即登录   注册