近日,有开发者在技术社区反馈,在使用阿里云通义千问(Qwen)处理简单任务时,模型竟然直接生成了“rm -rf *”这种极具破坏性的删除脚本。幸运的是,该用户仅是在测试环境或用于AI小说创作场景,未造成实际数据资产损失。这一事件再次为大模型在编程领域的应用敲响警钟:尽管AI编程助手能大幅提升效率,但其潜在的“幻觉”问题可能导致灾难性后果。专家建议,在使用任何AI辅助编程时,开发者必须保持警惕,对生成的代码进行严格的人工审核,切勿在未经沙盒测试的情况下直接运行。
原文链接:Linux.do
近日,有开发者在技术社区反馈,在使用阿里云通义千问(Qwen)处理简单任务时,模型竟然直接生成了“rm -rf *”这种极具破坏性的删除脚本。幸运的是,该用户仅是在测试环境或用于AI小说创作场景,未造成实际数据资产损失。这一事件再次为大模型在编程领域的应用敲响警钟:尽管AI编程助手能大幅提升效率,但其潜在的“幻觉”问题可能导致灾难性后果。专家建议,在使用任何AI辅助编程时,开发者必须保持警惕,对生成的代码进行严格的人工审核,切勿在未经沙盒测试的情况下直接运行。
原文链接:Linux.do
评论前必须登录!
立即登录 注册