IT资源栈去年，OpenAI 的 o3 模型因在“GeoGuessr”（根据照片推测地理位置）任务中表现出惊人能力而引发热议。当时有观点认为，这是通过一种精心设计的“魔法提示词”解锁的特定能力，该提示词通过用户与模型的反复交互修正而得，长达数千字符。然而，针对这一现象的最新技术实测揭示了不同的结论。测试者构建了一个包含 200 张来自维基共享资源、Geograph 和 iNaturalist 图片的基准数据集，对比了 o3 模型在使用该复杂提示词与仅使用基础默认提示词时的表现。测试结果显示，基础提示词在各项关键指标上均优于或等同于复杂的“魔法提示词”。在误差距离的中位数和平均值上，基础提示词表现更佳，且复杂提示词并未显著增加模型的思考时间或准确率。这表明，o3 在地理位置推断方面的出色表现主要归功于模型本身的基础能力，而非特定的提示词技巧。此外，研究还发现，o3 在这一任务上的能力并未完全迁移到后续更新的模型中，基准测试结果是验证模型能力唯一可靠的标准，避免了对提示词工程效果的过度神话。
事件分析
此次事件对“提示词工程”领域提出了深刻的质疑。虽然优化提示词在特定场景下有效，但本案例展示了当模型基础能力足够强大时，复杂的指令往往只是“虚荣指标”，甚至可能因为过度引导而干扰模型自有的推理链。从技术角度看，模型在地理定位这种高度依赖世界知识的任务上的表现，更多取决于训练数据和推理架构，而非自然语言指令的微调。这提示开发者，在构建 AI 应用时，应更关注模型底座能力的评估与选择，而非盲目追求复杂的提示词堆砌。此外，o3 的地理定位能力在后续模型中可能出现退化，这表明大模型的能力演进并非完全线性，特定技能可能在追求对齐或安全性时被削弱，强调了针对特定垂直领域保留基准测试数据的重要性。
💡 核心观点：核心模型能力远胜于复杂的提示词技巧，盲目迷信“魔法指令”是技术误区，基准测试才是验证 AI 真实性能的唯一标准。
原文链接：Hacker News
评论前必须登录！
立即登录 注册