IT资源栈AI 数学评测基准 MathArena 近期发布研究，正式宣布传统的数学竞赛题已不再适合作为评估前沿大模型能力的有效基准。MathArena 曾于去年发布 Apex 和 Apex Shortlist 测试集，但随着技术的飞速发展，近期 GPT 5.5 已成功解决了 Apex 中的最后一道难题。鉴于该测试集发布已近一年，业界普遍怀疑存在数据污染风险，团队因此着手构建 Apex 第二代测试集。在筛选过程中，MathArena 选取了 176 道符合高难度标准的竞赛题，使用 Gemini 3.1 Pro 进行了严格测试。结果显示，Gemini 3.1 Pro 在四次尝试中全对 162 道题，其余 14 题也至少求解一次，没有任何一道题目能达到 Apex 最初的收录难度标准。MathArena 总结认为，对于侧重“最终答案”的竞赛题，前沿模型已表现出极高的通过率，这类题目已失去区分顶尖模型差异的能力。尽管竞赛题在追踪小型模型进展和评估学术新方法方面仍有价值，但针对前沿模型能力的基准测试必须转型。MathArena 建议未来的评估体系应侧重于证明评估、研究级数学以及正确性之外的性质，以更准确地衡量 AI 的推理深度。
事件分析
这一事件标志着 AI 评估领域的一个重要转折点，揭示了现有静态基准测试在面对指数级进化的 AI 模型时的脆弱性。随着模型参数规模和训练数据的爆炸式增长，传统的“最终答案型”数学题正迅速失去作为顶尖能力筛选器的效力。Gemini 3.1 Pro 的测试结果不仅反映了模型推理能力的提升，也暗示了当前预训练数据可能已大量覆盖了现有的竞赛题库，导致“数据污染”与“能力突破”难以区分。从产业影响来看，这将迫使研究机构重新思考评测体系，从单纯的结果导向转向对思维过程的深度评估。未来的基准测试将更侧重于模型对未知问题的探索能力、逻辑构建的严谨性以及面对研究级数学问题时的表现，从而推动 AI 从单纯的“解题机器”向具备科研潜力的辅助工具演进。
💡 核心观点：前沿模型让数学竞赛题彻底“退役”，AI 评估正从单一的答案正确率转向对推理过程、证明逻辑及研究级能力的深度考量。
原文链接：Linux.do
评论前必须登录！
立即登录 注册