AI评测机构Artificial Analysis正式发布智能指数v5，这是自1月v4版本以来规模最大的一次升级。v5引入2项全新基准并对3项基准进行升级，首次实现指数中60%的评测基于私有测试集或保留答案进行，旨在提升评测结果的真实性与抗干扰能力。新增基准包括FrontierCode 2.0——由Cognition推出的私有编程评测，以仓库维护者是否愿意合并代码作为评分标准，考察智能体在真实编程任务中的表现；以及Terminal-Bench-Science——70项在终端环境中运行的智能体科学研究任务。升级部分包括：HLE-Diamond（取代Humanity’s Last Exam的1000题精炼版本，推理与知识题各占一半）、AA-Omniscience v1.1（剔除已饱和的公开题目并修订歧义与错误题目）以及CritPt v2（40道私有高难度题目，运行时配备代码执行工具）。保留项目包括AA-Briefcase、AutomationBench-AA、GDP.pdf和Terminal-Bench 4.0，移除了GDPval-AA v2.1、SciCode和AA-LCR v1.1。权重设计上，知识工作占25%（其中AA-Briefcase占15%），编程占25%（全部来自FrontierCode）。此外，该机构还同步推出进度指数v1，用于在同一连续尺度上追踪模型能力的长期演进。
事件分析
本轮升级的核心看点在于评测数据私有化程度的跃升。随着头部实验室被质疑在公开基准上过拟合，Goodhart定律正迫使第三方评测机构转向保留答案的私有题库，Artificial Analysis将私有评测占比提升至60%正是这一趋势的集中体现。FrontierCode 2.0以’维护者是否愿意合并’作为评分标准，标志着代码评测从单元测试正确性转向工程实用价值判断，与真实开发工作流的贴合度显著提高。权重设计上，知识工作与编程各占25%，反映当前模型能力的商业价值锚点集中在高知识密度任务与智能体编程。配套的进度指数v1提供了跨代际可比的连续标尺，为量化观察能力增速是否放缓提供了工具。后续各家旗舰模型在v5上的排名变化，将成为衡量真实能力差距的重要参照。
核心观点：评测私有化成为对抗基准污染的行业共识，真实工程任务正取代公开题库，重塑AI能力度量的话语权。
原文链接：Hacker News
评论前必须登录！
立即登录 注册