共 4 篇文章

标签:评测

从静态 benchmark 到活的 eval:Vincent Koc 这场分享,真正戳中的不是评测,而是 agent 软件的变形速度-IT资源栈

从静态 benchmark 到活的 eval:Vincent Koc 这场分享,真正戳中的不是评测,而是 agent 软件的变形速度

很多人现在一提 eval,脑子里冒出来的还是老三样:题库、benchmark、离线跑分、回归测试。这个思路在过去不是错的。问题是,今天的 agent 系统已经越来越不像“一个发布后基本不动的程序”了。它会接工具、会吃上下文、会随着用户习惯漂移,甚至连 harness 自己都可能被改写。你还拿一套静态题库去盯它,基本等于