这项由中国科学技艺大学与好意思团勾搭开展的斟酌发表于2026年4月，论文编号为arXiv:2604.18240，有兴味深入了解的读者可通过该编号查询完满内容。

每天，数以亿计的东说念主在使用各式AI助手处理任务——搜索信息、操作电脑、查询数据库。但有一个鲜少被普通用户察觉的问题永恒困扰着AI斟酌者：当这些AI助手完成任务之后，咱们如何知说念它们作念得对不对？

这个问题听起来简约，却深藏玄机。以往的照应念念路轻便分为两类。一类是提前写好顺序，让法式自动比对谜底，就像用圭臬谜底批卷。这种方式对于简约的数学题还算拼凑，但遇到"帮我查一下某个刚发布的技艺敷陈是什么期间出书的"这类问题，提前写好的顺序就皆备不够用了，因为谜底时刻在变、相貌鬼出神入。另一类是让另一个AI来打分，斟酌者称之为"LLM-as-a-Judge"——简约相识就是让一个诳言语模子当裁判，读完被测AI的回话后给出评价。这种方式天真许多，但有个致命时弊：裁判AI我方也不上网、不查数据库，它只可根据脑子里已有的学问来判断，一朝触及它不老到的最新信息或需要本色操作考证的内容，就会堕入"我也不笃定"的烦懑境地。

恰是为了冲破这说念瓶颈，斟酌团队坑诰了一个更激进的成见：让裁判AI也领有行能源，能像信得过的考官一样躬行去查辛劳、操作环境、考证细节。这种新式裁判被称为"Agent-as-a-Judge"——可以相识为"身怀十八般身手的智能审判员"。为了系统评估这类审判员究竟有多好用、又有哪些短板，斟酌团队从零搭建了一套专属测试平台，定名为AJ-Bench。这是目前已知第一个专门为"Agent-as-a-Judge"智力盘算的概括性基准测试，覆盖搜索、数据系统操作和图形界面交互三大领域，包含155项任务和516条东说念主工标注的施行轨迹。

---

一、裁判为什么需要"伊始智力"

要相识这个斟酌照应的中枢问题，不妨回到一个极其具体的场景。

有东说念主向AI搜索助手发问："LongCat-Flash技艺敷陈的最新版块具体是哪一天发布的？"助手回话："2025年8月9日。"目前，如何判断这个谜底是否正确？

传统的LLM裁判会如何作念？它会翻翻我方的"顾虑"，发现这个技艺敷陈可能超出了它的西席数据范围，于是给出一个连篇累牍的回话："由于无法证据本色发布日历，我无法考证这个谜底是否正确。"

而配备了器具的智能审判员会如何作念？它会顺利大开浏览器，看望arxiv.org上对应的论文页面，看到页面上明晰写着"19 Sep 2025"，当场给出明确论断："谜底应为2025年9月19日，被评估的回话给出的2025年8月9日与正确谜底不符。"

这个对比说念出了通盘斟酌的根柢动机：有些真相唯有躬行去查才能知说念，而不是单靠脑子里的存量学问就能判断。裁判要是只会"想"而不会"作念"，在面对需要本色操作考证的任务时就会频频失灵。

AI助手越来越多地被部署在需要"真实行动"的场景中——浏览网页、操作数据库、胁制电脑桌面。相应地，评判这些AI助腕阐扬的裁判，也必须有智力深入相似的环境，亲眼看到收尾，才能给出简直的判断。

---

二、测试场地的经心盘算

AJ-Bench的构建过程自己就是一项十分缜密的工程，值得细细说念来。

斟酌团队遴荐了三个截然不同的领域算作测试场。

第一个领域是"搜索"，专门窥察智能审判员在信息核实方面的智力。这里的任务来自两个已有的闻明数据集：Mind2Web2和WideSearch。前者侧重于需要多跳推理的深度搜索，好比要先找到A才能找到B，再通过B才能证据C的那种连环查找；后者侧重于精深汇聚信息，需要覆盖面广、开头千般。斟酌团队在筛选任务时有益排斥了谜底简约、一眼就能核实的问题，也排斥了购物价钱、机票信息这类随时会变化的时效性内容，因为这两类题目不及以信得过磨真金不怕火审判员的深度核实智力。

第二个领域是"数据系统"（论文中简称DS），窥察智能审判员能否通过操作真实环境来考证任务是否完成。具体来说，任务触及文献系统照应和PostgreSQL数据库操作，都来自另一个已有的基准测试MCPMark。文献系统任务可能条件AI助手重定名文献、整理目次结构；数据库任务则条件修改表格、插入记载。对于这类任务，判断"作念没作念对"的唯一可靠方式，就是审判员躬行连上团结个环境，检验文献夹里的内容是否相宜预期。

第三个领域是"图形界面"（GUI），亦然技艺难度最高的部分。任务来自OSWorld式样，触及在真实的磋议机桌面环境中操作PowerPoint、Word、Excel三类办公软件。审判员需要通过截图和界面元素树（一种描述屏幕上悉数可见控件的数据结构）来判断一个AI助手的操作是否达到了预期成果，比如"图片有莫得信得过被挪动到幻灯片右侧"或者"表格里的数据情势有莫得按条件改革"。

通盘基准测试最终包含155项任务和516条施行轨迹，每条轨迹都被标注为"胜利"或"失败"。为了让正反案例保抓均衡，斟酌团队在汇聚轨迹时有益确保每类任务都有实够数目的失败案例，而不是让数据集里全是胜利完成的案例。

值得一提的是，标注质料有严格保险。搜索领域的标注由东说念主工团队完成，标注东说念主员薪酬与当地市集水平十分；数据系统治域借助MCPMark提供的自动考证剧本，再辅以东说念主工复查；图形界面领域则因为自动化剧本自己存在局限，皆备依靠东说念主工逐条检验，以确保不出现误标。

---

三、"伊始型"裁判确凿比"动嘴型"裁判更准吗

带着这套经心盘算的测试平台，斟酌团队运行了大范围对比实验。他们找来了当下最强的一批AI模子充任裁判，包括Gemini家眷、Claude家眷、GPT家眷、Grok-4，以及多少顶级开源模子如deepseek-v3.2、kimi-k2、qwen3等。

实验收尾相等分解：当团结个AI模子被赋予"调用器具、与环境互动"的智力之后，它的裁判准确率会显赫进步，平均F1分数提高约13个百分点。F1分数是评估分类准确性的概括主义，满分为100，斟酌上钩算方式是将0到1之间的极少乘以100来展示，是以13个百分点的进步是十分可不雅的越过。

以gpt-5-mini这个模子为例，不配备器具时的举座F1约为59分，配备器具后跃升至约72分；开源的deepseek-v3.2不配备器具时约为64分，配备器具后升至约77分。这种进步在三个领域都有体现，但在图形界面领域尤为杰出——仅在PowerPoint子类，进步幅度就高达31个百分点。这一感奋不难相识：判断一个办公软件操作是否胜利，要是裁判只可看翰墨描述，很难判断界面上的变化是否确凿发生；但要是裁判能够截图检讨、点击界面元素，真相就一目了然了。

还有一个令东说念主印象真切的发现：配备了器具的"弱"模子，打分准确率可以突出不配器具的"强"模子。换句话说，器具和环境看望智力带来的增益，巧合甚而能弥补模子自己智力水平的差距。这证明面前那些依赖纯文本判断的裁判AI，仍是碰到了明显的智力天花板——不是它们不够机灵，而是仅凭阅读翰墨，照实无法完成某些必须躬行操作才能考证的判断任务。

不外，斟酌团队并不掩盖举座阐扬仍有不及的执行。即就是最优秀的确立，平均F1也唯有约77分，距离满分还有十分距离。这证明"Agent-as-a-Judge"尽管有明显上风，依然面对一系列有待照应的技艺挑战。

---

四、三念念此后行vs.快速行动：推明智力的悖论

一个直观上很合理的推测是：裁判AI要是"想得更深、更仔细"，打分应该会更准确。斟酌团队专门考试了这个推测，收尾却颇为好意思妙。

对于gpt-5-mini，斟酌者对比了"低推理"、"中推理"和"高推理"三种模式下的阐扬。从低推理到中推理，性能照实有富厚进步；但从中推理到高推理，进步就变得不富厚，在某些子类甚而出现了下跌。对于deepseek-v3.2，开启"深度念念考模式"后的阐扬反而略略弱于普通模式。

这个感奋揭示了一个好意思妙的真谛：裁判好不好，靠的是"会用器具、懂得分析器具输出收尾"，而不只纯是"内在推明智力有多强"。更强的内在推明智力，并不顺利等于更强的外部器具调用和信息整合智力。一个能作念高难度数学题的东说念主，不一定比一个逻辑智力稍弱但更老到操作经过的东说念主更稳健当实验室质检员。

---

五、互动次数越多，就越准吗

斟酌团队还考试了另一个枢纽问题：给裁判AI更多的"探索法式"，是否能抓续改善打分质料？

实验收尾证实，加多最大互动轮次照实能抓续进步F1分数，尤其是从极少法式（1步、2步）加多到适中法式（4步、8步）时，进步最为显赫，这证明信息量的加多对裁判准确率匡助很大。当法式加多到16步乃至32步时，进步仍然存在但趋于邋遢，意味着出奇的探索带来的边缘收益在递减。

不同领域对互动法式数目的明锐进程也不一样。Word和PowerPoint类任务从更多交互中获益最大，标明这类任务的景色考证自己就需要屡次操作和证据。而文献系统类任务在相对少的法式下就能达到可以的准确率，结构更简约、景色更容易一次性核实。

---

六、看图照旧看树：多模态信息的两面性

在图形界面测试领域，裁判AI可以取得两种类型的信息：截图（直不雅地呈现屏幕视觉内容）和界面元素树（以结构化文本的相貌描述屏幕上的悉数控件异常属性）。斟酌团队一一测试了"只给截图"、"只给元素树"和"两者都给"三种确立的成果。

论断出乎意想地复杂：并非在悉数情况下，"两者都给"就比单唯一种信息更好。在PowerPoint子类中，元素树单独使用与两者结合的成果旗饱读十分；在Word子类中，截图单独使用反而取得了最佳的收尾；唯有在Excel子类中，"两者结合"才富厚地优于任何单一模态。

这个发现揭示了一个反直观的感奋：信息不是越多越好，过剩的信息可能成为杂音，防止裁判AI的判断。截图和元素树佩带的信息巧合是高度叠加的，两者同期涌入时，模子可能会在处理冗余内容上花消提防力，反而影响了中枢判断。换句话说，"如何喂信息给裁判"自己就是一个需要经心盘算的工程问题。

---

七、失败的四种姿势

斟酌团队莫得得志于宏不雅数据，他们对失败案例进行了细粒度的分类分析，转头出裁判AI犯错的四种典型方式。

第一种是"该动不动"——裁判AI本应调用某个器具考证枢纽信息，却莫得这么作念，导致判断依据不及，最终给出了舛错的论断。第二种是"用错器具"——裁判知说念需要查，却调用了不对适的器具，获取到的信息偏离了信得过需要考证的内容。第三种是"信息摆在目下却看不懂"——器具复返了正确收尾，但裁判AI对这个收尾的解读出现了偏差，要么以文害辞，要么被旁枝小节分散了提防力，最终没能从正确的字据中得出正确的论断。第四种是"字据正确，逻辑出错"——裁判获取到了准信服息，推理过程名义上也看似完满，但最终论断照旧错了，经常是因为在多种可能解说中遴荐了"宽松"而非"严格"的那一种，对被评估AI的举止赐与了不应有的优容。

从散布来看，第三种和第四种是最主要的失败开头，占了绝大大都舛错案例。这意味着面前"Agent-as-a-Judge"系统最薄弱的关节，不是器具调用的技艺层面，而是信息相识和逻辑推理的智力层面——拿到了陈迹，却没能正确破案。

---

说到底，这项斟酌作念的事情，是给"AI的裁判"建了一个平正的科场，然后认正经真地考了一次试。考试收尾休戚各半：好音问是，让裁判AI也能伊始操作环境，照实能大幅进步它判断他东说念主阐扬的准确性，何况这种进步在不同的模子、不同的任务类型上都是富厚可见的；坏音问是，即使是最优秀的"伊始型"裁判，平平分也唯有77分高下，依然有突出五分之一的案例判断作假。

归根结底，这项斟酌证明了一件对于AI评估领域的病笃事情：跟着AI越来越多地被部署到需要真实操作的场景里，咱们用来评判这些AI的要领也必须跟上节拍，不行再停留在"读读翰墨、想想打几分"的阶段。斟酌者们展望，将来这套框架有望被引入AI西席过程自己，匡助模子在学习阶段就取得更精确的反映信号，就像给学生配备了一位会躬行上机操作考证的真挚，而不是只会看谜底纸的改卷机器。

虽然，还有好多问题值得持续追问：要是裁判AI自己判断作假，谁来监督裁判？跟着任务越来越复杂，所需的互动法式会不会多到难以承受？不同任务对不同信息类型的偏好，能否被系统性地学习和期骗？这些问题，大要恰是该领域下一步斟酌的路标。对这个话题感兴味的读者，可以通过arXiv:2604.18240找到完满的论文原文，深入探索其中的每一个技艺细节。

---

Q&A

Q1：AJ-Bench测试平台具体测试了哪些智力，为什么要选这三个领域？

A：AJ-Bench主要测试智能审判员在三方面的智力：通过汇聚搜索获取外部信息、通过操作真实环境考证景色变化、通过分析施行法式判断经过是否正确。遴荐搜索、数据系统和图形界面这三个领域，是因为它们分辨代表了面前AI助手最常见的三类本色应用场景，且每类场景都需要裁判信得过伊始操作才能可靠考证——光靠读翰墨根柢不够用。

Q2：Agent-as-a-Judge比普通LLM裁判究竟强在那里，差距有多大？

A：中枢上风在于可以主动与外部环境交互来获取考证字据，而不是只依靠模子自身存储的学问来臆度。在AJ-Bench的测试中，团结个模子取得器具调用智力后，平均F1分数进步约13个百分点，在图形界面类任务中进步更高达30个百分点以上。一个使用器具的"较弱"模子甚而能突出不使用器具的"更强"模子，证明器具看望智力带来的增益十分显赫。

Q3：Agent-as-a-Judge目前最大的失败原因是什么？

A：根据斟酌团队对失败案例的分类分析足球投注app，最常见的两类舛错分辨是"器具输出摆在面前却解读舛错"和"字据正确但推表面断有误"。前者阐扬为被不干系信息分散提防力或对器具复返内容以文害辞；后者阐扬为在面对多种解说时倾向于给出宽松判断，对被评估AI的舛错举止豁略大度。器具调用技艺层面的作假反而是少数，中枢瓶颈在于信息相识和逻辑推断智力。