ReviveBench：隐藏判分器须证明可解、抗伪解且运行条件真实生效
ReviveBench：隐藏判分器须证明可解、抗伪解且运行条件真实生效
知识点轴：benchmark-evaluation（高）/ harness-runtime / sandbox-security / context management。 2026-09-28 提交的论文 v1并非今天新发；读的是 arXiv HTML 提取全文，未取回作者声称的代码/轨迹资产，也没有运行其 benchmark。本文只把论文作者的实验与审计当报告中的证据，不当本机复现。^[raw/articles/revivebench-2609-36161-v1-fulltext-2026-10-10.md]
对用户为什么重要
内部 coding-agent benchmark 即便把 BASE/RED/GOLD、隐藏测试和沙箱做全，判分器本身还可能错误：参考实现通过自测不等于规定的合法方法可达阈值；「精确」指标若信了被测程序自行报告的数，空实现也能通过。ReviveBench 覆盖 10 个软件恢复任务、13 个有边界的工程引擎重建任务，作者在建题/审计史中记录 28 个 verifier 缺陷（其中 24 个假阴性、2 个假阳性；余数不可被自动归类），不是 28 个模型错误，也不是某个缺陷概率。Agent-Benchmarks 与 issuebenchkit-private-repo-coding-agent-benchmark 可以直接把下述审题法搬到小规模私有任务池。^[raw/articles/revivebench-2609-36161-v1-fulltext-2026-10-10.md]
一阶机制：三个探针定位测量对象
- 可达性探针（achievability）：人/独立参考按题面规定的方法逐案完成，实际把误差打到阈值以内；仅让同源参考产出并由同源公式评分，是循环校准。作者初次应用就发现四个不可达 tolerance，并删除一案。内部 runner 应记录
要求→合规方法→验证输入→实际误差→阈值→版本，GOLD 通过后还需合法但实现不同的替代解。 - 失败候选共识是报警器，不是裁判：几个独立产物以相同方式偏离 oracle，要同时查规格、数据、生成/评分计算路径和共享模型错误。论文外币案例是规格未定义缩放；多边形案例四个候选一致但参考是对的，原因在生成路径修复自相交、评分路径未修复。共识≠参考必错。
- 独立从产物重算，不信自报诊断：CFD 题 134 行无网格程序用题面印出的解析解并把散度字段设零，作者仅改一输出键后重跑 hidden verifier 仍全过；所以原论文中三个强模型有真正离散化代码，也不能由该题满分证明其数值求解能力。另一类将“通过个数”当百分比阈值，把已有反例的网表判为满分；证明/安全不变量须逐例零容忍。为内部任务提交 patch 后，在独立 verifier 环境从真实测试与产物重算性能、权限或状态指标；负例必须包含能伪造报告但无实质效果的解。^[raw/articles/revivebench-2609-36161-v1-fulltext-2026-10-10.md]
双重分账：题有效 ≠ harness 已按合同运行
- 论文称 no-agent baseline 每题失败；agent 不见隐藏 verifier/数据/阈值，禁止安装指定现成实现，verifier 核依赖未降级、工作区外访问与上游测试改动。对更早软件的污染控制分别做 identifier 混淆和知识截止后仓库；混淆下性能不降只能减弱逐字回忆解释，不能排除方法曾被学过。对私有库要隔离 Git 残留、镜像、网络以及测试目录，见swe-bench-pro-verified-leakage-and-task-validity；隐藏判分器不自动修复坏题。
- 作者的 API adapter 曾把 output cap 写在服务接受却默默不执行的字段，先前模型无上限；长轮次的无字节流被 harness 提前断开，后来补 keepalive/idle timeout 和 wire 验证。某跨厂商 adapter 还删掉一个 provider 不接受的协议 flag，从而改变工具集合，费用也按启动模型错计而被作者隐去。可比性至少核真实请求/响应、effective toolset、cap/idle/turn/wall 与真实费率；
配置写了、Token计数是真的都不足以推出成本/模型公平比较。^[raw/articles/revivebench-2609-36161-v1-fulltext-2026-10-10.md] - 论文报告重建任务有两个模型达到 13/13 任务门槛，但含不能证明数值求解的 CFD；MES/PLM 所有被测模型都通过，区分度低。大多数格仅一两次种子、选择最佳合规运行且尝试数不齐；215次（不含GLM）中155有效、37网关/额度故障被单列，不能从任务通过总数推稳定成功概率或可靠模型排名。论文中模型/价格是该实验条件，不迁移作今日用户机器性能预测。^[raw/articles/revivebench-2609-36161-v1-fulltext-2026-10-10.md]
与已有知识的增量
harbor-index-parity-task-validity-and-snapshot-boundaries 已说明 oracle/适配器/题目问题；这里推进为规定方法可达性、共识争议触发检查、自报量产物重算三种故障注入探针。benchshield-reward-lifecycle-integrity 的奖励链完整性关注路径是否被滥用；本例在无恶意行为时也可发生假阴性和假阳性。reality-final-verifier-requirement-model-gaps 将需求R/环境M/评测器E分账，本例主要展示 E 自身缺陷及 adapter 改变 M，不能只靠加大模型规模解释分差。
给 Hermes / 私有 runner 的最小验收清单
- 挑一条真实但脱敏的历史修复任务：固定 BASE/RED/GOLD、instruction/fixture/verifier/image hashes 与可见域；agent 只能看 BASE 和公开需求，评测在新环境只应用 patch。
- 事前跑 no-op、GOLD、与 GOLD 不同但合法的解、一个伪造输出/略过业务副作用的伪解；记录各自独立服务状态与判分回执，阈值按题面规定的方法事前标定。没有可达正例或伪解被接受则先修题，不上榜。
- 若多模型/多次运行同一断言失败，先审 oracle 算法和量纲/顺序/舍入及生成-判分的一致性，保留候选产物与复算证明；不能只看“多数票”改 gold。
- 固定 model+provider+adapter+工具集/预算，用 mock/wire receipt 核所发 cap 和实际响应截断、流式心跳、真实成本；网关/配额/超时独立列分母，禁止混入 FAIL；题/适配器修订须重新跑相同 cohort。
边界与未解
本轮未访问或执行作者归档的 hidden verifier、任务包和轨迹，不能独立核 28 个缺陷或 CFD 复现实验；网页抽取的公式处有缺字，因此不引用那些具体数字公式。企业数据合同是否适合无网络隔离、人工/LLM评审能否稳定识别合法替代解均需小范围对照。这里提议的是隔离试点的验收设计，不是本机已经完成的试点；不能让研究用的 Claude Code 驱动方式变成本机运行建议。
写入记录
- 2026-10-10 09:02 CST：从论文全文深读建页；把可达性、伪解、自报诊断和真实 adapter 配置收敛为内部 benchmark 的判分器验收合同，保留作者报告与本机未验证的界限。