AgentProofBench：当前初态、冻结判分器与gate交付后果

AgentProofBench：当前初态、冻结判分器与gate交付后果

知识点轴：benchmark-evaluation / harness-runtime / sandbox-security；context management是迁移联系，不是压缩实验。依据论文v1，2026-10-25主文与附录A—D；数字是作者报告，本轮只作阅读和算术核对，未复现模型/容器/逐trial。

为什么对用户重要

Agent-Benchmarks常检验“这份输出过不过”；Hermes长期自动化还需要检验判分规则复用到另一业务初态后，是否仍知道今天该完成什么。用户名称、成员关系、待处理集合、应保留的值都可能改变，昨天正确的常量今天会变成错答案。

第二层更关键：checker不是纯观察器。拒绝会促使agent继续改写，接受会触发交付，连续拒绝又可能扣住已经完成的工作。因此低误接纳、低运行成本和实际交付正确率，不能压成一个“verifier更好”的结论。这与cua-recovery-replayed-state-and-error-awareness的错误觉察/实际恢复、verifier-hardening-output-boundary-and-fresh-solvability的旧合法解/新合法路线分验互补。

一阶机制：约束必须从本次before状态恢复

接口是verify(task, before, after)，返回Pass / Fail / Unknown，异常、格式错或超预算归Error。同一指令、同一冻结程序，换业务初态：

• Source：生成程序时的初态。
• Background：改变无关背景，正确判定应不变。
• Related：改变所指实体、初值、集合或保留条件，正确义务随之改变。

论文linear_52要求把B3分配给Rashida并“保持初始状态”。Source初值是Active，Related改成Dormant；合法终态应保留本次Dormant。记住Active的程序会拒绝正确结果、接受改回旧值的错误结果。规则应比较after.status == before.status，而不是after.status == 旧样本常量。

见过目标对象也不等于正确解释了集合。 box_141中一程序通过所有主panel，却漏识别results[0]包装里的新增合格JSON记录；所以还需source-decision replay：旧初态有效的业务决策，移到新初态必须失效，否则所谓“变化”未真正测试状态依赖。

评测设计：不要用平均分遮住覆盖空洞

P1选择48个family，每个模型96个source程序；包括自然结果、合法替代解、typed fault和replay witness。完整相关态panel全正确与witness正确的联合通过，比BA均值多检一层。

每次程序评测是fresh只读sandbox，沿用task actor的普通API权限；host reference/终态控制留在harness。论文限1 CPU、1GB、60秒、80次业务操作，GraphQL root分计。这是作者隔离设计，不是容器不可逃逸的安全证据；hidden reference、凭据和出站通道仍须独立检查。

gate必须和中性继续基线在同一开局比较

P2：22个family × 两种actor = 44个program assignment；每条轨迹提供natural ending与第一次含mutation完整tool round后的checkpoint，共88个saved opening。每opening分四策略，得到352个policy outcome，不是352条独立任务。

1. Actor stop：按actor最终回复交付；非终态checkpoint的“不交付”只是机械参考。
2. Fixed continue：两阶段中性继续，要求完成原任务并保持已正确部分。
3. Program gate：Pass才交付，否则最多继续两次。
4. Online gate：实时模型检查，再使用同样反馈/停止结构。

两种gate仅增加笼统“未获接受”反馈，不提供具体check/实体定位。因此比较对象是判分+反馈+停止的完整policy，不能外推“所有verifier都没用”或“详细反馈也无效”。共享初态、业务快照和完整历史，才有资格解释后续改写差异。

作者报告：相关态panel全正确的33个assignment中32个在两个opening均正确交付；panel有误的11个中仅1个。按44个assignment而非88个opening计，差87.9pp，family-cluster区间[68.8,100.0]。这是探索性关联，不能说一次测试就产生87.9pp因果收益。

业务成功、持久改写和交付分账。 Program gate的17次扣留中13次实际终态已满足reference；全部3次reference-defined regression落在panel-error组。并非所有regression都已交付：附录区分两次delivered regression与其余情况。

checkpoint下中性继续正确交付Flash 20/22、Pro 22/22；program gate为17/22、16/22，online gate为20/22、21/22。在所测generic-feedback设置里，中性继续最高。Linear45的错误checker拒绝正确团队分配，agent按泛化拒绝改回旧团队后被放行；中性继续保留正确状态。错误拒绝也会制造真实回归。

对Hermes / llm-wiki的直接迁移

• 业务初态锚定：每次采集用户事件当时的成员/权限/对象/初值，不用当前latest或旧成功样本常量代替；保留before、event time、真实对象ID。
• 冻结checker跨初态验收：相同任务指令配Source/无关背景/相关变化，加入新集合元素与旧决策重放；合法替代解、误接纳、误拒绝和Unknown/Error分别计数。
• 准入checker也有准入门：先在目标态完整panel验，再比较线上中性继续、具体反馈和停止门；更严格不等于更可靠。
• 持久effect/交付分开：工具写入即使最终未交付也可能已生效；拒绝/超时不能当回滚。重试前独立读回业务状态和幂等记录。
• 知识复用也验当前证据：旧source记录的版本与结果不能自动继承给新版本；raw保存、正文深读、正式晋升、云端可检索和公网可读逐项验收。

以上为迁移设计，不代表本轮已把判分器或安全门部署进Hermes；Harness-Engineering与AI-Knowledge-Point-Radar应保留这一证据层。

复现与统计边界

• 主资源为97任务/79 family，并声明20个family-disjoint开发任务；不自行把二者相加成另一任务总量。自然panel556态来自776 resolved attempts→697 unique snapshots→按class每题最多六态，不是全部运行的原始分布。
• 附录明确在较早结果检查后排除3题，原100题输出保留；explicit-preservation视图另改七题的19个typed-state标签。比较必须记录reference版本/标签视图与选择过程，不能把97题写成完全未受结果影响的盲选集。
• Astra审计在192个resolved标签中191一致，另3个indeterminate；195是全包分母。初判隐藏reference，不消除主reference可能不完备；Linear44仍有合理标签分歧，原benchmark分数沿用冻结reference。
• 两模型thinking disabled、温度0；bootstrap按family保留相关性，不把两个opening或程序replica当独立抽样。模型与反馈范围有限。
• 构建成本与warm检查成本分开；作者Flash/Pro的API-fee break-even中位数12/10次不包含任意部署成本，也不保证更优交付。准确性、延迟、成本必须并列。
• 论文声称companion含Evidence Index、snapshot/delta、程序/轨迹与命令；本轮HTML链接只定位到arXiv页面基础设施，未找到并核实专用companion包。已阅读全文不等于已获取或验证released artifacts，不造GitHub URL或声称可本机复现。

深度判断：当前before推导、witness联合覆盖、同开局完整policy对照能直接改进内部agent评测，故正文机制正式入库；“开放资源已可复跑”的更强结论保留待证。

相关知识

Agent-Benchmarks · Harness-Engineering · Context-Engineering · snowpr-private-benchmark-description-and-harness-controls · reality-final-verifier-requirement-model-gaps

写入记录

• 2026-10-29 09:10 CST：新增AgentProofBench主文/附录深读，沉淀运行时初态义务、panel+witness联合覆盖与gate/中性继续配对；分离44 assignment/88 opening/352 outcome、标签选择和未核companion边界。