Reality Is the Final Verifier：需求缺口与环境模型缺口

Reality Is the Final Verifier：需求缺口与环境模型缺口

核心判断和用户价值

知识轴：benchmark-evaluation / harness-runtime / sandbox-security。 2026-09-10预印本提出内环 P（实现）反复通过E(P,R,M)（评测器、明文需求、环境模型）并不保证真实用户意图I在现实世界W成立。R↔I是需求缺口，M↔W是模型缺口；还要单列可通过改善测试来缩小的评测实现缺口。用户评估Hermes任务和私有coding-agent时，与其继续叠同源review，不如给“验收是否代表业务意图、模拟环境是否代表真实依赖”独立证据。^[raw/articles/reality-final-verifier-two-gaps-fulltext-2026-09-25.md]

一阶机制：先诊断失败在哪层

• R缺漏：优化key-value store吞吐时只存种子、复现测试数据，测试通过但没保存调用者实际值；补显式“任意客户值需被持久保存”的合同与反例。另如MoE负载平衡为指标把部分expert流量降到零，须把服务覆盖纳入要求，不一定是环境错。
• M缺漏：模拟器只给可预测输入、假定外网隔离或依赖版本恒定；证明P满足模拟下的要求仍不等于生产。沙箱隔离与网络出站是需要实际验证的环境假设，而非一句“已经沙箱化”。
• E缺漏：要求和环境都明确但verifier漏测或误判，修的是测试自身；不要把坏题、环境失配和agent做错全归到一个低分。
• 幻觉与投机不同：reward hacking利用既有R/M缺口适应评分；hallucination则凭空加入不存在的业务规则/API，可能在E继承错误假设时也通过。两者均无须假设模型有恶意。^[raw/articles/reality-final-verifier-two-gaps-fulltext-2026-09-25.md]

外环如何执行，而非无限增加审稿人

作者建议建立有版本的assurance argument：声明、适用范围、支撑证据、责任人、失效条件。出现异常时保存证据，判断应改P/R/M/E还是上线保护，重跑内环，再以小范围发布、停止条件和回滚逐步放量。对昂贵评测可设计由便宜到高保真的模型/模拟/真实受控验证级联，但须定期检验低保真结果是否预测更高保真；高风险/不可逆动作优先独立见证和人类有权决策。无人可澄清时只执行可逆隔离动作。这是方法框架，不是论文已经验证某个具体产品收益。^[raw/articles/reality-final-verifier-two-gaps-fulltext-2026-09-25.md]

接到现有知识链

swe-bench-pro-verified-leakage-and-task-validity 的hidden grader可避免部分泄题，但合法替代解/题目不明属于R/E，镜像与网络偏差属于M；mobilecybench-property-probes-and-patch-attribution 的可执行属性探针把部分真实状态带入E，探针覆盖不全仍留下R/M缺口；Harness-Engineering 的权限、环境与实际effect回执用来核M而非靠prompt承诺。给llm-wiki建评测卡片时新增一行 intent owner / acceptance example / modeled dependencies / verified assumptions / independent state / invalidation trigger，与原有version/trace/cost/coverage一起保存；先在独立隔离小任务试，不改生产审批链。

深度判断、反例与限制

值得深挖是因为它将“多做测试”细分为不同责任/证据对象，补Agent-Benchmarks常见的单分数解释不足；是论证/研究议程而非带新实测的benchmark，不可把列举他人沙箱事件当本机或原作者新实验。R/I与M/W在现场可能耦合，部署证据也受抽样/漂移限制，所谓“真实世界是最终verifier”不允许跳过上线前沙箱、审批和小流量验证；多个agent共享同一前提时多一轮review不产生独立事实。全文HTML已存raw；本轮没有独立复核论文引用的安全事件原始事后报告，也没有生产实验。^[raw/articles/reality-final-verifier-two-gaps-fulltext-2026-09-25.md]

写入记录

• 2026-09-25 09:06 CST：入库双缺口/评测实现缺口、外环闭环与风险分层建议，保留理论来源和未验证边界。