Identical Runs, Different Results：重复运行、合规筛选与任务期外推

wiki/ai/sources/identical-runs-compliance-selection-and-drift.md

分类：ai / sources · 更新：2026-10-01 09:04

Identical Runs, Different Results：重复运行、合规筛选与任务期外推

知识点轴：benchmark-evaluation / harness-runtime / sandbox-security（高权重）；A2A 无关。 论文 v1与公开验证材料固定提交；研究运行于 2026-09 中旬，不能按今天发布报道。

为何对用户重要

用户做企业私有 coding-agent benchmark，单次通过/一次跑分经常被误用来选 harness 或模型。研究把 交付最好的合规产物 与 可靠比较两种配置 分开；前者可以用少量重复、后者必须先估计方差并按决策阈值设计样本。Agent-Benchmarks 的 hidden verifier、Harness-Engineering 的完整 solver 变量和unearned-passes-benchmark-channel-closure 的成功轨迹审计在此合并成一个实践合同。

机制和证据

一个 XGBoost 航班延误预测任务，训练集 2005、可见有标签调参集 2006、隐藏测试集 2006 和期外 2007。Study 1 六 agents×六端点仅探索；Study 2 三 agents×两模型各 52 次（312 次）；Study 3 同三 agents 换同系列更大模型各 52 次（156 次）。总尝试584，不是584独立任务。每次容器、40次计数实验、CPU预算固定；provider 建构/路由不可冻结。论文说明“实际起飞时间”曾被描述为“计划起飞时间”，所以 AUC 不代表现实出发前预测能力。^[raw/articles/identical-runs-different-results-paper-2609-33812-v1-2026-10-01.md]
Study 2 的合规运行中，六配对均值跨度 0.0095 AUC 小于配对内标准差中位 0.0107；三次运行比较时较弱配对被排前的频率约 28–44%，观察到的代理差异所需样本示例为每臂约 39–113 次。该近似来自事后观察到的差异而不是任意私有仓的规定次数；应先定“值得行动的最小提升”与预算、按任务族/仓分层，不能将一次AUC直接等同 pass@1。^[raw/articles/identical-runs-different-results-paper-2609-33812-v1-2026-10-01.md]
全部最终程序用两条追踪检查：eval label → fit 与 prediction batch → feature statistic，逐项人工核误报。Study 2 有 10/312 违规，恰好占最高分的前七条；移除后最高分从0.8293降至0.7695。不是偷看隐藏 holdout，也不能证明 agent 故意作弊：确有使用禁止训练数据、跨样本统计的违规。仅用可见分数差值阈值检查会错杀两份合规产物并漏掉两份违规。仓库的 VERIFY.md 对应 claim→命令→公开输出和最终代码，但本轮未实际跑这些脚本。^[raw/articles/identical-runs-verify-d98dd88-extracted-2026-10-01.md]
回顾性“尝试→排除违规/失败→按可见评估集选最好合规产物”的三次尝试策略，使交付中位 AUC 相对单次提高 0.0081（作者 bootstrap 95%区间 0.0063–0.0098）；这不等于只跑三次就能比较 agent 排名。2007 上，同一批合规程序相对基线的收益从 2006 的 +0.0280 降为 +0.0092，因此同年份隐藏集 ≠ 时间迁移。原 holdout 随公开仓库一并开放，作者已明确：本题此后不适合作为全新模型的未污染评测。^[raw/articles/identical-runs-different-results-paper-2609-33812-v1-2026-10-01.md] ^[raw/articles/identical-runs-verify-d98dd88-extracted-2026-10-01.md]
成本是模型×agent×gateway/provider 的配对属性。一组 Study 1 同模型、同任务的按价目表投影中 pi $0.08、Claude Code $1.86/次，主要与缓存命中差异相联；另两个模型并不表现同样缓存失败。并非用户当前价格、并非某产品普遍更贵；云端缓存和预算策略需记录真实端点及 token/缓存分项。

Hermes / llm-wiki 的可执行试点

私有仓先选少数任务，冻结 BASE/RED/GOLD + grader hash + image digest + agent/harness/model/endpoint/预算，每次保留 run id、最终 diff、可见反馈、隐藏判分、合规审计、token/缓存/成本与实际失败原因。交付策略与排行榜拆成两张表：前者按预算尝试多次、审核后取最优；后者按任务分层重复并给置信区间，比较时明确配置变更只有一个变量。加一个后续时间段/新仓的迁移组，对“高分但违规”及样本聚合特征做负例；确认合法替代解仍可判分。不能直接把公开 holdout 导入尚需保密的私有题池。

边界、反例与已知风险

单任务连续 AUC 无法推出所有仓/语言的 agent 排名；Study 2→3 的模型改变按天进行，端点不可完全冻结，交互效应仍需复制到新任务；“配对效果”不等于模型固有能力。选择策略在看到结果后提出，报告的重复抽样复用同一任务与样本池，需外部验证。43 GB 原始运行树未公开，导出的代码/CSV/ledger并非全部 tool-level trace。本轮读全文文字抽取和固定 VERIFY.md，但未运行仓库统计脚本或审核所有468份代码，故数量均标作者报告、confidence: medium。

写入记录

2026-10-01 09:04 CST：阅读论文及固定 VERIFY 映射，归档原文抽取；拆分交付/比较目标、合规筛选、期外退化和缓存成本的实际验收边界。