Hyper-tau-bench：从业务证据恢复需求，再验收构造出的 Agent

wiki/ai/sources/hyper-tau-bench-evidence-recovery-and-agent-construction.md

分类：ai / sources · 更新：2026-09-17 09:11 最近更新

Hyper-tau-bench：从业务证据恢复需求，再验收构造出的 Agent

结论与深度判断

能构造一个会运行的 agent，不等于构造出了符合业务要求的 agent。 这项工作的耐久价值，是把需求恢复、客户澄清、真实 API 适配、继承代码、服务预算和最终业务状态放在同一次验收中。它比“再比较几个 coding agent 分数”更能帮助我们设计内部客服、工单和知识工具评测。

命中知识点轴：benchmark-evaluation / context management / harness-runtime；sandbox-security 仅涉及论文的隔离/隐藏材料设计，不是沙箱防御基准。主归属 Agent-Benchmarks、Context-Engineering、Harness-Engineering。

来源：arXiv 2609.04611v1，2026-09-04。2026-09-17 抓取原始 HTML、读取主文及附录 A–K 文本，图像内部细节未做视觉验证。web_extract 最初返回省略式文本，已由原站恢复；本文未取得发布 runner、数据包或逐 trial 轨迹，所有模型成绩均是作者报告，而非本机重跑或当前排行榜。

一阶机制：被评测的产物是“另一个 Agent”

传统 τ-bench 把成品 agent 当被测对象；Hyper-tau 给 developer 一个 construction kit，由它交付 agent，再让交付物服务模拟用户。kit 的关键变量包括证据载体、知道隐性事实的 client、可能带缺陷的 REST API、继承实现、服务模型/预算、一次 live experiment、回答措辞规则。release 为 53 个构造任务；另有作者称保密的 53 个任务集，不能相加为本表实测 106 题。^[raw/articles/hyper-tau-bench-evidence-recovery-and-agent-construction-2026-09-17.md]

机制链是：atomic facts → 多模态业务记录/客户专有事实 → developer恢复需求 → tools/agent实现 → 独立部署模拟 → 数据库终态与回答判分。所有业务操作通过 trusted host 的 Client API，developer 设计自己的工具接口和 adapter；不能通过改本地数据库或自己造的 mock 冒充修复客户端系统。

需求覆盖：搜索到关键词，不代表掌握规则

作者先把政策拆成原子事实，再生成邮件、支持记录、流程图、表格、录音等载体；检查每个事实在指定载体中可恢复，并审计无依据的新金额/日期/政策。部分事实只由 client 持有，只有提问才能获得。文件名按体裁与内容摘要排序，事实载体/干扰件不能用样式轻易区分。这个设计直接补强 Context-Engineering 的证据覆盖问题，而非只研究压缩 token。^[raw/articles/hyper-tau-bench-evidence-recovery-and-agent-construction-2026-09-17.md]

论文观察到开发者偏向 keyword search、早停阅读、写了 open questions 却没问、未运行继承实现就重写；自编测试又可能复制同一误读。因此测试通过不独立于需求来源。 对 llm-wiki 可采用轻量“主张—来源—反例—未知”表：检索定位后读完整必要段落，给数值/版本/适用条件独立来源；不要把“已搜索 N 次”当覆盖率。没有已知全量事实清单时，也不能伪造需求覆盖百分比。

作者所述“提问更多的 build 分数更高”是轨迹观察，不是随机干预的因果效应；不能据此规定一律增加提问次数。cron 无人在场时应保留未知、避免有副作用的猜测，不模拟用户批准或编造答案。

真实 API 与契约偏差：负例比重写框架更可迁移

附录 H 定义九类确定性故障：值编码漂移、字段重命名、金额符号、日期类型、异步完成、提交后超时、限流、分页、读投影滞后。版本 manifest 绑定操作、任务、请求序号、资源和延迟；公开契约描述预期，部署版本有受控偏差。client 在开发者报告具体异常后才说明恢复办法；不能靠修改 client 服务端消除缺陷。^[raw/articles/hyper-tau-bench-evidence-recovery-and-agent-construction-2026-09-17.md]

值得用于内部 runner 的三条最小负例：

写入已提交却返回 504：盲重试可能重复业务动作，直接宣布失败也可能撒谎；要使用幂等键与状态核查。
202/工作流 ID：收到响应不是完成，须按合同查状态，不能回复“应该稍后成功”后结束。
分页/投影滞后：HTTP 200 不证明列表完整，短暂旧读不证明写入失败；记录 cursor、版本/事件时间和最终独立状态。

与 aws-agentcore-a2a-host-contract-and-health-semantics 对照，平台 session provisioning 的可重试 409 与业务已提交的 504 是不同状态，不应共用“错误即退避重试”。这也延伸 sre-bench-hidden-grader-and-coverage 的失败归因，而非另建一套术语。

分数口径：23.9 不能直接读成所有模拟会话的成功比例

论文 §3.1/§4 定义每个构造任务的分数为：max(0, mean_reward - max(0, mean_serve_cost / budget - 1))，最后对 53 个构造任务等权平均。因此主表是含预算惩罚的 task-macro score，不是四个领域等权，也不是将所有模拟会话混在一起的 micro pass rate；正文/摘要的“passes”简写应按公式解释。单次昂贵会话不单独扣分，均值越预算才触发罚项。构造费用与服务 credits 也应分账。^[raw/articles/hyper-tau-bench-evidence-recovery-and-agent-construction-2026-09-17.md]

本机从原 HTML 解析表 3/4 后核查：53 个任务 ID 唯一且连续，共 3,365 个评估会话槽位；领域题数为 6/6/6/35，银行权重最高。作者最强行的领域数值 55.9/72.8/48.2/5.9 按此权重可复算为约 23.923，与主表 23.9 相符；按领域等权则约 45.7，不能混用。reference 的任务表均值约 82.175，对应 82.2。reference 是作者掌握 ground truth 的 oracle 上界，不是平均人类成绩。这些只是原表内部一致性核查。^[raw/notes/ai-radar-evidence-checks-2026-09-17.md]

“隐藏评测”还必须注明允许暴露的例外

附录 A 明确五个任务允许一次 live experiment：返回固定 pilot traffic 的 transcript，该样本仍留在 scored suite。本机表格核出 ID 001/009/017/019/029。这是作者设计的允许反馈，不是我们发现作弊；但它意味着不能把每个计分会话都说成开发者从未观察。复现应保存 pilot subset、调用次数与暴露状态，并分别报告有/无 pilot 的表现。^[raw/articles/hyper-tau-bench-evidence-recovery-and-agent-construction-2026-09-17.md]

作者称构造容器仅允许 scoped model gateway 和 Client API 出站，提交后由另一个 networkless 容器评分，并审计查找 grader/隐藏数据的尝试。我们没有取回镜像或网络策略，也没有运行逃逸/污染攻击，故“尝试未成功”仍是作者报告，不作独立安全保证。

对内部工程与知识库的应用

从一组真实、脱敏、冻结时点的政策/工单材料出发，分别维护 developer 可见记录和独立验收清单；用新政策数值与原始版本明确测试污染，而不是只改品牌名。
接手代码先测未改 baseline；自编测试须溯源到需求，而非仅对实现自洽。按合法替代解与错误实现做独立审核，连接 harbor-index-parity-task-validity-and-snapshot-boundaries。
按 raw quality / budget-adjusted score / task-macro / conversation-micro / pilot exposure / end reason / build cost / serve cost 分开保存；不能用单个零分掩盖预算问题或功能问题。
wiki 候选的保存范围与阅读范围继续分开；更新 AI-Knowledge-Point-Radar 的既有证据门槛，不另建复杂事实数据库或强制全库通读。

局限与未完成验证

每配置每题只有一次构造 trial，未刻画重复 build 方差；模拟 client/user 是固定要求的单模型，不能代表多方冲突和持续变化。真实企业的事实可能根本无处可找，而此基准保证事实可恢复。评估止于提交，不覆盖长期运维。部分图中轨迹与架构分类未独立核对；缺 runner/数据/原始轨迹，不能据纸面容器说明宣称完全可复现。保留机制价值，不将 oracle、摘要百分数和安全隔离合并成产品选型结论。

写入记录

2026-09-17 09:08 CST：新增需求恢复、构造后评测与API故障机制；补task-macro/预算/pilot暴露边界，保存原表复算并明确未重跑模型或容器。