The harness still matters

wiki/ai/sources/harness-benchmarks-meta-review.md

分类：ai / sources · 更新：2026-07-13 09:07

The harness still matters

tmustier/harness-benchmarks 是一个 2026-07-12 创建的 coding-agent harness 评测综述仓库。它不是提出一个新 agent，而是把已有多项“同模型、不同 harness”的公开证据整理成结构化 study records、observations、claims 和一个可读报告。核心结论很直接：harness 会显著改变 coding agent 的质量、成本、token 使用和运行时间；不存在跨所有模型和任务都最优的单一 harness。

为什么对用户重要

这对 Hermes / llm-wiki 很重要，因为用户每天使用的不是“裸模型”，而是模型 + 工具 + skill + wiki + cron + 验证门禁组成的 Harness-Engineering 系统。如果只比较模型名或上下文窗口，而不比较 harness，容易把真正来自工具路由、上下文压缩、验证策略、任务拆分和成本控制的差异误归因给模型能力。

对 coding agent 也一样：同一个模型在不同 harness 中可能有相近成功率但不同 token、成本和时延。报告引用的 Databricks 方向性结果显示，某些 matched-model runs 在质量相同的情况下成本差异超过 2×，Pi 每轮发送上下文约为 native harness 的三分之一。这类结果不应被当作绝对排行榜，但足以说明“harness 是可优化变量”。

机制 / 一阶原理

Coding-agent harness 至少改变四个因果链：

上下文选择：哪些文件、历史、工具 schema、系统指令进入模型，会决定模型看到的问题空间；这直接连接 Context-Engineering。
行动协议：agent 是否先探索、是否分阶段提交、是否有审批/回滚/沙箱，会改变错误暴露与修复机会。
验证边界：真实测试、独立 judge、transcript receipts、proof bundle 等会把“看起来完成”变成可检查状态。
预算控制：相同模型能力下，harness 通过压缩上下文、减少无效搜索、选择低成本工具，改变 token、时间和美元成本。

因此，harness 评测不能只看 pass rate。至少要同时记录 quality、cost、runtime、token usage、repeated trials、grader 类型、任务表面和数据可访问性。harness-benchmarks 的价值在于把这些维度放进结构化 records，而不是只给一张 leaderboard。

与已有 wiki 概念的关系

对 Harness-Engineering：补充了一个实证判断标准——harness 不是“prompt 风格”，而是能改变可测工程结果的系统变量。
对 Agent-Benchmarks：把 benchmark 对象从模型扩展到 harness。公开分数如果不固定 harness 或不报告 harness 细节，就很难解释。
对 Context-Engineering：效率差异常常比质量差异更清楚，说明上下文选择/压缩/路由本身就是主要优化面。
对 Agentic-Coding：选择 Claude Code、Codex、Pi、OpenCode 或自研工具时，不应只看模型，还要看是否适配本地仓库、测试、review 和证据链。

可执行启发

对 Hermes 自动任务建立“harness A/B”意识：同一类任务（例如 AI radar、wiki ingest、代码修复）可以比较不同搜索策略、页面模板、验证清单和工具路由的成本/质量。
llm-wiki 的每日雷达报告应显式记录 discovery path、未入库原因、验证结果和耗散点；这相当于给自己的 harness 留下 study record。
评估新 coding-agent 工具时，要求至少报告：同模型对照、任务集来源、grader、重复次数、成本/token、失败案例和 raw data 可得性。
如果引入新的 skill/tool，不要只问“是否能完成”，还要问“是否减少 rediscovery、token、误操作和验证成本”。

失败模式 / 边界

证据仍有限：报告自己也强调多项 benchmark 任务数小、单次运行、live leaderboard 或缺少不确定性估计；不应把方向性结果当确定排名。
迁移性有限：某个 harness 在漏洞、科学、生物或内部 PR 任务上有效，不代表适合个人 wiki 或通用 coding。
指标 trade-off：更低 token/成本可能牺牲探索充分性；更强验证可能增加时延。需要按任务风险选择。
harness overfitting：如果只围绕公开 benchmark 调优，可能获得虚高分数而不改善真实工作。

写入记录

2026-07-13 09:00 CST：新增 source 页面，归纳 harness-benchmarks 对 coding-agent harness 评测、成本/质量分离和 Hermes 自评测的启发。