Coding agent 成本归因:重复动作、工具输出与委托路径
Coding agent 成本归因:重复动作、工具输出与委托路径
结论:少读几次文件或增添代码图,不一定降低任务总成本。真正要测的是 动作 → 回包大小 → 后续上下文重带 → 主/子模型路由 → 合法完成与成本,而非只优化一个局部重复率。来源:Hu 等,arXiv:2609.30725v1,2026-09-25;本站原文选段位于 raw/articles/hu-cost-inefficient-coding-agents-selected-2026-10-05.md(raw不公开发布);本页是方法转译,未复算作者实验。
为什么对用户重要
Harness-Engineering 与 Context-Engineering 容易把“少次检索”“更多结构化工具”当提效代理指标;用户的 Hermes coding / llm-wiki 雷达有成本、写入、验证与索引动作,不应因纯摘要报告便合并、删掉必要证据复核。该论文用同任务真实轨迹展示:局部 SubRetrv 大减,端到端成本仍可能升;可据此设计只读轨迹审计,而不是安装论文的 Claude Code 或 CodeGraph 到 Mini。
机制与证据边界
- 作者把 300 个 SWE-bench Verified 任务的 1,200 条轨迹用于发现,按仓内创建日期把另 200 题留作评测;跨基准另抽成本偏重的 Pro-100。四配置为 Claude Code+Sonnet4.6(子代理 Haiku4.5)与 Mini-SWE-Agent 的三个模型配置;不是 Hermes 的实验。三种检测分别是先前回包完全覆盖的重复检索(≥5非空行)、相似脚本新生成(≥5代码行,Jaccard≥0.60)、同 patch 窗口同测试的先前重跑(末次保留可能有用)。作者报告三类合计覆盖79%–98%任务,估算占任务货币成本6.86%–22.75%;这是检测器归因,不是能直接回收的金额。^[raw/articles/hu-cost-inefficient-coding-agents-selected-2026-10-05.md]
| - 重复不必然浪费:子代理此前看过的代码只在其内部窗口,主代理后续精确读回可能是必要取证;编辑后确认新状态、故障信号被截断后重跑、以及[[identical-runs-compliance-selection-and-drift | 为统计比较故意独立重跑]]都须单列。记录 visible_to_actor、文件版本/patch hash、测试环境/输出可用性、重读原因、任务阶段与后续决策增量,不能仅按字符串匹配封禁动作。 |
- 结构化检索的反例:CodeGraph 在 CC 的两个任务集减少超过75%此类重复检索,却产生更长工具回包(单次8.2–16.6倍普通检索)、压低便宜子代理使用并把调用推向贵主模型;CC 的 Verified / Pro 成本分别上升8.30% / 12.19%。在 MSA 还有叠加普通检索而非替代的情形;八格中四格成本显著上升8.39%–28.14%。Pro-100 有13题工具无法运行,仅在其余87题比较;不能以局部比例推出图检索普遍有害。^[raw/articles/hu-cost-inefficient-coding-agents-selected-2026-10-05.md]
- 策略抽象级别:作者比较23–41条配置专属的自动合成规则和7条人工抽象原则;后者在8格中6格呈作者判定的稳健成本下降7.88%–41.73%,另有 CC Verified 的 Pass@1 −1.50个百分点;并非所有设置都更省或性能无损。机制是降低无目的重读、重复造脚本、同状态反复测试,且用高反馈编辑与上下文复用减少触发后续解释/缓存重带的连锁成本。工具/PDF附录中命令是论文的实验材料,不当作本机指令。^[raw/articles/hu-cost-inefficient-coding-agents-selected-2026-10-05.md]
Hermes / llm-wiki 可执行的小样本验证
- 在获得合规、去敏的任务轨迹后,固定 repo BASE、任务、模型/工具/价格、重复预算;建立
run_id, actor, phase, file_hash, patch_hash, retrieval_coverage, visible_to_actor, tool_output_tokens, input/cache/output_tokens, test_id, verifier, cost, success, compliance账本。只记录可获得字段,缺失不可填0。 - 先人工盲审几组重复候选:必要证据回读 vs 状态未变/未产生新证据;随后仅在同环境同任务配对比较“摘要导向小回包/可回读地址/主子代理路由”与现行基线。对Agent-Benchmarks分开 pass、cost-of-pass、合法结果、覆盖/超时及方差;不得为了省费跳过必须的真实验证。
- llm-wiki 的向量检索只能假设提供候选,必须回读具名 raw/source;优化方向是短机制入口+定位链接,避免把大段重复摘录推给模型。先量化一次真实检索与续读成本再做索引/提示词策略试点;本轮未改变工具、模型路由、cron 或生产策略。
失效模式与未解问题
作者只计算推理费用,不含等待/人力/硬件;标签器与阈值可能误报;基线8格三次运行,干预只有9格复跑,其余一次并借基线方差估计稳健性。公开 Verified 的按时间划分不消除模型训练污染;偏高成本抽样的 Pro-100 不代表全部 Pro。单一 Claude Code/CodeGraph 组合不代表 Hermes,更不覆盖长期 UI/多租户/A2A 任务。复现前须取得实际轨迹和价格/输入可见域,并用私有仓任务做期外回归;未取得时结论只作为审计假设。^[raw/articles/hu-cost-inefficient-coding-agents-selected-2026-10-05.md]
相关
Harness-Engineering(执行与模型路由)、Context-Engineering(回包与重带)、Agent-Benchmarks(同题统计)、LLM-Wiki-Optimization-Log(减少雷达重复归档,仍保存原件)。
写入记录
- 2026-10-05 09:05 CST:从论文方法、表1/3/4及限制提炼局部重复与端到端成本的错位;给出本地只读审计和非适用边界,未运行作者代码或更改Hermes。