SETA — Scaling Environments for Terminal Agents

SETA — Scaling Environments for Terminal Agents

SETA 是一篇关于“如何规模化构造 terminal-agent 训练/评测环境”的论文。它把 terminal agent 的核心瓶颈从“模型是否会操作命令行”前移到环境供给：高质量任务需要多样来源、可执行环境、可靠 verifier、难度演化，以及能给训练提供细粒度进展信号的 rollout 数据。

为什么对用户重要

Hermes 的真实工作流大量发生在 terminal：读文件、搜索、patch、运行测试、启动服务、验证输出、处理失败。Agent-Benchmarks 里已有很多“测最终是否完成”的页面，但 SETA 的价值在于解释 terminal 环境本身如何被生成、验证和演化。这直接关系到用户未来如果要给 Hermes/agentic coding 建私有 benchmark 或训练样本，不能只写任务描述，还要有可重放 sandbox、oracle solution、post-rollout verifier 和 partial-progress reward。

机制 / 一阶原理

SETA 的 pipeline 分两层：

1. SETA-Synth：从多样来源收集 seed，先由 idea agent 生成任务规格，再由 datapoint agent 构造可执行环境、测试和参考解。关键不是“让 LLM 编题”本身，而是把任务变成可运行 artifact：instructions、dependency、setup、grader、oracle solution、失败样例都应被机器检查。
2. SETA-Evol：对已有环境做自适应演化，例如替换技术栈、改变上下文、调整约束或增加复杂度。演化的目的不是制造噪音，而是扩展难度和覆盖面，同时保留可验证性。

它还强调 post-rollout verification：仅有 oracle solution 通过不代表 grader 完整，agent 轨迹可能暴露 instruction-test gap 或 false-negative。这个点和 harness-benchmarks-meta-review 的“harness 本身也是变量”一致：benchmark 的可信度来自环境、任务、grader、执行轨迹共同闭环，而不是题目数量。

与既有 wiki 概念的关系

• 对 Harness-Engineering：SETA 说明 harness 不只是限制 agent，也可以生产可训练/可评估环境；harness 的质量决定 agent 学到什么。
• 对 Agent-Benchmarks：它补上 benchmark 数据生成层。已有页面强调 verifier、trajectory health、claim receipts；SETA 进一步强调环境 synthesis/evolution 和 partial-progress reward。
• 对 Agentic-Coding：terminal agent 的能力来自反复在真实 shell 状态中探索、执行、失败和恢复；静态问答无法覆盖这种行动空间。

对 Hermes / llm-wiki 的可执行启发

1. 把每日雷达的“任务合同”显式化：orientation、搜索、raw 保存、深度判断、页面更新、index/log、reindex 都可以视为一个 terminal-agent environment 的 required transitions。
2. 如果未来要 benchmark Hermes workflow，不应只问“日报是否生成”，而要记录每一步的 verifier：是否读了 _index.md、是否查重、raw 是否有 hash、页面是否有写入记录、wikilink 是否可解析。
3. 对复杂 ingest，可引入 partial-progress scoring：即使最终未晋升页面，也可以给发现、raw、拒绝理由、优化建议分别打分，避免 binary pass/fail 掩盖过程质量。

失败模式 / 边界

• 合成环境可能 reward hacking：agent 学会通过 grader 而非完成真实任务。
• 演化任务如果只做表面替换，会制造看似多样、实则同质的数据。
• terminal benchmark 强依赖 sandbox 隔离；权限、网络、时间上限、文件系统状态不稳定都会污染结果。
• 对个人知识库而言，构造完整 SETA 式环境成本较高；更现实的第一步是为少数关键 workflow 建轻量任务合同和 verifier。

写入记录

• 2026-07-14 09:00 CST：新增 SETA 来源页，提炼 terminal-agent 环境生成、演化、post-rollout verification 与 Hermes workflow benchmark 的关系。