Lilian Weng — Harness Engineering for Self-Improvement
Lilian Weng — Harness Engineering for Self-Improvement
核心内容
Lilian Weng 将 recursive self-improvement 从“模型直接改权重”扩展到“模型改进训练管线、部署系统和 harness”。Harness 是编排 prompts、tool calls、subagents、control flow、memory、workflow logic、外部 context/MCP、backend jobs 和 artifacts 的程序层。近端 RSI 更可能表现为 meta-methodology：优化产生更好答案的机器，而不是只优化单个答案。
为什么对用户重要
这篇文章把用户近期关注的 Harness-Engineering、Loop-Engineering、Context-Engineering 和 AI-Self-Improvement-Lab 串成一条主线：llm-wiki 本身不只是知识库，也是 agent 自我改进的 harness substrate。每天的 AI 雷达、raw archive、source/concept 页面、vquery index、lint 和写入记录，都是让下一次 agent 工作更好的外部认知机器。
机制 / 一阶原理
模型能力不是唯一瓶颈；能否把目标、上下文、工具、检查、记忆和后台任务组合成可优化系统，决定了 agent 是否能稳定产出。Harness 的可优化性来自它是外部化、版本化、可测试的程序对象。Self-Taught Optimizer 的启发是：不只优化 solution，也优化 improver；对应到 Hermes，就是不只让 agent 回答问题，也让 agent 改进它寻找、验证、记录和复用知识的流程。
与已有 wiki 的关系
- 深化 Harness-Engineering：harness 是 self-improvement 的近期载体。
- 连接 AI-Self-Improvement-Lab：自我改进可以先发生在 workflow / context / eval 层，而非模型权重层。
- 连接 External-Agent-Skills-Design-Patterns：skills 是 harness 可组合组件，但需要治理、评测和依赖管理。
- 连接 Lilian-Weng：该作者持续提供 agent 和系统化 AI 研究综述，值得继续作为 radar seed。
对 Hermes / llm-wiki 的启发
- 将“llm-wiki 自我优化文章”保留为每日 meta-methodology 记录，而不是附属流水账。
- 把雷达流程拆成可评估 harness：discovery gate、deep-ingest gate、concept-update gate、index/log gate、reindex gate。
- 对重复出现的高价值方向建立专题页，而不是每天只追加 source list；例如 trajectory diagnostics / runtime repair / review-revise loop 可以合并成“agent operation telemetry”主题。
失败模式 / 边界
Harness 会过工程化：过多规则、索引和检查可能消耗任务预算并降低灵活性。更好的方向是把少数高杠杆机制做成可验证默认项，并让低价值内容只留 raw/digest，不晋升成薄页面。
写入记录
- 2026-07-08 09:00 CST：基于 Lilian Weng 文章创建来源页，沉淀 harness 作为近端 self-improvement substrate 的方法论意义。