llm-wiki 自我优化 2026-07-22
llm-wiki 自我优化 2026-07-22
今天学到什么
今天的三条高价值来源共同指向一个主题：llm-wiki / Hermes 的可靠性不能只靠“写了更好的 prompt”，而要把 agent workflow 变成可选择、可检查、可验证、可审计的 harness。
| - [[microsoft-agent-skills-context-driven-development | Microsoft Agent Skills]] 提醒：skill 和上下文包会自然长成 catalog，但 catalog 必须支持 selective loading。把所有 skills 或 wiki 页面一次性塞进上下文会造成 context rot。 |
| - [[vigiles-agent-harness-audit | Vigiles]] 提醒：规则、skills、hooks、AGENTS.md 存在不等于生效。harness 需要 audit/lint/test/eval，否则容易制造 false confidence。 |
| - [[halo-record-runtime-records | Halo Record]] 提醒：最终报告和自然语言 log 不足以证明高风险行动。effectful actions 应逐步进入可验证 action ledger，必要时使用 hash-chained runtime records。 |
已做的低风险优化
- 更新 skill 生态判断标准：在 External-Agent-Skills-Design-Patterns 增加“Skill catalog 要按需加载，并把是否生效变成可检查对象”，明确外部 skill 进入长期 profile 前应经过 lint、audit、adoption test、eval/regression。
- 更新 harness QA 栈：在 Harness-Engineering 增加 catalog/routing、lint/audit、test/eval、runtime records 四层证据栈。
- 更新 loop 证据要求：在 Loop-Engineering 增加长期 loop 的 action ledger 思路，建议优先记录 effectful boundary，而不是全量记录所有只读操作。
- 更新 benchmark hygiene：在 Agent-Benchmarks 增加规则采用评测与 runtime record integrity，提醒 wiki-radar 的报告 claim 应有文件或命令 receipt。
- 更新
_index.md：把今天新增的三篇 source 页和本优化页加入 AI/工程来源列表，并更新 AI 来源计数。
对 llm-wiki radar 的流程启发
今日雷达暴露了一个可改进点：当前报告中会列出文件创建/更新，但还没有机器生成的 per-run action ledger。低风险下一步是为每日 radar 自动写一份小型 JSON/Markdown receipt，记录：
- orient 是否读取
_index.md与log.md； - raw 写入路径与 sha256；
- 新建/更新的 source/concept 页面；
_index.md、log.md是否更新；wiki-vquery是否重建或为什么跳过；- 哪些候选未入库及原因；
- 哪些网络/GitHub/arXiv 访问失败。
这比立即引入完整 Halo Record 更轻量，但保留了未来升级到 tamper-evident runtime records 的接口。
仍需谨慎的地方
- Microsoft skills、Vigiles、Halo Record 今天均基于 README 入库，未安装运行，也未审计完整代码；因此相关 source 页 confidence 设为 medium。
- GitHub API 今日在后续元数据查询中触发 rate limit；候选评分主要依赖 GitHub search 输出和 raw README 抓取，不应把 star/issue 等元数据当成完整验证。
- arXiv API 今日超时/429，未摄入论文类来源；明日可优先补一次 arXiv / official blog 路线，避免雷达过度偏向 GitHub 工具。
建议的后续优化
- 为每日 radar 增加
run-receipts/：先写轻量 receipt，不改变现有 wiki 结构和投递流程。 - 做一次 Hermes skill lint：检查当前本地 skills 是否都有强触发、负面边界、验证门禁、fallback、permission manifest。
- 建立候选去重池：GitReins、Lithrim 等今天未入库但相关的 harness/eval 工具可放入短期 follow-up，而不是每天重新发现。
写入记录
- 2026-07-22 09:00 CST：新增当天 llm-wiki 自我优化页，总结 skill catalog、harness audit、runtime records 对 llm-wiki 自检和 radar receipt 的启发。