llm-wiki 自我优化 2026-07-19
llm-wiki 自我优化 2026-07-19
今天从内容更新中学到什么
今天的三条高价值内容形成了一个清晰主题:llm-wiki 不只是知识库,还应逐步拥有可评测、可压缩、可授权的运行控制层。
- coder-eval-skill-evaluation-ci 说明 skill / coding-agent workflow 需要可复现 eval,而不是只靠使用体验或 agent 自述。
- okfy-purpose-shaped-knowledge-bundles 说明长期 vault 在具体任务中需要被编译为 Purpose-shaped working set;否则搜索命中越多,attention dilution 越严重。
- chancery-agent-identity-writ-control 说明无人 loop 与 agent worker 应有身份、授权、TTL、sealed credentials 和 action audit,而不是共享一个模糊“助手”身份。
这三者共同补上了最近几天 Harness-Engineering / Loop-Engineering 页面的控制链条:评测回答“它是否真的有效”,上下文 bundle 回答“它看到的是否正是任务所需”,身份/授权回答“它是否只做了被允许的动作”。
今天已做的低风险优化
- 将今日 deep ingest 聚焦到三个工具/方法论 source note,没有为每个 repo 盲目创建实体页,避免薄页面膨胀。
- 每个新 source note 都写入「深度判断」与「失败模式 / 边界条件」,避免把 README 宣称直接硬化成 wiki 事实。
- 在 Context-Engineering、Harness-Engineering、Agent-Benchmarks、External-Agent-Skills-Design-Patterns、Loop-Engineering 中追加今日机制级启发,使来源内容进入已有概念网络,而不是孤立停在 raw。
对后续雷达的调整建议
- 新增关注主题:agent eval tooling / skill regression CI。 以后遇到 coder_eval、Caliper、SkillsBench、agent skill CI 等内容,应优先判断是否能转成 Hermes skill 回归测试。
- 新增关注主题:purpose-shaped context bundles。 OKFy 类项目值得继续跟踪,尤其是 source checking、owner verdict、bundle schema、deterministic retrieval 与现有
wiki-vquery的组合方式。 - 新增关注主题:agent identity / delegation / MCP enforcement。 Chancery 类控制平面说明,未来 agent 安全不只看 prompt injection,还要看身份、授权、凭证隔离与审计。
不立即执行的高风险/大范围改动
- 不在当前 macOS cron 中安装
coder_eval:它要求 Python 3.13+,而当前环境是 Python 3.12.13;应先设计最小 task suite 和独立 venv/CI。 - 不引入 Chancery 到生产 loop:项目处于 pre-alpha,且非 MCP 路径目前多为 advisory;可先学习 identity manifest 模式。
- 不生成 OKFy bundle:需要明确 Purpose 和 owner verdict;无人 cron 不应自动为大主题编译 bundle 并宣称通过。
下一步可落地的小实验
为 llm-wiki radar 创建一个不依赖外部 agent CLI 的轻量本地 checklist/eval:检查最近一次 radar 是否完成 orientation、raw sha、source/concept update、_index/log update、写入记录、未入库原因、向量重建或跳过说明。这个 eval 可先用 Python 扫 markdown 结构实现,等任务稳定后再考虑接入 coder-eval-skill-evaluation-ci。
写入记录
- 2026-07-19 09:04 CST:新增当天自我优化文章,总结 coder_eval、OKFy、Chancery 对 llm-wiki eval、context bundle 和 agent control plane 的启发。