AKM Eval — agentic knowledge management maturity index

AKM Eval — agentic knowledge management maturity index

为什么重要

johnfkoo951/akm-eval 是一个用 AKM Index v1.1 自评 agentic knowledge management system 的 Claude Code skill。README 明确说它评估的不是“笔记整理得漂亮不漂亮”，而是人 + 知识库 + agent runtime + operating loop 的整体成熟度：即使 Zettelkasten 很漂亮，如果 agent 访问不到，分数也低；笔记粗糙但 agent pipeline 稳健，则分数更高。

对用户的 llm-wiki，这个视角非常贴合：当前 vault 已经有 markdown、raw、index、log、vector search、cron radar、写入记录和 Hermes skill 流程，但还缺一个可重复的成熟度评估框架。AKM Eval 把 Prompt / Context / Harness / Loop / Interop & Governance 五个维度组合成 25 个 criteria，并要求每一分都有 artifact evidence。这正好能防止知识库“看起来很充实，但 agent 工作流不可验证”的虚假成熟。

机制 / 一阶原理

AKM Index 的五个 pillar 与权重如下：

每个 pillar 有 5 个标准，每项 0–4 分，总分 100。README 给出的成熟度 band 是 M0 manual、M1 tooling、M2 systematic、M3 orchestration、M4 compounding。关键机制是 evidence-based scoring：自我报告最高只能到低等级，level 4 必须有“系统修复系统”的记录。

一阶原理是：知识管理系统的价值不在“存储了多少知识”，而在“知识能否在真实 agent workflow 中被正确发现、使用、验证、迁移和改进”。因此，评估对象必须跨越 prompt、context、harness、loop 和 governance，而不是只数页面数量或检索命中率。

与既有 wiki 概念的关系

• 对 LLM-Wiki：AKM Eval 提供了评估 wiki 是否真正成为 agentic knowledge system 的 rubric，而不只是 markdown vault。
• 对 Context-Engineering：它把“能找到适量正确知识”作为最高权重 pillar，呼应 purpose-shaped bundle、context manifest 和 selective loading。
• 对 Harness-Engineering：它要求工具、权限、memory、orchestration 有证据，而不是只有 prompt 声明。
• 对 Loop-Engineering：它把 30 天运行证据作为 loop 成熟度条件，直接适用于每日 AI radar cron。
• 对 Agent-Benchmarks：它是 self-assessment benchmark，但强调 artifact evidence，可作为内部 maturity benchmark 而不是公开 leaderboards。

对 Hermes / llm-wiki 的可执行启发

1. 建立 llm-wiki AKM self-check：每周或每月按 P/C/H/L/X 五维自评一次，列证据路径（skills、_index、log、raw hash、wiki-vquery status、cron receipt、lint report）。
2. 把“系统修复系统”作为 M4 标志：每日优化页如果只是建议，不等于自改进；真正高成熟度需要低风险修正被执行、验证，并在下一轮产生更好行为。
3. 补齐 Interop & Governance：当前 wiki 强在 markdown/Obsidian/FAISS，但跨 runtime skill loading、恢复、权限、外部发布审计仍可更系统。
4. 不要只用页面数量当成健康指标：_index.md 的 500+ 总量说明积累多，但 AKM 视角更关心检索是否准确、上下文是否适量、是否有证据闭环。
5. 把 AKM rubric 本地化为 lint/report：可先做轻量 markdown checklist，不必安装/上传外部 skill；任何上传型评估都应在用户显式同意后进行。

失败模式 / 边界条件

• 上传与隐私：README 说明评估结果 akm-report.json 可上传到 AKM 运营方，虽然上传前会询问、board opt-in 分离，但用户的 llm-wiki/agent traces 敏感；本次只做知识入库，不安装、不运行、不上传。
• Claude Code 偏置：skill 推荐 Claude Code；Hermes 可迁移 rubric，但不能假设路径和脚本直接兼容。
• 自评可能被游戏化：如果为了分数而制造 receipts，而不改善实际工作流，会变成 Goodhart；需要保留真实失败和低分项。
• 语言/生态适配：README 主体为韩文，概念清晰但具体 rubric 细节需后续读 references/rubric-en.md 才能更准确落地。

深度判断

值得 deep ingest，因为它直接回答“llm-wiki 如何知道自己在变好”：不是看新页面数量，而是看 prompt/context/harness/loop/governance 五层是否有证据、是否能跨 30 天运行并自我修复。它能作为后续 llm-wiki 自检、cron receipt、skill lint 和向量检索健康评估的成熟度框架。

写入记录

• 2026-07-23 09:00 CST：新增 source 页，基于 README 提炼 AKM Index 的五维成熟度、证据评分机制，以及对 llm-wiki 自检和 governance 的启发。