← 返回藏书阁

Karpathy — LLM Wiki

wiki/ai/sources/karpathy-llm-wiki-gist.md
分类:ai / sources · 更新:2026-07-01 09:17

Karpathy — LLM Wiki

一句话总结

Karpathy 的 LLM Wiki gist 把个人知识库定义为一个由 LLM 持续维护的 Markdown codebase:原始资料保持不可变,LLM 把它们编译成互链 wiki,并通过 schema、index、log、lint 让知识随摄入和提问持续复利。

关键观点

1. 从“查询时 RAG”转为“摄入时编译”

普通 RAG 在每次查询时重新检索和拼接材料,所以综合性知识不会自然积累。LLM Wiki 则要求 agent 在新来源进入时就更新概念页、实体页、索引和日志,让综合结果成为持久资产。

2. Wiki 是 LLM 维护的中间层

该模式不是让人手动写 wiki,而是让人负责 source curation、问题方向和判断,让 LLM 做摘要、交叉链接、归档、bookkeeping。Karpathy 的比喻是:Obsidian 是 IDE,LLM 是 programmer,wiki 是 codebase。

3. Schema 决定 agent 是否可靠

文中把 schema 视为关键配置:它告诉 LLM 目录结构、约定、摄入流程、查询流程和维护规则。没有 schema,agent 容易退化成随意写 markdown;有 schema,agent 才像 disciplined maintainer。

4. Query 结果也应反哺知识库

有价值的问答——比较表、分析、图表、slide deck、综合判断——不应只停留在聊天记录中。它们可以成为新的 wiki 页面,使探索过程本身也成为知识积累。

5. Lint 是知识库长期可用的维护机制

Karpathy 特别强调定期健康检查:找矛盾、过期声明、孤儿页、缺失交叉引用、值得补充的新问题和新来源。LLM 的优势正在于它能低成本维护这些 tedious bookkeeping。

对本 wiki 的影响

这篇 gist 事实上是本 ~/llm-wiki 工作流的原始设计来源。当前实践已经包含:

  • raw/ 保存原始材料;
- `wiki/<category>/conceptsentitiessources/` 保存编译后的知识层;
  • _index.md 作为导航目录;
  • log.md 作为时间线;
  • llm-wiki skill 作为 schema/操作手册;
  • wiki-vquery 作为语义搜索增强,而不是替代 wiki 本身。

可继续优化的问题

  • 是否需要把空缺的 SCHEMA.md 恢复为一个精简版,只保留跨 category 的硬规则?
  • 是否把 query 回写制度化:凡是回答超过一定深度,就自动询问或直接沉淀为 wiki/<category>/queries/
  • 是否定期把 log.md 中的高价值 session 汇总成“本周知识演化”页面?

写入记录