AI Self-Improvement Lab
AI Self-Improvement Lab
核心问题
在模型权重不变的前提下，AI 能否通过持续阅读、结构化记忆、每日实践和反思复盘，让同一个 agent 的行为逐渐变强？
方法
把外部信息流变成四类资产：
- 知识页：概念、实体、来源、比较。
- 技能：可复用工作流和操作步骤。
- 评估：判断某个实践是否真的提升质量。
- 实验日志：记录每日尝试、失败和新想法。
与 Karpathy X Radar 的关系
Karpathy-X-Radar 提供高质量 AI 信息流；本页负责把信息流转化成 agent 自我增强实验：
- 读到一个观点 → 抽取原则。
- 原则 → 设计一个小实践。
- 实践 → eval 比较 baseline/improved。
- 反思 → 沉淀为 wiki page / skill / workflow。
2026-06-21 补充：可评估 metric 才适合自动改进
karpathy-autoresearch 的关键启发不是“agent 能自己写很多代码”，而是它把研究问题放进一个可审计闭环：固定代码边界、固定实验预算、固定验证指标、有效改动保留、无效改动回滚。Karpathy 对 AutoResearch round 1 的描述显示，agent 在约 2 天内跑过约 700 个 autonomous changes，找到约 20 个可叠加改进，并把 nanochat 的 Time-to-GPT-2 从 2.02 小时降到 1.80 小时。
因此 AI Self-Improvement Lab 应优先寻找“能被高效评估”的改进目标，而不是泛泛要求 agent “变聪明”。适合自动循环的目标包括：wiki 新页面 broken links 为 0、每页至少 2 个有效 wikilinks、候选内容按 rubric 总分 >=18 才落库、lint 通过后才更新 index、digest 命中用户关注主题的比例提升。
如果一个目标没有测试、指标、对照样本或人工 rubric，就不应声称已经完成 self-improvement；最多只能记为探索性反思。
每日实验输出格式
# Daily AI Self-Improvement - YYYY-MM-DD
## 今日输入
- 来源：
- 为什么值得看：
## 抽取原则
1.
2.
## 今日实践
- 任务：
- baseline：
- improved attempt：
## Eval
| 维度 | baseline | improved | 说明 |
|---|---:|---:|---|
| 正确性 | | | |
| 可执行性 | | | |
| 新颖性 | | | |
| 可复用性 | | | |
## 反思
- 有效：
- 无效：
- 下次调整：
## 新想法
1.
2.
3.
## 是否沉淀
- wiki:
- skill:
- cron/workflow:2026-07-17 补充：从每日反思到可治理行为规则
| [[self-improving-coding-agents-behavioral-rules | Self-Improving Coding Agents Through Behavioral Rules]] 提供了 AI Self-Improvement Lab 的一个可执行版本：每条被接受的 review feedback 都转成持久行为规则，进入版本控制的 instruction file、自查 checklist 和 validation loop。它的关键不是“记住更多经验”，而是让经验具备触发源、表示、执行位置、生命周期和复发指标。 |
对 llm-wiki 来说，每日自我优化文章应区分三层：观察到的现象、候选规则、已固化且可验证的规则。只有当规则具体、可执行、能减少重复失败，并且不与已有规则冲突时，才应该进入长期提示或工具流程。否则它应留在当天文章中，等待更多证据。
写入记录
- 2026-07-17 09:00 CST：补充 review-derived behavioral rules 对 AI Self-Improvement Lab 的启发，区分观察、候选规则和已固化可验证规则。