Lilian Weng — Scaling Laws, Carefully

Lilian Weng — Scaling Laws, Carefully

Lilian Weng 2026-06-24 的《Scaling Laws, Carefully》系统梳理 scaling laws：训练损失如何随模型规模、数据规模和计算量按幂律下降，以及如何在固定 compute 下分配参数量和 token。它不是 agent workflow 文章，但对用户的 AI 工程知识库仍有耐久价值：许多 agentic research / AutoResearch / nanochat 优化，本质上都在围绕“怎样把有限实验预算转化为可预测改进”做工程化。

为什么对用户重要

用户的 wiki 已经有 karpathy-nanochat、karpathy-autoresearch 和 LLM-Training-From-Scratch-Education-Stack。这些项目把训练系统变成可复现实验 harness，但如果缺少 scaling-law 视角，容易只看 leaderboard 或单次实验结果。Scaling laws 提供的是实验预算分配语言：什么时候应该扩大模型，什么时候应该增加数据，什么时候 repeated data 已经边际衰减，什么时候小实验曲线可以外推。

对 Hermes/llm-wiki 也有隐喻价值：知识库维护同样有“规模规律”。盲目增加页面数量不等于知识质量提升；更重要的是找到页面深度、来源质量、交叉链接和复用频率之间的最优分配。

机制 / 一阶原理

文章的核心框架是：训练 loss L 随模型参数 N、数据 token D 和 compute C 呈可拟合的 power-law 关系。在 log-log 图上，power law 近似直线，因此可以用较小实验估计更大规模训练的趋势。

一个重要细节是 data-constrained training。文章引用 Muennighoff et al. 的思路：当高质量 unique data 有限时，总 token D 可以拆成 unique tokens U_D 和 repeats R_D。重复数据不是完全无用，但边际价值会递减；可以用 discounted effective data D' 表示重复 token 的衰减贡献。直觉上，第一次看到一个 token 信息量最高，后续重复仍能训练但越来越像在消耗 compute 换较小收益。

这使 scaling laws 从“越大越好”的口号，变成约束优化问题：给定预算、数据质量、重复率和模型大小，寻找 loss 改进最大的配置。

与已有 wiki 概念的关系

• karpathy-nanochat 的 Time-to-GPT-2 leaderboard 固定 capability threshold，优化训练时间；scaling laws 提供了判断“改 batch、token、模型大小是否值得”的理论背景。
• karpathy-autoresearch 让 agent 自动提出和测试训练改进；scaling laws 可以成为实验 proposal 的 prior，避免 agent 只做局部 hack。
• Agent-Benchmarks 关注 agent 能力评估，而 scaling laws 关注训练动态评估；二者共同提醒：指标必须可解释，否则容易 Goodhart。
• LLM-Training-From-Scratch-Education-Stack 需要把“能跑通训练”升级为“能设计可外推实验”。

可执行启发

1. 训练/agent 实验日志应记录 compute、数据量、unique/repeated token、模型大小和 eval loss，而不只记录最终榜单名次。
2. AutoResearch 类 loop 的 proposal rubric 可加入 scaling-law sanity check：预计收益来自更多数据、更大模型、更好优化，还是只是噪声？
3. wiki 页面也应避免“重复数据过拟合”：同一来源的浅摘要反复入库，边际价值很低；更应把算力/时间用在跨来源综合、失败模式和实践启发上。
4. 对小模型教育栈，优先追求可复现曲线和解释性，而不是单点 SOTA。

失败模式 / 边界

• Scaling laws 是经验规律，不是物理定律；数据分布、优化器、架构、tokenization 和评测集变化都会破坏外推。
• Loss 改善不一定等于用户可感知能力改善，尤其对 tool use、agent planning、安全控制等非纯语言建模能力。
• 低质量重复数据可能比公式中的“折扣 token”更糟，会引入偏差、污染或 benchmark leakage。
• 对 agent workflows，很多瓶颈不是模型 loss，而是 context、tools、权限、验证和 human-in-the-loop 设计。

写入记录

• 2026-07-01 09:00 CST：新增 Lilian Weng scaling laws source 页面，重点提炼 data-constrained scaling 与对 nanochat/AutoResearch/知识库维护的启发。