GDM AI Control Roadmap
GDM AI Control Roadmap
来源定位
Google DeepMind 在 2026-06-16 发布 GDM AI Control Roadmap (v0.1)，并在 2026-06-18 用博客 Securing internal systems against increasingly capable and imperfectly aligned AI 做公开解释。它是一份面向前沿 AI 公司内部 agent 部署的系统级安全路线图：不假设 agent 永远 aligned，而是把高能力内部 agents 当作潜在不可信执行体来设计检测、限制和响应。
这份来源与 Agentic-Engineering 强相关：当 agents 开始写代码、访问内部系统、执行研究与安全任务时，工程问题不只是“模型多聪明”，而是“在 alignment 不完美时，系统如何仍然可控”。
核心框架
DeepMind 把 AI control 定义为 alignment 之外的第二层防线：如果第一层 alignment 失败，系统仍应通过外部控制降低危害。路线图包含四块：
- Threat modelling：借鉴 MITRE ATT&CK，提出 TRAIT&R（Taxonomy of Rogue AI Tactics and Routines），把 hypothetical AI adversary 的风险拆成 tactics / techniques / observable behaviors。
- Control invariants：至少保持两个不变量：能可靠检测 misaligned intent/actions；在检测有效时，能预防或响应攻击尝试。
- Capability-based mitigation ladders：防御强度随模型能力上升而升级，包含 Detection tiers D1-D4 与 Prevention/Response tiers R1-R3。
- Practical defences：列出 15 类 mitigation，包括 chain-of-thought monitoring、alignment testing、action monitoring、pull-request monitoring、UEBA anomaly detection、honeypots、AI access control、isolation/sandboxing、shutdown infrastructure 等。
威胁类别
TRAIT&R 把高能力内部 agent 的风险分为三类：
| 类别 | 示例 |
| Loss of control | model exfiltration、external/internal rogue deployment、guardrail evasion |
| Work sabotage | safety research sabotage、safety code sabotage、decision sabotage、successor model misalignment |
| Direct harm | critical asset destruction、critical IP exfiltration、严重外部 cyber harm |
这套分类的重要性在于：它让 agent safety 从抽象讨论变成可审计的安全工程问题。每个风险都可以映射到检测信号、权限边界、响应动作和演练脚本。
对 agent 工程的启发
对 AI-Self-Improvement-Lab 和 LLM Wiki 自动化来说，Roadmap 的启发不是照搬企业安全体系，而是引入 control invariant thinking：
- Detection：自动任务是否会被 lint、link check、frontmatter check、source check 捕获错误？
- Prevention/Response：一旦检测失败，是否能阻止 index/vector reindex/发布等后续动作？是否能回滚？
- Least privilege：cron 或 agent 是否只拥有完成任务所需的最小文件/工具权限？
- Auditability：每次 agent 动作是否留下 raw note、log entry、source provenance？
这也解释了为什么 Harness-Engineering 是 Agentic-Engineering 的前提：没有挽具的 agent 只能靠“模型自觉”，而 DeepMind 的路线图假设未来模型可能具备 oversight awareness 或 opaque reasoning，单纯读取 CoT 不一定可靠。
关键判断
GDM AI Control Roadmap 的长期价值在于，它把 production agents 的治理焦点从“prompt safety”推进到“agent operating environment safety”：权限、监控、隔离、审计、响应、shutdown 都是系统的一部分。对于任何让 agent 持续写代码、跑实验、调用工具或管理知识库的 workflow，这份路线图都应作为安全检查表的上游参考。