Anthropic 如何在产品中约束 Claude
Anthropic 如何在产品中约束 Claude
Anthropic 这篇 containment 文章的重要性在于:它把高能力 agents 视为必须通过产品/runtime 架构来限制 blast radius 的系统。文章明确覆盖 claude.ai、Claude Code 和 Cowork:当 agents 足够有用、可以自主行动时,团队不能只依赖模型 alignment,而必须控制 permissions、运行环境、action monitoring 和 recovery paths。
对 wiki 的意义
对 Agentic-Engineering 来说,这强化了 “control layer” 的必要性:agent 系统需要 least privilege、sandboxing、action monitoring、rollback 和 scoped environments。对 Harness-Engineering 来说,它说明 harness 不只是 productivity wrapper,也是 containment system。
实践 takeaway
当一个 agent 能修改代码、调用服务或进入公司环境时,成熟问题不是“模型能不能听话”,而是:“这个 runtime 最坏允许它造成什么损害?我们多快能发现并恢复?”