带外防御评测：低攻击成功率须同时看任务效用与攻击强度

带外防御评测：低攻击成功率须同时看任务效用与攻击强度

知识点轴：sandbox-security / benchmark-evaluation / harness-runtime；可迁移到 MCP Gateway。2026-06-25的论文v1在09-17仅留摘要，本轮补全文晋升，不是今日新发布。最有用的结论不是“确定性网关已安全”，而是：低ASR可能混入效用损失、任务原本不易受攻击、以及更弱的攻击模板。

为什么值得深挖

若给 Hermes/agentic workflow 加审批、工具allowlist或网关策略，只数“攻击被拦了多少”会奖励一个什么也做不了的agent。本文同时给出ASR、任务utility、策略更新成本和自适应攻击局限，能为 Agent-Benchmarks 增补“安全与可用性分账”的实际反例，也限制 MCP-Gateway-Runtime 的营销式安全结论。

它与 continuity-security-context-contracts-and-finality 的区分尤其重要：确定性合同用例验证约束，模型攻击评测测经验表现；两者互补，不能彼此冒充。

一阶机制：把执行放到模型之外，并不消灭模型依赖

Reference monitor在动作产生副作用之前验权限，基本要求是每条通路都被中介、检查器难以被篡改、规则足够小而可核验。能力/信息流标签能限制未经授权的数据流，但标签起点和解密/放行机制仍是可信基础。

Progent在工具层做确定性规则检查，策略生成/更新却可由LLM完成。攻击目标因此可以从“诱使agent调用坏工具”转为“先诱导策略模型放宽规则，再执行看起来合法的调用”。即便策略不被改，也仍可能用已经允许的动作组合造成危害。

所以至少分清：固定执行器、可变策略、初始来源标签、用户背书和绕行通路。与 Context-Engineering 的关系是：压缩、记忆、他方agent输出不能仅因重新进入上下文就升级为可信授权。

实验到底测试了什么

作者使用Qwen2.5-7B-Instruct同时作为agent与policy模型；AgentDojo的banking/slack/workspace各取前8个user task及其injection task，固定子集重复3次，temperature=0；travel因长循环开销被排除。

三种条件：无防御+standard、Progent+standard、Progent+单个手工adaptive模板。adaptive把恶意动作包装成“已授权的必要良性步骤”，尝试影响policy-update模型；不是白盒/GCG优化，也没有充分覆盖“仅使用已获授权工具”的攻击空间。

缺少无防御+adaptive这一格，就不能仅凭adaptive在防御条件下更低，排除“新模板本来更难驱动这个agent”的解释。作者也明确提示：模板软化命令可能降低agent自身服从度。理想补证是按同任务/模型/预算的配对条件，补攻击强度校准，而不是换个攻击名字就宣称更强。

数字审计：ASR下降伴随显著效用代价

下表为论文表中作者报告值，单位均为百分比；不是本机模型复跑：

• 原HTML表格复算支持等权suite均值的舍入结果；没有逐case/逐run CSV，不能反推出case-micro或重新验证标准差。
• standard防御的utility相对无防御下降 18.1个百分点，保留约 60.0%。不能把低ASR描述为“几乎无代价”。
• workspace无防御也是零ASR，因此该列不能鉴别防御效果。只看banking+slack的敏感性复算为38.65% / 6.35% / 3.95%；这只是排除零基线的解释检查，不是改写作者原指标。
• §11.3的成本原文是约 15×更多LLM调用，HTML中确有乘号；提取器文本可能变成“15 more”，不能误写为“仅多15次”。原文没有足够逐run账本让本轮核实该成本比值。

成本/效用必须与攻击成功按同一cohort和预算记录；安全调整成功最好直接从每次run的“业务完成且无违规”联合事件算，不能把两个边际比例相乘。

为什么仍标 contested / medium

1. 摘要称这些防御“only static”验证，但正文§7/§11/§13承认Progent原作已有自适应测试，并把本工作定位为不同弱模型上的复现/扩展。采用正文较窄解释，不传播“首次自适应评测”或“此前全无”。
2. banking由1.9到3.7，作者的“within one standard deviation”句子不能代替配对显著性检验；本轮未取得每run值，不自行宣布显著或不显著。
3. 原文提到runner与日志“retained”；搜索及本文外链未让本轮拿到可下载研究artifact。不能把公开Progent上游仓库当成这项复现的完整数据。
4. “workspace小模型读任务抵抗注入”的解释只能约束本子集，不能推广为小模型天生更安全；无防御零分也可能来自能力、任务、攻击模板的相互作用。

对 Hermes / 内部评测的可执行启发

• 让同一小任务池同时记业务成功、违规副作用、拒绝、澄清、未触发攻击、超时、模型/策略调用量；拒绝不能直接算业务成功。
• 安全负例之外保留合法正例，防止全拒绝策略“赢”评测；按suite/能力面分层报告零攻击基线。
• 若对比攻击模板，补有无防御的配对控制，固定模型、任务、重试次数与预算；不同研究的ASR不做横向排行榜。
• 保留原HTML/PDF和表格数据，复核百分号、乘号、±、单位、分母；LLM-Wiki-Optimization-Log 的证据合同应覆盖抽取保真。

证据与边界

完整主文§1–14和参考列表已读；图像内部未视觉检查。执行了2项原表算术与1项HTML数学符号检查；没有重新调用模型、安装本地推理栈、运行容器/注入攻击、或验证其他防御的原始论文数字。本文是可迁移的评测方法论，不是Progent生产认证，也不是container breakout评测。

• 论文固定v1
• 旧摘要保留在 raw/articles/adaptive-out-of-band-defense-abstract-raw-only-2026-09-17.md；新证据另存，不回改历史。
• 后续雷达继续补强攻击优化、真实runner、每run数据和业务效用，见 AI-Knowledge-Point-Radar。

写入记录

• 2026-09-22 09:08 CST：由旧摘要补全文晋升；新增策略更新攻击面、缺失对照、零基线/效用分账与乘号核查，明确作者报告、本机算术和未取得artifact边界。