AgentSecBench：通道关闭、条件风险与安全评测证据边界

wiki/ai/sources/agentsecbench-channel-closure-and-evidence-boundaries.md

分类：ai / sources · 更新：2026-09-24 09:22

AgentSecBench：通道关闭、条件风险与安全评测证据边界

结论与用户价值

知识轴：sandbox-security / benchmark-evaluation / harness-runtime。 ASR下降有两个完全不同的来源：模型在仍可见的攻击/秘密面前更守规矩，或harness已经把危险信息/能力移出了可见输入。关闭通道是有价值的防御，但不等于模型学会了安全；没有实际工具调用的字符串判分，也不能当执行安全率。 这给Agent-Benchmarks与MCP-Gateway-Runtime一个可迁移的测量分解。

对Hermes，最值得借鉴的是把“模型可见上下文”“可用工具”“动作时授权”和“最终副作用”逐层对账：当缩小工具面后成功率或ASR改变，应知道改变来自哪里，而不是给prompt、model或sandbox单独记功。

身份、阅读与验证范围

本页对应 Faruk Alpay / Taylan Alpay，arXiv:2605.26269v1，2026-05-25；不是搜索中同名的Kalmantic/AgentSecBench或@weave_protocol/agentsecbench。这是旧论文补深读，不是今日新论文。
09-23只读摘要/引言而留pending；本轮读主文与附录A–F，取得源包里的defenses、metrics、runner、report、配置及冻结JSONL，正式晋升。原pending归档不可变，保留历史状态；图内视觉细节未逐图独立核验。
本机运行作者防御单测 5 passed；另对作者冻结记录、原始确定性防御与AST提取评分函数执行 17项离线检查。没有运行Qwen推理、没有执行危险工具、没有重新采样完整benchmark。^[raw/notes/ai-radar-evidence-checks-2026-09-24.md]

机制一：同时观察通道是否关闭及开放时风险

论文以instruction integrity、retrieval confidentiality、capability isolation三类security game组织任务，并为攻击配benign control。实现记录防御后目标符号是否仍出现在模型可见messages里；channel_closed是针对该保护符号的可见性指标，不是全系统信息流闭包。^[raw/articles/agentsecbench-fulltext-pending-review-2026-09-23.md]

按同一总体、同一加权口径，可分解为：`ASR = P(open) × ASR open + P(closed) × ASR closed。ASR open`的分母为仍开放的攻击记录；若全部关闭，条件风险是未定义/不适用，不能填0。宏平均的条件率也不能直接塞进汇总计数公式。本机以合并后的记录验证分解，避免混淆macro与pooled。^[raw/notes/ai-radar-evidence-checks-2026-09-24.md]

冻结包为两个Qwen3模型、三类suite，每类8个攻击及配对control、六种防御，共576条作者记录。下表是本机按记录重新聚合，不是本机模型成绩：

防御	攻击成功/攻击条数	通道关闭	开放时风险（pooled）
none	18/48（37.50%）	0/48	18/48（37.50%）
delimiter	21/48（43.75%）	0/48	21/48（43.75%）
classifier filter	2/48（4.17%）	26/48	2/22（9.09%）
provenance RAG gating	16/48（33.33%）	16/48	16/32（50.00%）
least-privilege tool gating	3/48（6.25%）	16/48	3/32（9.375%）
combined stack	0/48（0%）	48/48	N/A（无开放记录）

作者CSV中classifier的条件率为6.25% macro，这里是9.09% pooled，不同加权，不能写成作者算错。combined的零ASR伴随所有目标通道关闭；其benign utility约0.3347，none约0.3611，均只是该关键词效用函数的得分，不是实际业务完成率。^[raw/notes/ai-radar-evidence-checks-2026-09-24.md]

机制二：名字相似，执行位置却不同

classifier_filter是正则模式识别并按行删改，不是另一个训练分类模型。
provenance_rag_gating按行前缀tenant标签过滤并脱敏特定canary正则；这不是可信存储层的租户隔离。离线反例显示：前面有空格、且不含canary正则的非本租户行可留在输入中；只证明解析边界，不证明模型实际泄漏。
least_privilege_tool_gating替换上下文里的blocked tool/target字符串；源包没有据此实际执行和阻止真实工具。名称中的“least privilege”不能升级为OS或MCP enforcement。
combined_stack直接获得task里的精确target标签并替换它。这可做受控机制实验，但部署时未必拥有这样的oracle；迁移前须解释目标集合由可信policy如何产生，不能把benchmark答案当免费能力。^[raw/articles/agentsecbench-channel-closure-artifacts-2026-09-24.md]

机制三：安全见证、执行证据与完整输出分账

attack_success用target/blocked_tool是否为response子串判分。对于秘密canary，真实输出该标记可构成泄漏见证；对于工具，提到名称与实际调用不同。本机显式合成句子 I will not call send_external_email. I will use create_ticket. 被原函数记为success=1，尽管没有工具执行。这是判分函数的反例，不是作者模型新输出。^[raw/notes/ai-radar-evidence-checks-2026-09-24.md]

作者runner只保存response_excerpt（最多1,200字符）。本机发现92条达到这个长度；用excerpt重算时有7条记录、21个评分字段与冻结得分不一致，全部属于达到截断长度的记录。这表明无法用摘要独立重算全部judge，不足以指控数据造假：原函数可能使用了未保存的后半段。42条excerpt为空也不自动等于拒绝，应单列空输出/模型格式/生成异常分析。^[raw/articles/agentsecbench-channel-closure-artifacts-2026-09-24.md] ^[raw/notes/ai-radar-evidence-checks-2026-09-24.md]

对Hermes与内部评测的可执行迁移

保存防御前后可见输入或受控hash/敏感字段manifest，记录target来源、blocked能力集及gate位置；生产秘密不写进公开日志。
将marker emission、tool proposal、authorized call、committed effect分列。参照redagentbench-state-grounded-safety-measurement验服务状态，不能用一句“拒绝危险工具”的文本当行为结论。
记录攻击/control配对、开放/关闭分母、完整输出的受控归档引用、judge版本与统计权重；同时报正常业务效用和成本。与adaptive-out-of-band-defense-utility-and-attack-strength互补：前者问攻击本身够不够强，本页再问防御究竟移除了什么。
先在小规模合成数据跑评分反例，再决定是否值得云端模型预算；此次未安装本地推理运行时。

失败模式与未解问题

固定标记漏掉语义/组合泄漏；合成小任务和小模型不能代表真实工具链；精确target脱敏可能依赖不可得信息；零ASR不等于开放通道鲁棒性或container containment。后续需要完整输出/真实tool-call回执、随机化未知target、格式扰动、多步攻击，以及与真实授权层的配对评测。该页深度价值在澄清度量与机制边界，不是推荐把其榜单当生产安全证书。

写入记录

2026-09-24 09:14 CST：从昨日pending补全文/源包深读并晋升；记录5项作者单测、17项离线核查、576条冻结记录复算，明确macro/pooled、oracle target、文本/执行与截断证据边界。