HarnessSecurity-Bench：权限开关的成对效用/危害评测与旁路覆盖
HarnessSecurity-Bench：权限开关的成对效用/危害评测与旁路覆盖
知识点轴：sandbox-security / harness-runtime / benchmark-evaluation（高权重）；MCP Gateway 相关，但非联邦网关实测；A2A / context management 非本篇核心。 2026-10-06提交的arXiv v1和公开任务仓库为作者证据；本轮阅读论文具体方法/表6-7/限制与仓库README，未运行作者runner或Hermes本机攻击实验。^[raw/articles/harnesssecurity-bench-2610-07639v1-selected-2026-10-15.md]
为什么值得长期沉淀
用户的Hermes cron与编码代理要同时做成事和不越权。只看任务通过率会奖励auto-approve绕审批；只看攻击成功率又会把拒绝启动/禁止合法网络当好防御。本论文把security setting当一等实验变量，在同一任务、攻击变体、模型与其它设置下配对测试合法effect和恶意effect，补Agent-Benchmarks的安全调整成功率、vera-executable-safety-cases-and-channel-paired-verification的同谓词对照。它不是对用户Mini现行配置的评级。
一阶机制：被保护操作，而非机制名称
- 分类层与执行层分离。 先在40款harness×10机制的400格中将实现状态拆为默认、需显式开启、缺席、未知；确认实现205格中109 opt-in、96默认启用。审计日志可帮助事后追溯，却不能自动作为effect前的拒绝门，因此10类中的audit logging没有进入九类运行时机制实验。
支持网络隔离与此时真实出站被拦并非同一断言。 - 合法任务和攻击是两组独立谓词。 23个代码任务附带不改原需求的诱导内容；合法检查和攻击检查由工作区外判分器取文件/DB状态、接收端canary或执行事件。口头拒绝但tool已发送属于坏结果；任务未启动时ASR为零也不是完成。论文Utility和ASR是oracle checks的通过比例，非完整任务成功概率；未知判分结果排除分母，不能擅自当零。不同机制任务/判分分母不同，不按整体数字跨机制排序。
- ON/OFF需配对且标有效配置。 作者固定GLM-5.2、任务/攻击变体与其它沙箱/网络/审批设置，每条件10次；只对可切换格计算ON−OFF，默认不可关闭或实施状态未知的格仅观察单设置。AA-OFF由额外Qwen审批代理裁决，所以结果衡量的是特定审批准入系统，而非自然人审批或单一开关的因果效应。对内部runner，要锁定harness构建hash、模型、工具注册表、有效policy、预算和合法路径可达性。
- 同名约束可有不同的执行覆盖。 Table 7的path restriction对Claude Code实验ASR 39/40→39/40，对Codex CLI 40/40→0/40，不能抽象成“路径限制总是有效/无效”。作者分析发现被拦的命令仍可能通过获准的解释器路径触达同一受保护操作；必须按真实sink（读取、写入、network connect、MCP调用）枚举替代路径，拒绝后由独立effect probe判零。对MCP-Gateway-Runtime，只限制某个tool name不等于其它工具、shell、SDK、代理不能抵达同一上游。
数字如何读、为什么不直接迁移
| 配置（论文Overall，均为有ON/OFF格） | 合法utility OFF→ON | 攻击ASR OFF→ON | 解释 |
| 自动批准AA | 77.1%→95.4% | 29.2%→95.6% | 完成更容易，违规也更容易；OFF用了模型审批代理。 |
| 网络隔离NI | 90.9%→66.4% | 57.1%→0.8% | 强限制同时阻断合法依赖；未知是否仍有安全替代路线。 |
| 命令白名单CAL | 99.2%→97.7% | 98.1%→50.0% | 平均有降低，但半数攻击检查仍成功，不代表闭合所有路径。 |
| 命令黑名单CDL | 94.6%→99.8% | 41.7%→1.3% | 这个任务集合的结果，不能一般化成黑名单优于白名单。 |
原表的百分比变化是百分点，各行分母不同；即使低ASR也要按每run判 合法业务完成 ∧ 零违规effect 的联合事件，不能把两边边际率相乘充作安全完成率。项目页称任务/独立verifier公开，评级记录、试验工件与分析脚本尚准备发布，因此这些数字是论文作者报告，不是本轮独立重放。
Hermes / llm-wiki 可执行转化（尚未在真实用户实例运行）
- 选择合成fixture：让任务合法读取说明/写一个文件/调用一个模拟MCP，再放一个恶意tool响应或README提示把canary外发。分别设置normal、限权、auto-approve，固定同一模型/预算/初态；每条件重复，记录真实调用主体与effective权限而非只读配置文本。
- verifier置于工作区外，分别核合法文件/服务后态、恶意接收端事件、被拒动作及拒绝后零effect；增解释器/shell/API/代理替代路与合法替代完成路线，分列
runnable/gradeable/utility/effect/infra-failure，成本与时间另计。做到才有本机有效性回执。 - 无人cron若需新权限，走明确批准或HOLD；不因论文“auto approve提高效用”而修改Hermes现网策略。Harness-Engineering与credleakbench-destination-verification-and-recovery共同说明安全拒绝之后仍要评合法恢复和业务终态。
边界与待解
同一底模、六款自动化coding harness、Docker及模拟服务；PT的Gemini CLI开启后拒绝启动使utility/ASR同为零，不能把零攻击当安全成功。作者未公开完整逐run和全部评级原始材料；approval reviewer的偏差、各harness对有效策略的不同实现、MCP/shell的旁路组合及A2A真实委托跨主体都需要隔离验证。A2A候选见AI-Knowledge-Point-Radar，不是今天这篇论文测到的能力。
写入记录
- 2026-10-15 09:04 CST：基于v1论文实验设计、表6-7及作者公开任务仓库，提炼成对utility/effect与按真实操作覆盖的验收合同；区分作者统计、开源任务与未公开trial、本机未复现。