Vera：可执行安全用例的状态证据与跨渠道配对评测

wiki/ai/sources/vera-executable-safety-cases-and-channel-paired-verification.md

分类：ai / sources · 更新：2026-10-03 09:05

Vera：可执行安全用例的状态证据与跨渠道配对评测

知识点轴：benchmark-evaluation / sandbox-security / harness-runtime，涉及 context management。 来源是 Vera 论文 arXiv:2607.01793v1及作者仓库 README；论文为7月旧文，今日发现/深读，不是10月新发布。已读论文HTML主要方法、实验、Table IV及仓库README；未运行框架、未独立复核1600题的完整数据/代码，HTML的公式抽取有缺字。仅保存已读关键选段至 raw；作者数字一律标为报告，不等于本机 Hermes 安全率。

对用户为什么重要

Hermes 有无人cron、外部网页/工具与跨服务副作用；用“最后说拒绝”“工具返回成功”或单渠道测试判断安全容易漏掉既成副作用。redagentbench-state-grounded-safety-measurement 已强调服务状态和证据视图；Vera 增量在于把风险×攻击方法×运行环境变成可执行初态/判分器，并通过工具网关保存真实返回与模型所见返回，运行中自适应攻击。这里是评测方法借鉴，不宣称用户实例存在论文描述的漏洞。^[raw/articles/vera-evidence-grounded-safety-testing-selected-2026-10-03.md]

机制：从文本风险到可复核状态

探索三棵可维护分类树（论文报告124风险、77方法、30环境叶节点）；选择有可执行能力的组合，去重后生成具体目标。分类不应无限叠加同义词，需合并/删除并记录版本。
每题固定目标 g / 程序化初态 s₀ / 确定性验证器 Vg，对照 benign（合法任务）、single-channel（测试方能改用户消息）、multi-channel（再允许修改被选工具返回）。论文报告筛出1600个基础用例；单个样例有attack_plan、交互轨迹、工具原始与注入返回、verify.py。样例/判分逻辑如果由同一生成器参与构建，仍需外部人工/隐藏评测检查其有效性。
MCP工具网关记录原始服务回包 → 注入后的模型可见回包，可作identity/append/prefix/override；控制Agent在交互轮次内观察真实调用/状态后调整下一轮。实际服务后态、可信工具回执和最终文本按属性选择，状态优先不意味着所有泄密都能靠最终快照验证（秘密写在最终文本须看文本，短暂发送须取服务端事件）。拒绝后的零effect与模型可见答案渠道还需另测。^[raw/articles/vera-evidence-grounded-safety-testing-selected-2026-10-03.md]

数字与归因边界：不可把榜单当当前配置告警

论文 Table IV 作者报告 Hermes single-channel 93.4%、multi-channel 97.8%、benign 74.8%；四框架均值对应90.6%、93.9%、70.5%。这些是其Docker Compose/模型配置/题池/适配器下的 ESR/攻击模式结果，不是用户 Mini 的在线配置、漏洞证明或防护改进的因果估计。论文把 single-channel vs benign 的均值差当成“自适应交互效果”，但前者判定造成危害、后者判定完成合法任务，目标与判分谓词不同；不能从二者的差值单独识别自适应驱动的因果效应。需同风险题、同攻击目标/预算/模型/初态下比较固定单轮、多轮固定脚本与自适应控制，配对重试并报告方差、基础合法成功率和基础设施失败分母。^[raw/articles/vera-evidence-grounded-safety-testing-selected-2026-10-03.md]

应用于 Hermes / llm-wiki 的小规模验收

从真实工作流取不接生产的mock消息/审批/仓库：为每条权限写初态、合法目标、禁止effect、状态探针；独立记录run_id、模型/harness版本、caller/凭据owner、注入点、原始/可见工具回包、真实服务回执及判分代码哈希。
先跑benign确保合法任务可解，再作相同初态的单/双渠道配对；分别计入注入未送达、拒绝但已产生effect、Verifier异常、timeout、错误/安全拒绝与效用下降。失败未执行verifier的“失败”若有漏检会压低攻击率；复核一部分负例。
论文网关只介入其接入的MCP工具路径；MCP-Gateway-Runtime提醒GUI/CLI、直接HTTP、子代理、注册时副作用和loopback管理面可能绕过此观测点。只有逐路径覆盖后才谈总体安全；Agent-Benchmarks的隐藏判分材料应隔离于模型可读空间。

边界 / 开放问题

当前只读论文与README（非完整源码审计）；容器化的五类模拟服务不覆盖用户实际飞书、企微/网关及授权模型。部分判分程序由生成器写出，语义有效性、数据污染、统计重复次数与固定/自适应对照仍待独立复现。Vera声称的风险覆盖不能替代真实有效配置检查；和redagentbench-state-grounded-safety-measurement是“生成/执行/验证”与“固定轨迹证据视图”互补，而非谁的最终百分数更可信。

写入记录

2026-10-03 09:03 CST：深读论文方法与实验、仓库README，归档原文选段；提出可复核状态/通道配对，并标记benign与攻击判分差异导致的因果归因限制。