← 返回藏书阁

CWE-bench：未知漏洞审计与修复的双判分合同

wiki/ai/sources/cwe-bench-defense-verifier-and-discovery-contract.md
分类：ai / sources · 更新：2026-10-19 09:03

CWE-bench：未知漏洞审计与修复的双判分合同

知识点轴：benchmark-evaluation / sandbox-security / harness-runtime；MCP Gateway 的注册、鉴权、出站和 A2A 的任务资源权限可作为迁移题型，但论文并未测这些产品；context management 不是直接实验对象。 arXiv:2610.17020v1 2026-10-12 提交，今天发现并深读 HTML 主文、表1–4及附录A–F；归档为全文网页抽取文本，公式和图像仍应回原HTML核对。没有公开私有题目/隐藏判分器的独立重放，也没有跑模型、Docker 或 Hermes 实例。^[raw/articles/cwe-bench-2610-17020v1-extracted-2026-10-19.md]

为什么对用户重要

内部 coding-agent benchmark 不能只给 agent 一条已知漏洞描述再验证是否能套补丁。实际代码审计面对未知漏洞位置、数量与类别；成功既须堵住攻击，还须保留正常功能。作者在 120 个私有真实开源仓库改造题上覆盖 73 个 CWE、8 种语言和 OWASP Top 10:2025 全类别，能把 Agent-Benchmarks 的 BASE/RED/GOLD 与 swe-bench-pro-verified-leakage-and-task-validity 的运行时隔离扩展为可操作的「发现＋修复」合同，而不是新的榜单数字。论文称注入漏洞没有公开补丁，不代表基础仓库中的历史 CVE 或通用修复方法从未见过。^[raw/articles/cwe-bench-2610-17020v1-extracted-2026-10-19.md]

一阶机制：隐藏诊断，分别验证攻击闭合与合法效用

  1. 题目输入：从真实仓库/已知漏洞背景构造新注入问题；agent 只收到仓库和威胁模型，未知 CWE、漏洞位置、漏洞数量，也不能联网查修复（模型 API 是唯一允许的出站）。题目前先让参考补丁通过安全与功能两套检查；时间上限一小时，超时也按最终仓库状态判分。私有题＋无代码网络降低直接查答案的机会，但仍需审计模型视图/镜像/Git 对象。^[raw/articles/cwe-bench-2610-17020v1-extracted-2026-10-19.md]
  2. 可运行双判分：安全 S 为目标漏洞 exploit 探针被阻止，功能 F 为既有功能测试保持通过，单次通过仅在 S=1 且 F=1。关掉下载功能能让 path traversal 探针失败，却应被 F 拒绝；只封一种 payload 而其它输入仍可越界，则 S 的覆盖不足。此处 S 只覆盖作者事先选的漏洞和探针，不是「仓库所有未知漏洞已修好」的证明。对 harnesssecurity-bench-paired-utility-attack-effects，将「零恶意effect」与「合法任务完成」在同一 run 上合取，不能把拒绝运行称为安全。^[raw/articles/cwe-bench-2610-17020v1-extracted-2026-10-19.md]
  3. 判分器交叉审计，仍不是独立真值：三名 agentic judge 各用自己的副本，可看注入漏洞说明、正确修复要求、参考补丁，且能运行程序判分器并看其输出；按安全、功能、变体泛化、判分完整性、可构建性五项多数票。开发期作者人工复核所有不一致后改探针或 rubric。最终 5,280 次尝试中 93.9% 一致（κ=0.88），仍有 200 次程序判过/评审否决及 120 次反向；所以「双评审一致」不等于独立盲评，也不证明零伪解。revivebench-hidden-verifier-audit-and-harness-parity 的合法替代解、伪解与目标状态复算继续必要。^[raw/articles/cwe-bench-2610-17020v1-extracted-2026-10-19.md]
  4. 覆盖/成本与 harness 分账：11 组模型×harness，每题四次独立尝试；pass@1 是每题成功尝试比例再平均，pass@4 是至少一次成功的题占比，不能当单次可靠性。三个系统程序化 pass@1 同为68%，pass@4 分别为81%/75%/74%；重试增益、费用、CWE 类别分布并不相同。不同模型分别经 Claude Code、Codex、Antigravity、OpenCode，provider 安全拒绝及 fallback 行为也不同；不能把榜单差异全归因模型参数。作者估算平均 API cost，非人工复核/沙箱全链成本。^[raw/articles/cwe-bench-2610-17020v1-extracted-2026-10-19.md]

给 Hermes / 私有 runner 的最小迁移

  • 先做极小可控题池：固定仓库BASE与注入版、密封参考修复、威胁模型/正常业务路径、镜像与网络策略版本。出题时只告知资产与威胁边界，不报漏洞数量/行号/PoC；评测容器独立，agent 的历史和 Git 对象不得读 GOLD 与隐藏探针。
  • 每题至少四种判分挑战：no-op 应失败、GOLD 应同时通过 S/F、不同实现的合法补丁应通过、只改响应字符串/删功能/只挡单一 payload 的伪解应失败。记录可运行/可判分、exploit 前后实际效果、功能路径与拒绝行为；审计 shell/SDK/代理替代路径，别仅测一个工具名。
  • 每 run 保留任务/判分器/模型-harness-adapter 版本与网络有效策略、轨迹、成本、超时/拒绝及两项 oracle 的独立结果。按 CWE/业务操作而不只按语言聚类；先复核分歧，再跑相同 cohort 的配对重试和合法效用回归。对 MCP/A2A 可分别用「跨身份任务读取」「发现即拨号」做设计题，但这不是论文自身实测。

边界与待验证

题与隐藏 verifier 私有，无法核实题目污染控制、探针覆盖、judge 分歧修订是否在最终集引入开发集过拟合；最终 judge 已见 verifier 结果，不宜写成「独立人工金标」。作者的 68%/81% 是特定私有题/模型/harness/预算条件，不外推用户生产系统安全。安全 S 针对注入的目标漏洞，可能漏同类变体或新增漏洞，合法 F 可能漏真实工作流。下轮若选它来制定企业题池，先隔离环境做一两个合成的正反例；不要在 Mini 本机安装/运行外部 coding-agent CLI。

写入记录

  • 2026-10-19 09:03 CST：深读论文v1并归档提取全文；把未知位置审计、S∧F双判分、非盲评审、模型×harness成本与私有题不可重放边界转为内部runner的最小合同。
藏书阁 · Published from llm-wiki · 2026-11-02 09:29:27