MalSkillBench：恶意标签、拒绝检测与真实危害必须分账

MalSkillBench：恶意标签、拒绝检测与真实危害必须分账

知识点轴：sandbox-security / benchmark-evaluation / harness-runtime。 值得深挖的是技能同时跨越代码、自然语言指令与持久控制面的混合信任边界，以及“runtime-verified”到底验证什么。样本被确认为恶意，不等于攻击已成功造成危害。

为什么对用户重要

Agent-Skill-Discovery 已要求先读后装，并通过 evomal-self-poisoning-agent-skill-libraries 审计派生技能。MalSkillBench 把审计对象扩展到“用户本来要做什么—技能要求什么权限—代码/指令实际干什么”的关系；仅查脚本病毒或仅查提示注入都不够。对 Harness-Engineering，尤其应把 hooks、配置、身份/目标改写等持久控制面当受保护对象，而不只是项目文件。

来源与深读范围

arXiv:2606.07131v2 页眉为 2026-06-09：这是今日发现的耐久补课，不是今天发布的新论文。阅读 §2、§3.3–3.4、实验设计与 §4.4–4.6 相关文本/表格；归档为完整 HTML 抽取文本，图像未独立验读。本文是单论文方法分析，置信度 medium；未下载或执行恶意 skill、未运行 Docker/OpenCode/检测器，也未验证其开放数据与 runner 的固定版本对应。

作者数据由 generated、wild、工具测试样本三来源组成：分别 3,214、703、27 个恶意标签样本，另有 4,000 个 benign。三来源的确认方式不同，不能把所有标签都说成同一运行时强度的事实。

一阶机制：双证据“或门”不是双重通过

生成器把候选放在 Docker 内 OpenCode 的技能发现路径，以表面合法目的触发；strace -f/inotifywait 监测进程树，收集 network/file/process 事件与 agent 文本输出。然后：

1. Layer 1 对照样本声明的 IOC：代码类看连接、路径访问、执行事件，纯指令类还看输出关键词/拒绝模式。
2. Layer 2 用 LLM 把 trace 摘要或文本输出对照预期行为；PI 输出分 triggered / detected / ineffective，triggered 和 detected 都可作 positive。
3. 接纳规则是某个预期行为满足 Layer 1 匹配 或 Layer 2 置信度至少 0.7；不是“每项预期危害都出现”，也不是“syscall 与 judge 必须同时证实”。

因此要保存三本账：恶意意图/标签有效性、agent 是否识别/拒绝、目标危害是否真的发生。把 detected 当恶意样本接纳可以服务检测器数据构造，但不能据此统计攻击成功率；对应 Agent-Benchmarks 的 oracle、分母、状态证据必须另定义。

为什么 runtime 信号仍需要语义和可信终态

论文把 IOC 出现称为确定性确认；工程上它确定的首先只是该低层事件被观察到。一次连接、一次文件访问或一次命令执行，未必证明数据已离开受控接收方、权限真的提升或持久化在下一次 session 生效。反之，纯文本偏航可能没有 syscall，但仍破坏内容/指令边界。

对 Hermes 的隔离验收应使用合成文件和可控接收端，保留可信事件及独立 effect 读回；不能给第三方技能真实凭据再“测它会不会偷”。这里是在提出迁移方案，不代表已在用户系统执行。

数据分布与版本内争议

• wild 不代表全体威胁：作者 703 个 wild 样本有 607 个依赖冒名投递、609 个 Malware Delivery，569 个来自两个账号。重复 campaign 会放大特定检测模式的权重。应按来源、vector、behavior、作者/campaign 族分层，并建议家族隔离盲测，而非只看总分。
• benign 的证据不同：4,000 个 benign 主要依据平台安全筛查和下载排序，不是逐个以独立专家/运行时排除一切恶意。误报率依赖这份标签假设；没有 benign 的 wild-only 子集不能单独给出 precision/F1。
• 论文内部口径不齐，保留 contested：摘要/RQ3 收尾称最强 detector 在 PI/agent-control 上崩塌；但 §4.5.2 写 Sentry Full 的 CI/PI/MIXED recall 为 99.8%/97.6%/99.8%，各 behavior 超过 91%。表 5 的 98.4% 是整体 recall，且有 937 benign 被标记。不能据此重复“最强工具只对代码有效”，也不静默把不同位置的结果改成一张统一榜。

这些争议不抹掉混合威胁与分层评测的价值，但阻止我们将摘要数字固化为安全采购结论；完整固定 runner、判分字段、对应版本及逐样本结果仍待补证。

对 llm-wiki / skill 引入的最小合同

1. 只读采集：固定 URL/commit、原文 hash、适用 runtime、读取范围与派生关系；知识入库不等于安装授权。
2. 跨载体审计：联合阅读 SKILL.md、脚本、配置和下载链，逐项说明它们为何是完成合法目标所必需；外部内容中的“必须执行”仍只是待审资料。
3. 持久边界审计：特别标出对 hooks、prompt/identity、技能自动加载目录及未来 session 的写入；卸载原 skill 不证明派生配置已清除。
4. 隔离正负对照：合法 skill 能完成原任务，恶意变体被识别/拦截；分别保存拒绝、危害零 effect 与可信恢复完成，不把拒绝一切当安全成功。
5. 结果分层：恶意标签召回/误报、危险操作是否执行、真实危害、正常任务完成及恢复成本分别报告；抽样审查不能替代所有部署场景保证。

本文与 context-privilege-escalation-role-scope-reload-verification 相连：不只看当前输出，还要核移除低信任来源后，权限/身份指令是否跨重启继续传播。现阶段仅补知识库审查合同，不扫描或修改用户的生产技能/启动配置。

写入记录

• 2026-10-24 09:09 CST：新增双层或门/PI detected 接纳、真实危害分账及分布/benign 标签限制；标记摘要与细分检测结果的版本内争议，未执行恶意样本或检测器。