MobileCybench：属性探针、重放归因与覆盖分母

wiki/ai/sources/mobilecybench-property-probes-and-patch-attribution.md

分类：ai / sources · 更新：2026-09-28 12:02

MobileCybench：属性探针、重放归因与覆盖分母

结论及对用户的价值

知识轴：sandbox-security / benchmark-evaluation / harness-runtime。 将“agent称找到了漏洞”替换为“受限攻击者的产物在隔离重放后，独立探针读到了受保护状态变化”。属性探针检查安全不变量而非特定漏洞ID，因此新漏洞也可能被已有探针捕获；归因另外用相同攻击在漏洞版/补丁版的差分来做。它为Hermes外部工具/内部coding-agent评测提供可迁移的 可信状态见证 + 负例 + 单独归因 设计，不能照搬Android漏洞利用步骤到生产网关。^[raw/articles/mobilecybench-paper-fulltext-2026-09-25.md]

机制与证据链

固定攻击者权能和基线。 malicious-app只能提交一般应用权限的APK，不给root/被害者凭据；remote-attacker只给低权限后端账号并提交脚本。13个应用先播种被害者数据，再对机密性/完整性/可用性/访问控制写495个探针；探针从受控emulator/backend/database读取结果，不采信agent的success.marker或脚本退出码。一个探针触发表示某个被检查属性在该设定下被破坏，沉默只说明此次重放未破坏已检查属性。^[raw/articles/mobilecybench-paper-fulltext-2026-09-25.md]
两种判定不可合并。 原评分是保存攻击产物→全新环境重放→探针触发；归因是同产物/同探针在vulnerable与patched build差分。单漏洞可触发多探针，不同漏洞可触发同探针；归因包后补仍可对旧产物重放，不应改写原始触发记录。24个带作者参考攻击的包中，19个能触发标准探针，5个漏检含1个需要活跃用户交互；没有全集，不能把19/24当真实漏洞召回率。^[raw/articles/mobilecybench-paper-fulltext-2026-09-25.md]
运行/分母可复查。 5个agent × (13个本机app + 12个远端账号app) × 2种代码可见性 × 2次独立尝试 = 500次run / 250个双尝试配置；缺产物、超时、无效和环境错误仍入总账，不只看成功样本。APK-only总体36/125个配置pass@2探针触发；单agent的53.8%是在13个malicious-app应用上的比例，16.7%是在12个remote应用上，均非漏洞覆盖率。124个触发run里120个获差分归因；这不是探针假阳性率。公开仓库固定commit d196c46fb23d9f6ad6391819ea62d025e1b29693 的README确认50个配置/agent、失败继续不是自动重试。^[raw/articles/mobilecybench-paper-fulltext-2026-09-25.md] ^[raw/articles/mobilecybench-repo-readme-2026-09-25.md]
探针也会漏和漂移。 所有124个触发run只命中应用专属探针，通用探针在适用的80个malicious-app触发run中未触发；no-op重放作负例。34个触发过的探针中5个在运行后修改并对相关保存产物重评分；记录版本和旧分数不可省。选择13个可构建Android应用并不代表整个移动生态；host计算成本、人工写探针/披露成本未计入API价格。^[raw/articles/mobilecybench-paper-fulltext-2026-09-25.md]

与已有wiki的关系与落地

Agent-Benchmarks 的hidden verifier应使用独立于模型自述的业务状态；LLM-Wiki-Optimization-Log 的跨主题验收合同要求探针适用条件、漏检分母与最终effect分账；agentsecbench-channel-closure-and-evidence-boundaries 的文本提及工具不能算执行，恰可用探针检查真正effect；aisi-sandboxescape-bench-container-breakout 的沙箱风险要求把攻击环境、可用凭据/出站、verifier读取位置和真实系统隔离分层。给Hermes做小型内部试点：在隔离mock中构造“未授权MCP写入应保持目标记录不变”的探针，保存目标初态/hash、caller/route/credential、重放产物、探针结果与独立审计；用合法授权正例、no-op负例、超时/探针故障分别验。不能拿攻击机直接触碰线上IdP或业务库。

边界与未解问题

只深读论文正文与关键附录、公开仓库固定README；未运行Android emulator、未重放500次实验、未审计全部探针实现及披露包。论文25个配置/agent/APK-only的配对差异受模型、scaffold、访问级别、批次和emulator backend混杂；不把榜单顺序当纯模型能力因果。实际探针若缺初始化、历史状态被覆盖、盲区、攻击产物无法重放或补丁引入其他行为变更，则trigger/归因都会失真。敏感未公开漏洞细节不在此页展开。相比新闻-only，本研究给出明确探针、重放、差分归因、负例、覆盖与成本边界，值得深度晋升，置信度仍为medium。^[raw/articles/mobilecybench-paper-fulltext-2026-09-25.md]

写入记录

2026-09-28 12:00 CST：补稳定机制总览的正文互链，便于从属性探针返回跨主题验收合同；原有研究结论不变。
2026-09-25 09:06 CST：按论文正文/附录与固定README入库属性探针、重放归因及分母；明确未运行上游benchmark和真实安全边界。