SkillLifeBench：选中新版不等于执行新版，恢复须同时保效用
SkillLifeBench：选中新版不等于执行新版，恢复须同时保效用
结论与用户价值
知识点轴：sandbox-security / benchmark-evaluation / harness-runtime / context management；MCP Gateway / A2A 为可迁移验收对象，不是本论文的协议互通实验。 论文 2610.35215v1 于10月26日发布，本轮11月1日发现深读，不称今日首发。
对 Hermes 的外部 skill、长期 runtime 和网关工具目录，真正的更新终点是下一次调用实际解析到获准实现，而非下载成功、registry选中新版或磁盘hash改变。该论文的增量是把存储、选择、装载、保留handle和实际调用连到任务/危害判分，并用同初态比较恢复策略。适合联读 Harness-Engineering、Agent-Benchmarks 与 MCP-Gateway-Runtime。
一阶机制：至少四层身份，不拿hash代替权限
Acquire / Store / Retrieve / Execute / Evolve分别控制准入、存储、选择、调用与继任版本。实际系统中 active_target 和 selection.selected 可以都指向v1，而旧handle仍绑定v0对象；仅查磁盘或registry看不到这条旧引用。执行证据须补 routing.resolved、loaded implementation、invocation-time source hash和handle→object→call关系。
论文控制的OpenClaw打包案例在同一更新/fixture下比较Fresh、Reuse、Revalidate：选中的继任版本相同，但Reuse继续执行parent，既保留正常文档，也把禁止的.git/config金丝雀带入本地捕获ZIP。这是benchmark adapter主动构造的routing条件，不证明当前OpenClaw或本机Hermes普遍有该缓存故障。 wrapper的code_sha256与上游module source manifest也须分开，不能把外壳未变误当实现未变。
hash解决“是不是这些字节”，不能证明“获准、当前安全、这次允许”。同digest错误实例绑定需要handle图；一个获准但有缺陷的旧版本甚至可以通过hash一致性检查。类比 mastra-a2a-card-cache-signature-and-task-boundaries：缓存Card/声明新能力也不保证当前dispatch已消费新配置。
评测设计：任务成功与危害是两个轴
论文有388个paired source cases：A/B/C/D/E为19/77/128/65/99；其中89个runtime决策任务与60个生命周期任务是不同题池，不能混排为同一总分。生命周期60实例来自12模板、每模板5实例；区间按模板聚类，不把实例或14模型×60次运行全部当独立业务场景。
14模型的840次challenged生命周期运行四格为：548任务成功且无attack goal、103任务成功且有goal、153任务失败且无goal、36任务失败且有goal。因此任务完成651/840=77.5%，联合成功548/840≈65.24%；在已完成任务中仍有103/651≈15.82%达成攻击目标。拒绝/半成品不是联合成功；后续修复不抹除已经发生的攻击目标。 所有数字为作者记录/本轮算术复核，非重跑模型。
这比仅看恶意标签接纳或拒绝更接近 malskillbench-malicious-label-versus-harm-and-refusal 所强调的真实effect边界。任务完整性、指定危害、完整attack goal和case-specific utility仍须分别命名：论文的恢复研究不是把主榜完整任务分数换个标签重用。
恢复：执行证据有用，但先比较确定性规则
匹配恢复使用77个B-family parent、17模板，两个Qwen模型分别测risk/benign，合并后每侧154。保持incident、模型、可选动作、授权和预算相同，比较Logs/Metadata与增加装载/调用hash/handle证据的Provenance。作者risk utility joint success：Logs76/154≈49.35%，Provenance101/154≈65.58%；不能写成所有模型或Hermes实测收益。
更重要的对照是R-Hash-Link：risk100/154≈64.94%，benign utility120/154；模型诊断分别101与115。它提示先做执行一致性规则，再证明LLM诊断的净增益，而不是默认把修复交给更强模型。Full restoration的risk107/154≈69.48%，benign117/154；恢复率、误伤、在线时间和非noop计划数应同时报告。
Full不读取隐藏故障标签，而在公开scope中选available、approved、unrevoked、签名/digest核过且任务兼容的候选，按approval_seq及digest打破平局，预检完再恢复/重启。R-Hash-Restore与Full在有hash trigger的108次risk中同为75成功；其全部13个净差来自无trigger的46次（19对32）。一致性规则不保证发现“允许但有缺陷”的代码。
给 Hermes / llm-wiki 的最小验收合同（建议，未上线）
- 在隔离fixture中版本化
package_id / approved_digest / selected_digest / loaded_source_digest / handle_binding / policy_epoch，与真实call和产物绑定；不要把日志里任意自报hash当可信装载证据。 - 设计三负例：磁盘换了但对象没换；对象换了但旧handle没换；hash都一致但实例/授权epoch错误。合法对照必须完成同一请求，拒绝后验零副作用。
- 对旧引用优先reload/rebind；当适配器不能覆盖全部引用时才评估restart。本轮不重启gateway、不改任何skill运行目录，不能从论文直接推出需要全局重启。
- 恢复保持原数据/目标/授权；预检失败不偷偷换实现。记录拒绝/无效计划/部分失败/timeout与后续任务是否实际运行；unknown留分母但不能当无危害。
- llm-wiki归档hash、向量索引中的mtime/size、发布manifest和公网实际字节各自核验，不能用“文件已写”代替真正消费新内容。这是工程迁移，不是本论文对wiki发布器的测试。
证据边界与未解问题
- 已读主文、恢复/成本机制、附录A协议/规则、附录C配对结果与D版本更新；未导入或运行不可信样本、未调用模型/容器/真实OpenClaw，也未审完整SkillLifeEval runner。
- 搜索发现的GitHub
daffnjk/agent-skill-security-datasets是第三方目录，固定828cc42c5aed7886af6ff9eb7aca4c48ff9f311f仅作为上游线索，不冒称论文作者runner；API当次0 stars不影响机制判断。 - HF固定
55fcf409d643d2740206ce4699b9a81730bce1ad的README列194 registry entries，本轮从API文件清单独立数得194 YAML、A/B/C/D/E为38/32/46/38/40，共324文件。它与论文388 paired cases/89+60任务不是同一份已证对齐的发布包；不能因为194×2碰巧等于388就认定是一一配对映射。HF标题/会议信息与论文版不同，原样分版保留，尚未核对应manifest/轨迹。 - 恢复仅两个模型、构造fault和synthetic fixtures；作者每case/model/condition一次，模板相关性/真实并发更新仍需专项。附录C有unobserved harm保留分母，低观测危害不等于全部安全。
- 执行证据来自可信executor这一前提必须验证；如果runtime自己伪造装载/源hash，记录再完整也不能自证。跨进程、多副本、插件热加载和已在途副作用不能由一次本地rebind全部解决。
深度判断
晋升因其提供可迁移的selected→loaded→invoked绑定、risk×benign×cost恢复对照与隐藏材料边界，而不是新榜单。正式保留论文机制，同时拒绝把相关旧dataset版本误报为可复现整包；不另造薄实体页。
写入记录
- 2026-11-01 09:05 CST：新增执行绑定/保留handle、联合成功与恢复对照深读，核算作者分母并固定相关HF元数据；明确194条旧包与388案例未对齐及无作者实验复现。