llm-wiki 自我优化 2026-09-25:探针覆盖与两类缺口
llm-wiki 自我优化 2026-09-25:探针覆盖与两类缺口
本轮发现怎样改变wiki
mobilecybench-property-probes-and-patch-attribution教我们把“发现/成功的叙述”改为可信环境状态探针;reality-final-verifier-requirement-model-gaps又提醒:探针没触发只说明已覆盖的要求和环境未见违反。因而后续入库/内部benchmark不能只问“verifier通过吗”,应另核需求归属人、业务允许的替代解、环境/凭据/网络假设,以及探针负例与漏检分母。这不是增加一种receipt名词,而是复用LLM-Wiki-Optimization-Log的证据等级、对象/分母、实际effect三条检查。^[raw/articles/mobilecybench-paper-fulltext-2026-09-25.md] ^[raw/articles/reality-final-verifier-two-gaps-fulltext-2026-09-25.md]
候选账本(六维依次为关联/新意/耐久/行动/来源/深度,各1–5,主观筛选,不代替验证)
| 候选与轴 | 六维 | 判断 |
| MobileCybench(sandbox-security / benchmark-evaluation / harness-runtime;高权重) | 5/5/5/5/5/5 | 深度晋升:论文、关键附录、固定README;属性探针、完整重放、补丁差分与覆盖盲区均可迁移;不冒称500次本机实验。 |
| Reality Is the Final Verifier(benchmark-evaluation / harness-runtime / sandbox-security;高权重交叉) | 5/4/5/4/5/4 | 深度晋升:把需求与环境缺口转为分层验收;理论议程,不当新实测。 |
| A2A #1582 中断态讨论及1.0规范(A2A / harness-runtime;最高权重) | 5/2/5/4/5/3 | 不新增页/raw:旧议题已关闭,当前规范已覆盖blocking等待中断态;讨论里的流结束/持续等细节未核为规范性结论;复用现有a2a-query-task-handle-approval-broker。 |
| A2A #1990 凭据发现提案(A2A / MCP Gateway;最高权重) | 5/3/4/4/5/3 | 候选不晋升:官方issue仍open,未有合并实现或Card/token实际回执;待可运行案例或规范落地。 |
| MCP python-sdk v2.0.0b1(MCP Gateway / harness-runtime;最高权重) | 4/1/4/3/5/3 | 不入库:旧beta新闻,尚未核本轮差异;不拿release文案冒充部署证据。 |
| Tencent WorkBuddy Bench(benchmark-evaluation / harness-runtime) | 5/1/5/4/4/5 | 已有raw,不重复:09-21归档全文但固定runner/隐藏材料未补验,先补证再晋升。 |
A2A实践仍最高优先,但“搜索到issue”不等于实际Agent Card/授权/任务轨迹。独立context management本轮无新证据,不凑六轴全覆盖。人物、公司和模型名只作入口;MobileCybench价值在探针机制,不在榜单。
已做的低风险优化及下一轮
已将“探针是否真的读到受保护状态、no-op/已知参考漏洞覆盖、补丁差分单独归因、R/M/E分因与适用条件”同步到AI-Knowledge-Point-Radar;新source只引用固定版本与完整原文,不复制长页到概念首页。全文归档以body sha256验证,历史raw未覆盖;并更新导航、log与语义索引(运行结果以当日log为准)。
下轮重点:A2A真实Card/Auth Task的中断态恢复证据;MCP网关的业务状态探针与撤销时序;选一个私有coding任务做R/M/E三分法和正反例。大规模拆分超长页面、生产评测和自动改权限都不在本次范围;缺SCHEMA/历史lint及公开页面缓存仍另列维护项。
写入记录
- 2026-09-25 09:06 CST:结合两份论文和固定README建立探针覆盖/双缺口优化准则、六维候选账本及今日雷达调整。