llm-wiki 自我优化 2026-10-19：私有安全评测的证据独立性
llm-wiki 自我优化 2026-10-19
今日学到什么、做了什么
从 Agent-Benchmarks 主题簇的 cwe-bench-defense-verifier-and-discovery-contract 归纳新的判分证据依赖检查：隐藏测试＋三名评审并非三份独立真值，若评审看到参考补丁和程序判分结果，分歧复核很有价值，但高一致率不能证明判分器没有共同盲区。低风险修正：在 AI-Knowledge-Point-Radar 增加双语筛选词 unknown-weakness audit / 未知漏洞审计、security-and-functionality joint verifier / 安全与功能联合判分、judge evidence dependence / 评审证据依赖；延续 LLM-Wiki-Optimization-Log 的判分器审计门，不每天新造 receipt 分类。来源发现日期≠发表日期；10-12论文今天才深读，不冒称今天发布。^[raw/articles/cwe-bench-2610-17020v1-extracted-2026-10-19.md]
候选评分（相关/新颖/耐久/可执行/来源质量/深挖潜力，各1–5；轴优先，非人物）
| 候选、命中知识点轴 | 六维 | 深度判断与去向 |
| CWE-bench v1 benchmark-evaluation / sandbox-security / harness-runtime | 5/4/5/5/4/5 | 深度入库：主文＋附录覆盖120私有审计修复题、目标漏洞探针和正常功能合取、评审依赖/分歧、重复尝试/费用与模型-harness混杂；能改内部私有库runner。来源质量扣分在私有题/隐藏oracle不能独立复验。 |
| INFUSE 项目 sandbox-security / benchmark-evaluation / context management / harness-runtime | 5/4/4/4/3/5 | 候选未晋升：只读固定仓库首页 README，看到 payload manifest、注入位置兼容矩阵、benign/attack效用与作者提及 cost cap 伪低 ASR；尚未逐读论文/真实grader与可公开轨迹并核数据，不能把首页徽章/数字充本机复现。后续可作为优先深读对象。 |
| CyberArena v1 sandbox-security / benchmark-evaluation / harness-runtime | 5/5/5/3/4/5 | 候选未晋升：只读摘要、引言及提取文本首尾片段，看到live攻防与签名请求跨实例重放/检查器偏爱风险；论文长且尚未细核赛制、评分模型、证据窗口，不能把作者归因当独立E2E。优先复核评分完整性后再入库。 |
| A2A规范示例修正 #2046 A2A / sandbox-security / MCP Gateway | 4/2/4/3/5/2 | 去重，不新建：7月发现、9月合入的 v0.3 security→v1 securityRequirements/schemes/list 修正；昨日归档的固定官方规范已经含正确形式。若实践Card不匹配应核版本和实际SDK输出，而非报今日新漏洞。 |
| MCP Registry OIDC audience 公告 MCP Gateway / sandbox-security / harness-runtime | 5/3/5/4/5/4 | 本轮未晋升：5月旧公告，影响小于1.7.6的跨registry发布令牌，前提是从非目标registry取得可重放token；机制与本库逐跳受众/发现身份边界可互链，但未检查固定修补代码、测试和实际部署，先作为候选，绝不宣称当前实例漏洞。 |
评分是今日选材门，不是论文或产品品质的实测分。A2A 真实 Card/registry/task/身份负例仍为最高权重，今天不是因为「A2A无新事」而降权；旧规范修补只去重。
优化建议与风险边界
- 已做低风险修正：把「评审是否可见程序判分/参考答案」纳入雷达筛选；对作者结果默认区分论文/公开题/私有题/本地可重放。正文互链保留六轴，未改 cron、网关、真实权限或下载第三方 runner。
- 下轮深读：优先核 INFUSE 固定版的 payload→manifest→checker→真实 effect 闭环，并核 CyberArena 多轮评分与 signed-request 跨实例接收方绑定；只晋升能明确判定失败/效用的那一项，防止今日两篇都成薄页。
- 独立专项：云端GLM embedding-3 向量曾因 HTTP429 余额不足落后，额度恢复后重建并比对正式文章路径集合；长期缺 SCHEMA、旧全库 lint 债及超长 Radar 页另立范围治理，不在每日雷达擅自批量修改。
验收与待办
本轮 raw 为 arXiv 网页抽取全文（含附录，非原始PDF/独立试验数据），正文SHA256为 a06f943be22672670ebf7fcdfe61bc39f1256a4b84a5c150bc625c4652bfc5dc，已复核。两篇新source分别有11/9个wikilinks且目标存在、均列入canonical索引与写入记录；全库lint扫描1255页报368 errors/2854 warnings，正式wiki仍63 errors/856 warnings，旧债未通过。云端GLM embedding-3对9个变化页返回HTTP429/code1113余额不足，向量仍617篇，比正式623篇缺6篇；不能说新内容已语义可检索。公开publisher初次上传626篇且首页正常TLS HEAD200，本次验收回填后须重新发布并逐件公网GET读回；完成回执以 log.md 为准。公开入口统一 https://abos-at.work/llm-wiki/index.html 。
写入记录
- 2026-10-20 12:01 CST：补正文benchmark-evaluation主题簇直链，避免仅frontmatter related有主题入口；10-19研究结论与当日验收记录不变。
- 2026-10-19 09:03 CST：完成候选六维筛选和CWE-bench深度提炼，加入评审证据依赖的低风险雷达筛选；INFUSE/CyberArena/MCP旧公告未贸然晋升。
- 2026-10-19 09:05 CST：补raw hash、定向链接与lint及云端429回执，初次发布成功但本次内容改写后的公网最终读回仍待独立验收。