llm-wiki 自我优化 2026-10-10：先审判分器，再解释通过率
llm-wiki 自我优化 2026-10-10：先审判分器，再解释通过率
从今天内容学到的东西
Agent-Benchmarks主题簇的revivebench-hidden-verifier-audit-and-harness-parity把昨日“判断实际出站”的思路扩至评测链：先证明一个合法实现能达到阈值、伪造诊断不能通过、adapter的 cap/工具/超时确实生效，再谈agent跑分。隐藏 grader 只能防部分泄题，不能修复其自证、假阳性与假阴性。论文作者的 28 个缺陷和 13/13 只是论文报告，没有在本机复核；从其他论文/项目抄模型榜单、隐藏测试或方法名会放大虚假确定性。已有harbor-index-parity-task-validity-and-snapshot-boundaries、swe-bench-pro-verified-leakage-and-task-validity承载任务有效性与泄漏，本次不另建“verifier”概念薄页。
候选账本
评分为编辑判断 1–5：相关/新颖/耐久/可执行/原始来源质量/深度潜力；高权重指本轮明确优先轴，并非是否今天首发。
| 候选及知识点轴 | 六维评分 | 深度判断与去向 |
| ReviveBench 论文 v1：benchmark-evaluation / harness-runtime / sandbox-security / context management（高） | 5/4/5/5/5/5 | 全文 raw + 机制 source 深读；三类可复用判分器探针、适配器实效与失败分母同在原文。9月论文并非10月新发布；没有复现任务包。 |
| Kepler 论文摘要及HTML端点：benchmark-evaluation / harness-runtime / context management（高） | 4/3/4/3/4/3 | HTML抽取只有摘要，PDF搜索结果有额外片段但未系统读全文；100分/成本不能脱离 public set、cache与失效控制，仅保留候选，不把摘要冒充深读。下次优先PDF与代码/轨迹取证。 |
| AWS Loom仓库 README：A2A / MCP Gateway / harness-runtime / sandbox-security（最高） | 5/3/5/4/4/4 | 真实工程实现值得下一轮固定 commit 深读 Card抓取、OAuth委托/任务流/权限边界；本轮仓库页只取摘要及 README 片段，未核具体 route/test、有效部署，不晋升单工具薄页。搜到的声称不等于真实跨租户/跨服务E2E。 |
| MCP Registry telemetry 文档：MCP Gateway / harness-runtime / sandbox-security（最高） | 4/2/4/3/4/2 | 搜索命中官方文档但同项目agentic-community-mcp-gateway-registry-ai-asset-control-plane已覆盖多数机制，本轮仅摘要，无逐字段/端点鉴权审计，重复/浅层，保留候选。 |
| BenchShield：benchmark-evaluation / sandbox-security（最高） | 5/1/5/4/5/2 | 已有benchshield-reward-lifecycle-integrity深页；未发现该旧版本的新机制证据，不重复 raw 或造页。 |
对 llm-wiki 已做的低风险优化
- 向AI-Knowledge-Point-Radar加入双语
verifier achievability / 判分阈值可达性、artifact-recomputed metrics / 产物指标独立复算、adapter effective settings / 适配器真实配置；复用现有“证据层级/对象版本/独立状态”三条门，不制造新taxonomy。A2A真实 Card→身份→任务→effect 和 MCP Gateway、sandbox-security 继续高优先，不因今天论文转人物主轴。 - 新 source 与今日优化页互链，并将其加在导航顶部；原文 raw 保持不可变，今天不改 cron、网关、安全配置或云端评测基础设施。
后续需审慎决策
- 内部 runner若要真实实施，先脱敏选1题隔离跑 no-op/GOLD/合法替代/伪解 + wire adapter smoke，再谈批量任务/CI和真实权限；这些测试本轮未执行。
- 旧缺失 SCHEMA、全库历史 lint 与网页 immutable 缓存应独立排期；不要为日报改生产环境。
写入记录
- 2026-10-10 09:03 CST：记录六轴搜索候选评分、深度入库与去重，新增判分器有效性双语检索门和本文导航；区分论文报告、片段和本机未运行。