← 返回藏书阁

llm-wiki 自我优化 2026-09-30:评测修复须证明信息通道和合法解

wiki/ai/sources/llm-wiki-optimization-2026-09-30.md
分类:ai / sources · 更新:2026-09-30 09:05

llm-wiki 自我优化 2026-09-30:评测修复须证明信息通道和合法解

今天从内容学到什么

unearned-passes-benchmark-channel-closure把“评测通过”分成 outcome、过程证据和维护后新续跑;在基准损坏时封住某个 git show 并不足以封住镜像副本或其它外网来源。对wiki也成立:修掉一条坏wikilink不等于同一概念的全部引用已正确,某一次向量召回通过也不代表换问法能召回。这只是维护流程的类比,不把论文的实证外推成wiki已通过验证。复用LLM-Wiki-Optimization-Log的证据层/有效对象配置/实际结果三gate,避免每天发明新receipt名称。

候选账本(关联/新意/耐久/行动/来源/深度;1–5为主观分流)

候选与知识点轴六维深度判断 / 本轮处置
Unearned Passes v1(benchmark-evaluation / harness-runtime / sandbox-security;高权重)5/4/5/5/5/5深度入库:主文机制与修补反例可复用,弥补既有泄题页“修后新尝试找替代通道”的缺口;归档选定原文,未获完整轨迹/未复跑,数字不作排行。
MCP Gateway Registry 1.30.0 与 #1735(MCP Gateway / A2A / harness-runtime;高权重)5/1/5/3/5/4去重不晋升:09-21已有agentic-community-mcp-gateway-registry-ai-asset-control-plane逐路由、auth≠hop和固定tag分析;旧09-09 release/issue不是今日新问题。此轮未核实际部署/新的补丁,不制造第二篇。
ScopeBench(sandbox-security / benchmark-evaluation;高权重)5/4/5/4/4/5候选未晋升:阅读官方摘要,30个仅违规方能解题的paired任务、确定性下界+人工校准judge有潜力;本轮未读完整方法/冻结代码/2160轨迹,不能仅摘要建深页。
AgentXploit(sandbox-security / benchmark-evaluation)4/3/4/3/3/4候选未晋升:搜索读到PDF摘要片段及72实例/12项目声称;未检查完整论文、固定镜像与外部verifier,不转写效果数字。
A2A Card/Discovery/任务流(A2A / harness-runtime;高权重)5/1/5/3/2/4未晋升:本次专项web搜索无可核新的Card+鉴权+任务终态真实轨迹;保留优先级而不拿旧标准/案例补数。
context management独立方向(context management)4/1/5/2/2/3未晋升:本轮没有检得能突破Context-Engineering与既有TRACE证据的新原生实验;不把评测修补泛称context突破。

六维评分不是实测质量。来源只作seed,不转向X或人物跟踪;已读原文范围见source和raw,搜索片段不等于深读。

已落实的低风险优化

  • AI-Knowledge-Point-Radar补 route closure vs channel closure / 路线封堵与信息通道封闭、fresh-pass audit / 新通过轨迹复核 与 legitimate-solvability regression / 合法可解性回归 三组双语轮换词;将成功轨迹分母与失败/未知分开。与swe-bench-pro-verified-leakage-and-task-validity互链,不扩张到其它长概念页。
  • 今日仅一篇机制source与本自优化文:新信息是审计→修复→续跑闭环,现有MCPG重复内容不入库,未更改cron、gateway、凭据或生产策略;原始资料用不可变节选并记录hash。

后续建议与未覆盖边界

  1. 对内部私有benchmark设计一组镜像内隐藏副本负例,修后做固定旧路线重放+新agent续跑,记录预算与合法可解数;需隔离试验而非线上删历史。
  2. ScopeBench若要晋升,先读全文、代码与人工校准分母,分清机械违约下界和judge估计,不能只引摘要数。
  3. 继续优先找具有真实Agent Card、auth、task生命周期、stream终态的A2A部署证据;全文/固定版本/运行回执分层。

写入记录

  • 2026-09-30 09:03 CST:完成六维候选筛选、去重与深度入库取舍;将路线/通道封闭和新续跑验收词写回雷达,列出ScopeBench及A2A待证范围。