← 返回藏书阁

llm-wiki 自我优化 2026-10-30:缓存信任与判分正例

wiki/ai/sources/llm-wiki-optimization-2026-10-30.md
分类:ai / sources · 更新:2026-10-30 09:16

llm-wiki 自我优化 2026-10-30:缓存信任与判分正例

今天值得吸收的两点

  • A2A / harness-runtime / sandbox-security / benchmark-evaluation:mastra-a2a-card-cache-signature-and-task-boundaries 从真实固定实现拆出四件事:Card bootstrap cache、可选 hook 与 signature-if-present 的不同语义、execution origin 的凭据接收权、快照续流与持久恢复。签名可信不等于当前允许调用;内存版本不等于跨副本执行接管。^[raw/articles/mastra-a2a-card-bootstrap-signature-and-task-store-pinned-2026-10-30.md]
  • benchmark-evaluation / sandbox-security / harness-runtime:verifierbench-v4v-positive-coverage-and-all-reject 补完前两天 raw-only 的 V4V/合法替代解/计分与局限深读。只抓坏解会把 all-reject 当强防御,只测 gold 会把合法路线收窄;先验题目与判分器,再解释 agent 成绩。^[raw/articles/verifierbench-v4v-deep-reading-and-pinned-implementation-2026-10-30.md]

两项不是“今天首发新闻”,而是今天新增的耐久机制与补证。MCP Gateway、A2A、sandbox 最高权重保持;人物仅 seed,不跟单一团队。

候选筛选账本

六维为 1—5 的编辑判断,不是实验分数;N 是相对现有 wiki 的新增价值。高分表示有深度潜力,不能替代全文/实现证据。

候选与知识点轴relevancenoveltydurabilityactionabilitysource-qualitydepth-potential决定
Mastra 固定 A2A:A2A / harness-runtime / sandbox-security / benchmark-evaluation;关联 MCP Gateway545555正式深读;Card、验签、cache、Task/SSE/store 有固定源码
VerifierBench:benchmark-evaluation / sandbox-security / harness-runtime545545从旧 raw 晋升;补主文/附录/版本/metrics,不将分数当复现
Red Hat gateway 文章:MCP Gateway / sandbox-security / harness-runtime514343不另造页;与已有撤销/发现机制重合,尚无新固定实现/负例增量
VerifiedWork Context:context management / benchmark-evaluation / sandbox-security424333raw-only;明确是尚未构建/运行的 benchmark design

发现入口为 web search,继而官方文档/GitHub/arXiv/HF;没有 X 抓取。Red Hat URL https://developers.redhat.com/articles/2026/10/23/locking-down-mcp-at-the-gateway 的抽取入口可读部分,本地 HTTP 获取原件为 403,没有声称拿到完整原件或审了其新实现。

VerifiedWork 的六类 probe 将约束、义务、撤权、过时事实、删除来源和逐字引用转换为行为测试,尤其提醒“检索层撤权后摘要仍有副本”。但来源明确标 benchmark design; not yet run、未构建/运行;没有公开可重放得分可供本轮核验。可作设计候选,不写成已有 benchmark 成绩或新增成熟 concept。^[raw/articles/verifiedwork-context-design-not-run-raw-only-2026-10-30.md]

深度判断:为什么不是两篇工具介绍

Mastra 可追到 core/client/server 三条实际代码路径,足以形成缓存失效、强制签名、可信密钥、接收方、owner 与恢复的隔离验收矩阵。VerifierBench 可解释六门筛选、原始标签缺陷、合法替代解覆盖、task-equal 分母及 all-reject 失败机制。两者都能迁移到 Hermes/私有 coding 题池,而不依赖某个模型的当周榜单。

证据边界同样重要:没有运行 Mastra SDK/部署/live Card/跨用户负例;没有解析 HF parquet、审完整 V4V bundle 或重跑模型/容器。今天只关闭“VerifierBench 未深读”这个 pending,不关闭完整复现/隐藏视图隔离 pending。

llm-wiki 已做的低风险优化

  1. 在 AI-Knowledge-Point-Radar 增双语轮换:cached discovery trust / 缓存发现信任、signature-if-present vs signature-required / 有签名才验与强制签名、positive-coverage audit / 合法正例覆盖审计、all-reject verifier / 全拒绝判分器。它们复用已有证据/有效配置/真实 effect 门,不新增分类或 receipt 体系。
  2. A2A-Agent2Agent-Protocol、MCP-Gateway-Runtime 添加 Mastra 正式反链;Agent-Benchmarks 添加 V4V/全拒绝入口,并将页首的“VerifierBench 仍待深读”更新为本日晋升状态。历史带日期观察不倒写。
  3. 新来源继续落 wiki/ai/sources/;复用旧 VerifierBench 原件、新建独立深读 dossier,旧 raw 保持不变。固定 docs/source 与滚动网页分开;可选核心 hook 不与 JS client helper 合并成一个不存在的默认安全机制。

没有修改 cron、gateway、生产策略/凭据、其他 profile 或长期 memory,没有安装本地模型/外部 skill。

实际验证与其范围

  • 本轮已对固定 metrics.py 的 require 与 per_task_rates 两函数做 AST 提取执行:全拒绝、全接受、正确分类、全 runtime error、abstention 保留分母 5 个合成单元检查通过;纸面候选分组与 mutation 配置总数复算一致。这不是全量 VerifierBench、模型或 V4V 实测。
  • 正文 frontmatter/既有标签/来源/有效 wikilink/反链/写入时间、raw body SHA 与原件字节、云端 embedding 覆盖/真实召回及公网同构建读回,分别生成本轮独立回执;最终结果归 log.md 与 ~/.hermes/cache/scratch/ai-radar-20261030/,不以“文件写了”替代所有验收。
  • 全库 baseline lint 已有历史问题,本轮不通过修改 immutable raw、放宽检查器或批量拆页来制造全绿。

本轮文件清单

正式新增:

  • wiki/ai/sources/mastra-a2a-card-cache-signature-and-task-boundaries.md
  • wiki/ai/sources/verifierbench-v4v-positive-coverage-and-all-reject.md
  • wiki/ai/sources/llm-wiki-optimization-2026-10-30.md

既有更新:

  • wiki/ai/concepts/AI-Knowledge-Point-Radar.md
  • wiki/ai/concepts/A2A-Agent2Agent-Protocol.md
  • wiki/ai/concepts/MCP-Gateway-Runtime.md
  • wiki/ai/concepts/Agent-Benchmarks.md
  • _index.md
  • log.md

新 raw:

  • raw/articles/mastra-a2a-card-bootstrap-signature-and-task-store-pinned-2026-10-30.md
  • raw/articles/verifierbench-v4v-deep-reading-and-pinned-implementation-2026-10-30.md
  • raw/articles/verifiedwork-context-design-not-run-raw-only-2026-10-30.md

22 份逐字节原件附件均位于 raw/assets/ai-radar-2026-10-30/,不计正式页:

  • Mastra:mastra-blog.html、mastra-docs.html、mastra-repo.json、mastra-commit.json、mastra-fixed-doc.mdx.txt、mastra-agent.ts.txt、mastra-client.ts.txt、mastra-handler.ts.txt、mastra-store.ts.txt、mastra-protocol.ts.txt、mastra-agent-tests.ts.txt、mastra-tasks.ts.txt、mastra-signature.ts.txt。
  • VerifierBench:verifier-project.html、verifier-dataset.json、verifier-README.md.txt、verifier-USAGE.md.txt、verifier-repo.json、verifier-root-readme.md.txt、verifier-bench-readme.md.txt、verifier-metrics.py.txt。
  • 设计候选:verifiedwork-context.html。

原始 URL、SHA、字节数与 scratch 对应逐项记 archive-receipts.json;VerifierBench 论文 HTML 复用 raw/assets/ai-radar-2026-10-28/verifierbench.html,没有制造第二份假“新论文”。

下一步建议(未执行)

  1. 在获准隔离环境做 A2A unsigned/未知 signer/缓存撤销/异 origin/跨 owner 矩阵,记录实际 dispatch 和零 effect;不要直接在生产凭据上试。
  2. 先给私有题池每题补 gold 之外的合法实现、no-op/near-miss 与全拒绝/只认 gold 两基线,再扩题数。
  3. 保留 VerifiedWork 为低频设计候选,等 runner/数据/实际对照出现才晋升;旧长页分块/SCHEMA/lint 分层和 publisher 缓存治理另立专项,避免无人日报大范围重构。

写入记录

  • 2026-10-30 09:15 CST:新增四候选六维账本、两项深度判断、raw-only/403边界、固定 metrics 五项单元检查与文件清单;将缓存信任/合法正例门并入既有雷达,不改变生产控制。