← 返回藏书阁

llm-wiki 自我优化 2026-10-31：覆盖、归因与放行不能混账

wiki/ai/sources/llm-wiki-optimization-2026-10-31.md
分类：ai / sources · 更新：2026-10-31 09:14

llm-wiki 自我优化 2026-10-31：覆盖、归因与放行不能混账

今天值得吸收的两点

  • A2A / harness-runtime / sandbox-security / benchmark-evaluation；关联 MCP Gateway：erebots-a2a-conformance-owner-resume-and-consent 提供真实 Card/双 binding/Task/MCP/认证代码。完整+minimal Card 才能把能力正反例都变为可达测试；续办要在 task machinery 前验 owner/TTL，任务可持久不等于副作用不重放，consent 保存不等于强制。指南与论文的 LLM 前提差异保留 contested，非本机部署报告。^[raw/articles/erebots-a2a-tck-owner-resume-pinned-2026-10-31.md]
  • sandbox-security / benchmark-evaluation / harness-runtime：falcon-counterexample-faithfulness-and-security-reward 将 attacker 生成、target 真实执行、evidence 归因和 verifier 分离；no-evidence 与 secure 标签不能合并，训练 reward=1 不能借作生产放行。顶层 engine 与实验 detector 路径不同，先查实际入口。^[raw/articles/falcon-counterexample-faithfulness-and-reward-pinned-2026-10-31.md]

共同原则是覆盖充分性、证据归因、最终政策三账分开。这不是另起一套分类；复用现有 Agent-Benchmarks / MCP-Gateway-Runtime 的覆盖、身份、实际 effect 合同。人物仍仅 seed，A2A/MCP/sandbox 最高权重不变。

候选六维筛选账本

以下 1—5 为编辑判断，不是实测分数；novelty 指相对当前 wiki 的增量。高 depth-potential 不豁免深读/实现核验门。

候选与知识点轴relevancenoveltydurabilityactionabilitysource-qualitydepth-potential本轮决定
EREBOTS：A2A / harness-runtime / sandbox-security / benchmark-evaluation；关联 MCP Gateway545545深读晋升；Card/Task/认证/恢复有固定实现及明确局限
FALCON：sandbox-security / benchmark-evaluation / harness-runtime545545深读晋升；全文+关键附录+两个实现入口；11 项纯函数检查
GitHub Safe Outputs：MCP Gateway / sandbox-security / harness-runtime535455raw-only；工作草案已捕获，只读架构入口，未审实际 privileged executor
Compact-Bench：context management / benchmark-evaluation / harness-runtime445445raw-only；摘要/引言/部分方法已读，runner、judge、版本及逐题尚未闭环

发现使用 web search（含 MCP 中英文补搜），再读 arXiv/官方文档/GitHub API 和固定源码；未使用 X。两小仓库的 star 分别为 EREBOTS 0、FALCON 4（当次 API），不按热度升降机制证据门。26 份选中原件下载均 HTTP200；本轮没有把搜索摘要当已读原文。

深度判断：为什么晋升两项、另两项只留 raw

EREBOTS 可以从 Card 的 capability gates 一路追到服务账号 azp、上下文 user_id 固定、resume 前置 owner/TTL；能设计“拒绝不毁原 task”和“问问题前副作用是否重跑”的隔离验收。论文明示 consent 不执行、单实例非多副本、反向异 SDK 互通未测，值得沉淀反例而不是宣传框架成熟。^[raw/articles/erebots-a2a-tck-owner-resume-pinned-2026-10-31.md]

FALCON 能解释为什么 probe 运行不等于 target 违规、为什么无 admitted 仍得正训练 reward，以及为什么看论文的 21 detectors 不能代表所有代码入口。论文声称 proxy 与 held-out 的转移要用隐藏功能/安全测试验；没有重跑作者模型，不照搬增益为 Hermes 收益。^[raw/articles/falcon-counterexample-faithfulness-and-reward-pinned-2026-10-31.md]

Safe Outputs 规范将 read-only agent job 与 permission-controlled safe-output job 分开，结构化声明后由受限高权执行层处理，机制很契合网关；但页明确 working draft（文中指 1.8.0+），本轮没有固定编译器/validator/执行器或核 token/审批/重试/真实 API effect。只存全文，不能写成已验证权限隔离。^[raw/articles/github-safe-outputs-working-draft-raw-only-2026-10-31.md]

Compact-Bench 研究同 repository snapshot 的 full-history/summary-only continuation，并区分任务保留、后续细节与连续压缩；它是 2610.31710v2，不是已入库 APEC 的 CompactionBench，也不是旧候选 Compaction-Friendly。尚未完成附录/runner/数据与结果语义核对，不引用原 HTML 重复数字串当准确成绩，也不把摘要中的代码可用当本机可复现。^[raw/articles/compact-bench-2610-31710v2-raw-only-2026-10-31.md]

对 llm-wiki 已做的低风险优化

  1. 在 AI-Knowledge-Point-Radar 加双语轮换：capability-on/off conformance coverage / 能力开关正反例覆盖、resume identity vs execution checkpoint / 续办身份与执行检查点、probe faithfulness attribution / 探针证据归因、security reward vs admission policy / 安全奖励与放行政策。把 EREBOTS/FALCON 项目加为低权重补证 seed，不替代知识轴。
  2. A2A-Agent2Agent-Protocol 和 MCP-Gateway-Runtime 加 EREBOTS 正式反链；Agent-Benchmarks 接入双 Card 覆盖、FALCON 归因/覆盖/奖励区分。既有长页只加短入口，不再复制完整规则；详细内容留两篇 source。
  3. raw-only 候选用 arXiv ID/版本或官方 spec URL 区分身份，防 Compact-Bench/CompactionBench/Compaction-Friendly 名称相似误合并。保留旧 raw；没有另造薄 concept/entity、分类或自动任务。

没有修改 cron、gateway、生产权限/凭据、其他 profile、长期 memory，也没有安装本地模型或第三方 skill。SCHEMA 缺失、旧长页/检索分块/lint 分层、publisher 单写者与缓存治理仍应另立专项，不在无人日报中大范围改造。

实际验证与证据边界

  • 固定 FALCON 纯函数 11 项合成检查通过，仅涉及聚合/crash/RL reward；不运行攻击脚本、不调用模型、不代表上游 benchmark。
  • raw 正文 SHA、26 原件字节、正文 frontmatter/既有标签/来源/有效 wikilinks/反链/正文时间，以及云端向量与实际召回、公网同构建读回，分别生成本轮独立回执并在 log.md 记录最终结果，不以本地写入替代全链成功。
  • 全库 lint 的历史 raw 代码/第三方内容误报已存在；不为消警篡改 immutable raw，不冒称全库全绿。

本轮文件清单

正式新增：

  • wiki/ai/sources/erebots-a2a-conformance-owner-resume-and-consent.md
  • wiki/ai/sources/falcon-counterexample-faithfulness-and-security-reward.md
  • wiki/ai/sources/llm-wiki-optimization-2026-10-31.md

既有更新： wiki/ai/concepts/AI-Knowledge-Point-Radar.md、wiki/ai/concepts/A2A-Agent2Agent-Protocol.md、wiki/ai/concepts/MCP-Gateway-Runtime.md、wiki/ai/concepts/Agent-Benchmarks.md、_index.md、log.md。

新 raw：

  • raw/articles/erebots-a2a-tck-owner-resume-pinned-2026-10-31.md
  • raw/articles/falcon-counterexample-faithfulness-and-reward-pinned-2026-10-31.md
  • raw/articles/compact-bench-2610-31710v2-raw-only-2026-10-31.md
  • raw/articles/github-safe-outputs-working-draft-raw-only-2026-10-31.md

26 份原件附件位于 raw/assets/ai-radar-2026-10-31/；HTML/JSON/源码原件以原字节保存，Markdown 源码为 .md.txt，不计正式文章：

  • EREBOTS：erebots-paper.html、erebots-repo.json、erebots-tag.json、erebots-tree.json、erebots-readme.md.txt、erebots-docs--a2a-conformance.md.txt、erebots-docs--tck.md.txt、erebots-erebots--agents--a2a--server.py.txt、erebots-erebots--agents--orchestrator--agent.py.txt、erebots-specialists--personal--agent.py.txt、erebots-erebots--api--auth_middleware.py.txt、erebots-tests--test_personal_a2a.py.txt、erebots-a2a-client.py.txt。
  • FALCON：falcon-paper.html、falcon-repo.json、falcon-commit.json、falcon-tree.json、falcon-readme.md.txt、falcon-engine--faithfulness.py.txt、falcon-engine--verifier.py.txt、falcon-experiments--rl--reward.py.txt、falcon-experiments--test-time-repair--av_signal--verifier.py.txt、falcon-experiment-models.py.txt、falcon-experiment-signal.py.txt。
  • raw-only：safe-outputs-spec.html、compact-bench.html。

逐 URL/字节数/SHA/文件清单在 ~/.hermes/cache/scratch/ai-radar-20261031/archive-receipts.json；原文被捕获不代表每行都已审阅，阅读范围以上文为准。

下一步建议（未执行）

  1. 先在隔离环境验 A2A full/minimal Card 和 auth-on owner/TTL/重试副作用；不要照搬 TCK 的关闭认证/放开 localhost 配置到生产。
  2. 私有 coding 题池把 no-evidence、pending、联合功能且安全结果分栏；并列实际 runner/mode，禁止 reward=1 直接充当发布 gate。
  3. 下一次补 Safe Outputs privileged executor 的实际边界和 Compact-Bench 同 snapshot runner；只有补到实现/可重放证据才晋升，暂不扩大人物追踪。

写入记录

  • 2026-10-31 09:10 CST：新增四候选六维账本、两项机制深读/两项 raw-only 的判断、11 项合成检查与完整文件清单；将覆盖/归因/放行分账并入现有雷达，不改变生产控制。
藏书阁 · Published from llm-wiki · 2026-11-02 09:29:27