llm-wiki 自我优化 2026-11-02:判分辨识力与逐跳交付证据
llm-wiki 自我优化 2026-11-02:判分辨识力与逐跳交付证据
今天值得吸收什么
- benchmark-evaluation / sandbox-security / harness-runtime:secprbench-causal-judge-snapshot-and-containment补完昨日候选。detection=
报告声称目标 ∧ 当前代码仍有目标,修复companion上永远判阴性也可能漏掉旧目标误报;另设stale-target alarm问题,组合修复验证树与实际review树分开。其价值是可迁移的评测机制,而非榜单。^[raw/articles/secprbench-causal-judge-snapshot-and-containment-pinned-2026-11-02.md] - A2A / harness-runtime / benchmark-evaluation;关联 MCP Gateway / sandbox-security:pega-a2a-card-discovery-and-delivery-evidence以社区POC/故障分验Card位置、GET健康、POST到达、响应解析、用户交付;两代Card路径保留环境/版本,不“修正”成单一模板。新入库不等于新发布。^[raw/articles/pega-a2a-card-discovery-and-delivery-case-2026-11-02.md]
共同原则:判分结果必须能区分目标属性,成功回执必须绑定本次对象与下一跳实际消费。 沿用 Agent-Benchmarks、A2A-Agent2Agent-Protocol、MCP-Gateway-Runtime 的现有合同,不新增receipt分类或薄实体。
候选六维账本
1—5为编辑判断,novelty相对现库;高分只说明深读潜力,不豁免证据门。web-first覆盖六轴,宽查询不足后补具体论文、中文MCP/联邦词和A2A产品案例,不以单一人物为轴。
| 候选与命中轴 | relevance | novelty | durability | actionability | source-quality | depth-potential | 高权重命中与决定 |
| SecPRBench:benchmark-evaluation / sandbox-security / harness-runtime | 5 | 5 | 5 | 5 | 4 | 5 | 安全/内部review评测,深读晋升;不搬未经同版复核的排行 |
| Pega社区实践:A2A / harness-runtime / benchmark-evaluation;关联MCP Gateway / sandbox-security | 5 | 4 | 5 | 5 | 3 | 5 | A2A真实自述/故障链,晋升有限证据案例;不是官方安全或live部署认证 |
| Forge:MCP Gateway / sandbox-security / harness-runtime | 5 | 2 | 5 | 4 | 5 | 4 | 网关最高权重;官方合同已读但与逐call/逐跳旧机制重合,仅raw等待版本/实现负例 |
| CTXAgent:context management / harness-runtime / benchmark-evaluation | 4 | 4 | 5 | 4 | 4 | 5 | 模型自主压缩值得后续;本轮仅版本化摘要,未审全文/runner/成本原行,仅raw |
深度判断与不能合并的证据
SecPRBench深读主文、重要附录及固定release的DATA_CARD/PROTOCOL/JUDGE/SANDBOX/VERIFICATION/KNOWN_ISSUES/REPORT,核review_input.py、snapshot.py、judge及runner关键段。7项呈现metadata纯函数合成检查通过;复算roster 265 cases/530 tasks、9项目及路径唯一,非530份任务bytes验证;16份固定内容与commit→declared tree→Git blob hash相符。论文v1写265,仓库当前又说明274源快照减9得到265,数字相同不能替代队列/结果映射。6项已知artifact问题、构建器/镜像缺口、judge独立审阅局限保留;未执行漏洞、Docker/模型或完整release validator。^[raw/articles/secprbench-causal-judge-snapshot-and-containment-pinned-2026-11-02.md]
Pega三帖分别为3月配置、7月报错自解、10月Flask/ngrok POC。社区自述和Card代码片段足以支持诊断方法,不能升级成我方取到live Card/真实Task或完整enterprise auth。agent.json与agent-card.json按各版本来源保留,不把同厂商视为同一解析器;官方文档HTTP200只给导航shell,明确不可作为正文证据。未读截图/视频,不猜图片里的响应schema。^[raw/articles/pega-a2a-card-discovery-and-delivery-case-2026-11-02.md]
Forge文档包含逐call ACL、pre/post policy顺序、四scope预算、独立upstream身份和actor/session边界,比新闻完整;但没有本轮固定实现或实际upstream拒绝/零effect证据。post-tool阻断输出也不能倒转已发生业务effect(这是分析,非厂商实测)。与现库机制增量小,宁可raw留全文,不为品牌另建薄source。^[raw/articles/forge-mcp-gateway-policy-order-raw-only-2026-11-02.md]
CTXAgent仅摘要已读:两工具/模型自己决定压缩与记忆、混合长会话及模型依赖成本。未读正文、约束保留/撤权probe、成本原始行与runner;不能将摘要百分比当Hermes收益。Compact-Bench、Safe Outputs等旧pending本轮也未补完,不借新论文自动关闭。^[raw/articles/ctxagent-2610-34425v1-abstract-raw-only-2026-11-02.md]
已做的低风险优化
- 同步 AI-Knowledge-Point-Radar:加入双语
target presence vs stale-target alarm / 目标存在与旧目标误报、review snapshot vs verification tree / 评审快照与验证树、stage-specific delegation evidence / 分阶段委托证据、presentation-boundary label scrub / 呈现边界标签清除;项目仅补证seed,A2A/MCP/sandbox最高权重、六轴web-first不变。 - 三主题页只加短机制入口/反链,细节留source,降低再复制整套规则制造长页的噪音。前置新入口使现有4000字符取文窗口能看到机制,但不是解决全部长页召回问题。
- 在取源时核实际响应身份:官方shell不当正文,GitHub先由commit取declared tree再核所选blob,不以commit别名树响应的字段直接推全仓一致。下载/深读/纯函数/运行复现分别记账,raw不可变。
- 未改cron/gateway、生产权限/凭据、memory或其他profile;没有安装本地模型/外部skill或运行恶意样本。缺SCHEMA、历史全库lint/长页与publisher治理留专项,不在无人日报中批量重构。
本轮文件清单与验证边界
正式新增3篇:
wiki/ai/sources/secprbench-causal-judge-snapshot-and-containment.mdwiki/ai/sources/pega-a2a-card-discovery-and-delivery-evidence.mdwiki/ai/sources/llm-wiki-optimization-2026-11-02.md
更新既有6文件: wiki/ai/concepts/AI-Knowledge-Point-Radar.md、wiki/ai/concepts/Agent-Benchmarks.md、wiki/ai/concepts/A2A-Agent2Agent-Protocol.md、wiki/ai/concepts/MCP-Gateway-Runtime.md、_index.md、log.md。
immutable raw新增4份:
raw/articles/secprbench-causal-judge-snapshot-and-containment-pinned-2026-11-02.mdraw/articles/pega-a2a-card-discovery-and-delivery-case-2026-11-02.mdraw/articles/forge-mcp-gateway-policy-order-raw-only-2026-11-02.mdraw/articles/ctxagent-2610-34425v1-abstract-raw-only-2026-11-02.md
26份原件附件在raw/assets/ai-radar-2026-11-02/:SecPR论文HTML、repo/commit/declared-tree API和16份固定数据/文档/源码共20份;Pega三帖JSON与官方shell4份;Forge Markdown原件1份、CTXAgent摘要HTML1份。源码/Markdown用.txt分账,不算正式文章;完整bytes保留不意味着每行审完。
URL/bytes/SHA/16份blob关联见 ~/.hermes/cache/scratch/ai-radar-20261102/archive-receipts.json;小规模检查见deterministic-checks.json。内容/互链/写入记录、raw hash、全库lint差集、云端向量/真实召回及公网同构建分别验证,最终回执进入log;不把内容写入或HTTP200当全链成功。
下一步建议(未执行)
- 内部review题池把目标存在、报告声称旧目标、其他finding与失败分栏,并固定实际review树,先验证scorer真值表再跑模型。
- 隔离A2A验收逐跳Card→POST→parse→Task/业务→用户交付,加跨owner/错误audience/timeout后状态负例;不要直接把开发隧道当生产部署。
- 下一轮优先补CTXAgent的同模型no-context对照、全链成本与权限保留probe,及Forge逐call策略/拒绝零upstream调用的固定实现证据。
写入记录
- 2026-11-02 09:11 CST:新增四候选六维筛选、两项深读与两项raw-only判断、26原件清单;将判分辨识力/树身份与委托逐跳交付并入既有雷达,明确版本/源码/社区/摘要及本机检查边界。