From Prompts to Contracts — Auditable Enterprise Harness Engineering

From Prompts to Contracts — Auditable Enterprise Harness Engineering

一句话结论

这篇论文把企业 LLM agent 的产品化路径概括为：从 prompt-dominant demo 迁移到 code-owned contracts。可审计行为不应主要藏在提示词里，而应落到 source manifests、entity routing、claim eligibility、answer contracts、validators、trace generation 和 composition boundary 这些版本化工件中。

为什么对用户重要

它对用户重要，是因为 LLM-Wiki 本身正在承担“长期可复用上下文 + 来源证据 + agent 执行规则”的角色。仅有 wiki 页面和 prompt 约束，不足以保证无人 cron、知识雷达或未来对外发布回答始终遵守来源边界、引用边界和输出形态。论文的核心启发是：高价值知识库不仅要有内容，还要有围绕内容消费的合同层。

这也能解释为什么很多“外部 guardrail”体验差：它们不知道应用内部哪些来源、实体、claim 和输出是允许的，只能粗暴拒绝。更好的做法是让 harness 了解领域合同，在 composition boundary 前后做精确验证。

机制 / 一阶原理

论文提出的系统性迁移包括：

1. Source boundary：哪些原始来源可被用于回答，不由模型临时决定，而由 manifest / source gate 决定。
2. Evidence / claim layer：原始文档、证据记录、runtime-eligible claims、维护性 wiki 上下文、最终读者答案分层管理。
3. Entity routing：问题先被路由到正确实体/范围，避免跨实体混用证据。
4. Answer contract：读者可见输出必须满足结构、禁止语、引用、trace hygiene 等合同。
5. Replaceable composition boundary：LLM 负责可替换的语言组合；确定性规则属于代码、schema、validator 和 trace。
6. Fault injection / ablation：验证合同是否 load-bearing，而不是 prompt 看起来写了规则。

一阶原理是把系统分成两部分：可确定、可重放、可测试的行为进入 code-owned harness；需要语言综合的部分才交给模型，并且模型输出必须被合同检查。这样模型可替换，合同仍保留。

和已有 wiki 概念的关系

• 对 Harness-Engineering：它给出 enterprise 版本的具体落点：source gates、routing、contracts、validators、trace，而不是泛泛说“加护栏”。
• 对 Context-Engineering：它说明 wiki/context 不是最高权威；source-backed claims 和 manifest 才是 runtime authority。维护性 wiki 可压缩上下文，但不能替代来源边界。
• 对 Knowledge-as-Code：合同、schema、manifest、validator 都是知识代码化的一部分。
• 对 AI-Code-Review：review 不应只看 agent 输出是否像样，还应看 source boundary、trace completeness 和 contract violations 是否被独立检查。

对 Hermes / llm-wiki 的可执行启发

1. 为高风险回答引入轻量 answer contract：例如“必须列出依据页面/来源、不能声称读过不可访问内容、必须区分入库/未入库”。
2. 把 raw/source/wiki 分层显式化：raw 是不可变证据，source page 是提炼，concept page 是综合；回答时应尽量说明层级。
3. 为发布/外发内容增加 source-boundary gate：尤其是 CVM 发布、研究报告、投资/法律/健康类回答，应检查引用是否来自允许来源。
4. 优化 wiki 页面模板：正式 source page 应包含“为什么重要、机制、关系、实践启发、失败模式、写入记录”，这相当于 llm-wiki 的内容合同。

失败模式 / 边界条件

• 合同过窄：过度 schema 化可能压低有用性，像论文中的外部 guardrail 一样过拒绝。
• 维护成本：manifest、claim、validator 需要持续更新；过重会阻碍小规模个人 wiki。
• 合同幻觉：如果只是把合同写进 markdown 但没有实际检查脚本或执行证据，仍然只是 prompt-level 约束。
• 来源漂移：source-backed claim 依赖 raw 的不可变性和 hash；raw 被修改或来源变化时应触发 drift 检查。

深度判断

本来源晋升为正式 source page，因为它能把 Harness-Engineering 从理念推进到可执行合同层，并直接指导 llm-wiki 的页面模板、回答合同、source-boundary gate 和验证策略。当前 confidence 设为 medium：已读取 arXiv 摘要和 PDF 前几页，论文实验细节尚未逐项复核。

写入记录

• 2026-07-10 09:00 CST：新增 source page，提炼 prompt-dominant demo 到 code-owned contracts 的企业 harness 工程模式。