TASK DETAIL · 观澜台
告警守望机制化执行审计与架构优化
检查告警守望采集链路和告警摘要,避免把采集失败误判为 0 告警。
停用/完成 需要关注归属:观澜台最近:30d 前频率:every 30m
需要关注
需要关注
下一步
已停用/完成;如无后续价值,可在动力炉中标记归档,避免干扰日常判断。
这项任务在做什么
输入来源
OPD/AMC 告警源 watchdog state 健康检查脚本输出
运行逻辑
采集告警与健康信号,由 Agent 判断采集链路、噪音和高价值问题。
输出去向
本地状态文件 巡检摘要 必要时飞书/企微提醒
证据线索
/Users/zhengbokai/.hermes/cron/output/ba78afa527b5_20260704_074214.txt alert_watchdog_audit_snapshot.sh skill:remote-service-admin-triage
运行节奏
状态停用/完成 ok最近运行2026-07-04T07:42:16.040982+08:00 · 30d 前下次运行2026-07-04T08:12:16.040982+08:00投递方式origin · agent
最近输出
这里直接展示最近一段输出;完整机器可读数据保留在 report-bus.json,不放进人类阅读页。
2026-07-04T07:42:14.152187+08:00
l`
- 记录本轮 Observe-Diagnose-Decide-Act-Verify-Learn 决策。
- 验证结果:
- `py_compile`:通过
- baseline 构建:通过
- known issue upsert:通过
- source_health 刷新:通过
- 低负载 AMC 探测:失败,75s 超时,说明 collector 源问题仍未恢复
## 策略优化/外部启发
本轮没有扩大关键词或打开企微,因为 source 不可靠时扩大策略会制造误判和噪声。
可落地启发:
1. **先恢复 source,再谈规则优化**:SRE/observability 的基本原则是 unknown 不能进入 green path;当前优先级必须是恢复 AMC/OPD 读取。
2. **by-exception notification 继续保留**:实时企微不应全量恢复;建议后续只恢复 SELF_FAILURE、未恢复 P0、P1 hidden_infra_risk、重复升级。
3. **alert fatigue 降噪要有反向兜底**:`disabled_recorded_only` 和 `cap_deferred` 必须在日报中被强制列出,否则会把“降噪”变成“漏报”。
## 仍需人工
1. **恢复 AMC/OPD / tmeoa-reader / Chrome CDP 采集链路**
- 低负载探测也超时,自动脚本无法确认是 SSO、CDP 卡死、代理还是 AMC 源端慢。
2. **恢复后补采 02:22 之后盲区**
- 必须回看盲区内 P0/P1/隐藏风险,不能用 02:22 旧快照代表当前安全。
3. **人工复核 VIP Saturn `vip_sub_cancel_sms` 跨地域重复 P1**
- 广州/北京均重复,应按同一父事件或依赖问题处理。
4. **人工确认 cron_job `10.5.97.3` 多任务 exit 255**
- 多个算法/视频任务同机同错误码,疑似公共依赖或环境故障。
## 下一轮重点
1. 先恢复 source:重建/刷新 tmeoa-reader Chrome/CDP/代理/SSO,再跑低负载 `amc-alerts --pages 1 --rows 20 --output-limit 50`。
2. source 成功后立即执行 `alert_watchdog.py run-once --dry-run`,确认 `collector_status=ok`、`alert_data_status=OK_WITH_ALERTS/OK_EMPTY`。
3. 回补 02:22 后盲区,优先看 P0/P1、hidden_infra_risk、critical_business_with_risk。
4. 继续拆 `other` 分类,尤其生产仓库服务、KWS、CAT、BI、finance/revenue,降低日报认知噪声。
5. 对 `disabled_recorded_only/cap_deferred` 中的 P0/P1 建立强制复核清单,避免高风险因降噪策略静默。
本轮已完成审计快照复核、OPTIMIZATION/SENTINEL/policy 对照、24h baseline 刷新、known-issues 更新、低负载采集验证与决策沉淀;未完成项是外部 source/CDP/SSO 恢复和盲区补采,原因是低负载实际探测仍超时。
To stop or manage this job, send me a new message (e.g. "stop reminder 告警守望机制化执行审计与架构优化").