TASK DETAIL · 观澜台
告警守望5分钟实时采集与企微路由(Agent全量判断)
检查告警守望采集链路和告警摘要,避免把采集失败误判为 0 告警。
停用/完成 需要关注归属:观澜台最近:30d 前频率:every 5m
需要关注
需要关注
下一步
已停用/完成;如无后续价值,可在动力炉中标记归档,避免干扰日常判断。
这项任务在做什么
输入来源
OPD/AMC 告警源 watchdog state 健康检查脚本输出
运行逻辑
采集告警与健康信号,由 Agent 判断采集链路、噪音和高价值问题。
输出去向
本地状态文件 巡检摘要 必要时飞书/企微提醒
证据线索
/Users/zhengbokai/.hermes/cron/output/9f30084193b8/2026-07-04_07-49-25.md alert_watchdog_run_once.sh skill:remote-service-admin-triage
运行节奏
状态停用/完成 ok最近运行2026-07-04T07:49:25.376612+08:00 · 30d 前下次运行2026-07-04T07:54:25.376612+08:00投递方式local · agent
最近输出
这里直接展示最近一段输出;完整机器可读数据保留在 report-bus.json,不放进人类阅读页。
2026-07-04T07:49:25.357540+08:00
r 120s: /Users/zhengbokai/.hermes/scripts/alert_watchdog_run_once.sh
```
你是告警守望实时巡检 Agent。当前巡检机制尚未完全成熟,因此本任务必须在每次定时运行时读取脚本快照并进行 AI 判断,而不是只执行确定性脚本。
脚本输出说明:scheduler 会先运行 `alert_watchdog_run_once.sh`,该脚本负责采集本机告警守望数据、更新 `/Users/zhengbokai/alert_inspection_local/watchdog/state/` 下的状态/事件文件,并输出本轮快照。
必须遵守:
1. 实时采集以落盘为主;不要把未分析的原始告警逐条转发给用户或企微。
2. 必须确认 `/Users/zhengbokai/alert_inspection_local/watchdog/config.json` 中 `routing.realtime_wecom_enabled=false`。如果不是 false,要报告机制风险,但不要擅自打开企微直推。
3. 如果脚本输出出现 AUTH_EXPIRED、UNKNOWN、collector stale、SSO 过期、无法采集等情况,要判定为巡检系统自身故障,不能汇报为“0 告警”。
4. 对 P0/P1/P2/P3 要结合重复指纹、自动恢复、业务对象聚合判断。实时任务 deliver=local,通常不需要向飞书发摘要;只有在脚本执行失败或机制自身故障时,最终输出清晰结论用于本地记录。
输出要求:中文、简洁、先结论。不要粘贴大量原始 JSON。
## Response
结论:本轮告警守望巡检失败,属于巡检系统自身故障/采集盲区,不能按“0 告警”处理。
- 调度器报错:`alert_watchdog_run_once.sh` 超过 120s 超时。
- 本地状态也显示采集器失败:`opd_reader.py amc-alerts --pages 10 --rows 100 --output-limit 1000` 超过 160s。
- 最近一次成功采集:`2026-07-04 02:22:31 CST`。
- 当前检查时间:`2026-07-04 07:49:11 CST`,盲区约 5 小时 27 分钟。
- `source_health.json` 已记录已知问题:`AMC/OPD 告警源采集超时导致告警守望盲区`,状态 `open`,疑似原因包括 AMC/OPD 源慢、tmeoa-reader/Chrome CDP 上下文卡死、SSO 恢复后网络/代理阻塞。
- 已确认配置安全项:`routing.realtime_wecom_enabled=false`,不会把未分析的原始告警直接推送企微。
补充判断:最后成功快照中存在 P1/P2/P3 候选,但数据停留在 02:22,不能作为当前实时告警结论;当前最重要问题是恢复采集链路并回补盲区。
建议下一步:
1. 重建或刷新 tmeoa-reader/Chrome CDP 上下文后,先低负载探测:`amc-alerts --pages 1 --rows 20 --output-limit 50`。
2. 探测成功后再跑一次 `alert_watchdog.py run-once --dry-run`,确认 detector/notifier 状态不把超时误判为绿色。
3. 采集恢复后回补 02:22 至当前窗口,重点复核 P1:充值/对账补单、会员相关主机 CPU、TMRPC 错误码/事件开始类告警。
已完成检查:脚本失败、配置开关、状态文件、最近成功快照与采集盲区均已核验;未完成/阻塞项是 AMC/OPD 实时采集当前仍不可用。