TASK DETAIL · 观澜台

告警守望08点日报(Agent全量分析)

检查告警守望采集链路和告警摘要,避免把采集失败误判为 0 告警。

停用/完成 需要关注归属:观澜台最近:31d 前频率:0 8 * * *

需要关注

需要关注

下一步

已停用/完成;如无后续价值,可在动力炉中标记归档,避免干扰日常判断。

这项任务在做什么

输入来源

OPD/AMC 告警源 watchdog state 健康检查脚本输出

运行逻辑

采集告警与健康信号,由 Agent 判断采集链路、噪音和高价值问题。

输出去向

本地状态文件 巡检摘要 必要时飞书/企微提醒

证据线索

/Users/zhengbokai/.hermes/cron/output/613b695710af_20260703_080411.txt alert_watchdog_daily_report.sh skill:remote-service-admin-triage

运行节奏

状态停用/完成 ok最近运行2026-07-03T08:04:12.970292+08:00 · 31d 前下次运行2026-07-04T08:00:00+08:00投递方式origin · agent

最近输出

这里直接展示最近一段输出;完整机器可读数据保留在 report-bus.json,不放进人类阅读页。

2026-07-03T08:04:11.184146+08:00

- 按 jobId、owner、是否自动重调成功、影响数据产出链路分组。 ### 优先级 P1:当天内完成聚合和降噪 1. **Saturn 重复作业** - 对 `916b00c3856521e7`、`0862e21727cbd14d`、`ef5b2150b1ee4418` 建立 known-issue 生命周期。 - 明确:是否仍在失败、是否有业务影响、是否应降低实时通知或升级 owner。 2. **ai-dj / 中央视频库任务连续失败** - 对 `44e87b4bf5c47921`、`39a869c3a83487be`、`547098c60f91228b`、`5fd9cb1a0a38f4f6` 按任务和机器聚合。 - 确认是不是同一节点、同一依赖、同一数据源导致。 3. **kgmonitor 失败率和队列积压** - 先看视频推荐 server_id=1860,IP `10.5.99.19` 失败率。 - 再看个人中心队列 server_id=1666,`kg_venus_expandinfo_sync` 未消费消息数。 ### 机制改进建议 1. **企微路由恢复为“关键事件有限推送”** - 不建议直接全量恢复。 - 建议只开启:未恢复 P0、P1 hidden_infra_risk、重复升级、巡检自身故障。 - 对 `cap_deferred` 中 P0 建立二级兜底队列。 2. **拆分 `other` 分类** - 新增或强化:KWS、finance/revenue、receipt、BI metric、CAT、wxemergency 子类。 - P0 `other` 必须有对象补齐动作,否则无法判断误报/漏报。 3. **巡检浏览器健康检查** - 监控 tmeoa-reader Chrome 进程数、CPU、运行时长、CDP 是否可用。 - 不在本次日报中修改 cron;建议后续增加“浏览器卡死/进程膨胀”自检和重建策略。 --- ## 本次完成范围与未完成事项 已完成: - 复核脚本日报、state、snapshot、baseline、events/incidents/route_decisions/run_summaries/errors。 - 判断过去 24h P0/P1、重复告警、降噪状态、隐藏风险、巡检链路成熟度。 - 检查了本机巡检相关进程,发现 tmeoa-reader Chrome 长时间运行且负载偏高风险。 未完成 / 阻塞: - 未进入 OPD/KGOSS/Saturn 后台做逐条根因闭环,本次仅基于本地告警证据和快照判断。 - 未修改 cron、未调整推送策略,按要求仅提出建议。 - `disabled_recorded_only` 期间的 P0/P1 是否已由人工其他渠道处理,当前本地证据无法确认。 ## 3条可执行建议 1. 先人工处理 3 个入口:`10.1.53.54 /data2`、P0/k8s_pod 父事件 `36207e062e9b4a0e`、KWS P0 wxemergency 作业聚合。 2. 今天把 `other` 中的 KWS/财务营收/发票/BI 指标拆成独立分类,否则 P0 噪声和真实业务风险会继续混在一起。 3. 将企微实时策略改为“仅关键 P0/P1 + 重复升级 + 巡检自身故障”小流量恢复,并对 `cap_deferred` 的 P0 建立强制日报复核清单。 To stop or manage this job, send me a new message (e.g. "stop reminder 告警守望08点日报(Agent全量分析)").