TASK DETAIL · 观澜台
告警守望08点日报(Agent全量分析)
检查告警守望采集链路和告警摘要,避免把采集失败误判为 0 告警。
停用/完成 需要关注归属:观澜台最近:31d 前频率:0 8 * * *
需要关注
需要关注
下一步
已停用/完成;如无后续价值,可在动力炉中标记归档,避免干扰日常判断。
这项任务在做什么
输入来源
OPD/AMC 告警源 watchdog state 健康检查脚本输出
运行逻辑
采集告警与健康信号,由 Agent 判断采集链路、噪音和高价值问题。
输出去向
本地状态文件 巡检摘要 必要时飞书/企微提醒
证据线索
/Users/zhengbokai/.hermes/cron/output/613b695710af_20260703_080411.txt alert_watchdog_daily_report.sh skill:remote-service-admin-triage
运行节奏
状态停用/完成 ok最近运行2026-07-03T08:04:12.970292+08:00 · 31d 前下次运行2026-07-04T08:00:00+08:00投递方式origin · agent
最近输出
这里直接展示最近一段输出;完整机器可读数据保留在 report-bus.json,不放进人类阅读页。
2026-07-03T08:04:11.184146+08:00
- 按 jobId、owner、是否自动重调成功、影响数据产出链路分组。
### 优先级 P1:当天内完成聚合和降噪
1. **Saturn 重复作业**
- 对 `916b00c3856521e7`、`0862e21727cbd14d`、`ef5b2150b1ee4418` 建立 known-issue 生命周期。
- 明确:是否仍在失败、是否有业务影响、是否应降低实时通知或升级 owner。
2. **ai-dj / 中央视频库任务连续失败**
- 对 `44e87b4bf5c47921`、`39a869c3a83487be`、`547098c60f91228b`、`5fd9cb1a0a38f4f6` 按任务和机器聚合。
- 确认是不是同一节点、同一依赖、同一数据源导致。
3. **kgmonitor 失败率和队列积压**
- 先看视频推荐 server_id=1860,IP `10.5.99.19` 失败率。
- 再看个人中心队列 server_id=1666,`kg_venus_expandinfo_sync` 未消费消息数。
### 机制改进建议
1. **企微路由恢复为“关键事件有限推送”**
- 不建议直接全量恢复。
- 建议只开启:未恢复 P0、P1 hidden_infra_risk、重复升级、巡检自身故障。
- 对 `cap_deferred` 中 P0 建立二级兜底队列。
2. **拆分 `other` 分类**
- 新增或强化:KWS、finance/revenue、receipt、BI metric、CAT、wxemergency 子类。
- P0 `other` 必须有对象补齐动作,否则无法判断误报/漏报。
3. **巡检浏览器健康检查**
- 监控 tmeoa-reader Chrome 进程数、CPU、运行时长、CDP 是否可用。
- 不在本次日报中修改 cron;建议后续增加“浏览器卡死/进程膨胀”自检和重建策略。
---
## 本次完成范围与未完成事项
已完成:
- 复核脚本日报、state、snapshot、baseline、events/incidents/route_decisions/run_summaries/errors。
- 判断过去 24h P0/P1、重复告警、降噪状态、隐藏风险、巡检链路成熟度。
- 检查了本机巡检相关进程,发现 tmeoa-reader Chrome 长时间运行且负载偏高风险。
未完成 / 阻塞:
- 未进入 OPD/KGOSS/Saturn 后台做逐条根因闭环,本次仅基于本地告警证据和快照判断。
- 未修改 cron、未调整推送策略,按要求仅提出建议。
- `disabled_recorded_only` 期间的 P0/P1 是否已由人工其他渠道处理,当前本地证据无法确认。
## 3条可执行建议
1. 先人工处理 3 个入口:`10.1.53.54 /data2`、P0/k8s_pod 父事件 `36207e062e9b4a0e`、KWS P0 wxemergency 作业聚合。
2. 今天把 `other` 中的 KWS/财务营收/发票/BI 指标拆成独立分类,否则 P0 噪声和真实业务风险会继续混在一起。
3. 将企微实时策略改为“仅关键 P0/P1 + 重复升级 + 巡检自身故障”小流量恢复,并对 `cap_deferred` 的 P0 建立强制日报复核清单。
To stop or manage this job, send me a new message (e.g. "stop reminder 告警守望08点日报(Agent全量分析)").