从 190 次静默通知到三态去重告警状态机
在网站因域名委派异常中断的 4 天里,巡检脚本每 30 分钟就准确检测到了故障并成功执行了 190 次通知命令(退出码全部为 0),但主理人却没有收到哪怕一条有效提醒。本文剖析“检测正确 ≠ 告警送达”的工程陷阱,以及三态去重告警状态机的设计实现。
一、复盘:为什么 190 次准确检测换来的是 0% 送达率
翻看当时的巡检日志 watch.log,每半小时就有一条工整的记录:[严重] 公网 https://qilaidav.com 返回 000。检测逻辑本身毫无瑕疵,但告警投递链路同时踩中了三个致命坑:
- 选用了会被系统静默吞没的本地通知通道:早期为了“不额外管理 Bot Token 凭据”,仅使用 macOS 本地
osascript弹窗。在开启专注/免打扰模式或锁屏状态下,190 条弹窗全部静默堆进通知中心折叠区,零震动、零强提醒。 - 服务端凭据“写进了文档却未落盘”:服务器侧
health-check.sh虽然写好了告警逻辑,但/etc/health-check.env里全是注释,导致服务器 15 分钟一次的自检只能写本地文件,没有任何外发能力。 - 无差别重复推送引发告警疲劳(Alert Fatigue):即便接通了即时通讯渠道,如果故障持续期间每 15 分钟无脑重发一次相同告警,一天 96 条重复轰炸也会让人迅速将该频道静音。
二、第二重惊魂:rsync --delete 引发的异地备份自毁
在紧随其后的备份恢复演练中,我们还抓出了另一个隐蔽的自动化故障:当服务器备份目录因误操作被清空并重新生成第 1 份新归档时,本机定时拉取脚本因为带了 rsync -az --delete 参数,瞬间把本机保留的 9 份历史快照当成“多余文件”同步删除了。
核心教训:异地灾备必须是“独立追加与自主轮转的副本(KEEP_LOCAL=30)”,绝不能用 --delete 做成源站目录的实时镜像——否则源站目录被删的瞬间,灾备防线就会变成故障的传导放大器。
三、三态去重告警状态机(State-Transition Alerting)架构
为了同时解决“送不到”与“烦死人”两个极端,我们将健康检查升级为基于状态哈希(MD5 Key)的三态状态机:
- 状态跃迁即刻触发(State Change):将当前所有异常项拼接计算 16 位哈希写入
/var/lib/health-check/.alert-state;只要故障集合发生变化(新故障出现或故障升级),立即推送。 - 持续故障长周期重提(Throttled Repeat):同一故障哈希未变化时,静默抑制中间轮次,仅在超过
ALERT_REPEAT_HOURS(默认 6 小时)后重提一次,彻底消灭告警风暴。 - 故障恢复闭环通知(Resolution Loop):当退出码从非 0 恢复为 0 且存在历史故障状态文件时,主动发送一条“🟢 已恢复正常”闭环通知并清理状态锁。
关联工程母题系统与实测说明:
本篇「从 190 次静默通知到三态去重告警状态机」由 qilai 整理收录于 qilaidav 工程知识库,围绕 企业协同与三库底座 (Spec/Prompt/Memory) 的生产环境架构设计、链路排障与确定性验证展开沉淀。完整系统模块、部署边界与技术规格请查阅方案主页:→ 查看 企业协同与三库底座 (Spec/Prompt/Memory) 详情(架构诊断与定制交流:Telegram @BD8888 · hello@qilaidav.com · GitHub @qilaidev)。
免责声明与评测方法:本文所涉开源工具、模型基准与工程配置均基于实测环境与公开技术资料整理,仅供系统架构研发参考,不构成任何商业背书或投资建议。
— qilai · qilaidav 生产环境一手排障实录