一次线上事故的复盘笔记

发生了什么

凌晨 2:14，监控告警。服务的 P99 延迟从 120ms 飙升到 8s。

第一件事：先止血，再定位

• 确认影响范围（不是全部实例）
• 摘掉异常节点
• 立刻回滚 → 后来发现不是发布导致的，回滚是错的

教训：止血动作要基于证据，不要凭直觉。

第二件事：日志是最便宜的安全网

这次定位靠的是三天前顺手加的一条诊断日志。如果没加，我们会多花两小时。

warn  [pool-3] acquire took 4212ms, queue=128

第三件事：预案要演练

写在文档里的预案从来不算预案，只有真正跑过一遍的才算。

复盘的价值不在于追责，而在于下一次能不能更快恢复。