第 8 章 上线后别出事
第三部分 上线并稳住 · 正文初稿
这一章是初稿,还会修改。




本章要回答
出事要比用户先知道;备份要恢复得出来;发错版本怎么回滚;高峰期两个人抢最后一份菜;线上改数据库要小心。
示例项目推进到哪
加上告警、每日备份,演练一次回滚。
读完这一章,你能做到五件事:线上出了故障,你比用户先知道;手里有一份确定恢复得出来的备份;发错版本时几分钟内退回上一版;两个顾客同时抢最后一份菜,系统不会卖出两份;改线上数据库时不把旧数据弄坏。
餐厅后台在这一章会加上三样东西:外部告警、每日备份、发布后自动验活。另外要做两次演练:一次回滚,一次从备份恢复。
能部署,离稳定还差四样
第 7 章把餐厅后台放到了线上。能打开,能下单,看起来就算完了。我在陪玩系统上吃过这个亏,后来专门做过一次运维审查。
审查的结论是这样的:仓库已经有固定的 Node 版本、自动跑测试的 CI、Docker 容器、容器健康检查、合并到主分支就自动部署到生产。按「能部署」的标准,它合格了。但是离一个能长期稳定运行的系统,还差四样:
| 缺的东西 | 没有它会怎样 |
|---|---|
| 独立的测试或预发环境 | 每次改动都直接在生产上试,试错的代价由真实用户承担 |
| 自动备份和恢复演练 | 数据库一坏,订单、用户、余额全部没了,而且你不知道能不能找回来 |
| 外部监控和告警 | 服务挂了,你要等用户或甲方打电话才知道 |
| 部署后的公网验活和回滚 | 部署流程最后只打印一下容器列表就算结束,新版本起不来也没人发现 |
这四样在 Demo 阶段都看不出来。系统没挂、数据没丢、版本没发错的时候,有没有它们,页面上一模一样。等出事那天才分得出来。
测试和预发环境第 7 章已经讲过。这一章讲剩下三样,再加上两件上线后才会碰到的事:并发抢购和改线上数据库。
出事要比用户先知道
最难看的情况是甲方在群里问:「系统是不是挂了?」你去看,确实挂了,而且挂了一个小时。
要避免这种情况,需要三层检查。
第一层:健康检查接口。 健康检查就是一个专门给机器访问的地址,比如 /api/health,访问它就能知道服务是不是正常。陪玩系统有两种:
- 浅层检查:只回答「程序还活着」。容器平台用它判断要不要重启容器。
- 深层检查:顺带连一下数据库和缓存,回答「程序活着,而且连得上它依赖的东西」。
程序活着但数据库连不上,用户照样用不了。所以对外监控要看深层检查。陪玩系统当时的问题是,容器只调浅层检查,部署流程也不等深层检查的结果,等于最关键的那一层没人看。
还有一个细节:深层检查失败时,原来会把数据库的原始报错直接返回给访问者。报错里可能有数据库地址、表名、库版本,这些信息对攻击者有用。后来改成对外只返回一句通用的「依赖不可用」,详细报错只写进服务器日志。
第二层:从外面定时探测。 找一个外部的可用性监控服务,每隔一两分钟访问一次你的首页、深层健康检查和一两个关键接口。连续几次失败就发告警。
监控一定要放在系统外面。监控程序和业务跑在同一台服务器上,服务器一挂,监控也跟着挂,什么都发不出来。
第三层:错误收集和业务指标。 接口能访问,不代表业务正常。可能下单接口每次都报错,可能支付回调一直失败。错误收集工具会把程序里的报错汇总起来,告诉你同一个错误这一小时出现了多少次。
业务指标是最容易被忽略的一层。对餐厅来说,有一条很实用的规则:营业时间内,连续一段时间没有任何新订单,就发告警。技术指标全是绿的,这条规则照样能抓到问题,比如前端发错了版本,下单按钮点不动。
告警要发到你一定会看的地方:飞书、企业微信或钉钉的群机器人,严重的再加短信或电话。阈值也要调。一有波动就报警,一天响几十次,大家很快就会把群设成免打扰,等真出事时没人看。我的做法是:连续三次探测失败才报,恢复后再发一条「已恢复」。
备份要恢复得出来
讲备份之前,先讲我自己的一次事故。
有一次我在整理磁盘,前面一直挺顺,我就放松了。后来飞书打不开,我想删掉重装,命令跑起来以后,我把窗口缩到后台,没盯着看。过了一会儿,系统提示磁盘不可用,打开一看,盘已经空了。那块盘上有我大量的项目代码、资料和工作记录。
我先去问 AI,下载了一个数据恢复软件,花几百块开了会员,深度扫描了 3 遍,前后 40 分钟。最后扫出来 300 多 GB 文件。我以为得救了,点进去才发现,目录还在,文件很多,大部分已经打不开,或者只剩残片。它能当参考资料翻,已经没法编译、没法继续开发、没法交付。
最后救命的是 GitHub。我从上面拉回了一个月前提交的版本。最近一个月的工作量没了,但损失被卡在了一个月,没有归零。
这件事让我记住一句话:备份的价值,只看它能不能恢复成能用的东西。 恢复软件找回来的,很多只是「存在过」的痕迹。
放到线上系统里,代码一般不用担心,它在 Git 仓库里,服务器坏了重新部署就行。要担心的是数据库:订单、顾客、菜单、余额。这些东西只存在一个地方,丢了就是丢了。
陪玩系统审查时,备份这一项是「缺失」:容器编排文件里只声明了一个持久化的数据卷,没有定时备份,没有保留策略,没有存到别处,没有恢复脚本,也没有演练记录。数据卷只是让容器重启后数据还在,硬盘坏了、误删了,它救不了你。
一套能用的备份方案,要把下面几件事都说清楚:
| 项目 | 要回答的问题 |
|---|---|
| 频率 | 多久备份一次?每天一次,最坏情况就丢一天的数据 |
| 存放位置 | 备份存在哪?不能和数据库放在同一台机器、同一个账号里 |
| 加密 | 备份里有顾客手机号,存出去之前要加密 |
| 保留 | 留几份?比如每天的留 7 天,每周的留 4 周 |
| 恢复脚本 | 出事时照着哪一步步做?脚本和说明写好放进仓库 |
| 演练记录 | 上次恢复演练是哪天?花了多久?数据对不对? |
这里有两个术语,第一次听会觉得很专业,其实很简单:
- RPO:出事时最多能接受丢多少时间的数据。每天备份一次,RPO 就是一天。
- RTO:出事后多久能恢复服务。从发现问题到系统重新可用,花的时间就是 RTO。
这两个数要问老板,不要自己定。你可以直接问:「如果系统坏了,丢一天的订单能接受吗?停两个小时能接受吗?」老板说一天太多,就把备份改成每小时一次,或者打开数据库的时间点恢复。
餐厅后台的数据库用的是托管的 PostgreSQL。这类托管数据库一般自带按时间点恢复,能退回到过去某个时刻,能保留多久看套餐,上线前去控制台确认。我还会再加一份每日导出,存到另一家服务商的对象存储里。原因很简单:同一个账号里的备份,会跟着这个账号一起出问题。账号欠费停用、项目被误删、密码泄露被人清空,这些情况下平台自带的备份可能一起没了。
通行的说法叫 3-2-1:至少 3 份数据,放在 2 种不同的存储上,其中 1 份在异地。
最后是恢复演练。没有演练过的备份,只能算「可能有用」。演练的做法:
- 新建一个空数据库,不要碰生产库。
- 用昨天的备份恢复进去。
- 起一份测试环境的应用,连到这个恢复出来的库。
- 核对:订单总数、最新一笔订单的时间、随便抽几个顾客的信息,和生产库对得上。
- 记下从开始到完成花了多久,这就是你的 RTO。
恢复时不要直接覆盖生产库。这和我那次磁盘事故的教训一样:恢复出来的东西先放到别的地方,确认没问题,再决定怎么接回去。
还有一条和 AI 有关的教训。我那次出事,是因为命令在后台跑、我没盯着。现在 AI 助手会自己执行命令,删除、移动、清理这类操作,要让它先列出作用范围,你看过再执行。生产数据库的连接串,不要交给 AI 助手。
发错版本怎么回滚
回滚就是退回上一个能用的版本。它有一个前提:上一个版本还在。
陪玩系统的部署流程是:打包、上传、启动容器,然后结束。新版本起不来,流程照样显示成功。审查后列的改进项是:部署后等容器健康检查通过,再从公网访问几个关键地址做一次冒烟测试,失败就让流程失败并告警;同时保留上一个版本的制品,能随时切回去。
冒烟测试这个词来自硬件:新电路板通电,先看冒不冒烟。软件里指部署后最基本的几项检查,比如首页能不能打开、健康检查是不是正常、能不能读出菜单。
餐厅后台的接口跑在 Cloudflare Workers 上,平台会保留历史版本,控制台和命令行都能退回上一个版本。如果你用的是自己的服务器加 Docker,就要给每次构建的镜像打上版本号,不要只用 latest 一个标签,否则上一版已经被覆盖了。
另外要有一份发布记录:哪天、谁、发了哪个版本、改了什么。代码发布和配置变更分开记。有些故障出在配置上,比如有人改了一个环境变量。没有记录,你连从哪里查都不知道。
回滚也要演练一次:故意发一个改了页面标题的版本,确认线上生效,再回滚,确认标题变回来,记下花了多久。第一次做通常会发现一些问题,比如不知道命令怎么写、权限不够、回滚后缓存没清。这些问题在演练时发现,比在事故里发现好得多。
代码回滚很容易,数据库回滚很难。这是下一节的事。
线上改数据库要小心
改线上数据库,好比飞机在天上换引擎:乘客还在用,你不能停下来慢慢改。
先说一个基本规则:表结构的每一次改动,都要写成迁移文件。 迁移文件就是一份「把数据库从上一个样子改成下一个样子」的脚本,按顺序编号,进 Git 仓库。新环境从头按顺序跑一遍,就能得到一样的表结构。
陪玩系统有一段时间,对早期的数据库用的是「直接推送」:工具对比代码里的表结构定义,把数据库直接改成那个样子,不留迁移记录。开发时这样很方便。生产上长期这么做,你就说不清这个数据库在什么时候被改成了现在的样子,出了问题也没法按步骤退回。所以审查时把它列为要逐步收口的问题。
第二条规则是先加后删。比如要把顾客的「电话」字段拆成「区号」和「号码」两个字段:
- 第一次发布:加两个新字段,旧字段不动。新代码同时写新旧字段。
- 把老数据补进新字段。
- 第二次发布:代码改成只读新字段。
- 观察一段时间没问题,第三次发布才删掉旧字段。
每一步都可以单独回滚。如果一步到位,删旧字段、加新字段、改代码一起上,发现问题时旧数据已经没了。
陪玩系统做订单报备审核时,就是按这个思路发布的:先执行数据库迁移,新增枚举、版本表、审计表和索引,再发布应用。应用发布失败,可以只回滚应用,新加的表和字段留着,不影响旧版本读写。历史订单统一设为「草稿」,不会因为已经付过钱就被误算成「审核通过」。审计记录写进去以后就不能直接删表。如果真要彻底退回数据库,必须先停止写入,导出版本表和审计表,再在约好的人工变更时间里处理。我们没有写那种「一键把线上数据改成已通过」的脚本,因为它出错的代价太大。
动线上数据库之前,过一遍这几条:
- 刚做过一次备份,并且确认备份文件可用。
- 这个迁移在预发环境上,用接近真实的数据跑过一次。
- 有没有删表、删字段、改字段类型这类改了就回不去的操作?有的话拆成先加后删。
- 表很大时,加索引、改字段类型可能会长时间锁住表,要放在没人用的时段,或者用不锁表的写法。
- 迁移由部署流程执行,不在自己电脑上连生产库手动跑,更不让 AI 助手直接连生产库执行 SQL。
两个人抢最后一份菜
先看一分钟动画,再读下面的细节:
餐厅后台的菜单只有「可售」和「停售」两种状态,没有库存。上线后老板提了一个需求:招牌菜每天限量 20 份,卖完自动停售。
AI 很快会写出第一版:先查一下还剩几份,大于 0 就创建订单,再把剩余份数减 1。一个人点单时,这段逻辑没问题。午市高峰,只剩最后 1 份,两个顾客几乎同时下单:两个请求都先查到「还剩 1 份」,都判断可以下单,都减了 1。结果卖出 2 份,库存变成 -1,后厨做不出来,只能打电话道歉退款。
这种问题叫竞态:两件事同时发生,结果取决于谁快谁慢。它在测试时几乎不出现,因为你一个人点不出「同时」。
解决办法是让数据库把「检查」和「扣减」合成一步:
只有当剩余份数大于等于本单数量时,才把剩余份数减掉;然后看这条更新实际改到了几行。改到 0 行,说明已经卖完,返回「已售罄」。
数据库会保证同一行数据的这类更新一个一个执行,不会两个都成功。扣库存和创建订单要放在同一个事务里,要么都成功,要么都不算。事务就是一组要么全做、要么全不做的数据库操作。
陪玩系统的提现审核用的是同一个思路,叫乐观锁。每次审核或放款时,带上这条申请当前的状态和最后更新时间,更新条件写成「状态和更新时间都没变才改」。如果两个管理员同时点了「放款」,只有先到的那一次成功,后到的那一次会改到 0 行,系统返回冲突提示和最新状态。没有这一步,同一笔提现可能被放款两次。
同一个人连点两下「下单」,是另一种重复。这个靠幂等键解决:前端每次下单生成一个唯一编号,服务端看到同一个编号就返回第一次的结果,不再新建订单。第 9 章讲支付时还会用到它。
验收这类问题,要专门写一个并发测试:把库存设成 1,同时发出 10 个下单请求,断言只有 1 个成功,其余 9 个返回「已售罄」,库存最后是 0。
如果想知道系统在高峰时撑不撑得住,可以做压测,就是用程序模拟很多人同时访问。陪玩系统仓库里有一个简单的压测脚本,可以指定访问哪个接口、持续多少秒、同时多少个请求。它适合在开发机和预发环境上做快速探测。正式上线前,要在独立环境里,用更接近真实流量的方式再压一次。不要对着生产环境压测,你会把真实顾客挤出去。
必要的限流
限流就是限制同一个人在一段时间内能请求多少次,超过就先拒绝。不需要每个接口都加,先加在这几处:
- 登录接口:防止有人一直试密码。
- 发短信验证码的接口:防止被人刷,短信是按条收钱的。
- 下单接口:防止脚本恶意刷单,占满库存。
超过限制时返回 429,这是「请求太多」的标准状态码,前端提示「操作太频繁,请稍后再试」。如果用了 Cloudflare 这类服务,它们也提供按规则限流的功能,可以先在入口挡一层。
交给 AI 的
可以把下面这段直接发给 AI,按项目实际情况改括号里的内容:
餐厅后台已经上线(接口在 Cloudflare Workers,数据库是托管 PostgreSQL)。
请帮我补上线后的稳定性措施,分成独立的小任务,每个任务单独提交:
1. 健康检查:提供浅层 /api/health 和深层 /api/health?deep=1。
深层检查连接数据库,失败时对外只返回通用错误,详细错误只写服务端日志。
2. 告警:写一份外部可用性监控的配置说明,探测首页、深层健康检查和菜单读取接口,
连续 3 次失败发到飞书群机器人(地址从环境变量读),恢复后再发一条。
增加一条业务告警:营业时间内连续 30 分钟没有新订单就告警。
3. 备份:写每日导出数据库的脚本,加密后上传到另一家对象存储,保留 7 份日备份和 4 份周备份。
同时写恢复脚本和恢复说明:恢复到一个新数据库,绝不覆盖生产库。
4. 发布:部署后自动做冒烟测试(首页、深层健康检查、菜单接口),失败则流程失败并告警。
写一份回滚步骤说明。
5. 每日限量:给菜品增加每日限量。扣减库存用一条带条件的更新语句完成,
和创建订单放在同一个事务里。写并发测试:库存为 1 时同时发 10 个请求,只能成功 1 个。
6. 限流:登录、发验证码、下单三个接口加限流,超出返回 429。
约束:
- 表结构改动一律写迁移文件,按“先加后删”拆分,不写删表、删字段的迁移。
- 不连接生产数据库,不执行任何删除命令;需要删除时先列出作用范围等我确认。
- 每个任务完成后告诉我:改了什么、怎么验证、还有什么风险。你要判断和验收的
照下面这张上线检查清单逐条确认。每一条都要亲手验,不接受「AI 说做好了」。
| 检查项 | 怎么验 |
|---|---|
| 外部监控在工作 | 临时停掉服务或改错数据库地址,几分钟内群里收到告警;恢复后收到「已恢复」 |
| 健康检查不泄露信息 | 深层检查失败时,浏览器里看到的只有通用错误 |
| 业务告警有效 | 在测试环境模拟一段没有订单的营业时间,确认会告警 |
| 备份每天都在生成 | 去对象存储里看,最近 7 天每天都有一份,大小没有异常变小 |
| 备份恢复得出来 | 亲手做一次恢复演练,核对订单数和最新订单时间,记下用时 |
| 回滚可用 | 发一个小改动再回滚,记下用时 |
| 部署失败会报出来 | 故意让冒烟测试失败一次,确认流程显示失败并告警 |
| 不会卖超 | 并发测试通过;再在预发上用两个浏览器同时抢最后一份 |
| 迁移安全 | 看本次迁移文件里有没有删表、删字段、改类型 |
| 限流生效 | 连续快速请求登录接口,确认会收到 429 |
两次演练的结果写进运维手册,格式可以这样:
| 日期 | 演练内容 | 用了多久 | 结果 | 发现的问题 |
|---|---|---|---|---|
| 从昨日备份恢复 | 订单数一致 / 不一致 | |||
| 回滚到上一版本 | 成功 / 失败 |
以后每个季度做一次。数据量变大以后,恢复会变慢,你要提前知道慢到什么程度。线上真出了问题怎么查,见 第 13 章;服务器和自动发布的基础做法,见 /delivery/server 和 /delivery/cicd。
这一步谁来做
| 交给 AI 的 | 你要判断和验收的 |
|---|---|
| 让 AI 配告警、备份、回滚和必要的限流。 | 照一张上线检查清单逐条确认,真的演练一次恢复。 |
上一章:第 7 章 第一天就上线 · 下一章:第 9 章 收钱:支付、退款与对账