Skip to content

第 8 章 上线后别出事 ​

第三部分 上线并稳住 · 正文初稿

这一章是初稿,还会修改。

报警灯

备份与回滚

抢最后一份

空中换引擎

本章要回答 ​

出事要比用户先知道;备份要恢复得出来;发错版本怎么回滚;高峰期两个人抢最后一份菜;线上改数据库要小心。

示例项目推进到哪 ​

加上告警、每日备份,演练一次回滚。

读完这一章,你能做到五件事:线上出了故障,你比用户先知道;手里有一份确定恢复得出来的备份;发错版本时几分钟内退回上一版;两个顾客同时抢最后一份菜,系统不会卖出两份;改线上数据库时不把旧数据弄坏。

餐厅后台在这一章会加上三样东西:外部告警、每日备份、发布后自动验活。另外要做两次演练:一次回滚,一次从备份恢复。

能部署,离稳定还差四样 ​

第 7 章把餐厅后台放到了线上。能打开,能下单,看起来就算完了。我在陪玩系统上吃过这个亏,后来专门做过一次运维审查。

审查的结论是这样的:仓库已经有固定的 Node 版本、自动跑测试的 CI、Docker 容器、容器健康检查、合并到主分支就自动部署到生产。按「能部署」的标准,它合格了。但是离一个能长期稳定运行的系统,还差四样:

缺的东西没有它会怎样
独立的测试或预发环境每次改动都直接在生产上试,试错的代价由真实用户承担
自动备份和恢复演练数据库一坏,订单、用户、余额全部没了,而且你不知道能不能找回来
外部监控和告警服务挂了,你要等用户或甲方打电话才知道
部署后的公网验活和回滚部署流程最后只打印一下容器列表就算结束,新版本起不来也没人发现

这四样在 Demo 阶段都看不出来。系统没挂、数据没丢、版本没发错的时候,有没有它们,页面上一模一样。等出事那天才分得出来。

测试和预发环境第 7 章已经讲过。这一章讲剩下三样,再加上两件上线后才会碰到的事:并发抢购和改线上数据库。

出事要比用户先知道 ​

最难看的情况是甲方在群里问:「系统是不是挂了?」你去看,确实挂了,而且挂了一个小时。

要避免这种情况,需要三层检查。

第一层:健康检查接口。 健康检查就是一个专门给机器访问的地址,比如 /api/health,访问它就能知道服务是不是正常。陪玩系统有两种:

  • 浅层检查:只回答「程序还活着」。容器平台用它判断要不要重启容器。
  • 深层检查:顺带连一下数据库和缓存,回答「程序活着,而且连得上它依赖的东西」。

程序活着但数据库连不上,用户照样用不了。所以对外监控要看深层检查。陪玩系统当时的问题是,容器只调浅层检查,部署流程也不等深层检查的结果,等于最关键的那一层没人看。

还有一个细节:深层检查失败时,原来会把数据库的原始报错直接返回给访问者。报错里可能有数据库地址、表名、库版本,这些信息对攻击者有用。后来改成对外只返回一句通用的「依赖不可用」,详细报错只写进服务器日志。

第二层:从外面定时探测。 找一个外部的可用性监控服务,每隔一两分钟访问一次你的首页、深层健康检查和一两个关键接口。连续几次失败就发告警。

监控一定要放在系统外面。监控程序和业务跑在同一台服务器上,服务器一挂,监控也跟着挂,什么都发不出来。

第三层:错误收集和业务指标。 接口能访问,不代表业务正常。可能下单接口每次都报错,可能支付回调一直失败。错误收集工具会把程序里的报错汇总起来,告诉你同一个错误这一小时出现了多少次。

业务指标是最容易被忽略的一层。对餐厅来说,有一条很实用的规则:营业时间内,连续一段时间没有任何新订单,就发告警。技术指标全是绿的,这条规则照样能抓到问题,比如前端发错了版本,下单按钮点不动。

告警要发到你一定会看的地方:飞书、企业微信或钉钉的群机器人,严重的再加短信或电话。阈值也要调。一有波动就报警,一天响几十次,大家很快就会把群设成免打扰,等真出事时没人看。我的做法是:连续三次探测失败才报,恢复后再发一条「已恢复」。

备份要恢复得出来 ​

讲备份之前,先讲我自己的一次事故。

有一次我在整理磁盘,前面一直挺顺,我就放松了。后来飞书打不开,我想删掉重装,命令跑起来以后,我把窗口缩到后台,没盯着看。过了一会儿,系统提示磁盘不可用,打开一看,盘已经空了。那块盘上有我大量的项目代码、资料和工作记录。

我先去问 AI,下载了一个数据恢复软件,花几百块开了会员,深度扫描了 3 遍,前后 40 分钟。最后扫出来 300 多 GB 文件。我以为得救了,点进去才发现,目录还在,文件很多,大部分已经打不开,或者只剩残片。它能当参考资料翻,已经没法编译、没法继续开发、没法交付。

最后救命的是 GitHub。我从上面拉回了一个月前提交的版本。最近一个月的工作量没了,但损失被卡在了一个月,没有归零。

这件事让我记住一句话:备份的价值,只看它能不能恢复成能用的东西。 恢复软件找回来的,很多只是「存在过」的痕迹。

放到线上系统里,代码一般不用担心,它在 Git 仓库里,服务器坏了重新部署就行。要担心的是数据库:订单、顾客、菜单、余额。这些东西只存在一个地方,丢了就是丢了。

陪玩系统审查时,备份这一项是「缺失」:容器编排文件里只声明了一个持久化的数据卷,没有定时备份,没有保留策略,没有存到别处,没有恢复脚本,也没有演练记录。数据卷只是让容器重启后数据还在,硬盘坏了、误删了,它救不了你。

一套能用的备份方案,要把下面几件事都说清楚:

项目要回答的问题
频率多久备份一次?每天一次,最坏情况就丢一天的数据
存放位置备份存在哪?不能和数据库放在同一台机器、同一个账号里
加密备份里有顾客手机号,存出去之前要加密
保留留几份?比如每天的留 7 天,每周的留 4 周
恢复脚本出事时照着哪一步步做?脚本和说明写好放进仓库
演练记录上次恢复演练是哪天?花了多久?数据对不对?

这里有两个术语,第一次听会觉得很专业,其实很简单:

  • RPO:出事时最多能接受丢多少时间的数据。每天备份一次,RPO 就是一天。
  • RTO:出事后多久能恢复服务。从发现问题到系统重新可用,花的时间就是 RTO。

这两个数要问老板,不要自己定。你可以直接问:「如果系统坏了,丢一天的订单能接受吗?停两个小时能接受吗?」老板说一天太多,就把备份改成每小时一次,或者打开数据库的时间点恢复。

餐厅后台的数据库用的是托管的 PostgreSQL。这类托管数据库一般自带按时间点恢复,能退回到过去某个时刻,能保留多久看套餐,上线前去控制台确认。我还会再加一份每日导出,存到另一家服务商的对象存储里。原因很简单:同一个账号里的备份,会跟着这个账号一起出问题。账号欠费停用、项目被误删、密码泄露被人清空,这些情况下平台自带的备份可能一起没了。

通行的说法叫 3-2-1:至少 3 份数据,放在 2 种不同的存储上,其中 1 份在异地。

最后是恢复演练。没有演练过的备份,只能算「可能有用」。演练的做法:

  1. 新建一个空数据库,不要碰生产库。
  2. 用昨天的备份恢复进去。
  3. 起一份测试环境的应用,连到这个恢复出来的库。
  4. 核对:订单总数、最新一笔订单的时间、随便抽几个顾客的信息,和生产库对得上。
  5. 记下从开始到完成花了多久,这就是你的 RTO。

恢复时不要直接覆盖生产库。这和我那次磁盘事故的教训一样:恢复出来的东西先放到别的地方,确认没问题,再决定怎么接回去。

还有一条和 AI 有关的教训。我那次出事,是因为命令在后台跑、我没盯着。现在 AI 助手会自己执行命令,删除、移动、清理这类操作,要让它先列出作用范围,你看过再执行。生产数据库的连接串,不要交给 AI 助手。

发错版本怎么回滚 ​

回滚就是退回上一个能用的版本。它有一个前提:上一个版本还在。

陪玩系统的部署流程是:打包、上传、启动容器,然后结束。新版本起不来,流程照样显示成功。审查后列的改进项是:部署后等容器健康检查通过,再从公网访问几个关键地址做一次冒烟测试,失败就让流程失败并告警;同时保留上一个版本的制品,能随时切回去。

冒烟测试这个词来自硬件:新电路板通电,先看冒不冒烟。软件里指部署后最基本的几项检查,比如首页能不能打开、健康检查是不是正常、能不能读出菜单。

餐厅后台的接口跑在 Cloudflare Workers 上,平台会保留历史版本,控制台和命令行都能退回上一个版本。如果你用的是自己的服务器加 Docker,就要给每次构建的镜像打上版本号,不要只用 latest 一个标签,否则上一版已经被覆盖了。

另外要有一份发布记录:哪天、谁、发了哪个版本、改了什么。代码发布和配置变更分开记。有些故障出在配置上,比如有人改了一个环境变量。没有记录,你连从哪里查都不知道。

回滚也要演练一次:故意发一个改了页面标题的版本,确认线上生效,再回滚,确认标题变回来,记下花了多久。第一次做通常会发现一些问题,比如不知道命令怎么写、权限不够、回滚后缓存没清。这些问题在演练时发现,比在事故里发现好得多。

代码回滚很容易,数据库回滚很难。这是下一节的事。

线上改数据库要小心 ​

改线上数据库,好比飞机在天上换引擎:乘客还在用,你不能停下来慢慢改。

先说一个基本规则:表结构的每一次改动,都要写成迁移文件。 迁移文件就是一份「把数据库从上一个样子改成下一个样子」的脚本,按顺序编号,进 Git 仓库。新环境从头按顺序跑一遍,就能得到一样的表结构。

陪玩系统有一段时间,对早期的数据库用的是「直接推送」:工具对比代码里的表结构定义,把数据库直接改成那个样子,不留迁移记录。开发时这样很方便。生产上长期这么做,你就说不清这个数据库在什么时候被改成了现在的样子,出了问题也没法按步骤退回。所以审查时把它列为要逐步收口的问题。

第二条规则是先加后删。比如要把顾客的「电话」字段拆成「区号」和「号码」两个字段:

  1. 第一次发布:加两个新字段,旧字段不动。新代码同时写新旧字段。
  2. 把老数据补进新字段。
  3. 第二次发布:代码改成只读新字段。
  4. 观察一段时间没问题,第三次发布才删掉旧字段。

每一步都可以单独回滚。如果一步到位,删旧字段、加新字段、改代码一起上,发现问题时旧数据已经没了。

陪玩系统做订单报备审核时,就是按这个思路发布的:先执行数据库迁移,新增枚举、版本表、审计表和索引,再发布应用。应用发布失败,可以只回滚应用,新加的表和字段留着,不影响旧版本读写。历史订单统一设为「草稿」,不会因为已经付过钱就被误算成「审核通过」。审计记录写进去以后就不能直接删表。如果真要彻底退回数据库,必须先停止写入,导出版本表和审计表,再在约好的人工变更时间里处理。我们没有写那种「一键把线上数据改成已通过」的脚本,因为它出错的代价太大。

动线上数据库之前,过一遍这几条:

  • 刚做过一次备份,并且确认备份文件可用。
  • 这个迁移在预发环境上,用接近真实的数据跑过一次。
  • 有没有删表、删字段、改字段类型这类改了就回不去的操作?有的话拆成先加后删。
  • 表很大时,加索引、改字段类型可能会长时间锁住表,要放在没人用的时段,或者用不锁表的写法。
  • 迁移由部署流程执行,不在自己电脑上连生产库手动跑,更不让 AI 助手直接连生产库执行 SQL。

两个人抢最后一份菜 ​

先看一分钟动画,再读下面的细节:

餐厅后台的菜单只有「可售」和「停售」两种状态,没有库存。上线后老板提了一个需求:招牌菜每天限量 20 份,卖完自动停售。

AI 很快会写出第一版:先查一下还剩几份,大于 0 就创建订单,再把剩余份数减 1。一个人点单时,这段逻辑没问题。午市高峰,只剩最后 1 份,两个顾客几乎同时下单:两个请求都先查到「还剩 1 份」,都判断可以下单,都减了 1。结果卖出 2 份,库存变成 -1,后厨做不出来,只能打电话道歉退款。

这种问题叫竞态:两件事同时发生,结果取决于谁快谁慢。它在测试时几乎不出现,因为你一个人点不出「同时」。

解决办法是让数据库把「检查」和「扣减」合成一步:

只有当剩余份数大于等于本单数量时,才把剩余份数减掉;然后看这条更新实际改到了几行。改到 0 行,说明已经卖完,返回「已售罄」。

数据库会保证同一行数据的这类更新一个一个执行,不会两个都成功。扣库存和创建订单要放在同一个事务里,要么都成功,要么都不算。事务就是一组要么全做、要么全不做的数据库操作。

陪玩系统的提现审核用的是同一个思路,叫乐观锁。每次审核或放款时,带上这条申请当前的状态和最后更新时间,更新条件写成「状态和更新时间都没变才改」。如果两个管理员同时点了「放款」,只有先到的那一次成功,后到的那一次会改到 0 行,系统返回冲突提示和最新状态。没有这一步,同一笔提现可能被放款两次。

同一个人连点两下「下单」,是另一种重复。这个靠幂等键解决:前端每次下单生成一个唯一编号,服务端看到同一个编号就返回第一次的结果,不再新建订单。第 9 章讲支付时还会用到它。

验收这类问题,要专门写一个并发测试:把库存设成 1,同时发出 10 个下单请求,断言只有 1 个成功,其余 9 个返回「已售罄」,库存最后是 0。

如果想知道系统在高峰时撑不撑得住,可以做压测,就是用程序模拟很多人同时访问。陪玩系统仓库里有一个简单的压测脚本,可以指定访问哪个接口、持续多少秒、同时多少个请求。它适合在开发机和预发环境上做快速探测。正式上线前,要在独立环境里,用更接近真实流量的方式再压一次。不要对着生产环境压测,你会把真实顾客挤出去。

必要的限流 ​

限流就是限制同一个人在一段时间内能请求多少次,超过就先拒绝。不需要每个接口都加,先加在这几处:

  • 登录接口:防止有人一直试密码。
  • 发短信验证码的接口:防止被人刷,短信是按条收钱的。
  • 下单接口:防止脚本恶意刷单,占满库存。

超过限制时返回 429,这是「请求太多」的标准状态码,前端提示「操作太频繁,请稍后再试」。如果用了 Cloudflare 这类服务,它们也提供按规则限流的功能,可以先在入口挡一层。

交给 AI 的 ​

可以把下面这段直接发给 AI,按项目实际情况改括号里的内容:

text
餐厅后台已经上线(接口在 Cloudflare Workers,数据库是托管 PostgreSQL)。
请帮我补上线后的稳定性措施,分成独立的小任务,每个任务单独提交:

1. 健康检查:提供浅层 /api/health 和深层 /api/health?deep=1。
   深层检查连接数据库,失败时对外只返回通用错误,详细错误只写服务端日志。
2. 告警:写一份外部可用性监控的配置说明,探测首页、深层健康检查和菜单读取接口,
   连续 3 次失败发到飞书群机器人(地址从环境变量读),恢复后再发一条。
   增加一条业务告警:营业时间内连续 30 分钟没有新订单就告警。
3. 备份:写每日导出数据库的脚本,加密后上传到另一家对象存储,保留 7 份日备份和 4 份周备份。
   同时写恢复脚本和恢复说明:恢复到一个新数据库,绝不覆盖生产库。
4. 发布:部署后自动做冒烟测试(首页、深层健康检查、菜单接口),失败则流程失败并告警。
   写一份回滚步骤说明。
5. 每日限量:给菜品增加每日限量。扣减库存用一条带条件的更新语句完成,
   和创建订单放在同一个事务里。写并发测试:库存为 1 时同时发 10 个请求,只能成功 1 个。
6. 限流:登录、发验证码、下单三个接口加限流,超出返回 429。

约束:
- 表结构改动一律写迁移文件,按“先加后删”拆分,不写删表、删字段的迁移。
- 不连接生产数据库,不执行任何删除命令;需要删除时先列出作用范围等我确认。
- 每个任务完成后告诉我:改了什么、怎么验证、还有什么风险。

你要判断和验收的 ​

照下面这张上线检查清单逐条确认。每一条都要亲手验,不接受「AI 说做好了」。

检查项怎么验
外部监控在工作临时停掉服务或改错数据库地址,几分钟内群里收到告警;恢复后收到「已恢复」
健康检查不泄露信息深层检查失败时,浏览器里看到的只有通用错误
业务告警有效在测试环境模拟一段没有订单的营业时间,确认会告警
备份每天都在生成去对象存储里看,最近 7 天每天都有一份,大小没有异常变小
备份恢复得出来亲手做一次恢复演练,核对订单数和最新订单时间,记下用时
回滚可用发一个小改动再回滚,记下用时
部署失败会报出来故意让冒烟测试失败一次,确认流程显示失败并告警
不会卖超并发测试通过;再在预发上用两个浏览器同时抢最后一份
迁移安全看本次迁移文件里有没有删表、删字段、改类型
限流生效连续快速请求登录接口,确认会收到 429

两次演练的结果写进运维手册,格式可以这样:

日期演练内容用了多久结果发现的问题
从昨日备份恢复订单数一致 / 不一致
回滚到上一版本成功 / 失败

以后每个季度做一次。数据量变大以后,恢复会变慢,你要提前知道慢到什么程度。线上真出了问题怎么查,见 第 13 章;服务器和自动发布的基础做法,见 /delivery/server 和 /delivery/cicd。

这一步谁来做 ​

交给 AI 的你要判断和验收的
让 AI 配告警、备份、回滚和必要的限流。照一张上线检查清单逐条确认,真的演练一次恢复。

上一章:第 7 章 第一天就上线 · 下一章:第 9 章 收钱:支付、退款与对账

从 Demo 到商用:用 AI 编程,把 Demo 做成能收钱、能长期运行的项目。