运维机制
下面这四条不是宣传语,是值班表上每天要执行的动作。每一条都带时间点和数字,做不到就是我们的问题,不需要用户来替我们找借口。
08:00、14:00、20:00、02:00 四个时间点自动巡检,覆盖登录、推荐、播放解析、弹幕、收藏、支付 6 个接口。单接口超时 1.5 秒即告警,连续 3 次失败自动升级为 P1,值班手机直接响铃。
P1 全站不可用,5 分钟响应、2 小时内恢复;P2 影响超 10% 用户,15 分钟响应、4 小时内恢复;P3 单功能异常,1 小时响应、24 小时内修复;P4 展示类问题 72 小时内排期。
例行维护固定在每周四 02:00–04:00,最长 2 小时;大版本每月一次,排在周三 02:00–05:00。窗口内只停收藏同步、评论、搜索索引重建,播放不停机;春节国庆前后 7 天不做计划内维护。
每条事件都在状态页留时间戳:故障开始 10 分钟内发第一条公告,写清影响范围与当前级别;修复后 2 小时内发复盘,附完整时间线。App 内只有一条 3 秒自动收起的横幅,不弹窗、不打断播放。
用户评价
下面三条评价都是从客服回访里原样摘出来的,包含不满意的部分。他们没有夸界面,只讲了自己那次等了多久、看到了什么。
去年 11 月 6 日晚上 21:40 左右全站播放不了,我 21:47 就在状态页刷到第一条公告,写着 P1、影响全部用户、正在回滚播放解析服务。22:35 恢复,比公告里给的 2 小时还早。扣分的地方是那 40 多分钟里 App 一直转圈,没有一句人话提示。
我碰到的是 P3,收藏不同步,换手机之后列表是空的。提交工单第 52 分钟收到第一次回复,说已经定位到同步队列积压,第二天早上九点多修好。速度算不上快,但确实在他们写的 24 小时内,中间还主动更新了两次进展。
三年里两次 P2 都赶上了。一次是某个 CDN 节点黑屏,状态页标了受影响地区,App 里也提示「当前线路异常,请切换线路」,切一下就好,这个处理我买账。缺点也有:状态入口藏在设置第三层,不弹横幅的话很多人根本找不到,我是自己翻出来的。
常见问题
这五个问题是工单里被问得最多的,答案都按实际情况写,没有修饰。
先打开状态页,顶部只有绿、黄、红三种颜色:绿色表示 6 个核心接口全部正常,黄色表示有 P2 或 P3 事件正在处理中,红色就是 P1。看到红色就不用折腾了,不用重装、不用改 DNS、不用怀疑路由器,等着就行,公告会写明预计恢复时间。如果是绿色而你看不了,九成是本地网络或线路问题,可以在播放设置里切换备用线路,我们长期准备了 3 条。
我们统计过自己的播放曲线:20:00 到 23:00 占全天播放量的 46%,凌晨 02:00 到 04:00 只占 3.1%。同一套操作放在凌晨,影响面小一个数量级,所以我们把计划内的变更都压到这个窗口。但白天如果出现 P1,还是会立刻处理,不受窗口限制——窗口管的是「计划内」的事,比如搜索索引重建、播放解析服务升级、数据库结构变更这三类。
超过承诺时间,值班负责人必须在事件时间线里补一条「超时说明」,写清楚卡在哪一步,这条对所有人可见,不能删也不能改。如果单次 P1 超过 4 小时,我们会在 App 内给当天有播放记录的用户补 7 天会员时长,自动到账,不用申请、不用找客服。这是承诺,也确实有过两次没做到,都补了。
能。缓存内容存在本地,维护窗口内播放服务本身不停机,只有收藏同步、评论、搜索索引重建这三类功能会短暂不可用。具体表现是:收藏按钮点下去可能没反应,评论发不出去会提示稍后重试,搜索会显示「索引重建中」。这期间在线播放和离线缓存播放都不受影响,进度条也是正常记录的。
不用你自己判断。状态页每条事件都会标级别和影响范围,写法一般是「P2 · 华东节点部分片源黑屏 · 影响约 12% 用户」,你对照自己所在地区和片名就知道是不是同一件事。如果状态页上没有记录,说明还没被发现,直接在 App 的设置里提交反馈,附上具体时间点和片名,工单系统会在 1 小时内给你第一次回复,并把它挂到对应事件下面。