线上课程移动端故障处置标准_第1页
线上课程移动端故障处置标准_第2页
线上课程移动端故障处置标准_第3页
线上课程移动端故障处置标准_第4页
线上课程移动端故障处置标准_第5页
已阅读5页,还剩7页未读, 继续免费阅读

付费下载

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

线上课程移动端故障处置标准一、总则移动端(手机App、小程序、H5页面)是学员观看线上课程的主要入口,其可用性直接决定课程交付质量与退费投诉率。制定本标准的目的是:当移动端出现故障时,值班与技术团队按统一流程分级响应、定位、通报、恢复,避免因处置无序导致故障扩大或学员流失。适用范围:本公司自研及代运营的全部线上课程移动端产品(iOSApp、AndroidApp、微信小程序、H5学习页)。适用人员:客服值班、技术值班(运维、后端、客户端)、课程运营、内容审核岗。术语定义:术语定义故障导致移动端核心功能(登录、课程列表、视频播放、作业提交)不可用或性能劣化超过阈值的事件MTTR从故障发生(或被首次发现)到功能恢复的平均修复时长影响面受影响学员数÷当日活跃学员数,取故障时段内数值灰度回滚将已发布的客户端版本或配置从部分用户撤回的操作二、故障分级标准分级是整套处置流程的启动开关,分级错误会直接导致响应资源错配。判定时以「影响面×功能关键度」双维度取高者,不确定时按高一级处置,后续可降级。2.1分级判定表级别判定标准(满足任一即定级)典型场景P1(致命)视频播放完全不可用且影响面≥30%;或登录功能宕机≥15分钟;或发生学员资金/数据安全问题(重复扣费、账号串号)晚间高峰期(19:00-22:00)全体学员无法播放;CDN源站故障导致全量黑屏P2(严重)核心功能不可用但影响面<30%;或可用性劣化(卡顿率≥10%、首帧时间≥5秒)持续≥30分钟;或作业提交失败影响面≥10%部分机型iOS闪退;小程序课程列表加载超时P3(一般)非核心功能异常(评论、笔记、证书下载等);影响面<5%且无资金风险;UI错位、个别文案错误安卓端消息推送重复;暗黑模式下按钮颜色异常2.2分级动态调整规则•P2故障持续30分钟未恢复,自动升为P1,值班工程师无权拒绝升级。•P3故障在2小时内投诉量≥20单,升为P2。•降级须由值班技术负责人在故障影响面收敛后书面(企业群)确认,并注明降级时间。三、响应流程与时限响应流程的目标是压缩MTTR中「发现—确认—通报」这三段非技术耗时。按P1目标MTTR60分钟、P2目标4小时、P3目标2个工作日设定时限。3.1发现与确认(谁发现、怎么报)发现渠道及第一责任动作:1.监控告警(APM平台崩溃率、接口错误率、CDN回源率):值班运维收到告警后5分钟内在值班群发出「故障初报」,内容包括告警项、影响接口、当前错误率。2.客服工单/热线:客服值班在15分钟内判定是否为共性问题(同一问题3单以上且同一功能模块),是共性的立即在值班群@值班技术,附工单编号与学员反馈截图。3.内部员工上报:任何员工均可上报,由客服值班统一登记进故障台账,不允许「私聊工程师」绕过台账。禁止性规定:值班工程师必须在群内通报后才能开始操作生产环境;严禁在未通报的情况下私自重启服务或改配置(故障现场一旦破坏,根因无法追溯,同类问题会复发;如需紧急止血,先发群消息再动手,群消息不影响动手速度)。3.2响应时限表环节P1P2P3值班工程师响应(群内确认接管)5分钟15分钟工作日2小时初步定位结论(接口/客户端/CDN/其他)15分钟1小时1个工作日对外口径发布(客服话术)30分钟内由课程运营发布1小时不强制恢复目标60分钟4小时2个工作日复盘报告恢复后2个工作日内恢复后3个工作日内周复盘合并3.3通报机制•P1:每15分钟在值班群更新一次进展(格式:当前状态/已排除项/下一步动作/预计恢复时间),由值班运维固定发布,避免多人插话稀释信息。•P2:每60分钟更新一次。•P3:恢复时单次通报。•升级链路:值班工程师→技术值班负责人(15分钟无头绪时)→技术总监(P1且30分钟未恢复)→CEO(P1持续2小时或涉资金/舆情)。四、分场景处置方案移动端故障的定位核心是「先分层、后修复」:先判断故障发生在哪一层(客户端版本、服务端接口、CDN/网络、账号体系),再决定动哪一环。以下为四类高频场景的具体处置路径。4.1视频播放故障优先检查CDN侧:登录CDN控制台查看回源率与命中率,若回源率异常飙升(正常<10%,异常>50%视为回源风暴),优先切换备用CDN域名(DNS切换,生效时间5~10分钟)。操作时必须保留原域名解析记录以便回切。•若为DRM/防盗链token失效:优先延长token有效期至24小时临时止血;若无该配置权限,则强制客户端刷新token的接口降级为免鉴权只读模式(仅当该接口不涉及资金时可用);严禁将整个视频鉴权服务关闭(盗录风险)。•若为播放器SDK版本问题(某版本崩溃率>5%):通过配置中心下发「禁用该版本+引导升级」开关,客户端检测到自身版本在禁用名单后弹升级提示。若无配置中心,走应用市场加急审核(iOS加急一般24~48小时,期间用H5播放页兜底)。错误做法后果说明:直接重启全部CDN节点会导致缓存雪崩(所有请求回源,源站带宽被打满,故障从CDN层扩大到源站层),必须分批操作,每批10%节点、间隔5分钟。4.2登录与账号故障演化路径示例:鉴权服务响应超时→客户端自动重试(默认3次)→重试流量放大3倍→鉴权服务雪崩→全员无法登录。处置要点:1.确认是认证服务本身故障还是依赖服务(数据库、Redis)故障,通过服务健康检查接口区分。2.属依赖故障:优先恢复依赖(如Redis主从切换),认证服务不动;若依赖短期无法恢复,开启登录降级开关——已登录学员凭本地session续期2小时维持学习可用,新用户登录受限并提示。3.严禁在故障未定位前重启数据库(InnoDB重启需redolog回放,数据量大时恢复耗时可能达10~30分钟,反而延长故障)。4.出现账号串号(A学员看到B的记录)时立即按P1处置:10分钟内下线该接口,导出受影响账号清单(按操作日志时间戳),涉及个人信息的按《中华人民共和国个人信息保护法》要求评估上报义务。4.3客户端发版引发的故障灰度发布期间崩溃率超过2%(正常基线<0.5%)时,按以下顺序处置:1.立即暂停灰度放量(配置中心一键操作,1分钟内完成)。2.判断是否可热修复:优先用配置中心/服务端开关关闭出问题的功能模块(功能级降级);若无开关覆盖,则App发回滚版本走加急审核,小程序回退上一版本(微信小程序回退即时生效)。3.严禁删除已上架的问题版本(已安装学员无法回退,删版只影响新用户且丢失崩溃数据)。4.已安装问题版本的学员:H5学习页作为兜底入口,客服话术中提供H5链接。4.4高并发/流量洪峰开售、直播开课等场景的预期流量洪峰不属于故障,必须走容量预案(提前1个工作日完成压测,容量按预估峰值×1.5倍冗余配置)。突发洪峰(如短视频引流)按以下步骤:•开启限流:核心接口(播放、进度上报)优先级最高,评论、搜索等接口限流阈值下调50%。•队列削峰:播放鉴权请求超量部分排队,客户端显示预计等待秒数而非报错。•判断依据:接口P99延迟>2秒或错误率>1%持续5分钟即启动,不需要等完全打挂。五、对外沟通与客诉处置故障期间沟通不当造成的商誉损失往往大于故障本身。原则:主动、诚实、给出替代路径,不说「正在处理」以外的空话。5.1对外口径发布规则•P1/P2由课程运营在App弹窗+微信服务号+学员群三渠道同步发布,内容包括:故障现象、影响范围、预计恢复时间、替代学习方式(H5链接/回放入口)、后续补偿。•预计恢复时间没有把握时写「2小时内更新进展」,严禁写「正在紧急修复」这类无信息量话术。•口径一经发布,全员(含销售、班主任)统一使用,个人不得私自解释技术原因(未经确认的根因猜测可能引发二次舆情)。5.2补偿标准(按P1/P2实际影响时长)影响时长补偿内容30分钟以内学员群公告致歉,不涉及补偿30分钟~2小时受影响学员赠送3天课程有效期延长2小时以上或直播课中断延长有效期+补播一场同等直播+赠送课时优惠券(面额按客单价5%~10%估算)涉及重复扣费24小时内原路退款,无需学员申请受影响名单判定:故障时段内有播放失败记录或提交失败记录的账号,由技术从日志导出,运营在恢复后4小时内执行补偿并群内留痕。六、复盘与改进(PDCA闭环)复盘是故障处置的最后一环,也是唯一能把单次故障转化为系统能力的环节。P1/P2故障必须复盘,无复盘视为故障未关闭。6.1复盘会要求•时间:恢复后2个工作日内,时长45分钟以内。•参与:值班工程师、相关负责人、受影响业务方代表;P1须技术总监参加。•模板五要素:时间线(精确到分钟)、根因(5Why追问至系统层面,止于「人为疏忽」视为不合格)、为什么没提前发现、为什么恢复用了这么久、改进项。•定责原则:以改进为导向,不追责主动上报人;隐瞒不报、绕过流程操作生产环境的追责。6.2改进项跟踪•每条改进项必须有:责任人、截止日期、验收方式,录入故障台账系统。•改进项按优先级分档:防止复发的(加监控、加开关)1个迭代内完成;架构级的(多活、容量扩容)纳入季度技术规划,明确里程碑。•每月5日前由运维负责人汇总上月故障台账与改进项完成率,完成率<80%时在技术例会专项说明。6.3预防机制•每季度1次故障演练:模拟「CDN切换」「配置中心下发错误配置」「数据库主从切换」,考核值班工程师在无人提示下按本标准完成处置,演练不达标者两周内补演。•每次客户端发版前检查:崩溃率灰度门槛(<0.5%)、功能开关覆盖清单、回滚预案三确认,由发布负责人在发布单上逐项勾选。•监控覆盖每半年审计一次:每次复盘新增的「为什么没提前发现」对应监控点,逐条核对是否落地。七、职责矩阵角色平时职责故障时职责值班运维(每日常设1人)监控值守、值班群维护、故障台账登记初报、全程信息通报、操作生产环境止血值班工程师(后端/客户端各1人轮值)周内轮值表每月25日前排定定位与修复、向值班负责人汇报技术值班负责人审核复盘报告升级决策、资源调度、降级确认客服值班工单归类、共性识别15分钟内共性上报、按口径回复课程运营维护口径模板库30分钟内发布对外口径、执行补偿八、附则•本标准自发布之日起执行,每半年由技术值班负责人组织评审修订;单次P1复盘提出的流程修改,经技术总监批准后可即时修订并全员通报。•所有值班人员上岗前必须完成本标准培训并通过笔试(≥90分),培训记录留存于培训矩阵表。九、附录A故障台账登记表(样表)字段填写说明示例故障编号年份+序号F-2025-013发现时间/恢复时间精确到分钟2025-06-0120:15/20:52级别及调整记录初判级别、升降级时间与原因P2,20:40升P1(持续超30分钟未恢复)故障现象学员视角描述视频播放黑屏,进度条卡0%影响面受影响账号数/当日活跃数3200/8600,约37%根因至系统层面CDN证书过期,回源鉴权失败处置动作按时间序列20:20切备用CDN,20:52播放恢复改进项编号、责任人、截止日M-013-1:证书到期前30天告警,运维张某某,6月15

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论