运维故障应急预案

运维故障应急预案v 1.0精品资料深圳市 xx 科技有限公司修订记录版本编号版本日期修订人说明1.02014-5-13cc初稿1.11.21 机房失火，断电，断网1.1 紧急预案1） 全国各区域陆续反馈访问网站出现无法访问。精品资料2） 运维人员通过监控状态，无法远程登录服务器，ping 不通服务器。 并紧急联系机房人员， 询问初步情况，则可判断是否出现机房失火，断电，断网。 3）技术部给业务部门、市场部门以及相关领导发出网站异常的通告，通告分为两部分。一部分是对公司内的通告，包括事故的影响、恢复的时间；一部分是对公司外，描述因为系统升级，而导致网站不能访问。 4）再次紧急联系机房供应商，询问故障的发生原因，故障的严重性，是否后续能正常恢复服务。5）如故障严重，先能否挽救服务器，以存储服务器为优先。若存储服务器受损，则想办法恢复数据；若无法恢复数据，则修改通告内容，告知业务部门要重新导入全部数据。 6）视故障影响范围，统计出未受影响的服务器。7） 如果是机房失火，断电，断网导致机房不可用，则尽快联系新的机房，开始重新搭建服务。8） 评估网站恢复的时间点，修改通告内容。1.2 风险预防杭州和深圳均实施数据跨机房备份。2. 区域性网络故障问题1.1 紧急预案1) 全国某个区域短时间内有多个客户反映无法访问网站，其他区域访问正常。2) 运维人员通过监控状态，远程登录服务器查看机房服务器服务状态，判断是否存在服务异常。精品资料3) 如机房服务正常，运维人员测试出现故障区域的网络连接与dns 解析是否正常。4）如果网络连接或者dns 解析不正常，则可认为出现了区域性网络故障问题。5）给业务部门、市场部门以及相关领导发出网站异常的通告，通告分为两部分。一部分是对公司内的通告，包括事故的影响、恢复的时间； 一部分是对公司外受影响的区域客户，描述因为客户所在区域网站故障，而导致网站不能访问。 6）尽快联系当地运营商，询问网络故障的情况及恢复时间。1.2 风险预防网站 cdn 镜像。3. 域名失效故障1.1 紧急预案1） 全国各区域陆续反馈访问网站出现无法访问。2） 运维人员通过监控状态，远程登录服务器查看机房服务器服务状态，判断是否存在服务异常。3） 如服务器服务正常，再通过dns 检测工具并发现域名ip 指向异常，则认为出现了域名失效故障。 4）给业务部门、市场部门以及相关领导发出网站异常的通告，通告分为两部分。一部分是对公司内的通告，包括事故的影响、恢复的时间； 一部分是对公司外，描述因为域名运营商dns 解析故障，导致网站不能访问。5） 登录并查看域名供应商平台设置解析配置，若是域名供应商配置有问题，则修正该配置； 若是 dns 解析平台故障，则寻找另外的dns 解析平台，重新配置dns 解析。精品资料6） 告知业务部门，临时处理解决方法。发出修改hosts 的 bat 脚本给各区域销售和客服团队，并告知允许脚本前要先退出qq 管家。7） 跟进全国域名解析的进展。8） 全国域名恢复后，撤出通告，并通知内部人员。1.2 风险预防1） dns 加固安全锁。2） 每个月更换域名供应商和dns 解析平台的密码。4. 机房网络设备，服务器故障1.1 紧急预案1） 全国各区域陆续反馈访问网站出现无法访问。2） 运维人员通过监控状态，远程登录服务器查看机房服务器服务状态，判断是否存在服务异常。3） 如无法正常登录服务器，ping 服务器不通，并紧急联系机房人员，并询问初步情况，则判断是否出现机房网络设备，服务器故障。4） 给业务部门、市场部门以及相关领导发出网站异常的通告，通告分为两部分。一部分是对公司内的通告，包括事故的影响、恢复的时间； 一部分是对公司外，描述因为网站升级改造，导致网站不能访问。 5）逐个设备，服务器登录检查，找出有故障的设备，服务器。再次联系机房人员，检查相应的设备，看是否能正常恢复运作。6） 收到机房人员的反馈后，若设备，服务器还可用，则与机房供应商共同执行修复措施；精品资料若设备，服务器完全损坏，则让机房供应商协助购买新设备，服务器或者借用现有设备，服务器。7） 配置新设备，服务器搭建