数据中心应急保障

1.数据中心应急保障

1.11应急机制

为保障云计算服务安仝评估,提高我公司突发事件综合应对能力,切实做

好在重大突发安全事件发生时，能有序、有效地处置突发安全事件，减少突发

安全事件带来的风险。

1.2I分工

1.应急小组职责

1）应急领导组

＞负责应急策略和业务连续性策略的官批；

＞监督总体应急管理流程的有效执行；

＞负责省公司上报请求的决策和审批；

＞负责本部的应急决策审批。

2）应急管理组

＞协助应急领导小组进行应急决策；

＞负责向应急决策领导组汇报应急处理进展；

＞负责应急措施的计划和部署；

＞负责应急过程中IT内部人员及相关资源的协调；

＞负责应急过程中与业务部门的协调；

＞负责应急过程中与服务提供商的协调；

负责对应急信息的收集和整理；

＞负责应急恢复评估总结的整理；

根据业务系统安全事件级别及时完成业务系统安全事件的通报，必要时提交

给集团总部及省网络与信息安全管理中心。

3）应急执行小组

＞负责应急措施的具体实施和操作；负责业务系统应急措施后的恢复

检查和;0瓦

4）应急支撑小组

＞负责应急期间提供相应的备件及人员支持；负责应急期间配合相关

人员进行应急措施的实施和操作；配合安全事件的处理及回溯工作。

1.3突发事件应急响应

1.应急响应

当突发事件导致基础网络中断或出现网络故障时，应急成员应在应急领导小

组的统一指挥协调下，结合实际情况及时启动应急响应流程。各级人员在应急处

理工作中，必须遵守以下工作规范，严格工作纪律，确保不出现任何责任事故：

1.有关应急工作人员应服从领导，加强协调，遵守工作程序；

2.应急值班电话和所有应急工作人员应确保24小时通讯畅通；

3.应急事件启动后，有关应急工作人员必须坚守工作岗位；

遇到特殊问题、不能判定或需要上级协调的问题，应及时请示汇报。2、故障发

现及现象分析

在发现故障、接收到告警或接收到相关突发事件通告后，网络管理维护人员

通过故障现象发现及分析流程定位故障或安全事件的源头，及时启动相应的应急

及案。

1.故障排查对象

安全事件、网络故障、系统故障。

2.故障排查措施

①安全事件排查

安全事件排查流程

"判断是否为"

衮全事件所导致

②网络故障排查

网络故障拷查流程

网络馁押人员1女缗小由第程护

人蛇,及「商试行力的障的华董

③系统故障排查

系统故M排查流程

3.结果判定

网络维护人员、安全维护人员分别将网络故障排查结果、安全事件排查结果

告之网络管理员及安全管理员，由安全管理员和网络管理共同判定导致系统故障

的原因，然后启用相应的应急处理办法。

1.4突发事件应急处置

1.应急处置流程

2.设备故障应急措施

设备down机、整机不响应、转发停止；主备异常倒换；整机异常重启；单

故障现象

板异常复位或转发停止

可能的原因有：

主控板（主控板含交换网板）故障

故障原因软件错误

单板故障、系统与底层表项不同步

配置错误等

故障处理方式与步骤：

全部业务中断，初步判断和配置无关，及时通知相关负责人。

按指导书进行针对性故障信息收集；

以恢复业务为第一要素，进行主备倒换、主控板复位或更换、单板复位或更换

排除故障

单板端口或子卡、板卡故障，若备件不到位，将业务割至其他端口、单板；

检查设备日志，人为误操作导致业务中断，立即恢复数据

6、若长时间未能准确定位故障原因或处理不了，应及时向网络负责人反映，

寻求支援。

3、网络故障应急措施

故障现象设备连接中断或业务质量受影响

可能的原因有：

1、业务相关配置不当

故障原因2、光模块损坏（发光异常）

3、传输链路中断或尾纤损坏

4、网络存在攻击

故障处理方式与步骤：

1、根据故障现象定位故障范围，并通知相应负责人。

2、查询日志信息，初步判断故障原医。

排除故障4、按指导书进行针对性故障信息收集；

3、光模块或尾纤损坏可通过自环、测光功定位，更换模板或尾纤解决；

4、网络攻击造成设备cpu高，ping包丢包，攻击造成的流量突发可能导致

流量拥塞（主要是FE）丢包，可定位或屏蔽攻击源处理

4、业务故障应急措施

故障现象部分业务中断

可能的原因有：

1、业务主机dowm机

2、业务主机到网络设备链路故障

故障原因

3、模块损坏（发光异常）

4、配置异常

5、网络存在攻击

故障处理方式与步骤：

1、根据故障现象定位故障范围，并通知相应负责人。

2、通过网络层中的数据链路层基本排除是否有链路或者主机down导致

排除故障

3、检测内网时业务是否正常

4、针对查询各项转发表是否异常

5、查询相关日志判断网络中是否存在攻击。

5、应急处理事后总结

在应急处置工作结束后，存在基础设施受损的，涉及部门要迅速采取措施按

照〃先抢通，再恢复"原则，抓紧组织抢修恢复业务，尽快恢复正常工作，故障

恢复后尽快组织分析，查明原因，并对事件造成的损失和影响以及恢复重建能力

进行分析评估认真制定恢复计划,迅速组织实施，并对突发紧急事件进行归纳、

分析，总结经验，吸取教训，提出防护措施或改进建议。

2.云平台保障

2.1平台保障A

为了提高数据中心应对云平台紧急事件的响应处理速度，避免在发生问题

时出现考虑不全，错误决策的现象，确保出现重大问题后能够快速恢复生产运

行，最大程度减少对业务连续性的影响，移动力点华为云平台制定相应的应急

预案。

云平台应急预案整体策略是梳理解决方案级别应急场景，拉通各个部件的

故障应急能力，达到重大故障有预案，恢复有工具，恢复时间可控的目标。主

要场景包括：

1.解决方案故障场景

2.管理域平台故障场景

3.计算域平台故障场景

4.存储域平台故障场景

5.网络域平台故障场景

2.2平台保障B

1.人工巡检：驻场团队从ASCM平台导出健康码资源水位，进行资源水位

预警。

2.自动巡检：监控系统，用于ecs、rds等资源进行告警播报。

3.ECSCPU资源不足预案

1）杀死导致cpu资源使用率过高的