数据中心高可用测试

XX科技有限公司

XXX高性能计算网管中心建设项目

修订记录

文档审核/审批

此文号需如下审核。

姓名职务/职称签名签名曰期

文档分发

此文号将分发至如下各人

姓名职务儆称

目录

1.介绍10

1.1项目背景10

1.2文档目的11

1.2.1角色和职责11

1.3范围和假设11

1.3.1范围11

1.3.2假设11

1.3.3前提11

2.数据中心架构介绍12

2.1构建块设计12

2.2物理架构13

2.3逻辑架构13

2.4设备用途与IP列表14

2.5软件版本16

3.高可用场景18

4.高可用场景测试用例19

4.1测试环境说明19

4.2高可用故障19

4.2.1单台存储故障错误!未定义书签。

4.2.2单台云平台计算节点故障错误!未定义书签。

4.2.3存储双活节点故障35

4.2.4单台云平台管理节点错误!未定义书签。

4.2.5服务器单块硬盘故障错误!未定义书签。

4.2.6服务器单网卡故障错误!未定义书签。

4.2.7服务器单HBA卡故障错误!未定义书签。

4.2.8核心交换机单台故障错误!未定义书签。

4.2.9防火墙单台故障错误!未定义书签。

4.2.10存储交换机单台故障错误!未定义书签。

4.2.11存储单控制器故障错误!未定义书签。

4.2.12VPN单台故障错误!未定义书签。

4.2.13存储单块硬盘故障错误!未定义书签。

4.2.14存储控制器级联线故障错误!未定义书签。

4.2.15存储磁盘柜Loop线故障错误!未定义书签。

4.2.16云平台关键进程错误!未定义书签。

4.2.17堡垒机故障错误!未定义书签。

4.2.18运维平台故障错误!未定义书签。

4.2.19应急通道错误!未定义书签。

5.组件状态验证步骤267

5.1机房状态验证267

5.1.1命令行操作步骤267

5.1.2图形界面操作步骤267

5.1.3人工操作步骤267

5.2全局网络状态验证267

5.2.1命令行操作步骤267

5.2.2图形界面操作步骤267

5.2.3人工操作步骤268

5.3网络设备状态验证268

5.3.1命令行操作步骤268

5.3.2图形界面操作步骤268

5.3.3人工操作步骤269

5.4存储状态验证269

5.5存储网络状态验证269

5.6服务器状态验证269

5.6.1命令行操作步骤269

5.6.2图形界面操作步骤269

5.6.3人工操作步骤270

5.7云平台状态验证270

5.7.1命令行操作步骤270

5.7.2图形界面操作步骤271

5.7.3人工操作步骤272

5.8云管理节点状态验证273

5.8.1命令行操作步骤273

5.8.2图形界面操作步骤273

5.8.3人工操作步骤273

5.9云计算节点状态验证273

5.9.1命令行操作步骤273

5.9.2图形界面操作步骤273

5.9.3人工操作步骤274

5.10VPN状态验证274

5.10.1命令行操作步骤274

5.10.2图形界面操作步骤274

5.10.3人工操作步骤275

5.11负载均衡状态验证275

5.11.1命令行操作步骤275

5.11.2图形界面操作步骤275

5.11.3人工操作步骤276

5.12态势感知状态验证276

5.12.1命令行操作步骤276

5.12.2图形界面操作步骤276

5.12.3人工操作步骤277

5.13日志审计纳管设备监控状态277

5.13.1命令行操作步骤277

5.13.2图形界面操作步骤277

5.13.3人工操作步骤278

5.14监控平台纳管设备监控状态278

5.14.1命令行操作步骤278

5.14.2图形界面操作步骤278

5.14.3人工操作步骤279

6.组件启动步骤280

6.1机房供电启动步骤280

6.1.1命令行操作步骤280

6.1.2图形界面操作步骤280

6.1.3人工操作步骤280

6.2全局网络启动步骤281

6.2.1命令行操作步骤281

6.2.2图形界面操作步骤281

6.2,3人工操作步骤281

6.3网络设备启动步骤281

6.3.1命令行操作步骤281

6.3.2图形界面操作步骤281

6.3.3人工操作步骤281

6.4存储及存储网络启动步骤281

6.5云平台启动步骤282

6.5.1命令行操作步骤282

6.5.2图形界面操作步骤283

6.5.3人工操作步骤283

6.6对外网络关闭及启动步骤284

6.6.1命令行操作步骤284

6.6.2图形界面操作步骤284

6.6.3人工操作步骤284

6.7VPN启动步骤284

6.7.1命令行操作步骤284

6.7.2图形界面操作步骤284

6.7.3人工操作步骤284

6.8负载均衡启动步骤284

6.8.1命令行操作步骤284

6.8.2图形界面操作步骤285

6.8.3人工操作步骤285

6.9态势感知状态启动步骤285

6.9.1命令行操作步骤285

6.9.2图形界面操作步骤285

6.9.3人工操作步骤285

7.组件日志收集方法286

7.1服务器硬件日志286

7.1.1命令行操作步骤286

7.1.2图形界面操作步骤286

7.1.3人工操作步骤286

7.2存储网络交换机日志287

7.2.1命令行操作步骤287

7.2.2图形界面操作步骤287

7.2.3人工操作步骤287

7.3云平台日志288

7.3.1命令行操作步骤288

7.3.2图形界面操作步骤288

7.3.3人工操作步骤289

7.4云节点日志289

7.4.1命令行操作步骤289

7.4.2图形界面操作步骤289

7.4.3人工操作步骤289

7.5VPN日志290

7.5.1命令行操作步骤290

7.5.2图形界面操作步骤290

7.5.3人工操作步骤290

7.6负载均衡日志291

7.6.1命令行操作步骤291

7.6.2图形界面操作步骤291

7.6.3人工操作步骤291

7.7态势感知日志291

7.7.1命令行操作步骤291

7.7.2图形界面操作步骤292

7.7.3人工操作步骤293

1.介绍

1.1项目背景

惠民数科XXX统一管理服务平台项目主要包括XXX统一权益共享应用子系统、统一业务综

合服务子系统以及统一客户服务子系统，其中统一权益共享应用系统部署在六里桥联通政务

云上、业务综合服务及客户服务系统部署在腾讯公有云上，两者通过专线互联实现权益信息

的共享交换。卡厂系统、银行系统通过专线连接金控大数据平台，进而实现同综合服务系

统、权益共享应用的互联互通。

截至目前，服务XXX业务共连接机构23家，其中银行15家，卡商7家，加上联通政

务云，专线计46条。随着xxx发卡、用卡相关业务的开展，并通过统一运营中心实现对xxx

的业务运营和商业化运营，实现业务的推广、客户的增长，以及未来的商业化变现等数据类

应用的开展需要计算存储网络安全等相关资源的承载。由于业务发展的现实需要，原有亦庄

数据中心难以满足新增的业务需求，迫切需要新建xxx高性能计算网管中心，进行计算存储资

源购置，并配套匹配的网络交换、安全防护、监控运维等系统，按照三级等保要求，进行分

区化设计，划分为核心区、外联区、xxx专线接入区、安全区、管理区、互联网区等区域，满

足公司未来3-5年的业务增长需求，提供一个统一、稳定、可靠的金融科技基础设施平台。

1-2文档目的

本文档的目的是提供XXX高性能计算网管中心建设项目中关于数据中心的应急响应预案说

明，用于指导紧急情况的处理。

1-2.1角色和职责

本文是由总集成商联想根据涉及到的相关厂商和代理商的提供的应急响应方案，根据该

项目的实际情况，进行合并编写，并交付给北京惠民数字科技有限公司留存使用。

13范围和假设

1.3.1范围

本文的范围包括XXX二期数据中心建设项目的相关内容：

>XXX二期数据中心建设项目中所涉及到的软、硬件；

>XXX二期数据中心建设项目总体设计中所涉及到的内容。

后期客户新增的设备、运行应用系统不在此文档、即本项目范围。

1.3.2假设

本文的假设：

>XXX二期数据中心建设项目所设计到的组件的规模、版本、等等相关配置均未发生

变化。

1.33前提

本文所涉及的个产品提交的应急步骤均正确无误。

2.数据中心架构介绍

2.1构建块设计

本项目XXX高性能计算网管中心构建块设计如下:

民生卡高性能计算网管中心

安

H运

网络

全

堆

网

等

管

络互联网

外联区

理

保

安接入区

全

数据中心

••核心区牌业务区

云平台（接入网络）

虚拟化资源池

业

运

运

维

罐

集

集

fat云

群

彝

«管

理

存储网络

包括如下设计构建块：

＞安全等保：包括等保建设依据、整体方案、网络安全以及云安全资源池；

＞网络构建块：包括边界网络如互联网接入区、外联区、XXX接入区，数据中心网络

如核心区、数据业务区，数据业务区也是云平台接入网络；

＞云平台构建块：包括计算资源、存储资源、接入网络，以及云平台软件（包含云管

理平台），云安全资源池（在安全等保中设计）；

运维管理：包括设备监控、云管理（在云平台中设计）。

2.2物理架构

XXX高性能计算网管中心的物理架构如下图:

2.3逻辑架构

XXX高性能计算网管中心逻辑架构可分为应用层、云平台、运维平台、资源池、设备控

制层、基础设施层，其中应用对上支撑层、资源池为虚拟抽象层，架构图如下：

艮生卡立身大R■业务

2.4设备用途与IP列表

机柜设备编号用途说明带外IP备注

D1T2-EXT-FW-D1U26外联区防火墙0

D1T2-EXT-SW-D1U20外联区接入交换机1

D1T2-EXT-FW-D1U17外联区防火墙2

D2T2-EXT-FW-D2U26外联区防火墙0

D2T2-EXT-SW-D2U20外联区接入交换机1

D2T2-EXT-FW-D2U17外联区防火墙2

D1T2-WAN-FW-D1U36接入区防火墙10

D1T2-WAN-SW-D1U33接入区接入交换机11

D1T2-WAN-FW-D1U30接入区防火墙12

D2T2-WAN-FW-D2U36接入区防火墙20

D2T2-WAN-SW-D2U33接入区接入交换机21

D2T2-WAN-FW-D2U30接入区防火墙22

D3T2-DMZ-SW-D3U38互联网区接入交换机0

D3T2-DMZ-LB-D3U35互联网区负载均衡172.18.23531

D3T2-DMZ-FW-D3U33互联网区防火墙2

D3T2-DMZ-WAF-D3U30互联网区WAF3

D3T2-DMZ-VPN-D3U28互联网区VPN172.18.23534

D3T2-DMZ-SW-D3U26互联网区接入交换机172.18.23535

D4T2-DMZ-SW-D4U38互联网区接入交换机0

D4T2-DMZ-LB-D4U35互联网区负载均衡1

D4T2-DMZ-FW-D4U33互联网区防火墙2

D4T2-DMZ-WAF-D4U30互联网区WAF3

D4T2-DMZ-VPN-D4U28互联网区VPN4

D4T2-DMZ-SW-D4U26互联网区接入交换机5

D3T2-CCR-CR-D3U03核心路由器/2

D3T2-CCR-FW-D3U14核心防火墙01

D4T2-CCR-FW-D4U14核心防火墙02

D4T2-CCR-CR-D4U03核心路由器172.18.2353/4

D3T2-CLD-SW-D3U24安全池接入交换机30

D3T2-CLD-LA-D3U19日志审计31

D3T2-CLD-VS-D3U17漏洞扫描32

D4T2-CLD-SW-D4U24安全池接入交换机40

D4T2-CLD-SA-D4U19态势感知41

D4T2-CLD-DA-D4U17数据库审计42

D5T2-CLD-SW-D5U38云资源池接入交换机40

D5T2-CLD-SW-D5U36云资源池接入交换机41

D6T2-CLD-SW-D6U38云资源池接入交换机50

D6T2-CLD-SW-D6U36云资源池接入交换机51

D7T2-CLD-SW-D7U38云资源池接入交换机60

D7T2-CLD-SW-D7U36云资源池接入交换机61

D7T2-CLD-SW-D7U27云资源池接入交换机33

D8T2-CLD-SW-D8U38云资源池接入交换机70

D8T2-CLD-SW-D8U36云资源池接入交换机71

D8T2-CLD-SW-D8U29云资源池接入交换机44

D8T2-CLD-SW-D8U27云资源池接入交换机43

D9T2-CLD-SW-D9U38云资源池接入交换机80

D9T2-CLD-SW-D9U36云资源池接入交换机81

D9T2-CLD-SW-D9U27云资源池接入交换机34

DIOT2-CLD-SW-DAU38云资源池接入交换机90

DIOT2-CLD-SW-DAU36云资源池接入交换机91

DIOT2-CLD-SW-DAU29云资源池接入交换机46

DIOT2-CLD-SW-DAU27云资源池接入交换机45

D5T2-CLD-CMC-D5UO3云平台管理节点0

D5T2-CLD-CCN-D5U06云平台计算节点1

D5T2-CLD-CCN-D5U09云平台计算节点2

D5T2-CLD-CCN-D5U12云平台计算节点3

D5T2-CLD-CCN-D5U15云平台计算节点4

D5T2-CLD-CCN-D5U18云平台计算节点5

D5T2-CLD-CCN-D5U21云平台计算节点6

D5T2-CLD-CCN-D5U24云平台计算节点7

D5T2-CLD-DB-D5U27数据库节点8

D6T2-CLD-CMN-D6U03云平台运维节点0

D6T2-CLD-CCN-D6U06云平台计算节点1

D6T2-CLD-CCN-D6U09云平台计算节点2

D6T2-CLD-CCN-D6U12云平台计算节点3

D6T2-CLD-CCN-D6U15云平台计算节点4

D6T2-CLD-CCN-D6U18云平台计算节点5

D6T2-CLD-CCN-D6U21云平台计算节点6

D6T2-CLD-CCN-D6U24云平台计算节点7

D6T2-CLD-DB-D6U27数据库节点8

D7T2-CLD-CMC-D7U03云平台管理节点0

D7T2-CLD-CCN-D7U06云平台计算节点1

D7T2-CLD-CCN-D7U09云平台计算节点2

D7T2-CLD-CCN-D7U12云平台计算节点3

D7T2-CLD-CCN-D7U15云平台计算节点4

D7T2-CLD-CCN-D7U18云平台计算节点5

D7T2-CLD-CCN-D7U21云平台计算节点6

D7T2-CLD-CCN-D7U24云平台计算节点7

D8T2-CLD-CMN-D8U03云平台运维节点0

D8T2-CLD-CCN-D8U06云平台计算节点1

D8T2-CLD-CCN-D8U09云平台计算节点2

D8T2-CLD-CCN-D8U12云平台计算节点3

D8T2-CLD-CCN-D8U15云平台计算节点4

D8T2-CLD-CCN-D8U18云平台计算节点172.18236.85

D8T2-CLD-CCN-D8U21云平台计算节点6

D8T2-CLD-CCN-D8U24云平台计算节点7

D9T2-CLD-CMC-D9U03云平台管理节点0

D9T2-CLD-CCN-D9U06云平台计算节点1

D9T2-CLD-CCN-D9U09云平台计算节点2

D9T2-CLD-CCN-D9U12云平台计算节点3

D9T2-CLD-CCN-D9U15云平台计算节点4

D9T2-CLD-CCN-D9U18云平台计算节点5

D9T2-CLD-CCN-D9U21云平台计算节点6

D9T2-CLD-CCN-D9U24云平台计算节点7

DIDT2-CLD-CMN-DAU03云平台运维节点00

DIDT2-CLD-CCN-DAU06云平台计算节点01

DIOT2-CLD-CCN-DAU09云平台计算节点02

DIOT2-CLD-CCN-DAU12云平台计算节点03

DIOT2-CLD-CCN-DAU15云平台计算节点04

DIOT2-CLD-CCN-DAU18云平台计算节点05

DIOT2-CLD-CCN-DAU21云平台计算节点06

DIOT2-CLD-CCN-DAU24云平台计算节点07

DIT2-CLD-CST-D1U03存储/2/3/4

DIT2-CLD-CSW-D1U12存储交换机1

DIT2-CLD-CSW-D1U14存储交换机2

D2T2-CLD-CST-D2UO3存储/6/7/8

D2T2-CLD-CSW-D2U12存储交换机1

D2T2-CLD-CSW-D2U14存储交换机2

2.5软件版本

基础平台以腾讯云为主，采用OpenStackM版，组件版本如下:

组件名称版本号备注

CentOS7.6.1810操作系统

Docker1.12.6容器技术

Keystone2016.6认证服务

ceilometer2016.6监控服务

Cinder2016.6块存储服务

Glance2016.6镜像服务

Influxdb0.13.0监控数据库

Kapacitor0.13.1数据处理/异常探测

memcache1.4.33缓存服务

Neutron2016.6网络服务

组件名称版本号备注

Nova2016.6计算服务

Rabbitmq3.6.5消息队列

KolamitakaOpenStack组件容器化

Nomad0.5.2集群管理软件

Consul1.2.0服务发现软件

Ansible自动化运维工具

openvswitch2.9.0网络虚拟化软件

qemu/kvm2.12.0虚拟化软件

Libvirt4.5.0虚拟化管理工具

elasticsearch2.4.4搜索服务

Heka0.10.0日志收集服务

Telegraf48988bc数据采集工具

3.高可用场景

从设计到建设实施，整个数据中心均采用高可用冗余的方式，相比于传统数据中，发生

发非影响故障时，都无须人工干预，依靠架构本身、云平台机制自动处理，对应用无影响；

此类故障，在验收时进行测试，验证高可用机制完备性，并进行定期的演练，验证高可用机

制的稳定性，测试或演练步骤是否合理，非影响故障类型包括：

1.单台设备（非存储）故障

2.连线故障

3.存储设备单组件故障

4.单路电源故障

5.单路对外链路故障

6.云管平台故障

7.云平台关键进程故障

8.堡垒机故障

9.运维平台故障

除第8,9个故障外，其余故障可以通过运维平台发现此类故障，并进行相关的恢复处

理；若发现运维平台无法登录使用：

1.首先判断是否机房类全局故障，可以通过电话进行确认；

2.若不是机房类故障，通过应急通道，判断是否是堡垒机故障还是网络类全局故隙；

3.若不是网络类全局故障，判断为堡垒机故障，则联系堡垒机厂商，进行修复；

4.若不是堡垒机故障，则联系运维厂商，进行修复。

4.高可用场景测试用例

根据故障应用测试场景，编写应用演练测试用例，应用演练需要定期进行，并根据演练

结果更新用例步骤，以达到优化的效果。

4.1测试环境说明

运维平台的采用高可用的部署架构，前端访问通过一组nginx,分别部署在两个存储上，

可以用于硬件演练测试，通过是否能够访问运维平台，确认是否对环境造成影响。

4.2高可用故障

现有的云数据中心采用全栈式的高可用，从设计理念上规避单点故障、以及故障处理的

操作步骤，增强了业务连续性。

但这些高可用架构，需要进行测试验证，保证规划与实施工艺一致；同时，也需要定期

进行演练，验证高可用设计的延续性，并优化处理步骤。

4.2.1云平台软件高可用测试

云平台关健进程(neutron-server)测试

云平台关9进程(r>eutron-se(ver>洲试

C-001-1

序决作名续作实际结

操作对象谶作步磔预用培果利长开始时谓错京时，处作人检叠人备注

号陈方式*

环境备潘足顿

1»无无无

找到

登录云计11底层节点n(xte*1

neutron-

172.181820,执行命令

RUMneutron-serverserverfi2022/9/72022/9/7XXX.

2今令nomadstatusneutron-server|grepNode1mmXXX

作对象迸程节点程所在第期10:151016XXX

-A6nomadnode-status|

•fl

grepd8c8dbd1

node-18

登录neutron-server进程节点所在节点

k谓关也neutron-servern(xfe-18执行命令道程成功满足预2022M2022所XXX,

3的令IminXXX

VM进程节点ps-«f|grepneutroc-$erve«lgrep-vgrep|被kill10:1610:17XQC

awk{print$2)'|xargskill-9

neutron­

登录neutron-server进程节点所在节怠

USMneutron-serverserver在满足颈2022阳72022/9/7KXX,

4node-18.执行命令1minXXX

认进程节点本节点上n10:1710:18XXX

ps-efIgrepneutron-servef

自动重启

9染neutron-server进料节点两在节UI

日志记neutron-server服务日毒满足颈XXX.

5畲令node-18.执行畲令XXX

录进程节息5E«a期XXX

tailfA/ar/log^neutrorVneutron-serverlag

无我包.

♦务找业务虚机：在入试期间满足福XXX,

6命令系统运行XXX

i£172.18.17.65ping172.1817.65期XXX

正常

己在

环境恢node-18XX3C,

7/t己自动■自.恢箕/XXX

ft上自玲■XXX

自

rootfnoderon-Mrver

X，”…3uX.m

1M971M14・S4P<4・/rwi/*«vtrwi<o«f•n”・nu

.«E»8-c«Rfig-fir/vU/nwtrvn/cvn**FtD

216%M；14.2S/vtr/ttla/nevirtnsarvtrfSA/MUtraB・3f-CMfMh”/ft

•nfUi..ceRfMflir/etc/nMitm/conftt/MMtroB-lbMtv2<aQ«<t

110，00；U91rw*•wrwrT3,W./Xc/aMMtroMawvt—<8♦*-c•*<&•**!1•/H

cent.IAA--c«R*l^*41r/•«<2n«MtroA7cenf.4/MMtroa-lbM»r2-e9««t

71SM>>70S«pe4，M;UtX""QIAMwtrsr-r*tll»,0

cent.Mc«nf&g*<ir/ttc/nwtrwi/canf^nmtroB-lbMtr^avmt

2163900.U30fMr/bm/pytM2r«ir/DUfn«utren*sefwr.•ccafio*niefetc/Mutron/Mutra«.coaf・・cgf“・，n«/tt

,€«nf.1McoRfio-Cir“WMvtreA/C”…troalbM“2»oe«Q

/rfc/aMwtrwK/»Mtr.C8♦.一(■■“•♦•a'c

-JiI

IJ79S«p«4T8.12.”/wsr/・WyV>wZ/•1r/0U^Wtr®ni«rvtr.-c^nfftefile/tWwwtrR*««tP.45f••《…”•门"/ft

confIM•«(cnfig.4ir/etc/nnitron/confWftrot•I6••■・】

21“2序，eS4^«4»00；12：XZ««r/bU79ytMii2/・Sr/bU/，・ut/eA・•，"r/«〃4t■一3f

<«nf1A1一(8，卬4"，・"/cwtr«f^C8，"Pt"•H”】••《««，

33r-JIM)M:l>:44/••r/bi*/««vtrww»rwr•>c««ftf*F|1»--CO»*>f-f!<•/9t

U.cenf.Mctnfr”“/n・rrWQE."FKS

21644esepMr90a29fwr/BUVpFtMPZ/•»rrt>Xafr»«vtr®nierwr.•c«efiofilefetc/MwtrMir»c«tr«iconf•cot”mtret

€«nfUIr«if&o-eir/•tc/RMitrvA/rvif-QoI

，1“S60:11:3?/••r/toin/pytMn2/«tr/blA/n«utr«R-a«r*•ry，A.・，Al・/•fcyaevt.coof

<ir/etc/nwtr®«/c«*f•/ZMtB•tbM"2・中«，

NC8.F

roottnoda*IB•]・p«・3|grepM«tron・»«r”r|@repfgrap|M(pryitS2)|JUifQikill・9

rMtMiMeIB-)1ps♦，|MwtrtRMrvcr

KMMSU1M1113：2T»00WM八•・x・to<f3)«M1!--HU-aUtf-B454H4<Jbtr«.-••r••

…Mmil””9M)1u；27TWWW/E/・WyV»WlZ4|r/tHAMwtr®nstrver••一，“””V

“\"MI,■〃■!?_<«nf・皿•cer/•"/CMrsn/，6f"MW•I-•a^KM

[ro(rt*icde10tailf/rar/1neutron/neviron-serverlog

^odellrwntron-wr^flHTMl：DHCPX2236M：43：5«

iodi.18rwutrofl.Hnwr|16TW)：Ztt2-W-«12：«34M3IKIUFOMutrM.vsgi[req・65»)eM・ba59・<WeM16・95dB20f6cE17fN51t464C丸M”7«W5U>28

%f243«MUS恂HS9MW--]：'；♦任，.」；：3M?'>>M.l/wtwodcs)mhMc2?M0-Uh4Hb4ScS.

KTw/i.rmm<.wiu

，他HEE”E416M|;M22"XU;$S:34,M(IMI呻“•优UM&1ctH4?M$l«4$4c5321H?27^2Sb2I

153aMfMMMIUfl7f5)M27--11218%4：,J2