商业银行基于VMAX3完成数据迁移及同城容灾技术手册

1、 商业银行基于VMAX3完成数据迁移及同城容灾技术手册 目 录 TOC o 1-3 h z u HYPERLINK l _Toc65358812 1 VMAX3硬件结构与技术概述 PAGEREF _Toc65358812 h 3 HYPERLINK l _Toc65358813 2 VMAX3运维管理 PAGEREF _Toc65358813 h 15 HYPERLINK l _Toc65358814 3 利用VMAX3及SRDF/S完成数据迁移及同城容灾搭建案例 PAGEREF _Toc65358814 h 24【摘要】本文从商业银行运维管理角度出发，结合VMAX3技术要点，以VMAX100

2、k/200k为例介绍存储管理工具，逻辑配置，及利用SRDF/S进行数据迁移及同城容灾搭建案例。从硬件架构和软件特点出发，使读者了解与熟悉VMAX3存储产品的运维要点：如物理架构新特性与冗余性、实施配置、SRDF及容灾架构、SRDF/Metro技术要点、监控维护等。希望读者能通过本文熟练掌握VMAX3管理和运维工具，能提高存储采购选型、运行维护效率，提升具体项目场景中关键技术的实际运用灵活性与准确性，在符合监管部门容灾架构要求的基础上，提升商业银行关键业务系统可靠性和连续性。1 VMAX3硬件结构与技术概述Dell EMC VMAX3 是Dell EMC公司在2014年问世的第三代高端VMAX存

3、储系统，型号包括VMAX100/200K/400K，积淀两代VMAX产品VMAX/e和VMAX2之后，Firmware Code和体系结构都表现得更加成熟与稳定。在此基础之上，随着全闪和NVM/e技术成熟，Dell EMC发布了VMAX ALL FLASH和 PowerMAX产品系列高端存储。本文将以VMAX3中VMAX100K/200K为例，着重介绍实际运维管理中涉及到的技术，并分享利用SRDF为关键技术，完成数据迁移和保护的实施案例。1.1 VMAX3高可用硬件架构VMAX100k/200k/400k的硬件结构按部署方式分为紧凑排列、分布排列和这两种的混合排列三种方式。分布排列和混合排列是

4、当机房的空间有限、列头用电到达上限或者地板集中承重能力不足时才考虑的部署方式，本文以常用的紧凑排列部署方式为例介绍VMAX3各型号的物理组成情况。图1：VMAX100k/200k/400k 单引擎物理部署图如图1所示，物理架构图中可以看出VMAX3的物理架构中各组件为冗余设计，每个系统机柜（System Bay）的引擎由两个控制器（Director）组成，机柜的物理磁盘单元（DAE）由双PDU供电。发生紧急掉电时，控制器由双备用电源（SPS）保护，系统柜1下面的一组备用电源是为用于控制器互联的一对MIBE和以太网交换机做掉电保护用的。图2：VMAX3引擎逻辑配置图与VMAX2（VMAX10K/

5、20K/40K）产品不同，二代产品的DAE还是需要备用电源进行掉电保护的，而VMAX3则改将紧急掉电前CACHE中的数据，写入引擎中的冗余的FLASH盘中（图2中引擎slot0/1/6/7的位置），而不再写入到DAE中。图3：VMAX100k/200k/400k 双引擎物理部署图为增配更多引擎，VMAX3配置了双引擎系统柜，当然每个柜中会减少两个物理磁盘单元的位置，增加两个控制器，构成双引擎模式，最大扩展部署分布如图3所示。选择双引擎架构来承载关键业务，想必是出于业务对存储处理能力、缓存数量、业务端口数量有最低限制的要求，而对于容量的极限扩展能力相对要求不高。用于采购和技术方案的详细参数指标详

6、见VMAX3-系列产品指南，项目实施初期的物理安装要求详见VMAX3-系列站点规划指南。1.2 VMAX3基本逻辑配置讲起大多数VMAX3的逻辑对象配置工作，很多客户购买了该产品后，实施厂商已经按照具体使用需求，完成了大多数的配置选型、设备下单、运输安装、初始化、存储映射、以及操作系统多路径软件部署、逻辑卷识别和参数调整等逻辑配置工作。如果采购多台存储用于多地多中心的容灾环境，针对各地系统的容灾规划，存储间的逻辑部署工作也会由原厂来完成，主要包括存储SRDF端口的逻辑配对，生产容灾主从SRDF存储组配置，SRDF远端、目标端存储pair配置，以及数据同步关系的初始化、启停和查询的一系列逻辑操作

7、等。1.2.1 存储映射配置大多用户都是从存储映射开始的，VMAX3在映射关系中的概念，大部分可以从其他存储厂商的概念移植过来，了解VMAX3存储系统实际硬件配置和初始化信息的基础上，就可以整理出存储映射所需要的信息了。存储初始化基本配置信息： 存储系统硬件信息：序列号、引擎及/Cache、VaultFlash，前端口数量/速率、磁盘类型/容量/数量以及热备盘情况 初始化信息：设备微码版本、可用引擎数、可用内存数、是否DARE加密、是否需要大机支持、开放平台支持、RDF模式等 主机信息：业务主机名称、系统版本、集群关系、HBA卡名称、PN号、WWN号 空间需求：空间RAID保护类型、主机卷组名

8、、所需容量、存储卷名称与数量等 端口分配：按不同的业务系统分配不同的前端口，存储端形成对应的端口组，并确保端口所在不同Fabric冗余掌握上述信息，按部就班进行主机磁盘分配与映射，确认与配置步骤如下：查看存储资源池（SRP）-查看磁盘池（Thin Pool)-根据业务IO类型选择服务级别（自动FAST配置）-存储端口组(Port Group)-主机端口组(Initiator Group)-逻辑卷组成的存储组（Storage Group）-存储与主机映射关系（Masking Views)，具体的配置在后面web界面中会介绍，详见Dell EMC Unisphere for VMAX Online

9、 Help1.2.2多路径软件部署路径（Path）是指主机与存储系统逻辑单元之间的物理链路，包括主机总线适配器（HBA）端口，电缆，交换机，存储系统接口和端口，以及逻辑单元（LU）。逻辑单元指可作为单一存储卷被寻址的物理或虚拟设备。对于iSCSI标准，路径指Initiator-Target-LU。图4：是否有PowerPath的IO分布对比图Dell EMC的存储多路径软件为PowerPath（这里简称PP），PP对不同操作系统会有对应版本，其作用是基于主机系统管理各主机至存储路径，聚合冗余路径提高可用性，并动态均衡路径IO负载功能。PP可以管理Dell EMC主流存储产品（Symmetrix

10、、Unity、VNX等）以及其他厂商设备。选择性的安装PP，取决于实际使用场景和个人习惯，由操作系统工具、集群管理工具或数据库存储管理工具来管理逻辑单元未尝不可，但PP比较各操作系统自带的多路径软件，在故障切换、负载均衡和其他特性上具备一定优势，具体的安装配置方法，可以参考PP的Readme文件。1.2.3 主机逻辑卷识别如果需要PP多路径软件，个人习惯于安装好多路经软件（包括License的导入）后，再进行主机端的磁盘扫描，实际部署时会规避掉一些多路径软件设置和操作系统中路径聚合定义管理混乱的情况发生。主机端进行SCAN逻辑卷操作，新部署的系统常用重启操作完成主机对逻辑卷扫描（Scan）动作

11、，已有业务运行的操作系统，当存储系统对逻辑卷或端口进行过配置变更之后，也可以通过系统本身或Solution Enabler配置管理工具进行扫描，具体的方法可以参考Host-Connectivity-Guide-for-Linux/VMware ESX SERVER等主机连接手册。逻辑卷被识别后，由PowerPath相关命令进行管理。相信每位存储管理员都会有一份主机逻辑卷名称（或PowerPath的伪磁盘名称）、容量、存储LUN ID的对应关系，后续的容量变更、TimeFinder实施、容灾切换等变更维护工作和故障监控、故障影响范围确认、性能监控，都会以此信息为准，即使有自动化运维工具的，也需要

12、将这些信息导出留存。1.3 SRDF技术Symmetrix Remote Data Facility (SRDF)是一种基于Symmetrix的用于保障业务连续性和远程灾备的解决方案，通过对多台 Symmetrix进行配置，在不同地点实现多点、实时的数据备份。Symmetrix从最早的DMX系列，到配置Enginuity VMAX10k、20k、40k阵列，再到运行HYPERMAX VMAX100k、200k、400k、全闪250F/450F/850F/950F，发展到运行PowerMaxOS的PowerMAX2000、8000系列，SRDF也在不断迭代，适应硬件架构的改进。但典型的拓扑结构和

13、操作模式变化不大，只是结合TimeFinder等技术，与集群软件的配合，衍生出众多应用不同场景的方案。自HYPERMAX以来，SRDF/Metro的双活技术出现，使存储阵列本身脱离了存储虚拟化网关制约，为双活数据中心提供了新的技术手段。1.3.1 SRDF典型拓扑银行业根据人民银行对数据中心要求，以及自身实际的建设需求，可以采用同一数据中心的两站点保护拓扑，和数据中心间的多站点SRDF拓扑结构。根据业务级别以及容灾容错具体要求，选择恰当的拓扑结构，配合SRDF操作模式完成数据保护与容灾切换等应用场景。表1：SRDF适用场景双站点拓扑表2：SRDF适用场景多站点拓扑1.3.2 SRDF/Metr

14、o在传统SRDF配置中，双站点SRDF架构中业务主机应用程序主机只能对 R1 设备进行读/写访问。R2设备为只读，禁止写入。但是在SRDF/Metro配置中，应用程序主机对R1和R2设备均可进行读/写访问，可以同时写入到设备对的R1和R2端，R2设备使用与R1设备相同的外部设备标识。标识包括设备结构和设备WWN。这一共享标识意味着R1和R2设备跨越两个阵列对应用程序主机显示为一个虚拟设备。SRDF/Metro可以部署在单个多路径主机环境中，也可以部署在群集式主机环境中。图5：SRDF/Metro部署环境每个群集节点都有专用途径来访问单独的存储阵列。在这两种配置中，对R1和R2设备的写入都将同步

15、拷贝到另一个阵列中的配对设备，磁盘锁和写时序逻辑由SRDF/Metro 软件协调处理，使SRDF两端设备保持一致的镜像。SRDF/Metro配置中发生单侧设备不可用或设备间连接中断，SRDF/Metro 通过可靠稳定的第三方阵列或虚机见证者（vWitness）确认故障点，参考PowerMaxOS code版本、RDF连接架构（是否具有SRDF/A DR分支）及端口使用情况、bias设置作为判断依据，选择出提供服务的一端存储，避免单侧主机不可访问或“裂脑”情况发生。阵列和虚机两种witness可以并行使用，但生效的仅有一个，当所有witness均失效时，SRDF/Metro会变由active/a

16、ctive模式变为active/bias模式，按照预设，保护性地使一端变为bias可读写而非bias的另一端不可访问。在同城异地三中心或四中心的灾备架构中，可以将按下图中方法将Metro的任意一端或者两端复制到不同的第三、第四中心或者共同的第三中心。图6：SRDF/Metro多站点部署2 VMAX3运维管理2.1 VMAX3支持的典型管理工具及版本这些组件为HYPERMAX提供的管理工具，选择典型介绍：Unisphere for VMAX V8.4Unisphere for VMAX是一款基于Web的应用程序，便于快速调配、管理和监视阵列，具备存储性能与配置的REST API接口。Soluti

17、ons Enabler V8.4Solutions Enabler 提供管理存储的综合命令行界面 (SYMCLI)，SYMCLI命令可以在主机上交互运行或者在脚本中调用，可配置TimeFinder、SRDF等存储软件，监控设备配置与状态，执行部分设备控制操作，具备REST API接口。Mainframe Enablers V8.1以大型机为主要支持对象的存储命令行监视、管理软件组件。GDDR V5.0地理位置分散的灾难重启软件本身不提供复制和恢复业务，而是在计划性与灾难性宕机发生时，或者容灾切换演练情况，监视执行管理配置好的事件定制步骤，快速且无人为干预的完成业务切换。SMI-S V8.4支持

18、SNIA存储管理计划（SMI）的ANSI存储管理标准，使不同厂商存储管理技术可以相互操作，便于监控异构存储资源。VASA 提供程序 V8.4支持vCenter更好的管理VMFS存储（包括VVol）的配置与保护情况，给vSphere管理员提供更多存储信息，补充插件和工具的使用，满足虚拟化的性能和可用性需求。其他软件eNAS, SRDF/CE Migrator等针对VMAX FILE、SRDF和数据迁移工具的管理软件如果有兴趣也可以单独了解2.1.1 WEB界面WEB界面可以通过存储自身的虚拟控制台进行登录，也可以连接到安装了Unisphere for VMAX的主机上进行管理。存储自身虚拟控制台

19、管理IP需要在设备初始化时，由工程师配置进存储；而管理主机进行Web管理前，需要与存储在SAN网络通讯，识别到管理GK盘，部署过SE和Unisphere for VMAX软件，开通8443端口等，当然管理机视图和可执行的操作会比存储自身控制台丰富和全面。访问地址：https:/:8443/univmax/，访问后可针对存储逻辑卷，存储端口、主机端口、映射关系、数据保护等进行管理，管理界面如下：图7：Unisphere for VMAX Web管理界面2.1.2 SYMCLI命令命令行管理工具常部署在管理机上作为日常管理的使用场景，也常部署在TimeFinder或者SRDF执行的业务系统中，配合

20、业务需求，将配合查询或备份的场景命令脚本化。Solutions-Enabler的安装配置、存储控制管理、TimeFinder操作和SRDF用户手册，均有详细的使用手册。2.1.3集成存储监控工具集成存储监控管理工具通过存储的REST API接口，有针对性地进行性能数据收集分析、事件监控处理、容灾切换等场景的集成统一管理。用户常采用成熟软件产品或者定制化开发，实现存储设备自动化运维、统计报告生成和前瞻性分析等。此类软件有IBM Spectrum Control，DELL EMC ViPR，开源软件XoruX STOR2RRD以及利用开源Zabbix监控数据采集和Grafana监控界面展示实现针对

21、自身存储定制开发产品。图8：STOR2RRD监控管理工具2.2 性能与监控2.2.1 性能分析与报表Web中Performance-EMC View中可查看存储整体、存储组及热点情况，选择观察统计时间之内的前、后端口IO、吞吐量、存储缓存落盘延迟情况以及主机读写请求。图15：性能与监控整体视图整体观察性能数据后，可针对存储进行实时分析、本源分析和趋势分析：图16：性能分析视图需要生成性能报告时，选择Chart，时间段、均值峰值和相关参数指标，在右侧形成图表。图17：性能报告视图2.2.2 日常故障监控自动远程监控如果用户的网络条件允许存储设备通过加密互联网配置Dell EMC远程监控及支持系统

22、，（包括call home，Webex、ESRS等多种模式），会自动报修设备异常并由远程工程师处理解决，需要现场维护的时候，自动通知现场工程师进行现场维护。但出于行业监管和安全的要求，金融行业普遍需要采用本地监控方式自行监控处理故障。WEB查看存储状态及告警在Unisphere for VMAX中System-System Dashboard中查看存储各硬件部件状态及健康检查，运行健康检查HealthCheck之后刷新检查当前Status系统状态：图18：存储系统健康检查结果在Unisphere for VMAX中System-Alerts中查看故障事件图19：存储系统告警列表SYMCLI命令

23、行及集成监控环境登录到安装有Solutions Enabler的主机，执行以下命令查看主机状态：列出该主机所连接的存储信息symcfg list图20：symcfg结果示例查看存储设备的日志信息：symevent -sid -v list -start -end 图21：symevent结果示例事件信息需要关注告警控制器（Reporting Director）、告警类别（Category）、等级（Severity）以及故障代码和描述信息，便于定位故障与保修描述。再列举一些常用设备状态查看命令：查看系统设备状态，正常状态为Normalsymcfg -sid list -env_data图22：s

24、ymcfg env_data结果示例查看系统故障磁盘，正常状态没有找到故障设备symdisk -sid list -failed上述命令可以写在定时任务中，便于每天查看执行结果，或者推送到集中监控平台触发事件告警、分析与处理流程。3 利用VMAX3及SRDF/S完成数据迁移及同城容灾搭建案例3.1 案例背景介绍案例通过在线方式将数据迁移到新数据中心进行多批次的新业务验证和迁移演练，保证在不改变现有生产架构、不影响现有业务的前提下，最小化业务切换窗口，完成业务系统数据迁移和生产数据中心平滑切换。原有业务在A、B每个数据中心均由主、备小型机主机与IBM V7000存储运行数据库，两数据中心之间的两

25、台V7000通过MetroMirror进行同步复制。新建数据中心C将作为迁移后主中心，原有主中心A将作为迁移后的备数据中心，原B中心将不再使用。两台VMAX100k存储分别在A和C两中心部署、通过配置和SRDF/S的操作，实现数据迁移演练、业务验证和数据中心切换的工作。图23：数据迁移三中心示意图3.2 兼容性考量迁移的关键是需要确认A中心主机集群两种多路径软件共存的兼容性。在共用HBA adapter前提下， 两款多路径软件在系统中兼容共存，而且可以管理各自的逻辑磁盘而不干涉管理其他磁盘路径正常IO操作，是该方案可通过系统LVM实现迁移的重要前提，系统环境和兼容性确认和安装要点如下供参考。3

26、.2.1 系统环境与软件相关信息操作系统：AIX，版本：6100-06-02-1044源端存储型号：V7000存储FirmWare：对应多路径软件SDDPCM：目标存储型号：VMAX100K存储FirmWare：5977.1131.1131对应多路径软件PowerPath：3.2.2 兼容性确认兼容性确认参考了SDDPCM和POWERPATH的相关手册，理论上确认了同时在AIX系统中安装这两款成熟的多路径软件的可兼容性。如下图，解读Multipath Subsystem Device Driver Users Guide的意思，LVM等主机IO都是调用AIX中多路径磁盘的驱动实现读写和路径冗余

27、的，而两种厂商多路径软件均在遵循系统磁盘多路径驱动的基础上，结合自身存储特点优化而成的驱动子集，互不冲突互不干扰共同调用共享HBA驱动，完成对各自逻辑磁盘的管理。图24：SDDPCM与其他厂商存储共存另外，在PowerPath for AIX6.1的手册中，明确列出可与日立、IBM、惠普等厂商存储多路径兼容的列表。而且如果上述软件已在系统中安装，则PowerPath将不再对下列存储逻辑卷类型进行支持，也就是仅支持自家存储。图25：PowerPath对其他厂商存储多路径软件兼容列表如果系统中最早安装了PowerPath，需要为系统增加上述存储及多路径软件，需要首先设置PowerPath不要去管理

28、其他厂商存储，再进行软件安装。以增加IBM存储为例，则运行：powermt unmanage class=ess兼容性理论上确认之后，基础环境搭建之前，我们测试了在上述系统环境中已存在SDDPCM的环境，安装PowerPath的实际效果，软件安装后并不影响原磁盘管理，同时对目标存储磁盘识别和管理也正常，并未重启系统，理论和实践的兼容性测试，为后续迁移的成功奠定了关键技术基础。3.3 基本环境搭建阶段数据中心A和C按照双站点SRDF/S模式进行搭建，与新数据中心站点C的完全新建不同，原主中心A在切换之前的所有操作，需要在原有生产环境不受任何影响，在线完成下列配置：A中心SAN交换机配置：生产主机

29、与VMAX100k存储zone配置、与C中心SAN交换机级联配置，A中心主机安装PowerPath多路径软件、识别存储逻辑卷、在HACMP环境中通过LVM完成V7000存储与VMAX100k逻辑卷的镜像（VMAX100k逻辑卷数量与容量与V7000一致，容量不小于V7000卷）数据中心A和C存储间完成SRDF/S配置：RDF端口、两中心逻辑卷配对、以及由A至C中心的SRDF/S同步方向。其中关键步骤为：在A中心存储管理机上建立动态SRDF组，并添加多组A_dev_id:C_dev_id的设备对文件dev_pair.txt#symrdf addgrp -label dyngrp4 -rdfg -

30、sid -dir -remote_rdfg -remote_sid -remote_dir #symrdf createpair -f dev_pair.txt -sid -rdfg -type r1 -invalidate r23.4 数据迁移演练与业务验证阶段该阶段需要发起A中心至C中心的数据同步，数据同步后，C中心利用迁移来的生产数据进行参数修改、业务验证、新业务间联调等工作，同时为迁移演练提供准确的数据同步与业务启动、验证时间，经过多批次的验证和迁移演练时间压缩后，业务部门内外报备，申请最小停机窗口进行真实数据迁移与数据中心切换。其中关键步骤：在A中心存储管理机上执行查询、发起同步和断

31、开SRDF数据通讯的命令查询并确认SRDF同步方向，由local的A中心存储ID至remote的C中心存储ID。（-i 参数为自动查询间隔时间，time为秒数，可用此命令估算同步数据时间）#symrdf -g dyngrp4 query -i time首次发起由A向C中心全量同步：#symrdf -g dyngrp4 est full增量发起由A向C中心同步：#symrdf -g dyngrp4 est查询确认同步速度和同步状态为sync之后，断开SRDF使C端存储可读写#symrdf -g dyngrp4 split3.5 数据中心真实切换数据中心真实切换时，将有序停止原A中心业务，数据同步

32、至C中心后，断开存储复制，在C中心有序启动业务并验证业务。关键决策时间点内，小概率业务验证不成功，则有序停C中心业务并启动A中心业务，确定原因后再申请迁移窗口；若业务验证成功，则更改SRDF/S同步方向，由新主中心C向新备中心A同步数据，同时拆除A中心主机LVM镜像，保留VMAX100k逻辑卷，完成主中心至容灾中心的快速切换。其中关键步骤为：在确认C端为主中心后，状态为split的SRDF可以执行存储复制方向互换，下面命令仍在A中心存储管理机上操作，执行确认后查询，R1和R2位置存储已对调#symrdf -g dyngrp4 swap对调后发起establish动作，就会由C中心的新R1同步数据到A中心的R2端，使A中心作为C中心的同城容灾中心。3.6 迁移验证由于迁移数据