2020年浅谈跨存储数据迁移技术与实现论文

浅谈跨存储数据迁移技术与实现论文 数据迁移方法，要根据具体的存储设备类型、系统软硬件架构、系统数据类型等特点，选择合理、高效、便捷的技术，实现一种或多种技术并用、混用，才能有效地确保业务的连续，减少停机时间，可靠安全地进行数据迁移。目前，业界通用的数据迁移技术实现大致分为如下几类。 1. 1 基于存储的迁移方法 基于存储的迁移特点是基于存储系统的虚拟化技术或存储管理技术，有3 种方法实现:存储阵列内部数据复制，是利用存储阵列内置数据复制软件，将源数据卷复制到目标数据卷，如clone。存储阵列间的数据复制，可基于存储管理系统的远程复制技术不消耗服务器资源，并且可根据阵列io 对主应用的影响，来调整数据复制的速度，但条件有所限制，必须在同种品牌厂商存储设备间进行，如EMC 的VMAX 系列设备同DMX 系列设备间可使用cold push 方式和hot push 方式，利用存储设备具备的数据复制迁移功能进行数据迁移; 或是基于主机操作系统，利用专业的存储复制迁移工具软件，将不同存储连接至同一台主机，实现阵列到阵列的数据复制，但是会耗费一定的系资源，因此要根据应用场景，调整数据复制的速度。利用虚拟化存储技术，将虚拟化设备融合进SAN 架构的存储系统，实现存储设备统一封装，可以很方便地将数据从源端迁移至目的地，并可兼容主流存储设备、支持不同厂商或品牌存储系统间的数据迁移和容灾、适合于频繁的数据迁移，某些业务场景，可实现跨物理存储数据迁移而业务无需中断，但是需要配置专有的虚拟化设备如EMC 的Vplex，或具备虚拟化功能的存储阵列。 1. 2 基于主机操作系统命令的迁移方法 基于主机操作系统命令迁移的特点是数据迁移操作的发起和控制均发生在主服务器端，支持联机迁移，可在不同存储系统间进行，但对主机性能有一定影响，影响承载业务的响应效率，适合于主机存储的非经常性迁移，并且必须根据实际情况评估系统负荷的可行性。 有两种实现方法: 一种是对采用逻辑卷管理器管理的系统通过逻辑卷数据镜像实现数据迁移，但目标卷可添加至原卷缩在的卷组中，有些卷组属性参数支持物理卷数量有限，有一定局限性; 另一种是利用操作系统拷贝( 复制) 命令，如在Unix 系统上使用命令cp、dd、tar 等命令来实现数据复制、lv 复制、文件打包迁移等操作，或在Windows 系统使用图形界面拷贝或copy命令灵活地进行，但需要进行脱机处理。 1. 3 基于备份管理软件的迁移方法 基于备份管理软件迁移的特点是利用备份管理软件将数据备份到物理或虚拟带库，再恢复到新的存储设备中。如采用在线备份，数据迁移过程对服务器业务影响相对较小，但在备份时间点与切换时间点之间源数据因联机操作所造成的数据变化，需要通过手动方式进行同步如数据库备份工具DSG; 如采用离线备份，必须停止服务器业务，在数据恢复成功后再恢复业务运行。备份管理软件可使用存储系统自带软件，第三方备份工具如EMC work。由于选择备份方式不同，数据迁移所耗费的实践会有较大的差异。 1. 4 基于专有应用软件的迁移方法 采用应用软件本身的迁移工具、或第三方支持的迁移工具来实现数据迁移，这种方法依赖于应用软件自身的机制，与主机、存储种类关系不大，可实现实时复制、定时复制、静态复制或数据转储。如Oracle 自带的工具DataGuard 或动态复制工具goldenGate。一般情况下存储系统上都有多种应用系统，因此，数据迁移大多采用多种工具及技术并用来实现存储系统的数据迁移。 根据陕西联通综合联机系统存储现状，运用不同的存储迁移技术，制定数据迁移，实现非正常环境下，跨存储数据迁移。 2. 1 陕西联通综合联机系统现状 陕西联通于xx 年建立综合联机系统，利用两台IBMP570 小型机，利用DMX2000 存储，利用HA 软件构建双机互备份群集环境，采用SAN 架构搭建，如图1 所示。由于设备老旧故障频发，于xx 年购买IBM P740 小型机及EMC VMAX10K存储来替换上述设备。本次迁移面临的困难: DMX2000 与Vmax10K 存储位于不同的San 交换机上，需要跨不同的SAN网络进行数据迁移。ED140 交换机有故障，无法进行配置更改，无法与ED4800 交换机进行连接，配置链路。DMX2000有前端和后端板卡故障，无法进行change bin 操作，不能与VMAX10K 存储建立链路连接，不能使用EMC 存储使用的coldpush 方式和hot push 方式进行数据迁移。迁移系统时间不超过6 h。 2. 2 数据迁移方案 在上述硬件环境下，确定迁移方案，分为两个步骤进行: 首先进行操作系统层面数据迁移，然后利用存储Clone 技术，存储内部再进行数据迁移，实现主机和存储的同时替换。 现有主机各有一块空闲HBA 卡，连接至SAN 48K 交换机，VMAX10K 1F0 和3F0 端口连接到SAN 48K 交换机上，使主机可以访问VMAX10K 上的磁盘，利用OM 软件进行源主机VG数据复制; 然后将复制好数据的磁盘，作为clone 数据源盘，创建对应的Clone 关系，将clone 目标盘分配给新主机，运用全量与增量clone 技术，完成在线实时迁移。利用上述技术，可进行多次数据复制，可在新主机环境中进行多次应用测试，最终的业务割接测试时间很短，30 min 用于启停应用，30 min 可完成数据同步，业务割接1 h 完成。迁移工作全部完成后，拆除虚线链路。 2. 3 系统回退方案 由于前期数据已经进行全量数据迁移，并进行了业务测试，正式割接过程，仅仅适用于追平数据的实践差，数据跨存储迁移无需回退。 2. 4 数据完整性验证方案 数据完整性、一致性验证重点放在小型机系统数据迁移应用侧数据，由于前期测试阶段，首先进行了全量数据同步后的应用验证及数据一致性检测，和多次增量clone 后，应用验证及数据一致性检测。此方案将大量的检查验证工作在正式割接前进行，有充足的实践做全面的检测和一致性检查，因而正式割接仅仅是数据增量，无任何风险。 跨存储数据迁移涉及存储系统、操作系统、应用系统、数据迁移软件及相关数据复制，要求迁移方案数据调度逻辑合理、各个环节迁移技术选择得当、完整性与一致性验证工作充分，必须要根据存储及各自系统的特点制订切合实际的迁移方案、实施策略，而某种单一的数据迁移技术往往无