专题19《数据迁移技术》

1、数据迁移技术作者：许云松工号：03043 课程简介本课程首先讲解了数据迁移的概念、特点和方法，然后介绍了数据迁移的整个过程，最后说明了华为3Com公司的数据迁移方法。 培训目标学完本课程后，学员能够达到：熟悉数据迁移的基本概念和过程了解主要的数据迁移方法课程介绍目 录 数据迁移的基本概念 数据迁移方法 数据迁移准备和检验 华为3Com数据迁移策略 友商数据迁移软件数据迁移的基本概念什么是数据迁移从应用系统角度来说，数据迁移是将历史数据进行清洗、转换，并装载到新系统中的过程。从存储系统角度来说，数据迁移是把数据从一个存储网络设备转移到另外一个存储网络设备的过程。目的是为了平衡工作负载、系统扩充、

2、故障恢复等。数据迁移的基本概念传统的数据迁移方式策略一：应用系统停机，一次或者分多次进行数据迁移。策略二：应用系统不停机，采用专门的迁移程序或者工具进行。迁移过程中产生的I/O资源消耗，同前台的应用程序互相干扰。缺陷：数据迁移过程会影响到应用系统的正常工作数据迁移的基本概念当前的数据迁移需求在线迁移在数据迁移过程中，应用系统不宕机，仍然在运行。不影响应用性能在数据迁移过程中，不影响原有应用系统的性能。存储设备实现数据迁移过程对应用程序透明，在存储设备层实现。 说明：数据迁移完成后，如果要进行应用切换，需要 生产系统暂时中断目 录 数据迁移的基本概念 数据迁移方法 数据迁移准备和校验 华为3Co

3、m数据迁移策略 友商数据迁移软件数据迁移方法数据迁移分类应用层数据迁移使用专门的程序或者工具，在应用程序层面，将数据从旧系统迁移到新系统操作系统层数据迁移使用操作系统的工具，将数据从一台机器迁移到另一台机器存储层数据迁移使用复制等技术，在存储设备层，将数据从一个存储设备迁移到另一个存储设备数据迁移方法不同层面数据迁移的特点应用程序相关，通用性差，影响应用性能操作系统相关，通用性较好，耗费主机资源对应用和操作系统透明，通用性好应用程序应用程序操作系统操作系统存储设备存储设备数据迁移方法应用层数据迁移使用专门的程序或者工具，在应用程序层面，将数据从旧系统迁移到新系统，例如： 通过数据库日志，实现O

4、racle数据库之间的数据迁移。 在Windows环境下，通过ODBC，实现不同数据库之间的数据迁移。比如从SQLServer迁移到Oracle。数据迁移方法数据库日志实现数据迁移具体步骤如下： 在原系统生成数据库日志或者SQL脚本 将数据库日志传送到新系统 在新系统上重做数据库日志，生成新数据数据库工具数据库工具实现远程日志复制实现远程日志复制1.数据访问2.生成日志写入数据3.日志传输4.重做日志生成数据数据迁移方法操作系统层数据迁移使用卷镜像等技术，在操作系统级别，将数据从一台机器迁往另一台机器，或者从一个存储设备迁移到另一个存储设备。例如： 使用逻辑卷管理工具，将数据从原存储转移到新存

5、储。 在Windows环境下，使用“文件和设置的转移向导”，将系统配置和各类文档等信息转移到新机器。数据迁移方法逻辑卷管理实现数据迁移具体步骤如下： 主机连接原卷 主机再连接一个新卷 原卷和新卷之间做数据同步镜像 镜像完成后，将原卷拆离，实现数据迁移原卷新卷镜像拆离原卷新卷加镜像镜像同步原卷数据迁移方法存储层数据迁移采用备份、复制等技术，将数据从一个存储设备迁移到另一个存储设备。例如： 磁带备份方式：将SAN上的数据备份到磁带，将磁带运送到目的地，将磁带上的数据导入到新的存储设备，完成数据迁移。 使用远程复制技术，将数据从一套存储设备迁移到另一套存储设备。数据迁移方法基于备份技术和磁带的数据迁

6、移具体步骤如下： 在原系统上，将数据备份到磁带 将磁带运输到目的地 将数据从磁带导入到新的存储上，完成数据迁移应用服务器生产卷生产卷复制卷复制卷导出导入数据迁移方法基于复制技术的数据迁移具体步骤如下： 应用服务器正常工作 在存储端对卷进行远程复制，复制过程对主机透明 复制完成后，数据迁移也就完成应用服务器复制生产卷生产卷复制卷复制卷数据迁移方法复制技术数据迁移的实现在存储设备层通过复制技术实现数据迁移，可以有三种方式： 在同一类型的存储设备之间实现。 在不同类型的存储设备实现。 通过虚拟存储设备实现。数据迁移方法同类存储设备的数据迁移在同一类型的存储设备之间实现。各个存储厂家的都有类似产品，比

7、如： EMC Clariion系列的mirrorview HDS的Cross-System Copy NetApp的SnapMirror优缺点：使用简单，但受厂家和型号的限制，只用于同一厂家同型号的产品之间。数据迁移方法不同类存储设备的数据迁移在不同类型的存储设备实现。这种方式下，必然有一种存储能够识别另一存储的数据。比如：EMC SANCopy：将IBM DS4000阵列上的数据复制到EMC CX500。优缺点：突破了厂家限制，使用简单。但是管理和控制不灵活，提供此项功能的厂家较少。数据迁移方法虚拟存储设备实现数据迁移在不同种的存储设备之间架设虚拟存储设备，通过它来实现不同种存储之间的互同。

8、 比如： H3C Neocean IV5000 IBM SVC优缺点： 使用灵活方便，兼容多种存储。但需要额外购买虚拟存储设备。目 录 数据迁移的基本概念 数据迁移方法 数据迁移准备和校验 华为3Com数据迁移策略 友商数据迁移软件数据迁移准备和校验数据迁移准备数据迁移不是简单的工作，而是一项工程，牵涉设备、软件、人力物力多方面，需要做好充分的准备。数据迁移的准备工作包括： 选择合适的数据迁移方案根据允许的应用停机时间、数据量、操作系统类型、应用类型、成本等多方面进行综合评估和考虑 准备软件/硬件环境根据选择的方案，准备相应的软件硬件环境。 风险评估和预演对于重要数据的迁移，要充分评估风险，必

9、要的情况下，进行预演，确保数据安全。数据迁移准备和校验数据迁移成功的标准数据迁移成功的标准并不唯一。要根据数据迁移的目的和方式进行判断。具体可分为三种： 完全数据迁移这种数据迁移方式，要求迁移前后的数据，从内容到格式都完全一致，没有任何差异。 部分数据迁移这种数据迁移方式，只要求迁移一部分数据，只要这一部分数据的内容无误，就可确认成功。 归档式数据迁移这种方式的数据迁移，迁移后的数据格式与迁移前的数据格式不一样，无法立即确认成功。需要将迁移后的数据还原到原数据格式，才能进行数据校验。数据迁移准备和校验数据迁移校验数据迁移是否成功，需要数据校验来确定。数据校验主要包括两方面： 数据完整性校验确认

10、数据是否是完成的，是否有数据缺失。比如确认记录条数、文件大小等。 数据一致性校验确认数据是否一致，比如对于数据库系统，不能有未完成的事务结果。目 录 数据迁移的基本概念 数据迁移方法 数据迁移准备和校验 华为3Com数据迁移策略 友商数据迁移软件华为3Com数据迁移策略我司做为一个存储厂商，主要提供存储级别的数据迁移方案。主要包括：IV5000/IX1000的复制功能实现数据迁移IV5000镜像功能实现数据迁移 DiskSafe实现数据迁移华为3Com数据迁移策略基于复制技术的数据迁移策略 数据迁移过程不影响生产系统工作 基于IP网络进行连续数据保护，可适应不同的网络环境 提供全面的数据保护，

11、可有效应对软错误（比如人为故障、病毒）所带来的故障难题 适用于较远两地的数据迁移华为3Com数据迁移策略IV5000复制技术数据迁移数据库服务器应用服务器中间件服务器桌面PCIX5000单IP SAN交换机IV5100LAN/WAN生产卷复制卷数据复制到远端IX5000单IP SAN交换机IV5200FC SAN华为3Com数据迁移策略IX1000复制技术数据迁移数据库服务器应用服务器中间件服务器IP SAN交换机桌面PC生产卷复制卷IX1000LAN/WANIX1000数据复制到远端华为3Com数据迁移策略基于镜像技术的数据迁移策略 数据迁移过程不影响生产系统工作 提供全面的数据保护，可有效

12、应对软错误（比如人为故障、病毒）所带来的故障难题 适用于同一机房内的不同存储之间的数据迁移华为3Com数据迁移策略IV5000镜像技术数据迁移数据库服务器应用服务器中间件服务器桌面PCIX5000生产卷镜像卷数据镜像到远端IX5000单IP SAN交换机IV5100华为3Com数据迁移策略基于DiskSafe技术的数据迁移策略 数据迁移过程不影响生产系统工作； 提供全面的数据保护，可有效应对软错误（比如人为故障、病毒）所带来的故障难题； 适用于从本地硬盘将数据迁移到其它存储系统华为3Com数据迁移策略 DiskSafe技术实现数据迁移DiskSafe生产卷复制卷DiskSafeDiskSafe

13、生产卷生产卷复制卷复制卷本地磁盘DAS阵列SAN阵列S C S I 总线ATA总线FC/IP网络目 录 数据迁移的基本概念 数据迁移方法 数据迁移准备和校验 华为3Com数据迁移策略 友商数据迁移软件友商数据迁移软件 目前各个存储厂商都提供数据迁移方案。 主要的数据迁移产品包括：Softek：StoreAgeEMC：SRDF、SANcopyNetApp：SNAPmirror 博科：Tapestry Data Migration Manager （DMM）HDS：HiCommand Tiered Storage Manage Softek和EMC联合发布：Logical Data Migrati

14、on Facility，LDMF（逻辑数据迁移设备）友商数据迁移软件EMC:SRDF、SANcopySRDF适用于EMC的Symmetrix系列产品，通过复制技术实现同种存储之间的远程数据传输。SANcopyEMC clariion系列产品的功能，用于其它厂家的存储阵列到clariion存储阵列的数据迁移。使用SANcopy功能时，clariion存储将自己当作其它存储的一个客户端，连接上别的存储，再通过硬盘拷贝的方式，将数据复制到自身的硬盘上。友商数据迁移软件HDS:Tiered Storage Manage Tiered Storage Manager 是HDS HiCommand 软件套件的成员 提供多维、分级的存储环境管理机制 采用存储虚拟化技术，实现异构存储之间的动态分层存储管