数据迁移方案_第1页
数据迁移方案_第2页
数据迁移方案_第3页
数据迁移方案_第4页
数据迁移方案_第5页
已阅读5页,还剩56页未读 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

1.1.迁移概述

本次迁移需要完成大连市政府网站管理中心现有线路、设备及软件的迁移,

包括:160台服务器、17台存储、100条裸光纤及3个互联网出口、3套虚拟化平

台,400个虚拟机系统迁移、6iORACLERACs3套SQLServer、1088个业务

应用系统、中国大连主网站及子网站系统130个c

本次机房搬迁的工程,新老机房的对接也将体现本次工程的水准.针对各委办

局的本次机房搬迁业务,通过对现有应用的摸底调查.决定采用大应用系统为保证

其数据安全与应用保护决定采用物理搬迁的方式进行迁移。对部分较小的应用

系统可以采用在线迁移的方式进行,但为了保证数据迁移有效性。建议一条物理

线路的迁移不能同时存在3个以上应用迁移。部分中型应用迁移建议采用冷迁

移或重新部署的方式进行搬迁。因此,必须协调好各单位人员的关系,齐心协

力才可能在预定时间内完成搬迁工程。

本方案是以尽量不影响日常工作或将影响降低到最低为前提的情况下制定

的,即在休息日前开始搬迁工作,到工作日以前完成整个服务器、网络设备的

搬迁、安装及测试。并且在开机以后,继续跟踪系统的运行情况,随时处理系

统运行的异常情况。当然,在各方面人员的充分办调及配合下才能完成本次搬

迁任务。

1.1.1.搬迁规划

1.实施流程:

2.流程主要根据搬迁前的需要制定,主要详细了解当前系统设备情况,系统

运行情况。针对所了解情况制定详细搬迁方案以及应急方案。

3.专业工程师了解用户现在机房的现状以及搬迁后的具体要求。充分考虑在

实施过程中可能出现的各种情况,定制详细可行性的迁移实施计划,将机

房迁移工作对用户的影响降至最小。

4.编制搬迁前及搬迁后的物理布置表、连接表、线缆号表。可根据用户情况

分为多个系统进行分类。

5.在搬迁过程中需要技术人员密切配合。

6.为保证搬迁工作顺利、有序、安全的进行将制定详细的搬迁流程,进行细

致的分工,具体工作安排到人,责任到人。搬迁工作中的每项工作原则最

少安排1人,以保证工作的准确性。

1.1.2.实施流程

1.实施流程:

备品备件工具准

新机房现场检查设备标记数据备份

_o._一尸

目的机房检查表设备端口标记表数据备份表

设备关机设备下架设备搬运设备连接

设备端口标记表

设备开机功能测试

本次设备搬迁我们将尽量细化任务安排保证工作顺利进行。为了搬迁能按

时顺利进行,并且在搬迁后能够保证设备正常运行,我们制定了一系列简单明

了的工作表,帮助工程实施人员确定各种搬迁工作中要执行的工作是否完成。

避免工作失误,避免造成搬迁工作的延误。

2.目的机房的要求:

需要在搬迁前检查目的机房的必要设备设施是否符合要求,本工作表是保

证搬迁后设备能否稳定正常运行的先决条件,在搬迁前由搬迁负责人同相关人

员填写确认单。

1.1.3.设备关机搬迁前准备工作

设备搬迁前的准备工作是非常重要和必要的,因为根据我们的经验,设备

在长时间开机后关机会有意外故障导致不能开机或其他硬件故障情况发生。同

时也有可能由于网络连接错误导致服务器启动后不能对客户正常服务。所以数

据备份,连接端口标识,地址规划,备件准备都是非常必要的。

1.数据备份

数据备份需要搬迁负责人和系统管理人员在没备搬迁前进行备份。这次备

份是搬迁前的最后一次备份,是必须认真完成的一项工作。是在设备出现故障

后能否快速恢复的保证。备份包括服务器的数据备份。网络设备的配置文件备

份等。

2.设备标记

如果设备没有名称,需要为设备编制名称,并在每台设备上用标签打印纸

标记名称,对设备没有详细标记情况下纪录。如有网络管理员有详细标记,替

换此表。此表主要用干设备搬迁后的快速连接,避免由于连接错误导致的服务

不能正常访问,延误搬迁事件等情况的发生。

3.设备的关机下架搬运

设备关机需要按照正常规则正常关机,PC服务器需要先停服务后关机的要

注意先停服务再关机。小型机磁盘阵列按照操作规程按顺序执行每步操作完成

关机。

在关机后所有设备按从上到下的顺序拆卸,下架人员为我公司有多年施工

经验的专业人员。要求下架时先将所有线缆拆除,所有设备要轻拿轻放,以免

造成不必要的损失,设备下架后放在指定区域由搬运人员运送到目的机房。

搬运过程如果要用小推车等运输工具要在车上和设备间加垫缓冲物,以免

在运输过程中震动过大,造成设备配件松动。

4.设备上架

设备上架按照下架相反程序操作。

上架要按照双方提前设计好的位机柜布置图上架,布置图需要设计合理,

节省空间,便于维护,美观。

1.2.应用系统迁移方案

本次对X86服务器上的应用系统进行虚拟化迁移,将其全部迁移到虚拟化

系统上,采用虚拟化自动迁移工具进行迁移。

1.2.1.P2V迁移的选择介绍

虚拟机迁移技术为服务器虚拟化提供了便捷的方法。目前流行的虚拟化工具

如VMware,Xen,HyperV,KVM都提供了各自的迁移组件。尽管商业的虚拟软

件功能比较强大,但是开源虚拟机如Linux内核虚拟机KVM和XEN发展迅

速,迁移技术日趋完善。介绍了虚拟机迁移的三种方式P2V、V2V和V2P,及

他们在内核虚拟机KVM上的实现方法,分成五个部分。本文是第一部分,全面

介绍了虚拟机迁移的各种方法和相应的迁移工具系统的迁移是指把源主机上的

操作系统和应用程序移动到目的主机,并且能够在目的主机上正常运行。在没有

虚拟机的时代,物理机之间的迁移依靠的是系统备份和恢复技术。在源主机上实

时备份操作系统和应用程序的状态,然后把存储介质连接到目标主机上,最后

在目标主机上恢复系统。随着虚拟机技术的发展,系统的迁移更加灵活和多样化。

旧有服务器及其上的旧应用很适合进行虚拟化,但是将这种虚拟后的服务器

迁移到新硬件时存在挑战。在新硬件上虚拟旧有操作系统可以让系统更有效、

更可靠、更节省成本。但当你移动旧服务器到新硬件时,虚拟化硬件支持、设备

驱动和虚拟服务器迁移与安装过程全都袭来,让你措手不及。

1.2.2.系统迁移工具简介

VMwarevSphere是系统虚拟平台,当VMwarevSphere基础架构搭建好后,

如何把现有跑在物理机上的应用迁移到虚拟机上,如何将其他平台的虚拟机迁移

到VMwarevSphere上,或者将其他格式的系统迁导入到VMwarevSphere上,

VMware提供了解决方案VMwarevCenterConverter工具,此工具可以实现P2V

(物理机在线或离线迁移到虚拟机)、V2V(VMware各虚拟机产品之间或和hyper-

V之间的转换),以及把第三方的备份镜像迁移入虚拟机(Symantecbackupexec

SystemRecovery的备份文件)。

vCenterConverterEnterprise和Standalone2个版本,前者属于vSphere

Enterprise授权,后者是免费版;2者功能上几乎相同,前者安装后所有操作界面

集成在vCenter中,后者则是单独的操作界面;后者支持迁移最新的Windows

Server2008R2和windews7

vCenterConverterEnterprise版还有一个可引导的光盘版,用于离线冷迁移使

用;

vCenterConverterEnterprise安装文件集成在vCenter安装包里,Standalone可

在官方免费下载;

vCenterConverter安装包主要分以下3个组件:

vCenterConverter服务器端:实现整个迁移过程的核心组件,执行虚拟机格

式装换和重新配置等关键任务;

vCenterConvener客户端:用户操作界面,用于连接服务器端执行相关任务;

vCenterConverterAgent:在迁移过程中安装在源机器上,用于数据抓取和传

送,迁移结束后会自动卸载;

CenterConverterEnterprise是一种在线迁移的P2V工具,可以实现物理服务

器转换为虚拟服务器的在线迁移工具;因为在线迁移的过成是一个实时复制妁过

程,如果迁移大型的应月或数据库的话,迁移速度比较慢成功几率也比较底。所以

建议在线迁移只适合一些小的应用服务器,或者使用冷迁移(关闭服务器后进行的

数据迁移)

.为什么要迁移服务器

迁移服务器可以为用户节省管理资金、维护费用和升级费用。以前的x86服

务器,体积比较“庞大”;而现在的服务器,体积已经比以前小了许多,迁移技

术使得用户可以用一台服务器来同时替代以前的许多台服务器,这样就节省了用

户大量的机房空间。另外,虚拟机中的服务器有着统一的“虚拟硬件资源”,

不像以前的服务器有着许多不同的硬件资源(如主板芯片组不同,网卡不同,硬

盘,RAID卡,显卡不同)。迁移后的服务器,不仅可以在一个统一的界面中进

行管理,而且通过某些虚拟机软件,如VMware提供的高可用性工具,在这些服

务器因为各种故障停机时,可以自动切换到网络中另外相同的虚拟服务器中,从

而达到不中断业务的目的。总之,迁移的优势在于简化系统维护管理,提高系

统负载均衡,增强系统错误容忍度和优化系统电源管理。

.虚拟迁移的性能指标

一个优秀的迁移工具,目标是最小化整体迁移的时间和停机时间,并且将迁

移对于被迁移主机上运行服务的性能造成的影响降至最低。当然,这几个因素互

相影响,实施者需要根据迁移针对的应用的需求在其中进行衡量,选用合适的工

具软件。虚拟机迁移的性能指标包括以下三个方面:

整体迁移时间:从源主机开始迁移到迁移结束的时间

停机时间:迁移过程中,源主机、目的主机同时不可用的时间

对应用程序的性能影响:迁移对于被迁移主机上运行服务性能的的影响程度。

1.2.3.迁移的步骤

P2V迁移方法

P2v指迁移物理服务器上的操作系统及其上的应用软件和数据到VMM

(VirtualMachineMonitor)管理的虚拟服务器中。这种迁移方式,主要是使用各

种工具软件,把物理服务器上的系统状态和数据“镜像”到VMM提供的虚拟

机中,并且在虚拟机中“替换”物理服务器的存储硬件与网卡驱动程序。只要在

虚拟服务器中安装好用应的驱动程序并且设置与原来服务器相同的地址(如

TCP/IP地址等),在重启虚拟机服务器后,虚拟服务器即可以替代物理服务器进

行工作。

手动迁移:手动完成所有迁移操作,需要对物理机系统和虚拟机环境非常了

解。

关闭原有的物理机上的服务和操作系统,并且从其他媒质上启动一个新的系

统。比如从LiveCD上启动一个新的光盘系统。大部分的发行版都会带有

LiveCDo

把物理机系统的磁盘做成虚拟机镜像文件,如有多个磁盘则需要做多个镜像,

并且拷贝镜像到虚拟主机上。

为虚拟机创建虚拟设备,加载镜像文件

启动虚拟机,调整系统设置,并开启服务。

半自动迁移:利用专业工具辅助P2V的迁移,把某些手动环节进行自动化。

比如将物理机的磁盘数据转换成虚拟机格式,这一向是相当耗时的工作,你可以

选择专业的工具来完成这个步骤。这里有大量的工具可以使用,如VMware的

迁移工具Converter等。

P2V热迁移:迁移中避免宕机。大部分P2V工具也有一个很大的限制:

在整个迁移过程中,物理机不可用。在运行关键任务的环境或有SLA(服务水平

协议)的地方,这种工具不可选。幸运的是随着P2V技术的发展,VMware"Center

Converter和MicrosoftHyper-V已经能够提供热迁移功能,避免宕机。目前,P2V

热迁移仅在Windows物理服务器可用,未来将添加对Linux的支持。

虚拟机所呈现出来的虚拟硬件通常与原始服务器上的物理硬件不同。P2V

迁移工具是这样解决这个问题的:

VMwarevCcntcrConverter:支持从诸如物理况、VMware和Microsoft虚拟

机格式以及某些第三方磁盘映像格式的源进行转换。他替代了旧的迁移工具

VMwareWorkstationImporter和VMwareP2VAssistant。VMwarevCenterConverter

可以支持和识别大多数服务器硬件类型。VMwarevCenterConverter提供以下两

种克隆机制:热克隆(实时迁移)和冷克隆(使用BootCD的克隆)。使用热克

隆时,VMwarevCenterConverter直接与源物理机上运行的操作系统通信,因此

没有直接的硬件级别依赖性;使用冷克隆时,VMwarevCenterConverterRootCl')

提供一个可支持最新硬件的WindowsPE引导环境,因此可以识别大多数物理

服务器系统硬件。目前只支持基于MicrosoftWindows的物理机迁移°

1.2.4.迁移前的准备工作

迁移之前需要考虑的环境因素:

针对源物理机器进行一次数据全备份

校验源物理机器的Hostname

校验源物理机器的网络配置情况

校验源物理机器的OS以及Patch,确认硬件平台和模块

校验源物理机器的硬件的设备,包括NIC、CPU、存储卡以及其他的设备

获取管理员的密码

记录源物理机器的IP/GateWay/DNS/WTNS等设置

确认与P2V的工具运行的机器网络连接是否正常

确认与目标虚拟服务器之间的网络连接是否正常

记录源端的分区的情况和盘符

检查是否有UC和源端特定的硬件有关,比如MAC地址绑定

确认是否有跟硬件相关的特定的应用程序和服务

确认目标的VMFS是否有足够大的空间容量

1.2.5.基于VMwareConverter的P2V迁移

我们建议优先采承Vmware专业的迁移工具Converter进行迁移,所有迁移

过程将不破坏原有的应用。并建议迁移后的虚拟系统先工作在独立的网段中测试

一段时间,待工作稳定之后再逐渐的替换原硬件上OA应用的工作。这样做的好

处是可以最低限度的降低系统迁移的风险。目前最新版本的VMwareConverter已

包含对主流Hnux的支持

VMwareConverter:迁移小助手

Convener助您简单地把实体机器迁移到虚拟机去

1)Convener先创建物理机器的快2)Convener执行必要的取代,

照…加入虚拟化所需的…

…从物理到虚拟,就是这么容易

使用VMwarevCenterConverter,可以自动化和简化物理机到虚拟机以及虚

拟机格式之间的转换过程。使用VMwarevCenterConverter直观的向导驱动界面,

可将物理机转换为虚拟机。

在几分钟内将物理机转换为虚拟机

VMwarevCenterConverter可以在多种硬件上运行,并支持最常用的

MicrosoftWindows操作系统版本。通过这一功能强大的迁移工具,您可以:

快速而可靠地将本地和远程物理机转换为虚拟机,而不会造成任何中断或停

机。

通过集中式管理控制台和直观的转换向导同时完成多个转换。

将其他虚拟机格式(如MicrosoftVirtualPC和MicrosoftVirtualServrer)或物

理机的备份映像(如SymantecBackupExecSystemRecover或NortonGhost12)

转换为VMware虚拟机。

将虚拟机的VMwareConsolidatedBackup(VCB)映像恢复到运行中的虚拟机。

作为灾难恢复计划的一部分,将物理机克隆并备份为虚拟机。

,

SourceVMwareProducts

1.2.6.迁移后的测试和验证

迁移后操作:

•移除不再使用的硬件

•移除原硬件管理软件(比如DELLOpcnManagc,HPSIM等

等)

•安装VMwareTools工具

・调整目标虚拟机的vCPU个数

・调整目标虚拟机的资源预分配

迁移后验证测试:

•确认目标虚拟机的名称,SID值

•确认目标虚拟机的OS和SP级别

•确认系统硬件是否有兼容性问题,测试硬件配置状态

•SCSI控制器类型是否正常

•检查Boot.ini是否异常

・检查Eventlogs是否异常

•确认目标虚拟机的硬件设备包括NIC、CPU、RAM和虚拟磁盘的大小

•确认目标虚拟机的网络是否可通,测试网络访问,及网络速度

•确认目标虚拟机的应用程序是否能正常运行,并检测应用程序日志是否异

•检测一段时间内,目标虚拟机的资源使用是否异常

•确认目标虚拟机的是否可以成功完成VCB备份

•如位于Cluster里的主机,测试Vmotion和HA

1.2.7.迁移后的优化

与任何持续流程一样,你在开始把用户和服务迁移到新平台上时,一定要密

切关注虚拟化项目的运行情况,这是至关重要的。应当建立性能和使用方面的一

些准则及阈值,并评估这些衡量标准对将来的调整及改进而言意味着什么。必要

时,还要考虑调整硬件配置、网络设置或者增加带宽。可以肯定,一旦完成最后

的启动、成功进入虚拟化操作系统,并不是说你就大功告成了,后边还有很多工

作要做。由于物理环境与虚拟环境还是存在一定妁差异性,我们需要不断监控、

评估、调整及改进,来达到最终的迁移效果。

1.3.数据迁移方案

1.3.1.数据迁移实施关键点

根据本项目数据迁移的特点,我们总结出如二三方面关键点:

制定迁移规则和方法保障业务连续性项目组织和协同实施

%现有系统调研%数据迁移策略.组织和责任分工

立迁移规则制定%迁移模拟验证电反饭和沟通机制

%迁移方法和工具与关联系统验证与相关方协同配合

%数据清洗规则%风险控制策略与应急处理机制

1.3.1.1,高效、可靠、安全的数据迁移方法保证迁移数据的完整性、一致性

和准确性

1、原有业务系统的调研分析

主要是调研数据迁移涉及的功能模块、数据结构、标准口径、数据分布、数据

库环境、技术架构、与其他系统之间的数据关联关系、需迁移的数据量、需迁移

的数据样本等进行详细调研,采集相关数据。

2、数据映射规则制订

根据调研采集的信息,分析新旧系统的业务规则、数据结构和数据标准,进行

差异分析,建立数据表、数据字段和代码映射关系和转换规则等。

3、迁移方法的制定、迁移工具的开发和选择

根据调研内容和分析结果,确定数据迁移的具体方法,包括:迁移数据范围、

迁移工具的选择,迁移脚本的开发,迁移程序的开发,手工迁移的工作范围,迁

移后的检查和校验方法等,重点要考虑数据大数据量的特性,建议采用中间库的

方式进行迁移,保证迁移效率。

1.3.1.2,可操作、有效的质量控制措施保障用户和关联系统的业务连续性

1、数据迁移策略选择

根据迁移数据量、试点单位的时间要求以及影响的用户规模等,选择分区

域迁移、一次性迁移、分次迁移、先录后迁以及先迁后录等不同的迁移策略。

2、数据迁移模拟验证

为保证迁移数据的完整性、一致性和准确性,需要制订数据迁移验证方

案,在模拟测试环境按照数据迁移方案进行数据迁移演练,对数据迁移涉及的

技术、流程、时间都进行测试,通过测试新系统的相关业务功能验证迁移后的

数据是否符合新系统的业务逻辑。

3、关联系统验证

为保证与关联的系统的业务连续性,需要制订关联系统的测试方案,并在

模拟环境进行验证完善。

4、风险控制策略

数据迁移是一个复杂的过程,迁移的业务和数据环境也在不断变化,因此

即便经过周密设计和测试验证也并不能保证实际迁移实施就一定会成功,因此

为保证在迁移失败的情况下仍然能保证旧系统和关联系统的可用性,必须制定

风险控制策略和应急处理预案,保证在中途失败的情况下,旧系统和关联系统

仍然能恢复到迁移前的状态,保证用户的业务连续性。

1.3.1.3.科学、有效的项目管理和协同确保数据迁移工作的成功实施

木项目数据迁移是全市性的系统工程,涉及到单位和信息系统校多,需要各

方共同协作才能保证成功,因此科学有效的项目管理是做好数据迁移的首要关键

工作。在项目组建时,应要求各相关方加入项目组,共同研讨制定详细的工作计

划和责任分工,按计划和工作职责进行推进。

协同配合需要从以下几个方面采取措施:

1、组织和责任分工

数据迁移项目组需要支持分区域数据迁移,因此建议采用矩阵式项目组织结

构,项目组按职能划分为需求调研分析组、数据迁移开发组、数据迁移实施组,

按区域为不同试点安排不同的数据迁移实施小组。

2、建立顺畅的沟通反馈机制

本项目数据迁移涉及范围广、工作量大,参与的人员多,是否有一套顺畅的

沟通反馈机制是项目成功的关键。

数据迁移项目组应建立项目组内、项目组外的沟通汇报制度、规范和渠道,

并要求严格执行,在充分沟通基础上保证项目各方思想统一、步调一致,使项目

按计划有序推进。

3、相关方协同配合

本项目数据迁移工作要求试点单位、相关第三方必须紧密协作,共同考虑数

据迁移涉及的业务和技术细节,对策略和风险进行充分论证,及时地分析问题

以寻求改进,消除存在的分歧和误解,以提出最优的数据迁移方案。

4、建立应急处理机制

在数据迁移的各个环节,无论软件环境、还是硬件环境都存在发生问题或故

障的可能性,因此需要建立应急处理机制以处理数据迁移中出现的紧急问题。

在数据迁移项目组中,应建立应急处理制度和应急技术、设备和人员的准

备,在出现紧急问题时,由现场负责人组建应急处理小组,应急小组对问题进

行仔细评估,作出决策并采取相应的措施,同时,应根据问题分级进行相应汇

报和反馈。

1.3.2.数据迁移的实施策略

现场调研分析》前期准备)数据迁移实施",迁移数据验证】

迁移环境准各数据规范性验

基础环境调研制定迁移方案就绪证

数宪完整性验

数据环境调研制定迁移方法数据迁出源库

数据一致性验

业务环境调研制定迁移验证数据质量分析

方案证

新系统应用测

数据差异分析数据清洗

构建测试环境试

关联系统应用

数据质量分析

迁移方法验证数据转换测试

数据样本采集制定风险控制

数据测试出具迁移报告

策路

形成分析报告迁移方案审定数据迁入目标数据迁移培训

创建迁移知识

数据补录

数据迁移整个过程可分为四个阶段:

(一)现场调研分析阶段

本阶段主要是调查分析原有系统业务和数据结构,为制定迁移方案、迁移方

法提供依据,具体内容如下:

1、基础环境调研:主要是调查试点单位数据迁移相关的硬件环境、存储系统、

软件环境、网络环境、技术架构,以及数据库构建模式、数据库类型、版本、字

符集、客户端连接配置方法、系统管理员权限和系统维护运行的相关信息、数据

库用户(用户数量和信息、用户登录方法)等。

2、数据环境调研:主要是对原有普通业务系统的数据结构、数据字典、数据

标准、数据分布层级、数据量、数据时间跨度、关联数据表以及与其他系统之间

的数据关联关系等的调研。

3、业务环境调研:主要是调研数据迁移涉及的业务功能、业务口径、业务之

间的勾稽关系以及相互关联的业务系统等,分析影响范围。

4、数据差异分析:建立新旧系统的数据库的数据字典,对开具明细相关表的

表结构、表字段、数据类型、数据长度、主键、外键、是否非空、默认值等进行

差异分析,分析是否一致和可用,在此基础上建立新旧系统数据字典字段映射规

则。

5、数据质量分析:对原有系统开具明细数据的规范性、合法性、完整性和一

致性进行检查分析,找出存在二义性、重复、不完整、违反业务或逻辑规则等无

法迁移的脏数据,分析关联代码的完整性等。

6、形成分析报告:根据以上调研和分析内容,形成原有普通业务系统现状分

析报告。

(二)前期准备阶段

本阶段是在原有系统现状分析报告基础上,结合试点单位的实施要求,制定

合理的数据迁移方案,经过充分论证和测试后,提出数据迁移方法、迁移工具、

数据清理方法以及补录工具。

具体工作如下:

1、制定迁移方案:结合现场调研情况,制定合理的数据迁移方案,方案内容

包括:组织和人员安排、迁移任务安排、迁移进度安排、迁移数据清单、风险及

控制策略、对业务带来的限制与影响、所需资源、前提条件、实施优先顺序、各

项目之间的关联等;数据迁移方案需经试点单位审核确认。

2、制定迁移方法:根据迁移方案要求,在新旧系统数据差异分析和数据质量

分析基础上,制定数据迁移方法,迁移方法包括:数据迁移策略、数据和代码映

射关系、数据清洗规则,选择数据迁移工具、数据清洗工具并开发相关程序和脚

本等;数据迁移方法必须经过验证且经试点单位确认后方可发布。

3、制定迁移方法验证方案:针对数据迁移方法,制定迁移方法验证方案,保

证迁移后的数据符合新系统的业务逻辑。方案内容包括:建立验证指标、制定验

证方法、验证环境搭建、选择和开发验证工具等。

4、制定数据迁移风险控制策略:针对数据迁移中可能产生的问题,提出技术

和业务上的解决方案,风险控制策略包括:人员和组织的保证、不同故障下的应

急处理措施等。

5、建设数据迁移知识库:在本项目知识库系统中创建单独的数据迁移知识

库,数据迁移产生的技术文档、管理文档以及相关标准、制度文档都在知识库中

维护,加强信息共享。

(三)数据迁移实施阶段

本阶段是根据数据迁移方案和经过验证的数据迁移方法,完成数据迁移工作。

主要内容包括:

1、迁移环境准备:根据数据迁移方案和前期注备阶段的要求,相关业务和技

术人员安排就绪,相关方案准备就绪,数据迁移软硬件及网络环境准备就绪,数

据迁移工具与程序脚本安装测试完毕,迁移数据库环境准备就绪,关联应用系统

或部分功能停用并发布公告等。

2、数据迁移:根据数据迁移实施方案中的数据迁移详细步骤,由各环节责任

人按照迂移的前后顺序要求,在给定的操作时间内,利用数据迁移工具和程序执

行数据迁移操作;在每个迁移环节结束后,由指定的负责人根据验证指标对结果

数据进行质量检查和验证,确认无误后再执行下一迁移环节;在出现异常情况时,

由现场数据迁移专家进行排查,必要时启动数据迁移应急预案。

(四)迁移数据验证阶段

本阶段是在数据迁移完成后,对迁移后的数据进行校验和质量检查,根据验

证结果判断数据迁移是否成功,新系统能否正式启用。

主要内容包括:

1、数据验证:通过数据质量检查工具或编写有针对性的检查程序进行数据校

验,验证数据迁移后的数据是否符合新系统的数据规范,验证数据的合法性、完

整性和一致性。

2、应用测试:通过应用系统对新迁入的明细数据进行业务逻辑验证,通过新

老系统各自的报表工具,对数据进行查询,并比较最终的报表结果。

1.33数据迁移的工作内容

1.3.3.1.数据迁移启动工作内容

浪潮和政府一起进行数据迁移方面的准备,开会讨论协调以便获取项目实施

必要的人员、技术、工具、费用等各项资源,具体内容如下:

序号数据迁移启动工作内容

1成立数据迁移组织机构

2编写数据迁移实施规划方案

3制定数据迁移项目管理制度

4制定数据迁移工作流程文档

5制做数据迁移工作文档模板

序号数据迁移启动工作内容

6数据迁移工作范围界定

7数据迁移工作资源准备

8数据迁移实施规划方案评审

.数据迁移现场调研工作内容

数据迁移现场调研工作对被迁移数据现状详纽分析,包括包含被迁移系统的

数据结构、业务口径、数据分布层级、数据库环境、技术架构、与其他系统之间

的数据关联关系、数据量等详尽情况,形成分析报告。数据迁移现场调研工作内

容具体如下:

序号现场调研工作内容

1组建现场调研组

2确定调研工作内容

3制定调研计划

4实施现场调研

5政府现场调研

6编写并汇总现场调研报告

7评审现场调研报告

,数据迁移方案制定工作内容

数据迁移现场调研工作结束后,根据局方要求,结合现场调研情况,制定合

理的数据迁移方案,数据迁移方案须经局方确认。数据迁移方案制定工作内容具

体如下:

序号数据迁移方案制定工作内容

1分析现场调研情况

2编写数据迁移方案

3数据迁移方案评审及完善

1.3.3.4.数据迁移方法设计开发工作内容

按照迁移方案要求,结合调研现状分析,进一步分析源系统和目标系统的数

据对应关系,设计数据迁移方法、数据清理方法,开发迁移工具、补录工具等。

数据迁移方法设计开发工作内容具体如下:

序号工作内容分类具体工作内容

迁移数据需求分析

1数据迁移分析数据迁移方法分析

数据字典整理

数据迁移工具功能设计

数据迁移工具功能开发

数据迁移工具开数据迁移工具软件集成

2

发与集成数据迁移工具测试与完善

数据补录工具功能开发

数据补录工具测试与完善

数据迁移规则设数据源信息配置

3

计迁移数据数据项管理设计

序号工作内容分类具体工作内容

数据过滤规则设计

数据清洗规则设计

数据转换规则设计

数据分组规则设计

数据排序规则设计

数据字段对应关系设计

数据迁移任务调度设计

数据迁移任务设数据迁移任务串、并行设计

4

计数据迁移任务增量抽取策略设计

数据迁移任务重新抽取设计

1.3.3.5,数据迁移方法验证工作内容

数据迁移方法设计开发工作完成后,搭建数据迁移验证环境,验证数据迁移

方法的合理性、准备性以可行性,保证迁移后数据的准备性、完整性、一致性。

数据迁移方法验证工作内容具体如下:

序号工作内容分类具体工作内容

编写数据迁移方法验证方案

数据迁移方法验证方案评审

1数据迁移方法验证准备

搭建数据迁移验证环境

准备模拟迁移模拟数据

序号工作内容分类具体工作内容

迁移数据数据项定义

数据过滤规则加载

数据清洗规则加载

数据转换规则加载

数据分组规则加载

数据排序规则加载

数据迁移规则、策略加

2数据字段对应关系加载

数据迁移任务调度配置

数据迁移任务串、并行配置

数据迁移任务增量抽取策略配

数据迁移任务重新抽取配置

规则策略合理性、准确性检查

模拟执行数据迁移

数据迁移过程监控

数据迁移过程日志分析

3模拟数据迁移及验证迁移数据的质量检查

业务功能验证数据

数据迁移方法修正及完善

数据补录工具验证

序号工作内容分类具体工作内容

编写数据迁移方法验证报告

4数据迁移方法总结

数据迁移方法验证报告评审

.数据迁移实施工作内容

序号具体工作内容

1政府数据迁移实施计划

2准备数据辽移环境

3数据迁移规则加载

4数据迁移任务执行

5数据验证及数据补录

6编写数据迁移报告

7评审数据迁移报告

1.3.4.迁移现状调查

本迁移项目涉及全市的相软硬件设备。本次迁移将ORACLERAC、SQL等

数据库。根据调研结果,对部分老旧服务器进行数据库的辽移

.源服务器配置

数据库迁移前,我们会对源数据库服务器进行详细调研,表格如下:

源数据库服务器配置:

硬件平台

操作系统版本

环境拓扑图

源数据库软件配置

数据库类

数据库版

单实例

/RAC

数据库尺

源应用服务器软件配置

应用服务

器类型

应用服务

器版本

1.3.4.2.目标服务器配置

数据库迁移前,我们会对目标数据库服务器进行详细调研,表格如下:

目标数据库服务器配置

硬件平台

操作系统版本

目标数据库软件配置

数据库类型

数据库版本

字符集

目标应用服务器配置

硬件平台

操作系统版本

1.3.5.数据库迁移

.迁移准备工作

在数据迁移前,我们应该记录、统计原有数据库的完整信息,方便在迁移完

成后做对应的检查工作。记录的信息主要有:

>记录数据文件、表空间状态

>目前系统的运行情况,按照用户纪录:

>纪录目前系统中的对象数量以及状态

>如果该查询结果中存在INVALID状态的对象,必须纪录对象的名称、类型

并在迁移工作正式开始前确认这部分对象应该的实际状态。

>纪录目前系统中的索引数量以及状态

>如果该查询结果中存在INVALID状态的索引,必须纪录索引的名称、类型

并在迁移工作正式开始前确认这部分索引应该的实际状态。

>纪录系统中的用户、角色权限。

>数据库版本

>数据库字符集、国家字符集

>数据库时区版本

1.3.5.2.备份与恢复

在数据库运行过程当中,难免会遇到诸如人为错误,硬盘损坏,电脑病毒,断电

或是其他灾难,这些都会影响数据库的正常使用和数据的正确性,甚至破坏数据库,

导致部分数据或是全部数据的丢失.因此数据库的备份技术在于建立冗余数据,也

就是备份数据.

备份与恢复技术适合在同平台之间进行数据库迁移,对于异构平台之间迁移

数据库,必须选择合适的数据库迁移方法。

1.3.5.3.数据库迁出

为了不影响生产环境、为了提高迁移过程的可操作性,本方案采用EXP和

IMP的方式先将生产服务器上的数据以dump文件的方式导出,然后将数据库

dump文件导入到测试用oracle数据库中。

实现逻辑备份和逻辑恢复.

在数据库用户之间移动对象.

在数据库之间移动对象

实现表空间搬移.

,数据库迁入

数据库提供一款自动化图形迂移工具,通过该工具将测试用数据库中的数据

迁移到新建数据库中,迁移完成后自动验证数据的完整性与正确性。

填写迁入及迁出库的相关信息:包括地址、端口、数据库实例名称、用户名

及密码等,并选择迁移方向。

点击选项选择执行对象的类型、传输内容、并发设程数、字符类型等。

然后点击运行按钮开始数据迁移,迁移后工具会自动进行数据完整性校验,

给出校验结果,生成迁移日志。

,应用系统测试验证

1.3・5.5.1.应用切换

在应用整体切换至测试环境浪潮服务器系统验证的前提下,同步开始进行

应用系统的并行验证。该阶段的重点内容是通过技术测试、业务测试确保应用迁

移前后程序的正确性、数据处理的正确性。

此部分主要由政府、应用开发商和浪潮集团三方联合完成。在上述研究工作

顺利完成的基础上,基于浪潮服务器正式进行应用系统的整体切换和上线试运行

工作,浪潮潮应用服务器从测试环境转换至生产环境作为生产运营系统群集的扩

充,任何一方出现问题,都由其余应用服务器接管应用处理

1.3.6.数据库和应用优化

整个系统完成迁移后,系统可以正常使用,还需要进一步配置和优化,从而

使其具有更强大的功能和运行在最佳状态。如果在设计阶段因为各种因素没有进

行较为合理的配置和计划,那么就需要在后期对数据库系统进行优化。

数据库系统性能的优化,除了在设计阶段对其逻辑存储结构和物理存储结构

设计进行优化,使之在满足需求条件下,时空开销性能最佳外,还可在运行阶段,

采取一些优化措施,使系统性能最佳。我们讨论的性能优化主要指如何使用数据

库所提供的优化手段来提高系统性能。大多数性能问题并不是一种孤立的症状,

而是系统设计的结果,因此性能优化就集中在那些导致不可接受特征的同一的、

固定的和潜在的问题上。优化是数据库设计中“计划“、“设计”、“监视“和“优化”

四大步躲的最后一步。除了用优化器来优化数据库的性能外,DBA还可通过优

化数据库的参数设置等手段来优化数据库的性能,对参数的细微优化便能影响系

统整体性能。

为了有目的优化系统性能,首先应明确优化目标,然后再根据目标优化各种

初始参数的设置,以达到更好效果。可有如下几个优化目标:

♦应用程序设计的优化

♦指定类型SQL语句的优化

♦内存使用的优化

♦数据存储、物理存储和逻辑存储的优化

♦网络通信量的优化

DBA可选定上述一个或多个目标来实施优化。性能优化主要是通过优化初

始化参数来实现。本专题从以下几个方面来谈谈如何优化数据库,使其具有最佳

性能。

⑴优化初始参数

(2)优化内存

⑶优化I/O

(4)优化资源争用

(5)其它参数优化

1.4.风险及控制策略

1.4.1.风险分析

序号事项风险

沟通是否通畅将是本项目的一个主要风

1协调资源多

险,并且可能影响工作进度

2数据环境复杂数据质量风险

3业务系统停机原系统业务持续服务风险

1.4.2.风险控制及应对

数据迁移风险控制及应对主要思路:

•在局方的领导下下成立第三方厂商支持组织。

•加强数据迁移方法及数据的验证工作。。

•分次迁移,非业务服务时间完成。。

具体如下:

序号风险控制及应对具体描述

在局方的领导下下成立

1协调资源多,工在领导下下成立第三方

第三方厂商支持组织,

作进度风险厂商支持组织

加入项目负责人及运维

支持人员,在数据迁移

的整个过程支持组织与

数据迁移小组紧密配

合,确保各个工作步骤

有序、正确执行。

2数据环境复杂,加强数据迁移方法及数对数据迁移方法设计合

数据质量风险据的验证工作理性、规则加载准确性的

检查,并加强数据迁移方

法的验证工作以及数据

质量验证工作,确认数据

迁移方法,保证数据迂移

后的数据完整、一致、准

3原系统业务持续分次迁移,非业务服务时数据迁移按照并行运行

服务风险间完成期前与系统切换前两个

时间点分两次进行数据

序号风险控制及应对具体描述

迁移实施,减少原有系统

停机时间,并在非业务服

务时间(如晚6点到早8

点的时间)完成

附录:浪潮数据迁移系统集成工具介绍

为增强数据迁移的可扩展性,集成现阶段成熟的数据迁移工具,依据系统抽

取规则与抽取工具相分类原则,使得数据抽取规则在不同抽取工具上进行数据的

抽取,以应用Informatic工具为例说明:

1、跨异构数据库的关联、支持关联条件的复杂程度、自定义函数的实现、过滤

条件的复杂程度

2、支持的数据类型,包括Binaray>Date/Time>Decimal>DoubleInteger>String、

Text^Real、SmallInteger等

3、抽取断点,支持参数抽取的灵活程度,如何抽取远程数据,抽取数据的事务处

理支持,抽取的字段可以动态修改,对抽取的环境变量配置情况,环境变量

可以动态修改

4、支持脏读,数据的提交方式,支持各种数据库的批量装载功能包括Oracle、

informix、DB2、SQLServer,针对不同数据库具有批量加载能力包括。rack,

informix,DB2,Sybase,teradata

5、在转换过程中支持数据比较的功能,在设计调试时能否对每个转换环节进行

数据预览,在设计调试时能否对每个转换环节进行性能监控,在转换过程中

支持按行按列的分组聚合,能否提供直观的视图、灵活的配置以及能否自定

义功能,提供丰富的转换函数,支持诸如validate、translate>Hierarchy

Flattcrn,Map,Merge等转换功能,ETL过程中数据转换的可追溯能力。

6、不同类型运算所耗的系统资源状况,包括常见的Join、lookup、mappings

aggreagation、sort、pivotfilter等。

7、内置提供数据预览和数据质量评估的功能。

8、内置提供具有强大的元数据管理功能。

Informatica产品系列主要包含以下产品:

PowerCcntcr:目前业界最佳的集成元数据管理的数据整合、交换和共享平台

InformaticaPowerCenter,可以从任何数据源获取数据,包括各种关系数据库,ERP

应用、以及各种文件系统;同时,利用它的图形界面控制台可以容易定义任何数

据的抽取、汇总和计算,整个数据集成的过程不需要进行脚本的编写;利用它的

计划执行能力,可以在正确的时间调度正确的作业,来完成数据的转换;利用数

据库的触发机制,可以完成实时的数据复制和增量备份等工作;实现加载流程合

理化(Workflow);高性能的加载(iQadPartition);极大的减轻了日后系统的维护量。

PowcrExchangc:按照需求,可以很容易地访问分离、复杂的系统,并从中得

到数据,实现数据增量获取。

DataExplorer:是一整套数据探查、发现和映射工具。

DataQuality:业务数据质量软件。

本项目中目前仅使用PowerCenter和PowerExchange另个产品。

11工具介绍

Informatica公司产品是建立统一数据服务平台。它支持企业各种类型的业务

系统数据的整合、交换和共享,从而形成一套准确、干净、完整的数存储,增强

对企业决策者对商业活动的敏感度,从而提升自身的竞争力。

数据消费餐

内部外部

险1日*断葡蛤&

应用FW*上度3工具门户或网烂弃

分质员

第率

5然

55

效需来源

2文本文件*aifl

informMe皎一的题齿,成军幺

Informatica产品系列主要包含以下产品:

PowcrCcntcr:目前业界最佳的集成元数据管理的数据整合、交换和共享平台

InformaticaPowcrCcnter,可以从任何数据源获取数据,包括各种关系数据库,ERP

应用、以及各种文件系统;同时,利用它的图形界面控制台可以容易定义任何数

据的抽取、汇总和计算,整个数据集成的过程不需要进行脚本的编写;利用它的

计划执行能力,可以在正确的时间调度正确的作业,来完成数据的转换;利用数

据库的触发机制,可以完成实时的数据复制和增量备份等工作;实现加载流程合

理化(Workflow);高性能的加载(LoadPartition);极大的减轻了日后系统的维护量。

PowcrExchangc:按照需求,可以很容易地访问分离、复杂的系统,并从中得

到数据,实现数据增量获取。

DataExplorer:是一整套数据探查、发现和映射工具。

DataQuality:业务数据质量软件。

1.2集成思路

根据业务要求,实现与具体工具无关的ETL规则管理工具,通过此工具能够

实现业务表单制作,抽取规则定义和抽取调度管理,最后通过生成标准XML,

供INFORMATICA工具执行。

1.3集成方案

1.3.1服务器配置

在应用服务器上安装infa客户端,假设应用服务器B为AIX机器,地址为

XX.XX.XX.XXo

第一步:从CVS上获取Informntica安装后的文件,并上传到R上。

第二步:修改informatica下的domains.infa文件。

在vPortals〉和〈/Portals,标签之间添加如下内容:

<vcctorxsi:typc="dcmainscrvicc:Portals"objVersion=ul.1.18">

<domainName>Domain_hfjs25</domainName>

<addressxsi:type=nmetadata:NodeRef*objVersion=,,1.1.18H>

<host>XX.XX.XX.XX(服务器A的地址)v/host>

<port>6001(服务器A的端口)</port>

</address>

</vector>

第三步:修改A1X下特定用户下的.profile文件。

#domains.infa所在的目录

INFA_DOM/\INS_FILE=/bea/user_projects/dGmains/inspur_zhpt/informatica/

domains.infa

exportINFA_DOMAINS_FILE

#LIBPA

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论