新一代代理保险应用组件的数据迁移与数据检核的实施研究

开发中心导师责任制结业论文题目：新一代代理保险应用组件的数据迁移与数据检核的实施研究学员姓名： 导 师： 部 门： 开发三处 2014年 7 月 18日新一代代理保险应用组件的数据迁移与数据检核的实施研究新一代代理保险应用组件的数据迁移与数据检核的实施研究摘 要新一代建设中，提出建设代理保险应用组件，在完整承接原银保系统业务功能的基础上再进行功能拓展，满足客户多元化需求，提升客户满意度。在我行建立全行统一的银保平台，支持代理保险业务的全流程管理，同时，整合内外部信息，为客户营销和业务发展提供支持，强化流程控制，提高风险管控能力，促进代理保险业务的健康持续发展。新一代代理保险应用组件上线后，为确保业务资料的连续性，保障业务的平滑过渡，原有组件的数据需要迁移至新一代系统中。因此需要一套银保系统到新一代代理保险应用组件的数据迁移总体方案和实施方法，指导迁移工作的同时为后续多项数据相关工作提供指导原则和管理细则，并向应用与组件开发组提供所需要的业务输入，作为后续工作的相关依据和参考内容。当然，迁移方案要符合新一代的工艺。同时，为保障数据迁移的质量，保证迁移后的数据达到预期的要求，保持原数据的完整性并满足业务和技术的要求，需要进行数据迁移检核工作，包括对源数据数据范围规范和数据质量的检查、源数据装载检核、使用数据迁移专用检核工具对迁移环境的源数据和目标数据进行数据检核。本文中对相关技术、我行新一代数据迁移技术方案和数据检核工具、以及代理保险应用组件和原银保系统进行了研究，简要描述了本人一年中参加的实践工作和收获，同时，介绍了代理保险应用组件的数据迁移总体方案的设计和实施，描述了数据检核程序开发、数据迁移演练和迁移检核演练的过程。对总体方案进行了挖掘，并整理、总结和提炼了自己实际参与的工作，结合方案的实施和自身的实践，提出了一些新的思考。关键词：代理保险 数据迁移 数据检核 目 录1绪论31.1研究背景31.2研究意义31.3研究内容41.4论文结构42相关研究和技术综述62.1Informix数据库与Oracle数据库的对比62.1.1Informix数据库介绍62.1.2Oracle数据库介绍72.1.3两者的比较82.2Shell脚本与存储过程82.2.1Shell脚本82.2.2存储过程92.3我行新一代数据迁移工艺和相关工具102.3.1数据迁移方案设计102.3.2开发数据迁移程序122.3.3数据迁移基础检核工具介绍143学员一年实践总结164代理保险应用组件数据迁移方案184.1数据迁移分析184.1.1新一代组件数据迁移需求分析184.1.2新一代组件数据迁移数据源分析现状系统数据来源分析组件间数据来源分析初始化数据来源分析194.1.3新一代组件数据迁移范围194.1.4现状系统数据迁移分析214.1.5数据迁移差异分析214.1.6清理补录分析数据清理分析数据补录分析224.1.7组件间数据依赖或关联关系分析224.1.8相关组件迁移需求224.2环境需求234.3数据迁移设计234.4数据迁移工具开发设计244.4.1数据迁移方式及路径244.4.2基本设计思想254.4.3数据迁移转换设计254.4.4数据检核工具设计264.5数据迁移演练和上线切换275用统一检核工具进行数据检核295.1检核规则介绍295.2使用检核工具对代理保险数据进行检核306总结与展望326.1总结326.2展望及改进建议3334 1 绪论1.1 研究背景我行原有银行保险综合业务服务系统(IIAS)，简称银保系统，用于代理我行保险业务，新一代建设中，提出建设代理保险应用组件，在完整承接原银保系统业务功能的基础上再进行功能拓展，满足客户多元化需求，提升客户满意度，在我行建立全行统一的银保平台，支持代理保险业务的全流程管理，同时，整合内外部信息，为客户营销和业务发展提供支持，强化流程控制，提高风险管控能力，促进代理保险业务的健康持续发展。新一代代理保险应用组件上线后，为确保业务资料的连续性，保障业务的平滑过渡，除了初始化数据外，原有组件的数据需要迁移至新一代系统中。因此需要对银保系统与代理保险应用组件之间的数据迁移进行规划，通过方案的编写，形成宏观上完整、清晰、严谨，（并最终指导编写成）微观上具体、可操作、可落地的数据迁移方案体系。方案将描述银保系统到新一代代理保险应用组件的数据迁移总体设计方案和实施方法，并指导编写后续的业务测试案例与场景、业务测试脚本，同时为数据检核结果确认、数据质量改进决策、业务规则检验与完善提供指导原则和管理细则，并向应用与组件开发组等提供所需要的业务输入为其后续方案设计、编写技术详细设计说明书、技术手册、操作手册和维护手册等提供相关依据和参考内容。当然，代理保险应用组件的数据迁移方案应该符合新一代数据脱敏与数据迁移的工艺要求，要在保证原有数据完整性的前提下做到对敏感数据的防泄漏保护，对数据迁移实施全面的监控和保护，避免明文敏感数据被读取，保护敏感数据在迁移过程中的安全。为保障数据迁移的质量，保证迁移后的数据达到预期的要求，保持原数据的完整性并满足业务和技术的要求，需要进行数据迁移检核工作，包括对源数据数据范围规范和数据质量的检查、源数据装载检核、使用数据迁移专用检核工具对迁移环境的源数据和目标数据进行数据检核。1.2 研究意义新一代代理保险业务迁移的目标是实现新一代代理银保系统完全取代现有银保系统。要顺利、平稳实施银保系统的保险公司客户向新一代代理保险系统的迁移，并随客户迁移工作的全部完成，最终实现新一代代理保险系统完全取代现有的银保系统。过渡期保证新旧系统业务处理及信息交互一致，保证数据返还下游系统的数据接收和信息加工不受影响，保证新老系统报表信息的一致性，对外统一展示。要实现业务迁移的目标，数据迁移至关重要，代理保险数据迁移的主要数据来源为银保系统，此为A+系统，数据迁移需要迁移原银保系统的主体保险业务数据，部分不完善的客户信息来源于客户信息管理组件，部分历史交易信息中的新老员工编号对照关系来源于机构员工组件，目标代理保险C模型与银保系统数据库对照关系需要建立起来。当然，本文中数据迁移方案完全符合新一代数据迁移方案设计的工艺，全面考虑了数据迁移过程中包括定义转换规则、识别映射关系和数据检核在内的各个步骤。数据迁移与检核是项目实施中重要的一环，本文作者通过这个视角，对代理保险业务有了比较全面的认识，通过对数据迁移总体方案的挖掘和对自己实际参与的工作的提炼总结，对数据迁移方案设计和实施也有了更深的理解，并提出了一些新的思考。1.3 研究内容本文中描述了新一代代理保险应用组件的数据迁移和数据检核的相关背景和整体方案，总结了这一年来参加的实际工作，对代理保险数据迁移方案的实施过程、数据检核的过程以及几次数据迁移演练和迁移检核演练进行了梳理，提出了一些自己的想法。1.4 论文结构本文研究了代理保险应用组件的数据迁移和数据检核，并对总体方案实施过程和自身实践工作进行了挖掘，具体章节安排如下：第一章：阐述选题的背景、研究的内容和意义以及论文的组织结构。第二章：对informix数据库、Oracle数据库、存储过程等相关技术，我行新一代数据迁移技术方案和数据检核工具，以及代理保险应用组件和原银保系统进行综述。第三章：简要描述本人一年中参加的实践工作，以及这些实践工作给我带来的思考和提高。第四章：代理保险应用组件的数据迁移方案设计和实施，数据检核程序的开发，数据迁移演练和迁移检核演练过程中给我带来的思考。第五章：总结与展望。论文的最后，致谢一年来在工作和生活上帮助我的导师和同事。2 相关研究和技术综述2.1 Informix数据库与Oracle数据库的对比2.1.1 Informix数据库介绍Informix是IBM公司出品的关系数据库管理系统（RDBMS）家族。作为一个集成解决方案，它被定位为作为IBM在线事务处理（OLTP）旗舰级数据服务系统。 IBM对Informix和DB2都有长远的规划，两个数据库产品互相吸取对方的技术优势。在2005年早些时候，IBM推出了Informix Dynamic Server（IDS）第10版。目前最新版本的是IDS11（v11.50，代码名为“Cheetah 2”），在2008年5月6日全球同步上市。INFORMIX基本功能和特性：目前我们经常使用的INFORMIX产品为INFOEMIXOnLine11.5，该产品在数据库性能、数据库管理及应用开发方面都有了很大的提高，推出了很多非常有用的新特性。INFORMIX-OnLine动态服务器的核心技术是基于INFORMIX的动态可伸缩结构(DSA)，该技术使INFORMIX成为强大的多线索数据库服务器，利用该技术使得数据库系统能充分发挥对称多处理器或单处理器结构服务器的能力，并在数据库可伸缩性、可管理性和性能等方面有很大突破。OnLine动态服务器通过提供一种有效的并行数据库结构，使数据库在管理日益增大和复杂化的数据库的同时帮助改善整个系统的性能和可伸缩性。OnLine同时提供高级事务处理能力，即通过新的并行数据查询技术而达到最优的决策支持，保证高可用性和数据完整性，Online 还提供大型主机能力的系统管理，多媒体处理能力等强大功能，同时提供了一系列图形化的监控工具。Online还支持INFORMIX所有基于SQL的应用开发工具以及许多第三方工具，并可以在许多基于UNIX的单机或网络环境下的计算机系统上运行。INFORMIX-OnLine动态服务器的最大优点在于它允许不停止系统的状态下动态监控、分配和撤消数据库服务器进程，这一特点使其在保持高可用性的前提下保证对资源的最有效的分配，所有这些处理对应用系统和系统上的用户都是透明地进行的，不会有明显的影响。这一特点的好处有：通过动态分配和配置数据库系统资源的能力而达到最大限度的可伸缩性；对于OLTP和决策支持应用的高级的多线索的并行处理性能；动态联机地管理系统以对任务进行监控和对负载进行分配；为高级的并行I/O操作和高可用性的数据库管理进行局部的表分割；通过动态分配共享存储器高速缓存和其他资源而达到的高可用性；通过绕过操作系统的限制而降低操作系统的开销；任务的优先级化调度和数据库级的加锁不同于操作系统级的加锁；跨所有可用的数据库服务器进程的动态负载平衡。2.1.2 Oracle数据库介绍ORACLE是Oracle Database的简称，是甲骨文公司的一款关系数据库管理系统。最早的版本于1979年出现，并不断发展，1982年正式更名为oracle，目前的版本为2007年发布的Oracle 11g。ORACLE的核心是分布式数据库，是目前最流行的C/S或B/S体系结构应用系统最常使用的数据库之一。ORACLE作为一个通用的分布式关系数据库系统，它具有完整的数据管理功能，有一个完备关系的产品系列，能够实现分布式处理功能。ORACLE基本功能和特性：ORACLE作为目前使用最广泛的关系数据库管理系统，它具有如下功能和特性：1、支持多用户、大事务量的事务处理：Oracle支持多用户、大数据量的工作负荷。同时能充分利用硬件设备、支持多用户并发操作、保证数据一致性。2、有完善的数据安全性和完整性控制：Oracle通过权限设置限制用户对数据库的合法使用。利用权限控制技术实现用户对于数据库的存取，同时实施数据库审计（Database Audit）、追踪（Trace）以等功能来监控数据库的使用状况。3、提供丰富的数据库操作的接口：Oracle提供了支持大量应用程序、软件、高级语言、异种数据库等对于 Oracle数据库的存取。如与高级语言的接口 Pro*C、Pro*Fortran、Pro*Cobol；与客户端应用软件Programmer/2000的接口、对标准接口 ODBC、JDBC、SQLJ以及 OCI可调用编程函数的支持也比较到位。4、支持分布式数据处理：从 Oracle7开始，Oracle数据库就支持分布式数据处理。分布式计算环境可以充分利用计算机网络系统，使不同地域的硬件、数据资源实现共享。将数据的处理过程分为数据库服务器端及客户应用程序端，共享的数据由数据库管理系统集中处理，而运行数据库应用的软件在客户端。提高了应用的效率，同时降低了应用的复杂度。5、可移植性、可兼容性、可连接性：Oracle数据库可以在不同的操作系统上运行，不同的操作系统的Oracle应用软件可相互移植，据统计一个Oracle应用从一种操作系统移植到其他操作系统时不需修改或只修改少量的代码，移植时其代码的修改率仅为 4%。6、用ORACLE能轻松的实现数据仓库的操作。2.1.3 两者的比较两者的对比可以从以下几个方面简述：1.管理方面：管理工具方便性oracle多，informix少；2.维护方面：oracle作业比较细化，但较繁琐，informix维护相对简单的多；3.容灾及高可用性方面：oracle容灾的机制健全（oracle RAC,production-standby结构等），informix的高可用性及容灾相对简单（HDR技术）。通过上述两个数据库特征的介绍，我们不难看出，当数据量急剧增大，并发用户数急剧增多，实时性要求又高的情况下，ORACLE的支持更加到位。为此经常需要将INFORMIX下的数据库迁移到ORACLE。2.2 Shell脚本与存储过程2.2.1 Shell脚本Shell Script，Shell脚本与Windows/Dos下的批处理相似，也就是用各类命令预先放入到一个文件中，方便一次性执行的一个程序文件，主要是方便管理员进行设置或者管理用的。但是它比Windows下的批处理更强大，比用其他编程程序编辑的程序效率更高，毕竟它使用了Linux/Unix下的命令。换一种说法也就是，shell script是利用shell的功能所写的一个程序，这个程序是使用纯文本文件，将一些shell的语法与指令写在里面，然后用正规表示法，管道命令以及数据流重导向等功能，以达到我们所想要的处理目的。更明白地来说，shell script就像早期dos年代的.bat，最简单的功能就是将许多指令汇整写一起，让使用者很容易地就能够一个操作执行多个命令，而shell script更是提供了数组，循环，条件以及逻辑判断等重要功能，让使用者可以直接以shell来写程序，而不必使用类似C程序语言等传统程序编写的语法。shell和shell脚本有什么区别？确切一点说，Shell就是一个命令行解释器，它的作用就是遵循一定的语法将输入的命令加以解释并传给系统。它为用户提供了一个向Linux发送请求以便运行程序的接口系统级程序，用户可以用Shell来启动、挂起、停止甚至是编写一些程序。 Shell本身是一个用C语言编写的程序，它是用户使用Linux的桥梁。Shell既是一种命令语言，又是一种程序设计语言(就是你所说的shell脚本)。作为命令语言，它互动式地解释和执行用户输入的命令；作为程序设计语言，它定义了各种变量和参数，并提供了许多在高阶语言中才具有的控制结构，包括循环和分支。它虽然不是 Linux系统内核的一部分，但它调用了系统内核的大部分功能来执行程序、创建文档并以并行的方式协调各个程序的运行。2.2.2 存储过程存储过程（Stored Procedure）是在大型数据库系统中，一组为了完成特定功能的SQL 语句集，存储在数据库中经过第一次编译后再次调用不需要再次编译，用户通过指定存储过程的名字并给出参数（如果该存储过程带有参数）来执行它。存储过程是数据库中的一个重要对象，任何一个设计良好的数据库应用程序都应该用到存储过程。这类语言主要提供以下功能，让用户可以设计出符合应用需求的程序：1)、变量说明2)、ANSI（美国国家标准化组织）兼容的SQL命令(如Select,Update.)3)、一般流程控制命令(ifelse、while.)4)、内部函数种类分为系统存储过程，本地存储过程，远程存储过程，临时存储过程和扩展存储过程。存储过程的优缺点罗列如下：优点：1.存储过程只在创造时进行编译，以后每次执行存储过程都不需再重新编译，而一般SQL语句每执行一次就编译一次,所以使用存储过程可提高数据库执行速度。2.当对数据库进行复杂操作时(如对多个表进行Update,Insert,Query,Delete时)，可将此复杂操作用存储过程封装起来与数据库提供的事务处理结合一起使用。3.存储过程可以重复使用,可减少数据库开发人员的工作量4.安全性高,可设定只有某些用户才具有对指定存储过程的使用权有一点需要注意的是，一些网上盛传的所谓的存储过程要比sql语句执行更快的说法，实际上是个误解，并没有根据，包括微软内部的人也不认可这一点，所以不能作为正式的优点，希望大家能够认识到这一点。缺点1：调试麻烦，但是用 PL/SQL Developer 调试很方便！弥补这个缺点。2：移植问题，数据库端代码当然是与数据库相关的。但是如果是做工程型项目，基本不存在移植问题。3：重新编译问题，因为后端代码是运行前编译的，如果带有引用关系的对象发生改变时，受影响的存储过程、包将需要重新编译（不过也可以设置成运行时刻自动编译）。4： 如果在一个程序系统中大量的使用存储过程，到程序交付使用的时候随着用户需求的增加会导致数据结构的变化，接着就是系统的相关问题了，最后如果用户想维护该系统可以说是很难很难、而且代价是空前的，维护起来更麻烦。2.3 我行新一代数据迁移工艺和相关工具2.3.1 数据迁移方案设计先给出该工序的流程图：该工序用于描述在数据迁移过程中，如何进行现有系统数据到目标系统数据的映射关系、数据转换规则和转换后数据检核规则的设计。1. 定义现状系统到C模型的数据转换规则，目的是基于数据差异工序任务中建立的现状系统对C模型的实体和属性映射关系，针对每一个数据差异，进一步建立和确定数据映射关系和转换规则。项目组在完成数据差异分析工序任务，明确了现状系统对目标组件C模型的数据映射关系后，参照数据仓库项目组提供的代码数据映射和转换规则，进一步细化和明确数据迁移的表级数据映射和字段级映射及其相应的转换规则。其输入是项目应用分析说明书中的数据差异说明书和功能差异说明书，参考数据字典，输出是项目业务和数据迁移方案说明书中的现状系统到C模型的映射关系及数据转换规则，步骤大概如下：1.基于数据差异分析说明书中识别出来的项目范围内的C模型实体属性与现状系统数据库表字段的映射关系，确定需要进行现有系统到目标系统的数据转换范围，建立待转换的数据项清单；2. 参照如下指南所述的现有系统到目标系统的数据转换规则，根据数据字典域类型定义的数据转换，对每一个数据项定义和确定数据转换规则。2. 识别C模型到现状系统映射关系，目的是识别数据映射关系，制定现有系统到C模型的数据映射关系，并确定迁移方式。依据数据差异说明书，分析每个数据实体及其属性的业务含义、应用场景及用途，确定C模型数据实体及其属性与现有系统的映射对应关系。然后根据数据映射关系、源数据的质量、数据的缺失情况等来确定迁移方式（数据来源方式）（前置条件：C模型实体及其属性与D模型一一对应）。其输入是数据组件设计说明书、现有系统库表结构以及项目应用分析说明书中的数据差异说明书、功能差异说明书和数据迁移范围说明书，输出是数据迁移方案中的数据迁移数据映射表(C)。3. 定义C(D)模型到现状系统转换规则，目的是明确现状系统和目标组件C的数据映射关系后，依据目标组件的D模型，来细化并确定数据迁移的表级数据映射和字段级的映射及其相应的转换规则。基于现状系统和D模型，建立所有表级和字段级间的映射关系，制定每一个有差异的数据(包括技术、衍生、派生类的数据)转换规则。（前置条件：C模型实体及其属性与D模型一一对应）其输入是项目应用分析说明书中的数据差异说明书和功能差异说明书以及数据迁移方案中的识别数据映射关系（老系统到C模型），输出是数据迁移方案中的定义数据转换规则（老系统到D模型）。4. 定义数据检核规则，目的是制定迁移数据的检核规则，对数据进行检核，保证数据质量。对所有的迁移的数据制定检核规则包括转换前、组件内和组件间检核规则；对于需要补录的数据，建立补录数据的检核规则。起输入是项目应用分析说明书中的数据差异说明书和功能差异说明书以及数据迁移方案中的定义数据转换规则（老系统到D模型），输出是数据迁移方案中的定义数据检核规则。总体来说，数据迁移的过程示意图如下，包括六个检核点和两个检查点。六个检核点分别是补录数据检核，转换前数据检核，组件内数据检核，组件间数据检核，迁移数据测试检核，上线前数据检核；两个检查点分别是映射规则检查和数据文件卸载/加载/传输检查。2.3.2 开发数据迁移程序工序流程图如下：本工序的主要目的是根据数据迁移需求和数据迁移方案，设计和实现数据迁移程序。本工序需要使用数据迁移开发环境。本工序的主要目的是根据数据迁移需求和数据迁移方案中的迁移策略、范围、映射关系、映射规则分析，结合老新库表设计，来设计和实现数据迁移程序。本工序的输出提交件是数据迁移程序设计说明书和开发完成的数据迁移各个环节的程序或脚本。该工序中各个任务的描述如下：1. 数据迁移程序方案设计，目的是基于新老数据库表的实际情况，按照数据差异分析的数据映射关系和数据转换、清理补录、检核等规则进行数据迁移过程需要用到的工具的设计。设计数据迁移过程中用到的工具、程序和脚本，通常包括数据的装载、卸载、转换、检核、测试、回退等各项数据迁移动作。其输入是源/目标数据库表结构和字典、新一代组件数据映射及转换规则表（老系统到C模型、老系统到D模型）、数据迁移检核规则以及项目应用分析说明书中的功能差异分析、数据差异分析和数据质量规则说明，输出是数据迁移程序设计说明书。2. 开发数据补录工具，目的是要开发数据补录所需的程序并经过单元测试，编写数据补录程序代码。其输入是数据迁移程序设计说明书，输出是数据补录工具代码。3. 开发数据转换工具，目的是开发数据迁移转换程序并经过单元测试，编写数据卸载、转换、装载程序代码。数据迁移转换与数据检核、迁移回退一样，都是迁移及回退整个数据处理过程中的一步，考虑迁移程序的整体性，其测试往往需要与其他几个步骤程序联合进行。其输入是数据迁移程序设计说明书，输出是数据迁移转换程序代码。4. 开发数据检核工具，目的是开发数据检核工具及迁移报表并经过单元测试，编写数据检核、迁移报表程序代码。其输入是数据迁移程序设计说明书，输出是数据检核程序代码。5. 开发数据脱密工具，目的是开发数据脱敏工具并经过单元测试，编写和测试数据脱敏程序代码。输入是数据迁移程序设计说明书，输出是数据脱敏程序代码。6. 开发数据迁移回退工具，目的是开发数据迁移回退工具并经过单元测试。输入是数据迁移程序设计说明书，输出是数据迁移回退程序代码。2.3.3 数据迁移基础检核工具介绍该工具的目标如下：q 我行提供统一的技术检核工具，协助各数据迁移项目组完成数据的技术性检核。q 通过一致的基础技术检核指标，对数据迁移过程中的关键点(转前、数据交换，转后)的数据质量(技术性)进行集中管控。该工具的特点如下：q 配置化用户通过配置文件输入待检核数据的格式、检核范围、检核指标等，工具使用预先开发定制的数据检核模块，通过代码拼装自动生成实现用户检核需求的程序。 实现了代码的可重用性，避免的重复的开发。q 统一性统一的数据检核工具，可以保证检核指标和规范的一致性，从而确保对数据质量度量的一致性。集中部署的物理，可以实现数据检核物理设备的统一管理和共享使用，从而达到资源最大化利用。q 扩展性检核工具在软件上具有良好的扩展性，可以扩展检核规则来实现检核功能的扩展。检核工具的系统架构具备良好的横向扩展性，可以通过扩展ETL节点的数量来提高数据检核的能力，以支持更大数据量的检核需求，供更多项目组使用，从而实现非功能性的可扩展性。整个工具的逻辑结构如下图所示：检核工具的总体数据流图如下：输入（需要项目组准备的内容）：Excel作业配置文件：指定检核的范围、内容、规则和待检核数据的信息，属于配置类输入信息。各项目组需要将Excel配置模板文件传递到检核服务器上进行导入；待检核文件：被检测的数据文件、控制文件和校验文件，各项目组需要将待检核文件传输到检核服务器指定的目录。输出：检核报告： 对检核的数据量、检核的结果进行统计后输出的报告；检核结果数据： 检核过程中发现问题的数据。3 学员一年实践总结在近一年的导师责任制学习过程中，我学到了很多，不仅通过阅读资料和与同事交流的方式学习到很多关于新一代全生命周期工艺的知识，对新一代整体的理解有了很大的提高，也学到了很多新一代项目应用的分析与设计方法，更是对代理保险、个人客户综合积分等银行业务方面的知识有了深入的了解。这一年来，我参与了处室多项实际的工作：14年8月份进入开发三处，工作岗位分配在代理保险数据迁移组，参与了数据迁移、数据检核和数据脱敏程序开发工作；11月份为了进入公共组做准备，接触和学习其他小组工作，学习了版本管理和部署相关内容，并熟悉了代理保险系统在P8框架中的开发；之后进入代理保险后台组，全面负责代理保险后台组报表相关存储过程的优化工作，参与了代理保险2.1期0124上线支持；2014年2月份进入个人客户综合积分项目组，参与了现状系统与建模映射分析工作、C模型与现状数据库的数据差异分析工作、业务参数分析工作、数据质量需求分析与数据访问安全需求分析工作，配合业务人员进行个人综合积分应用分析中业务功能定义中操作步骤关联的数据实体信息的填写，参与了应用设计工作，此外，在处室公共组中负责处室内架构专项相关工作的协调跟进。作为新员工，在高质完成分内工作的同时，我一直以锻炼自己的能力为导向，把学习作为自己的主要目的，勇于承担不同的工作任务，并在工作中多总结，多思考。在熟悉处室开发工作，提高自己专业水平的同时也注重去体悟业务方面的知识。理论与实践结合，在实践中加强工作技能，熟悉工作流程。学员参与过的实践工作、在任务中担任的工作角色、主要工作及能力培养情况详见下表。工作实践项目工作角色主要工作及能力培养统一检核工具的学习、代理保险数据迁移检核规则的配置开发、以及全量数据的检核配置检核规则，执行检核学习了数据检核的范围划定和设计方法，掌握了建行统一检核工具的使用证件号与客户信息等敏感数据的脱敏程序的开发开发学习脱敏程序的开发，了解了脱敏的目的和重要性参与大迁移组合项目组内部的多轮迁移演练和迁移检核演练工作实施及协调培养实践能力和协调能力，在实践中对检核、迁移工作有了更深的理解，并通过数据视角对代理保险业务有了新的认识负责代理保险后台组报表相关存储过程的优化工作，参与了代理保险2.1期0124上线支持开发人员熟悉存储过程，新一代应用组件中自动任务的调度机制，培养了动手能力，对代理保险有了深刻理解参与个人客户综合积分项目的应用分析工作和应用设计工作开发人员熟悉个人客户综合积分的业务流程、熟悉新一代应用分析和应用设计的方法处室公共组中负责处室内架构专项相关工作的协调跟进协调培养协调能力接下来，本文主要针对以上实践项目中作者在迁移组的工作内容，展开介绍，由于脱敏程序的开发涉及到敏感信息，不便展开介绍，故主要介绍数据迁移和数据检核相关内容。4 代理保险应用组件数据迁移方案4.1 数据迁移分析4.1.1 新一代组件数据迁移需求分析代理保险数据迁移的主要数据来源为银保系统，需要迁移原银保系统的主体保险业务数据，部分不完善的客户信息来源于客户信息管理组件，部分历史交易信息中的新老员工编号对照关系来源于机构员工组件。建立目标代理保险C模型与现状银保系统数据库的对照关系，不在此赘述。4.1.2 新一代组件数据迁移数据源分析 现状系统数据来源分析代理保险应用组件的数据迁移数据来源为银保系统，物理架构环境部署如下：银保系统采用informix数据库，数据库的详细设计说明在此不再赘述，代理保险数据迁移的范围包含保险公司信息、保险产品信息、销售控制信息、保险业务流水、保单信息、保险客户信息、重空使用信息，主要通过人工初始化、迁移转换、摒弃三种方式实现迁移，其中保险公司信息、保险产品信息、销售控制信息通过人工初始化实现，保险业务流水、保单信息、保险客户信息、重空使用信息等通过转化实现迁移，批量代扣付保费信息、原系统平台参数管理信息不需要迁移。 组件间数据来源分析外部数据只来源于客户信息管理组件和机构员工组件。迁移从客户信息管理组件获取的数据为新一代客户编号。从机构员工组件获取的信息包括机构编号、名称、上级机构、所属南北中心、老员工编号、新员工编号、员工姓名、所属网点等信息。 初始化数据来源分析初始化数据主要为保险公司信息、保险产品信息、网点保险从业资格信息、员工保险从业资格信息、代理保险产品手续费率等内容，详细见映射关系。代理保险初始化数据中，在老系统中有业务开办的保险公司及公司旗下所有产品，需要经迁移环境迁移到P8，或者以版本配合包形式上线，已经没有合作关系的保险公司数据直接由老系统迁移到P9。4.1.3 新一代组件数据迁移范围代理保险1.老系统转换IIAS银保系统原有信息，包括保险公司信息、保险产品信息、保险交易流水信息、保单信息、投保人信息等，原系统包含保险公司信息80家，1200款保险产品，1700万保险交易流水，1700万份保单，1000多万投保人信息2.补录IIAS需迁移到新一代代理保险时，为适应对方规范而需要补充的、原系统没有的数据，包含保险公司补充信息、保险产品补充信息、投保人补充信息等机构员工组件与机构员工组件进行操作员信息交互时，需要业务补录操作员对照信息对公客户信息与对公客户信息进行交互时，需要业务补录对公客户组织机构代码等信息对私客户信息与对私客户信息进行交互时，需要业务补录部分对私客户证件、姓名等信息3.初始化IIAS新一代代理保险中，保险产品模板定制信息，保险产品主题设置信息，保险产品归类信息，保险产品附加说明文档，产品推荐等营销类相关信息，报表展示信息4.由其他新组件输入对公客户信息对公客户所需描述信息，包含保险公司信息和对公投保客户信息，目前有80家保险公司，600个对公账户，对公投保客户在2014年中旬开始出现，数据量较少对私客户信息对私客户所需描述信息，包含个人投保客户1000余万，主要是客户编号、名称、证件类型、代码、邮件、地址、电话等信息机构员工原银保系统操作员相关信息，主要为营运管理及报表操作人员信息，包含操作员编号、新一代员工编号、操作员个人信息、权限设置信息等，原始数据总量在1000左右产品研发行内可售产品展示所需信息，包含保险产品名称、所属保险公司、可售渠道、可售区域等信息，目前有1200款产品代理保险1.老系统转换IIAS银保系统原有信息，包括保险公司信息、保险产品信息、保险交易流水信息、保单信息、投保人信息等，原系统包含保险公司信息80家，1200款保险产品，1700万保险交易流水，1700万份保单，1000多万投保人信息2.补录IIAS需迁移到新一代代理保险时，为适应对方规范而需要补充的、原系统没有的数据，包含保险公司补充信息、保险产品补充信息、投保人补充信息等机构员工组件与机构员工组件进行操作员信息交互时，需要业务补录操作员对照信息对公客户信息与对公客户信息进行交互时，需要业务补录对公客户组织机构代码等信息对私客户信息与对私客户信息进行交互时，需要业务补录部分对私客户证件、姓名等信息3.初始化IIAS新一代代理保险中，保险产品模板定制信息，保险产品主题设置信息，保险产品归类信息，保险产品附加说明文档，产品推荐等营销类相关信息，报表展示信息4.由其他新组件输入对公客户信息对公客户所需描述信息，包含保险公司信息和对公投保客户信息，目前有80家保险公司，600个对公账户，对公投保客户在2014年中旬开始出现，数据量较少对私客户信息对私客户所需描述信息，包含个人投保客户1000余万，主要是客户编号、名称、证件类型、代码、邮件、地址、电话等信息机构员工原银保系统操作员相关信息，主要为营运管理及报表操作人员信息，包含操作员编号、新一代员工编号、操作员个人信息、权限设置信息等，原始数据总量在1000左右产品研发行内可售产品展示所需信息，包含保险产品名称、所属保险公司、可售渠道、可售区域等信息，目前有1200款产品4.1.4 现状系统数据迁移分析银保系统迁移分为6个批次（前两个批次为试点）。本系统不存在同质多源（同一数据存在多个数据来源）的情况。4.1.5 数据迁移差异分析1.数据源数据迁移范围差异2.数据源数据质量差异：经过对生产数据检查，找出不合规数据3.数据源数据技术差异：目前银保系统数据库为informix数据库，采用GB2312编码，与目标oracle的UTF-8格式不同。现状银保系统的数据采用informix的存储格式，未使用特殊的日期格式和时间格式，日期和时间统一按照char型存储。主数据编码规则采用全行统一的规则，对于机构、员工、账户信息，银保系统只进行使用，客户信息从实际采集过程中获取，不进行加工处理。只有保险公司编号信息及流水号、处理状态等附带编码规则。4.1.6 清理补录分析 数据清理分析代理保险源数据系统为银保系统，部分数据从客户信息、机构员工获取，源系统中的数据不进行清理，只会在向新一代代理保险迁移的过程中进行部分数据摒弃，摒弃的数据包括历史凭证打印信息、批量业务明细信息、原有平台参数管理信息、报表统计过程数据、报表统计结果数据。代理保险需要对原系统的内部账信息、机构信息、对公客户编号开展清理工作。从代理保险2.1期开始，不再使用内部账，原系统中使用的内部账全部需要进行清理，拟使用业务清理、技术通过查询余额检查清理结果。原银保系统记录了出单机构，迁移过程中，需要进行机构核实，已经撤并的机构需要转换成新机构，拟向机构信息提请OA数据申请，进行撤并机构信息对照。对公客户编号本次迁移中需要进行再次核实。确保原银保系统迁移到新代理保险的对公客户编号争取无误。 数据补录分析按照最新的会议结论，银保系统不需要业务补录数据，分析中的补录信息均定性为初始化内容，不再以补录的名义进行收集。4.1.7 组件间数据依赖或关联关系分析代理保险与客户信息管理组件、机构员工组件有直接数据关联关系。代理保险使用客户信息管理组件的客户信息，并在本地存储合约快照，日终时与客户信息管理组件进行合约快照信息的同步。代理保险通过机构员工的机构管理组件获取机构层级列表，并通过员工管理进行操作员管理及权限管理。代理保险组件向P9传递全量数据，包括全部业务数据和历史数据。4.1.8 相关组件迁移需求老银保系统配套改造每天将历史明细通过ODS客户端推送给ODS系统。老银保系统(IIAS)将需要迁移的数据导出，传递到代理保险迁移环境。在迁移环境补录数据。主要补录客户信息，如证件类型、证件种类（组织机构代码、营业执照等）、客户法定名称，补录客户信息 后才能获得新的客户编号，才能生成代理保险客户信息。把客户信息发给ECIF。ECIF组件把目标系统的客户编号返回给迁移环境。进行数据检查和初始化。代理保险迁移环境将操作员信息、机构信息、产品合约信息数据传递到P8机构员工。P8机构员工生成新的操作员，并把新、老操作员对照表返回给代理保险迁移环境。代理保险迁移环境将保险公司信息传递到P5外联。把合约索引快照信息（包含：客户编号、产品合约编号、可售产品等）传递到P6客户信息组件。把初始化后有关P8代理保险组件的数据导入代理保险组件数据库。把代理保险相关信息传递给P9数据集成平台。P8机构员工生成新的操作员，并把新、老操作员对照表返回给代理保险迁移环境。4.2 环境需求生产环境 孤岛环境 生产环境对于检核后的数据的业务验证，使用应用组装和应用总装环境进行，详细需求见附件，测试环境无专用迁移测试设备，均复用代理保险设备。在数据迁移专用环境，根据模拟演练需求，进行多轮次迁移脚本测试，形成迁移过程检核报告、样本数据检核报告。数据迁移模拟演练环境使用孤岛环境。4.3 数据迁移设计根据C模型数据转换规则、C模型数据转换规则和D模型数据转换规则，设计了数据迁移检核方案以及数据交换接口设计，详细的数据迁移流程如图所示：迁移详细步骤以及检查检核点活动如下图所示：4.4 数据迁移工具开发设计4.4.1 数据迁移方式及路径数据迁移的方式按照以切换保险公司为单位进行迁移；数据迁移路径：将生产数据装到孤岛环境informix数据库-对informix数据进行处理生成导入数据文件-将生成的导入数据文件装到孤岛环境Oracle数据库中（表结构和原informix数据库保持一致）-按照数据映射规则进行数据转换，按照目标表表结构生成迁移数据-按照数据检核规则进行数据检核-将目标表数据导出生成文件，装入各个目的组件。4.4.2 基本设计思想由业务部门联系保险公司按照新一代代理保险要求提交保险公司、险种等参数的初始化数据，包括现有生产保险公司、险种等参数的映射规则。分析有实体表关联关系的实体表范围，分析对其他字段有影响的字段范围。T-2日将待迁移保险公司的T-3日（含）以前的历史明细数据按照映射规则提前转换生成目标表数据；上线切换当日将T-2日至T日的明细按照映射规则提前转换生成目标表数据；将前述两次转换后的数据合并，然后装入各目标组件。数据文件传输使用目标表的dmp文件，数据迁移文件在各组件间使用Sftp进行文件传输。开发语言方面：infomix半个汉字过滤处理程序使用ESQL-C语言编写；informix源数据导入Oracle数据库使用shell脚本自动执行；Oracle原表数据按照映射规则生成目标数据使用Oracle存储过程实现；源和目标数据转换的检核，使用shell脚本调用Oracle存储过程实现。4.4.3 数据迁移转换设计功能表如下：序号英文名称中文名称输入数据输出数据功能简述1iias_qy_ctrl_lis迁移控制表保险公司迁移规则迁移总控表2iias_qyxz_lis迁移险种控制表保险公司要迁移的险种要迁移险种列表3iias_qyfh_lis迁移分行控制表保险公司要迁移保险公司要迁移分行列表工具依靠这几个表来控制每次迁移任务的执行，每个迁移任务（与目标表是一对一的关系）在迁移总控表中有一条记录，每次执行迁移任务时，工具会读迁移总控表，来确定迁移的数据范围。执行前可以通过工具的相应入口修改范围值，数据迁移程序的运行流程大致如下：1. 查找符合条件的记录，打开游标。2. 逐条读入游标记录数据，生成新旧系统客户号的对照表，把生成的对照表数据写入目标数据库表。3. 关闭游标。为了提高性能，每100000条记录做一次数据库提交。4.4.4 数据检核工具设计主界面如下：表内检核可以进行如下选择：表间选择可以进行如下选择：而特殊规则检核可以进行如下选择：参与了资源管理模块的编码工作，负责挡板资源维护和挡板资源管理的开发。挡板资源的维护，包括查询挡板资源、新增挡板资源、删除挡板资源、删除挡板资源、修改挡板资源、查看挡板资源等操作。此外，数据迁移工具还提供了数据回退的功能。4.5 数据迁移演练和上线切换迁移过程将在PMO（数据迁移组）的统一指导下，由项目组内设的数据迁移小组牵头组织完成数据转换、检核、清理及补录等的整体实施工作。项目内部的业务组、各开发组、数据组通力协作，做好对业务数据清理补录事宜、应用设计支持、D模型支持等方面的配合工作。项目经理和业务经理在迁移过程中，对出现的重要问题进行决策。对于特别重大的问题（如迁移失败或试营业期间发生重大事故，需要整体回退的，或涉及需与协同关联组件、系统共同上紧急版本的情况等），上报至新一代IT管控委员会（或业务管控委员会，亦或是新一代二期项目上线指挥部），予以审议并决策。5 用统一检核工具进行数据检核资源管理包括公共资源维护与公共资源管理。检核工具使用Excel作业配置文件进行作业的配置，提供统一的配置模板，各项目组使用该模板配置检核的范围、内容（主要来自项目组的数据字典）、规则和待检核数据的信息，配置好的作业配置文件需要放到指定的目录。配置模板有5个sheet页，分别用来配置项目组配置信息、系统配置信息、表级配置信息、字段级配置信息和本批次检核数据范围。待检核文件包括：数据文件，各项目组需要按照CCB-NIS-TG-DA-批量数据传输规范要求，将被