全省金保工程联网指标数据上传总体方案.doc

附件1全省金保工程联网指标数据上传总体方案一、总体架构全省金保工程联网指标数据上传的数据采集和传输分为省市县三级，省市级间的数据传输由异地总线实现，市县级间的数据传输通过ETL工具软件实现。总体架构如图所示。1、各市、县（市、区）分别按照要求建立交换区；2、在县（市、区）部署数据转换软件、数据校验软件和ETL工具客户端程序；3、在市级交换区部署部联网软件、数据转换软件、ETL工具软件、异地总线和认证软件包。二、数据上传步骤（一）前期准备1、各地根据部、省要求配备前置机，并对网络设备进行系统配置，以保证省、市、县（市、区）前置机间的正常网络通信；2、各地认真分析联网指标项的范围和含义，完成生产区与交换区各表之间的详细对应关系，形成数据转换方案；3、各县（市、区）在交换库中建立一个用户，用户名为JHK_行政区划代码；4、各市在市级交换库中做好以下工作：（1）分别为市本级及所辖县（市、区）建立一个用户，用户名为JHK_行政区划代码，用于存放市本级及所辖县（市、区）上传的数据；（2）创建合并用户（JHK），并授权该用户访问JHK_行政区划代码用户相关数据表的权限。授权脚本如下：Grant select on JHK_行政区划代码.表名 to JHK；（3）创建历史数据用户（JHKLS），授权该用户访问JHK用户相关数据表的权限。授权脚本如下：Grant select on JHK.表名 to JHKLS；（4）在交换库JHK_行政区划代码、JHK、JHKLS用户上按照部指标规范建立指标表。（二）生产库与交换库的同步各地根据生产库业务周期合理制定每月同步的时间点，并在该时间点定期完成生产库到交换库的数据同步：（1）生产库到交换库的数据不进行转换，采用直接同步方式；（2）数据同步方式采用Oracle的导入导出工具。在业务周期的同步时间点后，采用EXP命令（Oracle 9及以上版本），将需要同步的业务数据导出成.DMP数据文件；再将数据文件采用IMP命令导入到交换库中；（3）考虑到性能和效率，生产库和交换库同步时，只同步数据采集时需使用到的相关业务表；（4）若生产库存在多个业务系统，则每个业务系统都需分别进行同步，需要多次导出导入；（5）交换库中只保留一次同步的数据，历史数据在同步前统一清空。（三）数据转换根据各地的数据转换方案，编写数据转换程序（通过Oracle存储过程或ETL工具软件开发），在每月生产库到交换库的数据同步完成后，执行数据转换程序，将交换库中的业务数据根据指标规范的要求，对业务数据进行分析、筛选、转换，产生符合要求的标准的联网指标数据。（四）数据校验1、各县（市、区）在数据转换完成后，执行数据质量校验程序，对转换后的数据进行数据质量检查，并与生产库进行比对分析，根据比对结果进行相应处理；2、各市在交换库中合并市级和所辖县（市、区）的数据后，通过部联网软件的校验功能，进行质量检查和评估。（五）数据上传1、各县（市、县）级通过ETL工具软件向市级上传交换库数据；2、各市级利用部联网软件中的上传功能通过异地总线的方式向省级上传交换库数据。三、数据上传原则在数据采集、转换和上传过程中，应遵循以下原则：1、各级交换库的指标要严格按照人力资源和社会保障部颁