银行卡统计分析系统数据映射文件编写规范

PAGE银行卡统计分析系统数据映射文件编写规范文档信息名称银行卡统计分析系统数据映射文件编写规范说明本文档用于银行卡统计分析系统项目组中ETL小组进行数据映射的编写所必须遵守依据的规范，同时该文档也是项目组中所有人员（包括业务人员）以及项目组外想了解系统或获取系统数据时的人员的指引文档。变更历史日期变更描述批准文档资料分发姓名职位机构目录TOC\o"1-6"\h\z\u1 概述 11.1 目的 11.2 预期的读者和阅读建议 11.3 文档约定 11.4 参考文献 12 数据映射文件的规定 23 数据映射文件架构规定 24 数据映射文件内容的规定 24.1 数据映射文件内容结构 24.2 Main部分内容规定 34.3 Frequency部分内容规定 34.4 Mapping部分内容规定 34.5 Filter部分内容规定 44.6 Comment部分内容规定 44.7 Clean部分内容规定（IQ版新增） 45 数据项填写注意事项 5第5页第1页概述目的详细设计说明书的目的是详细设计了银行卡统计分析系统中各个模块的功能、程序、页面样式、处理过程等信息.方便预期的读者对整个系统的了解.《银行卡统计分析系统详细设计说明书》对【银行卡统计分析系统】的电子报表、公共信息栏、数据项查询、辅助采集、多维分析设计和系统管理等进行了完整的定义。预期的读者和阅读建议设计人员系统设计人员的工作是依据《银行卡统计分析系统详细设计说明书》，确保前端Portal展现部分的用户权限管理和控制能满足用户的需要与要求。开发人员系统开发人员阅读《银行卡统计分析系统详细设计说明书》以更好地理解各个模块功能的开发，以及与前端Portal集成展现的用户权限管理控制结构。维护人员系统维护人员阅读《银行卡统计分析系统详细设计说明书》，以便更好地理解各个模块。文档约定参考文献《银行卡统计分析系统需求书》《银行卡统计分析系统需求分析说明书》《银行卡统计分析系统概要设计说明书》《银行卡统计分析系统数据库设计说明书》

数据映射文件的规定数据映射文件统一使用MicrosoftExcel的xls格式进行存储；应用数据区上的一个模型的数据映射集中在一个文件上；中间需要增加临时模型的要做好数据流程关系图，并在ERSTUDIO上体现，临时模型也要用单独的一个excel文件体现。数据映射文件名使用与模型一致的应用数据区实体名来表示。如对模型实体银行卡卡量余额其中项统计表“CA_CARD_IN_BAL”建立的数据映射文件的名字应为“CA_CARD_IN_BAL.xls”。基础数据区到应用数据区mapping过程中需要增加临时表建模的，表名命名为“ptN_应用数据区实体名”,N为{1,2,3,……}数据映射文件架构规定有多个数据来源对应到一个模型实体的，数据映射文件则由多个sheet组成，每一个sheet描述一个子系统表到模型实体的映射；sheet名应能体现源子系统表名的含义且直观易理解。如模型实体【银行卡卡量余额其中项统计表“CA_CARD_IN_BAL”】由借记卡和信用卡按卡种信息分类的多个基础数据区表映射过来的，则在数据映射文件“CA_CARD_IN_BAL.xls”中应分别建立“借记卡xx卡种”、“信用卡xx卡种”等类似这样名字的多个sheet。数据映射文件内容的规定数据映射文件内容结构每一个sheet中映射的描述由下面四大部分按顺序依次构成：<Main></Main><Mapping></Mapping><Filter></Filter><Comment></Comment>每个部分的标志都必须在Excel表格的第一列，且开始标志与结束标志各单独占用一行（即该部分即使没有内容该部分的开始标志与结束标志也不能写在同一行上），每两个部分之间必须留一行空行。为适应IQ版的excel，特新增新标签<Clean></Clean>Main部分内容规定这部分内容有且只有两行（含表头），按照下面的格式进行编写：表名别名备注表名列填写的是转换语句的主表表名（也就是select语句的from后面的表名），别名列是在转换语句有需要时填写主表的别名，否则要留空。这两列内容是为了自动脚本生成工具读取使用为主要目的。而备注列是方便使用者查看信息而填写的。Frequency部分内容规定这部分内容有且只有两行（含表头），按照下面的格式进行编写：运行周期备注运行周期取值选项：日、旬、月、季、半年、年。备注列是方便使用者查看信息而填写的。Mapping部分内容规定这部分内容是数据映射的最主要内容，按照下面的格式进行填写：目标表名目标表中文名目标字段名目标字段中文名目标表主键标志源表名源表中文名源字段名源字段中文名转换代码关联语句备注⑴、表中第一、三、五、六、八、十、十二列内容是为了自动脚本生成工具读取使用为主要目的，所以这些列的内容应跟随SQL的语法来编写；而第二、四、七、九、十一、十三列内容是为了使用者查询映射信息而编写的，基本都是对相邻左边一列内容语句的描述，但表头格式文字不能随意修改，因为自动脚本生成工具需要固定读取。表中每一行描述目标模型实体的一个属性（即一个字段）的映射。⑵、目标表主键标志用于标志目标表的主键字段，当某字段为主键的一部分时，则该字段对应的该列内容填写“TRUE”，否则留空。⑶、转换代码列指从源表源字段不能直接映射到目标表目标字段，而是要对源表源字段进行一定的SQL语法转换，转换的代码就填写在该列上，因此若该列单元格内容不为空则使用该内容值来映射目标表目标字段，否则使用源表源字段值来映射目标字段。⑷、对于关联语句一列的内容，若出现同样一个关联语句但选取多个字段行的情况，则只需在最上面一个字段行的该列填写关联语句，后面的字段行该列则填写“同上（同样关联语句首次出现的行号）”；但对即使相同的关联语句但多次进行不同含义的选取，则该关联语句必须多次填写在相应的字段行的该列上。⑸、对于数据映射存在多次关联同一个表或所关联的不同表中存在相同的字段名，为了区分各个不同的字段，则在源表的源字段名前带上表的别名，且在关联语句中体现表的别名定义。如原来在源字段名列中的内容为“PBOMPROCOD”，则添加了别名（假设该表别名为b）后该列内容为“b.PBOMPROCOD”。Filter部分内容规定这部分内容定义转换语句的过滤条件（也就是select语句的where后面的内容），按照下面的格式进行编写：条件语句备注转换所需要的过滤条件就填写到条件语句列中，每一行填写一种过滤条件（也就是说两行之间的逻辑是与逻辑的），这一列内容是自动脚本生成工具需要读取使用的。而备注列是方便使用者查看信息而填写的。Comment部分内容规定这部分内容是方便使用者查看信息