数据仓库实践系列课程BI数据架构

数据仓库实践系列课程（3）

——BI数据架构文思海辉第一页，共四十三页。总体数据架构ESB数据采集和交换平台集成型数据区历史数据访问应用数据挖掘工具监管报送平台即席查询工具数据集成平台新核心系统老核心系统客户系统外围系统渠道系统外部系统(外联平台)操作型数据区分析型数据区应用服务区……应用服务器报表工具WEB服务器历史数据区统一报表平台管理会计系统流动性风险系统市场风险系统历史数据平台数据挖掘平台大数据平台数据交换区实时事件处理平台贴源模型层（ODS）主题模型层（EDW）应用集市层数据缓冲层共性加工层(GDM)国家审计署平台非现场审计第二页，共四十三页。课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A第三页，共四十三页。课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A第四页，共四十三页。银行有多少数据？--范围出生日期婚姻状况投资组合联系电话咨询/投诉存取款信用评级供养人口称谓姓名是否进入黑名单还款/迟缴职业收入学历关联客户科目消费账户余额房产理财产品促销活动联系地址证件信息偏好渠道开户机构内部机构产品渠道交易资源/资产营销/策略性别财务汽车其他投资交易渠道网银转账积分明细兑换历史管理机构客户经理房贷存款信用卡贷款还款情况总帐协议/账户客户第五页，共四十三页。银行有多少数据？--数量系统表个数字段数AI108888B2I21285CAS1081994CCIF102859CIF91500CIFSC49398CMP1172419CMS2442442CMS383420388DTS901201GTS1762498IB2604171IFAR2925707PDS1902344储蓄式国债47467贷记卡外挂623528记账式国债681221开放式基金39655……

总计309649965特点：数量多分布广内容庞杂挑战：这么多的数据怎么管？重点是什么？数据应该怎么分类？每类的定义和特点是什么？跨系统同类数据是否遵循同样的标准？……第六页，共四十三页。实施分类管理贷记卡系统卡片信息授信信息利率信息额度信息储蓄系统客户信息机构信息账户信息利率信息贷款核销产品信息信贷系统客户信息机构信息授信信息账户信息利率信息贷款展期贷款核销产品信息客户信息机构信息额度信息积分信息账户信息产品信息银保通客户信息机构信息账户信息利率信息保单信息产品信息网上银行客户信息账户信息转账信息支付信息产品信息机构信息数据模型7将各系统、各部门分散、重复的业务概念进行统筹、整合。从企业级视角进行结构化、规范化的设计，统一数据定义，明晰数据之间的关系。数据主题客户账户交易机构渠道资产财务……第七页，共四十三页。数据模型设计示例以“客户”为例不同的数据模型设计没有绝对的对错，合适的就是最好的。第八页，共四十三页。课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&ABI数据架构各层次数据模型的定位与特点各层次数据模型示例第九页，共四十三页。一个相对完整的BI数据架构应用集市层面向应用按需定制共性加工层初级的数据加工依赖对应用的提炼技术缓冲层ETL专用的纯技术层完全与源系统结构一致近源模型层基本依照源系统建模尽量保持业务数据原貌整合模型层面向整合主题设计提供规范和共享第十页，共四十三页。技术缓冲层定位服务于数据加载和转换的需要，不对外提供数据服务特点数据原样加载，与源系统结构一致有增量，有全量可能需要保留数天历史(重加/查数)第十一页，共四十三页。技术缓冲层示例表外帐户贷款户明细第十二页，共四十三页。近源模型层定位尽量保持源系统数据原貌，提供基于业务数据原貌的访问特点简单处理不考虑整合保留较短期历史（重点考虑保留策略）第十三页，共四十三页。近源模型层示例开始日期结束日期。。。第十四页，共四十三页。整合模型层定位长期的，细节的，整合的数据存储，为各类业务需求提供支持特点面向主题，数据整合提供规范和共享中性设计，偏范式化，灵活可扩展细节信息，保留长期历史第十五页，共四十三页。整合模型层示例产品/服务事件协议渠道客户资产财务/风险地区/地址市场营销内部机构第十六页，共四十三页。共性加工层定位提供相对中性，具有业务意义的初级加工数据，支持上层应用的数据加工，或供业务人员的访问特点全局考虑，提炼需求共性多层次设计，多种数据粒度侧重业务理解，蕴含丰富的业务规则第十七页，共四十三页。共性加工层示例：汇总加工出常用的变量，方便数据处理与查询遵循业务常用原则第十八页，共四十三页。共性加工层示例：统计信息蕴含一定业务规则的复杂加工第十九页，共四十三页。应用集市层定位提供特定应用支持特点面向应用形式各异，各自独立按需定制，满足特定业务的需求第二十页，共四十三页。报表模型示例：常见表样第二十一页，共四十三页。多维模型示例：卡交易量分析事实表第二十二页，共四十三页。数据挖掘示例复杂加工的变量第二十三页，共四十三页。目标以数据下载的结构为准，一般与源系统结构相同数据可能是增量，也可能是全量用于技术加工短期的，细节的反应业务原貌的数据存储直接提供基于源系统结构的简单原貌访问为BI环境中适合的业务需求提供支持长期的，细节的，整合的数据存储为BI环境中适合的各类业务需求提供支持相对中性，具业务意义的初加工数据，但不面向特定应用作为上层应用数据加工的基础，或供业务人员直接访问服务特定应用原则简单处理关注源系统结构的变化简单处理，不考虑整合关注保留策略面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和使用面向具体应用按需设计形式源系统模型近源系统模型设计根据支持应用情况可以保留短期历史面向主题设计偏范式化长期保留历史初步数据加工分层设计形式各异，依具体应用不同技术缓冲层近源模型层整合模型层共性加工层应用集市层各数据层次的定位第二十四页，共四十三页。课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A整合模型层共性加工层应用集市层第二十五页，共四十三页。重点关注的层次近源模型层基本依照源系统建模尽量保持业务数据原貌整合模型层面向整合主题设计提供规范和共享应用集市层面向应用按需定制共性加工层初级的数据加工依赖对应用的提炼技术缓冲层ETL专用的纯技术层完全与源系统结构一致第二十六页，共四十三页。各层设计重点整合模型层主题定义框架设计整合策略实施方法共性加工层应用筛选应用提炼应用集市层整体性一致性第二十七页，共四十三页。整合模型层设计——主题定义产品客户化自行设计项目目标是什么？可参考主题都有哪些？该主题在当前环境下是否适用？是否需要其他修改？目标达成！项目目标是什么？总是有这些共通的主题：客户、协议(账户)、产品、事件(交易)其他业务信息的归纳使用业务熟悉的主题词汇目标达成！第二十八页，共四十三页。整合模型层设计——框架设计主实体名称含义分类分类依据子类名称子类含义关系主实体间关系其他重要关系框架设计体现了模型设计原则框架决定了模型的整体结构主实体及其关系主实体分类关键实体及重要关系第二十九页，共四十三页。

整合后的对象标识选择已有标识还是新建？

整合前信息是否保留？

选择单一信息源(系统)？还是多个源？

是否整合依赖业务现状，需要确定影响性？整合模型层设计——整合策略是否整合同一业务对象有多种实例确定信息源源保留策略整合标识选择确定业务对象整合策略第三十页，共四十三页。共性加工层设计——设计目标技术层面避免相同汇总数据的重复计算和存储，减少系统开销实现共享，降低应用开发和数据查询的复杂度避免数据加工口径的不一致业务层面实现对常用统计口径的统一定义和维护便于业务人员理解，直接进行数据分析第三十一页，共四十三页。共性加工层设计——设计理念中间层是因为需求而产生的，所以一定要基于需求，可以借鉴行业经验，但是每个行的应用建设过程有所不同，所以本行的需求才是根本需求驱动中间层是提炼不同应用公共指标，提炼的程度太高会失去汇总层的意义，个性化程度太高会导致与应用层无区别，所以模型设计人员的经验很重要提炼共性在中间层再分明细层和汇总层，明细层是协议主题的扩展，是协议的业务呈现。汇总层是除协议外的其他主题业务呈现架构分明中间层的建设是一个循环往复的过程，不可能一步到位。随着应用的增加和对应用理解的深入，中间层会不断的丰富和发展，提升其业务价值迭代开发第三十二页，共四十三页。共性加工层——数据处理方法33预计算预连接预聚类将分散在基础层数据中的很多实体根据应用的要求进行预先连接，这种预连接可以有不同的实现方式，比如可以采用物理表、视图，更多的是采用视图的方式。将在基础层数据中以及应用集市中难于计算，通常是规则比较复杂，或者计算一次所需的时间比较长的数据预先计算出来，比如日均、重定价日等，但粒度不变，仍为最细的账户粒度，因需要运行的时间也比较长，建议采用物理表的方式。以维度建模方式对基础数据进行汇总和聚合，不再是最细粒度了；采用物理表与视图结合的方式，对于预聚合粒度比较粗的，数据量上会减少很多，所以适当的多采用物理表的方式，以节约系统资源，提高查询效率，对于预聚类粒度还是很细的，数据量减少不多，建议采用视图方式，如汇总层的客户汇总表。预连接预计算预聚类第三十三页，共四十三页。Account&Cardlevelsummary

卡账户平均余额汇总averagebalance卡账户迟缴历史

Delinquent

卡账户重要交易汇总

importantevents

最近三个月卡重要交易汇总

eventsinrecent3months

最近六个月卡重要交易汇总

eventsinrecent6months账户利润组成汇总profitcomponents

卡账户利润汇总profit卡账户准备金计提记录riskreservationamountCustomerlevelsummary

客户平均余额汇总averagebalance

客户持卡信息汇总

Cardholdsbycustomer

客户迟缴历史

Delinquent

客户交易汇总

events

客户重要交易汇总

importantevents客户利润汇总profit

Organizationlevelsummary

机构平均余额汇总averagebalance

机构发卡汇总

Cardissuedbyorg机构交易汇总

IssuereventsIST事件汇总

ISTevents机构利润汇总profit共性加工层——设计示例（信用卡）第三十四页，共四十三页。建模时将产品层与机构层用一张汇总表来实现。共性加工层——设计示例（逐层汇总）第三十五页，共四十三页。应用集市层设计——按需定制面向应用的模型设计尽可能使用共性加工层模型实体整体性一致性加工规则应尽量和已有规则保持一致业务驱动，按需定制第三十六页，共四十三页。课程大纲引言BI环境中的数据层次各层次设计重点BI用户与各层次数据使用课程总结Q&A第三十七页，共四十三页。各数据层次的定位目标以数据下载的结构为准，一般与源系统结构相同数据可能是增量，也可能是全量用于技术加工短期的，细节的反应业务原貌的数据存储直接提供基于源系统结构的简单原貌访问为BI环境中适合的业务需求提供支持长期的，细节的，整合的数据存储为BI环境中适合的各类业务需求提供支持相对中性，具业务意义的初加工数据，但不面向特定应用作为上层应用数据加工的基础，或供业务人员直接访问服务特定应用原则简单处理关注源系统结构的变化简单处理，不考虑整合关注保留策略面向全局，数据整合中性设计，灵活扩展提供规范和共享提炼应用需求共性多种数据粒度易于理解和使用面向具体应用按需设计形式源系统模型近源系统模型设计根据支持应用情况可以保留短期历史面向主题设计偏范式化长期保留历史初步数据加工分层设计形式各异，依具体应用不同重点理解源结构理解源结构主题定义框架设计整合策略实施方法应用筛选应用提炼整体性一致性用途不对外提供数据服务业务原貌查询即时报表数据质量检查灵活查询整合规则检查常规报表灵活查询业务规则检查特定应用技术缓冲层近源模型层整合模型层共性加工层应用集市层第三十八页，共四十三页。不同类型项目的数据层次建议ODS视加工过程是否需要而定，非必须，但一般会有同源设计，基本不做处理必须，是ODS核心模型层简单处理视项目具体需求而定，非必须建设层次只针对必须整合且比较基础的部分才考虑建设此层视项目具体需求而定，非必须建设层次视项目具体需求而定，分仓内仓外两种建设策略EDW视加工过程是否需要而定，非必须，但一般会有同源设计，基本不做处理视项目具体需求而定，非必须建设层次