金融行业数据仓库应用案例

2020/5/20,1,数据仓库应用案例,2020/5/20,2,内容提要,（一）自我介绍（二）案例背景（三）期望的数据仓库（四）数据仓库建设实践,2020/5/20,3,2020/5/20,4,案例背景,中国大型商业银行信贷应用与分析系统系统构建了全行的信贷数据仓库（总行）。系统建立了全行450个信贷数据集市。基于全国每个地市级分行建立信贷数据分析中心。数据规模6T，数据以500G/年的数据增长。系统已运行八年。系统用户20,000+。系统累计投资5亿+。系统采用ROLAP模型，采用BusinessObjects为分析工具，采用Informix为数据仓库平台，采用Domino/Notes为应用平台。,2020/5/20,5,案例背景,信贷系统目前的体系结构,2020/5/20,6,案例背景,一个典型的ETL流程,2020/5/20,7,期望的数据仓库,大家期望的数据仓库是什么？数据仓库项目无法作为形象工程！数据仓库类型的系统无法在短期内看到效益，无法在短期内提供有效的回报，数据仓库类型的系统建成后需要一个较长的时间来使用和积累，才能发挥作用。数据仓库不是报表系统！数据仓库是面向主题的面向分析的系统，不是日常的报表系统，数据仓库在于从业务的角度上发现问题，分析问题，解决问题。报表系统在于真实的反映日常的运行状况，要求高效快捷，无须深入分析和挖掘。数据仓库能干什么！数据仓库用来分析业务数据的潜在关系，用来指导业务人员思考和分析，用来发现问题，指导业务的开展和改造。虽然这些成果都是以报表、图表、图示的方式展现出来，但这些展现方式都是表层，以这些展现方式来展现数据背后的关系才是数据仓库的用途。根据Bill.Inmon的定义，“数据仓库是面向主题的、集成的、稳定的、随时间变化的，主要用于决策支持的数据库系统”。,2020/5/20,8,期望的数据仓库,数据仓库是一个用以更好地支持企业决策分析处理的、面向主题的、集成的、不可更新的、随时间不断变化的、分离维护的数据集合。-W.H.Inmon,2020/5/20,9,期望的数据仓库,现实中的数据仓库系统包括哪些部分？数据采集部分直接的数据采集、其他系统作为数据源等ETL数据整合部分数据汇总、清洗、转换，当然还包括数据传输、数据汇集、分发、校验、过滤、过程记录等。采用工具还是自己开发。重点关注效率问题数据仓库存储系统部分大型存储设备、高运算能力的服务器等设备数据库软件平台数据仓库与数据集市、集中数据与分布数据重点关注效率问题数据仓库展现分析部分主流分析展现工具。定制功能的工具开发。,2020/5/20,10,期望的数据仓库,数据仓库项目中的角色企业最高领导团队你是否打算建设成为形象工程？这是你重大决策的原动力、而不是你的秘书。你是否有足够的耐心和准备，来建设这个长期性的项目。数据提供部门如何解决我为别人服务的问题。如何解决数据仓库项目成为了我的负担。如何解决数据准确性和时效性。系统建设部门如何理解数据仓库项目的建设过程。如何面对模糊的需求、巨大的数据量、异想天开的要求。如果不要陷入运行泥潭。数据使用部门数据为什么总是有问题为什么我总是无法应用系统为什么他什么都做不到,2020/5/20,11,期望的数据仓库,成功的数据仓库：面向过程的开发方法,2020/5/20,12,期望的数据仓库,成功的数据仓库：结构化,元数据管理,数据挖掘,主管信息系统,设计建模,抽取清洗转换加载,数据仓库,信息展现,业务流程,物理模型,逻辑模型,联机分析处理,报表、即席查询,外部数据,内部数据,数据库管理工具,数据库,2020/5/20,13,期望的数据仓库,数据仓库不仅仅是数据存储加上一个查询工具数据仓库不仅仅是产品服务+产品数据仓库的成功必须有正确的构造方法为指导数据仓库的构造包括多方面的问题基础架构(硬件、数据库、网络)规划设计数据转移数据访问(REPORT、OLAP、EIS、WEB)元数据管理数据挖掘系统管理,2020/5/20,14,数据仓库建设实践,主要的建设阶段：目标调研、需求分析确立数据仓库系统的主题目标分析业务需求，制定需求框架，逐步细化系统设计和开发技术构架设计业务分析模型设计运行、完善机制设计系统开发和上线发布系统运行、积累和完善系统的使用和运行；数据、分析的积累系统的再完善，数据重构,2020/5/20,15,数据仓库建设实践,目标调研、需求分析：确立数据仓库的主题目标数据仓库的目标不能包括所能想起来的所有目标，要根据企业的实施能力、分析能力、数据基础制定合理的建设目标，建议按照目标的可实现度分布建设。分析业务需求、制定需求框架、逐步细化分析具体业务需求，对于无法确定的需求，要首先制定需求框架，给系统体系设计提供指标估算。在项目的设计和建设中可逐步细化局体需求条目。,2020/5/20,16,数据仓库建设实践,系统设计和开发技术构架设计系统规模评估系统技术构架选型系统存储、服务器选型系统软件平台选型系统分析工具选型系统ETL工具选型系统技术实现确定系统数据分布设计业务分析模型设计业务主题设计分析模型设计运行、完善机制设计运行机制设计完善机制设计系统开发和上线发布系统开发系统上线数据装载,2020/5/20,17,数据仓库建设实践,系统运行、积累和完善系统的使用和运行；数据、