数据仓库与商业智能概述

数据仓库与商业智能2009-4-20主要内容数据仓库的起源和发展数据仓库定义和特点数据仓库体系结构数据仓库建设方法商业智能数据仓库的起源和发展数据管理的历史人工管理方式这一时期是在20世纪50年代中期以前，这一阶段的计算机应用主要用于科学计算，外存只有纸带、磁带、卡片等，数据处理的方式基本上是批处理。这一时期数据管理的特点是：数据不保存；没有专用的数据管理软件，每个应用都必须自己完成存储结构、存取方法、输入输出等数据管理功能；一组数据对应一个应用，这使得程序之间可能有重复的数据。文件系统管理这一阶段在20世纪50年代后期至60年代中后期，计算机应用开始用于信息管理，由于数据存储、检索和维护等需求，使得相应的研究开展起来了，在硬件和软件方面都得到了发展，磁盘磁鼓出现，操作系统也产生。数据库系统（60年代末开始）关系数据库之父E.F.Codd提出了关系模型(ER)，促进了联机事务处理(OLTP)的发展，数据以表格的形式而非文件方式存储。数据库到数据仓库传统的数据库环境中以数据库为中心，数据资源组织方式单一；侧重对数据的管理，操作型处理（OLTP，联机事务处理），关心的是响应时间，数据的安全性和完整性；问题：“易进不易出”

数据库到数据仓库数据处理不断有新需求（联机事务、批处理、决策分析）分析型处理（OLAP，联机分析处理）

用于管理人员的决策分析，经常要访问大量的历史数据，而很少对数据库进行写操作，除非对数据库进行更新或装入时。人们希望从中获得跟公司经营效益紧密相关的信息。数据仓库的产生（1）数据集成（2）历史数据的应用需求（3）查询性能数据集成企业全面的经营数据OLTP分散在不同系统中(核心、信贷、国结)外部数据(市场数据、竞争对手)集成的数据建立关联的各业务系统之间的业务事件联系统一的（统一的事实、维度）历史的数据一般的全国股份制商业银行一天的交易流水在150W左右通常业务系统只保留当前的历史数据查询困难数据集成数据一致化在很多情况下，大型企业会产生数据不一致情况数据仓库的数据要保持一致化和准确性数据综合各种不同粒度的数据的集成问题详细粒度中等聚集高层聚集外部数据集成查询性能提高数据的查询效率OLTP系统面向数据维护数据仓库面向数据查询提高查询功能为最主要目标发展的动力力业务需求驱驱动主要是详细细的分析科学的经营营市场活动的的细化和实实施等数据驱动数据量不断断扩大需要相关技技术全面了了解企业结论：以单一的数数据组织方方式进行组组织的数据据库，不能能满足新型型的数据处处理多样化化的要求，，数据仓库库技术应运运而生数据仓库的的概念和特特征数据仓库的的概念数据仓库（（EDW，，EnterpriseDataWareHouse）数据仓库无无非是所有有数据集市市的集合--RalphKimball数据据仓仓库库无无非非是是面面向向主主题题的的、、集集成成的的、、不不--BillInmon数据仓库是一个过程不是一个项目数据据仓仓库库的的特特点点面向向主主题题数据据所所代代表表的的业业务务内内容容划划分分，，而而不不是是以以应应用用划划分分集成成的的数据据所所代代表表的的业业务务内内容容划划分分，，而而不不是是以以应应用用划划分分不同同时时间间的的数据据按按照照时时间间组组织织，，并并存存储储在在不不同同的的时时间间切切片片稳定定的的不允允许许对对数数据据进进行行更更新新，，只只允允许许初初始始加加载载和和查查询询数据据仓仓库库系系统统结结构构数据据仓仓库库结结构构OperationalDataStoreETL数据据源源DataWarehouse数据据源源数据据源源DataMartDataMartDataMart分析析报表表可视视化化数据据挖挖掘掘ODS(OperationalDataStore):操操作型型数据据存储储区域域ETL(ExtractTransferLoad):数据据抽取取转换换加载载DW(DataWareHouse):数据据仓库库DM(DataMart):数数据集集市元数据据（MetaData）数据源源各种业业务系系统RDBMS文件系系统如，银银行业业中，，核心心系统统、信信贷系系统、、国结结系统统ERP系统统ODS（操操作型型数据据存储储区域域）是一种种数据据仓库库的混混合形形式，，它包包含及及时的的、最最近的的、面面向主主题的的和集集成的的信息息。是数据据仓库库环境境的一一个组组成部部分是操作作型系系统的的一个个集成成环境境为决策策支持持系统统提供供当前前详细细数据据的查查询功功能是面向向主题题的、、集成成的、、经常常更新新的详详细数数据ETL（抽抽取转转换换加加载））数据仓仓库数数据是是面向向主题题的，，而业业务数数据库库总是是围绕绕一个个或几几个业业务处处理流流程，，因此此到数数据仓仓库的的过程程需要要十分分复杂杂的数数据整整合过过程。。数据抽抽取数据转转换（（一致致化））数据加加载作业控控制数据仓仓库数据模模型－－多维维数据据模型型粒度划划分（（分割割、汇汇总））FactTablefact1fact2fact3机构粒度key机构代代码地址联系人人attributeDimensionDimensionDimension粒度代代码attributeattributeattribute粒度：：1－－日2－－月3－－年日期2008-12-31数据集集市数据集集市是是数据据仓库库的子子集。。如果果数据据仓库库是整整个企企业组组织的的所有有主题题数据据存储储区，，那么么数据据集市市就是是某一一个主主题数数据的的存储储领域域。数据集集市即即是数数据仓仓库的的一种数据展展现查询报表多维分分析（（钻取取、切切换））图形元数据据元数据据是关关于数数据的的数据据，它它描述述了数数据的的结构构、内内容、、码、、索引引等项项内容容。元数据据分类类技术元元数据据业务元元数据据三个关关键部部分数据仓仓库建建设方方法数据仓仓库建建设－频繁繁变化化－面向向企业业中不不同业业务和和用户户数据仓仓库建建设策策略自底向向上的数据仓仓库建建设策策略自顶向向下的的策略略：先先建立立一个个全数据仓仓库建建设层层次分析型型应用用要求求千差差万别别，一一个单单一层层次的的数据据仓库库不能能满足足所有有的分分析需需求。。一个个好的的解决决方案案：建建立分分层的的数据据仓库库。操作型环境数据仓库数据集市个人仓库全局级部门级个人级多层数据仓库企业数据仓库数据集市数据集市分布式数据集市定义高层数据模型模型提炼模型提炼递增、、进化化地开开发数数据仓仓库商业智智能商业智智能商业智智能，又称称商务智智能，英文文为BusinessIntelligence，简写写为BI。起源源于上上世纪纪90年代代。商业智智能描描述了了一系系列的的概念和方法，通过过应用用基于于事实实的支支持系系统来来辅助助商业业决策策的制制定。。商业业智能能技术术提供供使企企业迅迅速分分析数数据的的技术术和方方法，，包括括收集集、管管理和和分析析数据据，将将这些些数据据转化化为有有用的的信息息，然然后分分发到到企业业各处处。可以说说商务务智能能是一一个可可包含含企业业所有有知识识的系系统，，服务务于管管理决决策层层或部部门执执行经经理，，帮助助其进进行决决策和和分析析。商业智智能结结构OLAP数据挖挖掘（（DataMining））数据仓仓库其他的的查询询和展展现商业智智能的的功能能记录选选择查询展展现关联分分析买债券券，保保本型型理财财监视功功能月营业业额小小于10万万元的的分店店展示功功能查找、、排序序、统统计数据输输出打印/导出出，图图形、、Excel商业智智能实实施步步骤需求分分析数据分分析数据仓仓库建建模数据处处理（（ETL））BI展展现(报表表、图图形、、OLAP)数据模模拟测测试系统完完善改改进（（迭代代）相关产产品数据仓仓库解解决方方案Teradata，，IBM，，Oracle….建模软软件ERwin，PowerDesigner……ETL软件件DataStage，，Informatic…数据仓仓库Teradata，，Oracle，IBMDB2…BI软软件COGNOS，，BO，，Brio…商业智智能的的发展展趋势势功能上上具有有可配配置性性、灵灵活性性、可可变化化性解决方方案更更开放放、可可扩展展、可可按用用户定定制，，在保保证核核心技技术