数据仓库和联机分析处理课件

数据仓库和联机分析处理数据挖掘技术数据仓库和联机分析处理数据挖掘技术1主要讨论内容为什么需要数据仓库技术什么是数据仓库什么是联机分析处理技术联机分析处理技术实现数据仓库系统的体系结构主要讨论内容为什么需要数据仓库技术2介绍内容为什么需要数据仓库技术从技术发展的角度从实际应用需求的角度什么是数据仓库什么是联机分析处理技术联机分析处理技术实现数据仓库系统的体系结构介绍内容为什么需要数据仓库技术3数据管理技术发展回顾早期阶段数据属于特定应用，数据由用户管理文件系统阶段数据与（一类）应用对应，文件系统作了部分管理数据库系统阶段数据共享（面向整个企业），有结构的数据由DBMS统一管理

应用需求驱动+技术基础数据库数据的组织与管理大大方便应用的开发和维护数据管理技术发展回顾早期阶段应用需求驱动+技术基4现有的数据库系统的侧重点现有的数据库系统，主要用于事务处理一笔订购（一张订单输入+订单细则）一笔销售（一张销售单）一次进料（一张进料单）一次出料（一张出料单）

强调多用户并发环境，数据的一致性、完整性现有的数据库系统的侧重点现有的数据库系统，主要用于事务处理5企业信息化建设现状在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为企业发展作出了巨大贡献各类信息系统大多属于面向事务处理的OLTP系统信息系统多年运行，积累了大量的数据数据是一种宝贵的资源，但没有充分发挥作用企业信息化建设现状在数据库技术的支持下，一大批成熟的业务信息6信息化建设的趋势发展趋势数据集中化业务综合化管理“扁平化”决策科学化特点以客户为中心以服务求发展信息化建设的趋势发展趋势7企业信息化建设提出了更高的要求市场竞争日益激烈—创造竞争优势需要及时、准确的做出科学决策科学决策必须以准确、有效的数据为基础充分利用现有数据，将它转化为信息以客户为中心的经营管理模式—优化客户关系原有系统往往以产品为中心原有系统往往以“单据（票证）”的处理为基础转向“以客户为中心”强调服务，尤其是个性化服务企业信息化建设提出了更高的要求市场竞争日益激烈—创造竞争8分析处理的需求例1：今年销售量下降的因素（时间、地区、商品、销售部门）时间：销售地区：销售*顾客（顾客地址所在的地区）商品：销售*订单细则（商品类别）销售部门：销售*员工*部门（部门名称）例2：某种商品今年的销售情况与以往相比，有怎样的变化？每年的第一季度商品销售在各类商品上的分布情况怎样？要求：多个子系统中的数据（数据集成）历史数据汇总、综合的数据分析处理的需求例1：今年销售量下降的因素（时间、地区、商品、9现有数据库系统处理分析型应用存在的问题数据可靠性（可信度）生产率不可能把数据转换成信息数据动态集成问题历史数据问题数据的综合问题：非细节数据，多种程度的综合现有数据库系统处理分析型应用存在的问题数据可靠性（可信度）10数据可靠性数据没有同一时间基准例如：一个银行的两个部门对同一业务提交报告部门A，于星期天傍晚提交，业务增长了10%部门B，于星期三下午提交，业务增长了15%算法不同部门A使用的是所有类别的帐户，部门B使用的是所有大帐户多次抽取，扩大了上述两个问题用抽取程序从数据库/文件中抽取数据，并存放起来，然后又从此再次进行抽取，从数据进入系统到提供分析往往经过8、9次的抽取。数据可靠性数据没有同一时间基准11数据可靠性（续）外部数据问题一位分析员把华尔街杂志上的数据带进系统另一位将商业周刊的数据进入系统数据一旦进入系统，往往已失去“身份”，并且一位分析员也不知道另一位分析员所输入的数据开始时就不是同一个公共的数据源部门A最初来源于文件XYZ部门B最初来源于DBABC数据可靠性（续）外部数据问题12生产率为了生成一个报告，必须经过获得源数据定位和分析数据：由于同名不同义、同义不同名，很难准确定位和分析，可能造成进一步的混乱把数据加工成报告要写许多程序，每个程序必须客户化（与客户环境有关）程序会涉及公司具有的各种技术由于定位数据困难，检索所要的数据是一件很麻烦的事完成任务需要很长时间定位数据+获得数据+集成报告，完成任务所需时间较长每份报告各自需求不同，因此每份报告所需要的时间都很长。生产率为了生成一个报告，必须经过13从数据到信息例如：“今年的帐户情况与前五年比较”涉及大量应用：储蓄应用、贷款、即期汇票管理、信托，而这些应用并未集成。没有足够的历史数据：贷款部门，拥有二年的数据银行存折处理，拥有一年的数据即期汇票管理只有60天的数据现金交易处理具有18个月的数据。数据不一致问题：同名不同义、同义不同名，例如M/F，Male/Female外部数据和非结构化数据从数据到信息例如：“今年的帐户情况与前五年比较”14操作型环境和分析型环境不同的需求，要求将操作型环境和分析型环境相分离在操作型环境中支持分析应用太复杂、太困难操作性环境不支持域（Domain）之间的联系，仅仅支持表之间的连接不同的数据环境要求从数据组织（结构）和管理上进行工作操作型环境和分析型环境不同的需求，要求将操作型环境和分析型环15两种数据的区别操作型数据分析型数据细节的综合的，或提炼的在存取瞬间是准确的代表过去的数据可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求两种数据的区别操作型数据16介绍内容为什么需要数据仓库技术什么是数据仓库数据仓库的概念数据仓库的特点什么是联机分析处理技术联机分析处理技术实现数据仓库系统的体系结构介绍内容为什么需要数据仓库技术17数据仓库的概念数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策和信息的全局共享。 对数据仓库的理解数据仓库用于支持管理和决策，面向分析型数据处理，它不同于企业现有的面向交易的操作型数据库；数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据。数据仓库的概念数据仓库（DataWarehouse）是一个18数据仓库回答的问题数据仓库技术将为高层管理人员的科学决策提供可靠依据。去年各个地区各个产品的销售量和销售额？10年以来，各个计算机厂商每个季度的销售额占有比例的变化情况？如果某种产品的销售价格打9折，利润将发生怎样的变化？今年销售量下降的主要因素（时间、地区、商品、销售部门）是什么？数据仓库回答的问题数据仓库技术将为高层管理人员的科学决策提供19数据仓库的特点：面向主题寿险财产险机动车险客户操作型数据库是面向特殊处理任务，各个系统之间各自分离数据仓库是按照一定的主题域进行组织。一个主题通常与多个操作型信息系统相关。操作型数据库数据仓库数据仓库的特点：面向主题寿险财产险机动车险客户操作型数据库是20数据仓库的特点：集成的面向特定应用集成的每一个数据库面向特定的应用，各类应用（包括其相关的数据库）之间相互独立。数据仓库中的数据面向整个企业的分析处理，数据仓库中的数据是已经集成了的，消除了数据的不一致性。操作型数据库数据仓库数据仓库的特点：集成的面向特定应用集成的每一个数据库面向特定21数据集成的方法:MQSMQS：MediatedQuerySystem1992年，由StanfordUniversity的GioWiederhold查询驱动的方法其目标是实现对信息的智能、能动的使用Mediator是一个软件模块，实现对数据的抽象与表示，具有相当的智能Mediator具有某些数据集的知识，为高层应用服务Mediator本身还可以进一步抽象成MetaMediator，来描述关于Mediator的信息。数据集成的方法:MQSMQS：MediatedQuery22数据仓库的数据集成抽取清理转化加载数据仓库数据源1数据源2数据源3数据源n数据仓库的数据集成抽取数据仓库数据源1数据源2数据源3数据源23数据仓库的特点：反映历史变化主要关心当前数据通常包含历史数据操作型数据库数据仓库数据仓库的特点：反映历史变化主要关心当前数据通常包含历史数据24数据仓库的特点：相对稳定的modifydeleteinsertupdateLoad/Update在某个时间段内保持相对稳定实时更新，数据根据需要及时发生变化定期加载，加载后的数据极少更新。实时更新操作型数据库数据仓库数据仓库的特点：相对稳定的modifydeleteinser25数据库技术与数据仓库技术数据库技术在系统功能和性能需求强调的是多用户环境下如何针对并发用户的增删改操作，保证数据的一致性和可恢复性，并发用户的吞吐量为数据库管理系统的重要性能指标数据仓库技术在系统功能和性能需求强调的是大数据量环境下的高效、快速查询，查询的吞吐量为数据仓库管理系统的重要性能指标数据库技术与数据仓库技术数据库技术在系统功能和性能需求26数据仓库管理系统的提供商Oracle:Oracle8i,Oracle9i,Oracle10g,Oracle11gIBM:DB2NCR:TeradataSybase:SybaseIQ数据仓库管理系统的提供商Oracle:Oracle827数据仓库中的索引技术位图索引（BitmapIndex）针对一些特殊的列建立索引列中的每一个值对应一个向量中的一位向量的长度对应与记录的条数不适合列中值的个数太多的情况基本表地区索引类型索引数据仓库中的索引技术位图索引（BitmapIndex）基本28数据仓库中的索引技术连接索引（JoinIndex）一个表对另一个表中包含本表中相关列内容的行进行索引。产品编码名称单价索引项P1电视5000R1,R2p2冰箱4000R3,R4产品销售情况记录号产品编码月份数量R1P12000/15128R2P12000/23246R4p22000/13457R3p22000/24030数据仓库中的索引技术产品编码名称单价索引项P1电视5000R29数据仓库中的索引技术建立广义索引用于处理最大（小）值问题

例如：每月销售最好的前5种商品？当数据装入到DW时，生成“广义索引”内容广义索引随着数据仓库的发展，数目会增加，但每个索引的规模小，需要在元数据中定义“广义索引”数据仓库中的索引技术建立广义索引30介绍内容为什么需要数据仓库技术什么是数据仓库什么是联机分析处理技术联机分析处理的提出联机分析处理的基本概念和相关操作联机分析处理技术实现数据仓库系统的体系结构介绍内容为什么需要数据仓库技术31联机分析处理（OLAP）的提出关系数据库满足了联机事务处理（OLTP）的要求存在着大量的分析型应用——关系数据库系统无法适应应用角度：要求对大量的数据从各个角度进行综合分析（多维分析）技术角度：SQL已经不能很好的适应分析应用需求查询效率（响应时间）：一条分析查询语句可能会分解为多条子查询，而每条子查询又可能涉及多个整表扫描、多表连接、聚集计算和排序，并且需要开辟较大的空间来存储各种临时表和中间计算结果。SQL本身的限制，尤其对时间的处理能力典型分析应用：对一些统计指标 （销售金额） 从不同角度（维）（时间、地区、商品类型） 从不同级别（层次）（地区：县、地市、省、大区）在RDBMS上开发前端产品，支持上述应用逻辑 E.F.Codd把这类技术称为“OLAP”（1993年）联机分析处理（OLAP）的提出关系数据库满足了联机事务处理（32多维数据模型多维数据模型又称多维概念视图，通常用Cube（或HyperCube）来表示。多维数据模型可以更加直观的表示现实中的复杂关系多维数据模型的基本组成：维度量（变量、指标）sumJ1J2J4sum批发…...sum零售时间地区销售渠道J3北京.上海广东All,All,All时间地区销售渠道销售额J1北京批发1200J1北京零售2300J1上海批发1233J1上海零售2122………J2北京批发3312J2上海批发3423………关系表与多维Cube多维数据模型多维数据模型又称多维概念视图，通常用Cube（或33若干概念术语度量（变量、指标）：数据的实际意义，一般是一个数值

例如：销售量、销售额，…… 而具体数据（如“10000”）是变量的一个值维：观察数据的特定角度

例如：时间、地区，……维的层次：特定角度的不同细节程度

例如：时间维：日、周、月、季、年 地理维：城市、地区、国家若干概念术语度量（变量、指标）：数据的实际意义，一般是一个数34若干概念术语（续Ⅰ）维的成员：维的一个取值（称为该维的一个成员）或 不同维层次的取值的集合（对多层次情况）。例如：时间维：三个层次，日、月、年，

维成员：1999年5月20日可以在某些层次上不取值，如1999年5月；5月20日；1999年维成员是数据在该维上的位置描述 例如：1999年5月20日销售额 表示销售额数据在时间维上的位置 （相当于时间轴上的某一点或某一区间）若干概念术语（续Ⅰ）维的成员：维的一个取值（称为该维的一个成35多维分析的基本分析动作切片（Slice） 从多维数组选定一个二维子集，切出一个“平面”切块（Dice） 从多维数组选定一个三维子集，切出一个“立方体”旋转（Rotate） 改变一个报告（或页面）显示的维方向钻取（DrillDown/RollUp）获得更加详细（或综合）的数据多维分析的基本分析动作切片（Slice）36切片举例选定时间维的维成员＂1997年1月＂1997年1月产品销售情况时间维地区维产品维产品维地区维产品销售情况选定两个维：产品维和地区维注：多维数组（地区、时间、产品、销售额）若在时间维上选定维成员“1997年11月”得到时间维上的切片（地区、“1997年11月”、产品、销售额）数据切片切片举例选定时间维的维成员＂1997年1月＂1997年137旋转举例旋转：改变一个报告或页面显示的内容时间维产品维产品维时间维

行列交换(a) 把一个横向为时间，纵向为产品的报表 旋转成为 横向为产品和纵向为时间的报表旋转举例旋转：改变一个报告或页面显示的内容时间维产品维产品维38旋转举例（续Ⅰ）地区 北京上海时间产品销售量销售量

第一季度：第二季度：：地区北京上海时间第一季度第二季度.......产品

::将某行维换向列维(b)把一个纵向为时间和产品，横向为地区的报表变成 一个纵向为产品和横向为地区和时间的报表。旋转举例（续Ⅰ）地区 北京上海地区39钻取举例day2129...向下钻取向上钻取基本操作：求和day1sale(s1,*,*)sale(*,*,*)sale(s2,p2,*)钻取举例day2129...向下钻取向上钻取基本操作：40典型DataCubesumJ1J2J4sum批发…...sum零售时间地区销售渠道J3北京.上海广东All,All,All典型DataCubesumJ1J2J4sum批发…...41按照维层次钻取storeregioncountry(stores1inRegionA;storess2,s3inRegionB)day2day1按照维层次钻取storeregioncountry(stor42OLTP与OLAP的比较OLAP所用数据来自OLTP数据库进行了预综合和多维化处理OLAP更强调界面的可视化和灵活性可视化：多维报表，各种统计图形，…灵活性：切片、切块、旋转；逐层细化，…OLTPOLAP用户面向操作人员，支持日常操作面向决策人员，支持管理需要用途面向应用，事务驱动面向分析，分析驱动数据情况当前值数据，细节性数据历史数据，综合数据一次处理数据量小大访问更新可更新大量查询，极少更新，但周期性刷新用户量大小数据规模100M-1GB100GB-TB考察角度事务吞吐量查询吞吐量，响应时间OLTP与OLAP的比较OLAP所用数据来自OLTP数据库O43介绍内容为什么需要数据仓库技术什么是数据仓库什么是联机分析处理技术联机分析处理技术实现联机分析处理方法分类多维数据库数据仓库系统的体系结构介绍内容为什么需要数据仓库技术44OLAP的实现方法RelationalOLAP(ROLAP)

利用关系数据库来存储和管理基本数据和聚合数据，并利用一些中间件来支持缺失数据的处理具有良好的可扩展性MultidimensionalOLAP(MOLAP)

利用多维数据库来存放和管理基本数据和聚合数据，其中需要对稀疏矩阵处理技术对预综合的数据进行快速索引HybridOLAP(HOLAP)利用关系数据库来存储和管理基本数据，利用多维数据库来存储和管理聚合数据。OLAP的实现方法RelationalOLAP(ROLA45多维数据的组织存放例 维1：产品；维成员：冰箱、彩电、空调； 维2：地区；维成员：东北、西北、华北； 变量：销售量RDB中的数据组织 MDB中的数据组织输入成员输入成员导出成员导出成员多维数据的组织存放例 维1：产品；维成员：冰箱、彩电、空调；46MDB方法的优点细节数据清晰简明，占用存储少性能好，尤其像“冰箱销售总量是多少？”的查询RDB方法：找出有关“冰箱”的记录，再对销售量求和MDB方法：找到有关“冰箱”的行，按行求和综合数据多维概念表达清晰，占用存储少对数据进行综合的速度快（只需按行/列累加）在RDB中，“总和”作为某个域上的取值（属性值）与列定义语义不符MDB方法的优点细节数据47维的层次关系简单层次关系较复杂的层次关系地区总和西北地区东北地区华北地区地区总和西北地区东北地区华北地区黑龙江省辽宁省吉林省沈阳市大连市年份季度月份日期周次维的层次关系简单层次关系地区总和西北地区东北地区48维的层次关系不支持层次关系带来的问题增加维的数目，变成非常“稀疏”的状况标注：＂＂表示有意义的单元＂＂表示无意义的空单元省维城市维沈阳哈尔滨大连长春辽宁省黑龙江吉林省时间维产品维西北陕西甘肃宁夏...东北黑龙江吉林辽宁沈阳大连...不支持维层次关系支持维层次关系维的层次关系不支持层次关系带来的问题标注：＂＂表示有49ROLAP:星型模式（StarSchema）

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_streetcountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchROLAP:星型模式（StarSchema）tim50ROLAP:星型模式（StarSchema）销售事务表为事实表四个维表：产品、销售渠道、地理、时间事实表中的变量值为总收益、销售量 维表码值为：产品代码、销售商代码、邮政编码、财政星期序号事实表与维表的连接操作实现数据的多维查询，查询变量的值及对应的维成员ROLAP:星型模式（StarSchema）销售事务表为事51ROLAP:雪片模式(SnowFlakeSchema)time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycityprovince_or_streetcountrycityROLAP:雪片模式(SnowFlakeSchema)t52ROLAP:雪片模式(SnowFlakeSchema)维的层次和类组合构成复杂的维无法用一张维表表示复杂的维用多张表来描述复杂的维 每个维层次对应一张表；每个类属性对应一张表； 维表用来存放上述各表（对应层次的表、对应类的表）的码值ROLAP:雪片模式(SnowFlakeSchema)维53MOLAP:多维数据库存储由许多（经压缩的）类似于数组的对象构成每个对象由聚集成组的单元块组成每个单元块按类似于多维数据的结构存储通过直接偏移计算进行存取每个对象带有（压缩的）索引和指针结构分析时常需维间的组合从而需“旋转”（数据立方体）及“切片”须高效的稀疏数据处理能力MOLAP:多维数据库存储由许多（经压缩的）类似于数组的对54两种实现技术比较MOLAP结构结构简洁、明了适应数据量相对较少的情况灵活性稍差ROLAP结构结构相对庞大适应数据量很大的情况灵活性好两种实现技术比较MOLAP结构ROLAP结构55OLAPCube的构建sumJ1J2J4sum电视…...sum冰箱时间地区产品J3北京.上海广东All,All,All维：时间、产品、地区综合的维层次：销售量、销售额等度量是关于时间、产品和地区的一个函数产品大类大区年份产品小类省份季度产品名称城市月份周次 日期OLAPCube的构建sumJ1J2J4sum电视…..56Cuboid和Cell的概念all产品名称产品小类，城市产品小类，日期产品名称,日期产品名称,城市产品小类，日期,城市产品名称,日期,城市在多维数据的每一维中选定一个层次以后，所得到的将是一个由度量在相应维层次上所有取值构成的小立方体，它对应于Cube中的一个结点，我们称之为Cuboid。在选定维层次后，如果我们再选定维成员，那么得到的将是度量的一个具体取值，它对应于Cuboid的一个结点，我们称之为Cell。产品名称产品小类ALL城市ALL日期ALL产品小类日期日期,城市城市Cuboid和Cell的概念all产品名称产品小类，城市产品57聚集函数分类Distributive（分布函数）对于这种聚集函数，我们可以将输入数据分成不相交的集合，分别进行聚集计算，最后将结果合并。例如：Max、Count、Sum等。Algebraic（代数函数）对于这种聚集函数能够转换为Distributive类型的聚集函数表达式。例如：Average。Average可以表示为：Sum（）/Count（）。Holistic（全盘函数）这种函数不能通过多个子集合聚集计算的合并来实现。例如：求中值函数median,排名函数rank。聚集函数分类Distributive（分布函数）58高效的DataCube计算数据Cube中的所有Cuboid可以形成一个格（Lattice）。最低层次的Cuboid（称为基点）代表所有维的最低的抽象层次；最高层次的Cuboid（称为顶点）则在最高的抽象层次上汇总了所有维。Cuboid的个数：从理论上说，n维Cube中，如果第i维有ki个层次，则Cuboid的总数为N=k1*k2*…*kn个。一个10维的Cube，如果每个维都有5个层次，则Cuboid总数约为10的7次方。Cube实例化全部实例化、0实例化、部分实例化部分实例化的依据所需要的存储开销即Cuboid的Size共享访问的频率等高效的DataCube计算数据Cube中的所有Cuboid59ROLAPCube计算与MOLAPCube计算的比较ROLAPCube计算ROLAP系统采用关系表来存储数据，用一个元组来表示逻辑多维空间中的一个Cell。一张表对应一个Cuboid。ROLAPCube计算主要采用Group-by操作符来实现多维聚集。ROLAPCube计算中共享排序的结果可以大大提高检索和计算的效率。MOLAPCube计算MOLAP中数据存储于一个固定的位置中，该位置是由维成员来确定。不需要通过排序来提高效率。MOLAPCube计算可以利用存储上的优势，进行分块操作，可以实现多路聚集。MOLAPCube计算的效率比ROLAPCube计算的效率要高，但其复杂性也高。ROLAPCube计算与MOLAPCube计算的比较RO60国外联机分析处理工具提供商HyperionCognosBusinessObjectBrio国外联机分析处理工具提供商Hyperion61介绍内容为什么需要数据仓库技术什么是数据仓库什么是联机分析处理技术联机分析处理技术实现数据仓库系统的体系结构介绍内容为什么需要数据仓库技术62数据仓库系统的体系结构抽取、清理装载、刷新外部数据数据仓库管理系统数据集市前端工具和应用系统服务OLAP服务器OLAP服务器数据查询工具自由报表工具数据分析工具各类应用系统元数据管理数据仓库监测、运行与维护工具数据挖掘工具……数据源数据存储及管理OLAP引擎前端工具和应用现有业务系统文档资料数据仓库系统的体系结构抽取、清理外部数据数据仓库管理系统数据63系统组成：数据源内部数据各种异构的操作型数据（通常存放在RDBMS中）其他类型的内部数据（各类文档数据）外部数据：存放格式不一，例如各类政策法规市场信息竞争对手的信息系统组成：数据源内部数据64系统组成：数据仓库管理系统两类数据仓库管理系统在现有的数据库管理系统的基础上，增加若干功能（如：数据分片、数据索引等技术），以满足数据仓库管理系统的需要。面向数据仓库的需要，直接构建数据仓库管理系统。系统组成：数据仓库管理系统两类数据仓库管理系统65系统组成：数据仓库类型企业级数据仓库覆盖整个企业的数据集合部门级数据仓库（数据集市）面向某一部门的数据集合数据集市类型依赖于企业级数据仓库独立于企业级数据仓库系统组成：数据仓库类型企业级数据仓库66系统组成：联机分析处理OLAP：联机分析处理，OLAP引擎的数据组织在逻辑上采用多维的方式。OLAP引擎的分类:RelationalOLAP(ROLAP)基本数据和聚合数据均存放在RDBMS之中MultidimensionalOLAP(MOLAP)基本数据和聚合数据均存放于多维数据库（MDB）中HybridOLAP(HOLAP)基本数据存放于RDBMS之中，聚合数据存放于MDB中系统组成：联机分析处理OLAP：联机分析处理，OLAP引擎的67结束语当你尽了自己的最大努力时，失败也是伟大的，所以不要放弃，坚持就是正确的。WhenYouDoYourBest,FailureIsGreat,SoDon'TGiveUp,StickToTheEnd结束语68感谢聆听不足之处请大家批评指导PleaseCriticizeAndGuideTheShortcomings演讲人：XXXXXX时间：XX年XX月XX日

感谢聆听演讲人：XXXXXX时间：XX年69数据仓库和联机分析处理数据挖掘技术数据仓库和联机分析处理数据挖掘技术70主要讨论内容为什么需要数据仓库技术什么是数据仓库什么是联机分析处理技术联机分析处理技术实现数据仓库系统的体系结构主要讨论内容为什么需要数据仓库技术71介绍内容为什么需要数据仓库技术从技术发展的角度从实际应用需求的角度什么是数据仓库什么是联机分析处理技术联机分析处理技术实现数据仓库系统的体系结构介绍内容为什么需要数据仓库技术72数据管理技术发展回顾早期阶段数据属于特定应用，数据由用户管理文件系统阶段数据与（一类）应用对应，文件系统作了部分管理数据库系统阶段数据共享（面向整个企业），有结构的数据由DBMS统一管理

应用需求驱动+技术基础数据库数据的组织与管理大大方便应用的开发和维护数据管理技术发展回顾早期阶段应用需求驱动+技术基73现有的数据库系统的侧重点现有的数据库系统，主要用于事务处理一笔订购（一张订单输入+订单细则）一笔销售（一张销售单）一次进料（一张进料单）一次出料（一张出料单）

强调多用户并发环境，数据的一致性、完整性现有的数据库系统的侧重点现有的数据库系统，主要用于事务处理74企业信息化建设现状在数据库技术的支持下，一大批成熟的业务信息系统投入运行，为企业发展作出了巨大贡献各类信息系统大多属于面向事务处理的OLTP系统信息系统多年运行，积累了大量的数据数据是一种宝贵的资源，但没有充分发挥作用企业信息化建设现状在数据库技术的支持下，一大批成熟的业务信息75信息化建设的趋势发展趋势数据集中化业务综合化管理“扁平化”决策科学化特点以客户为中心以服务求发展信息化建设的趋势发展趋势76企业信息化建设提出了更高的要求市场竞争日益激烈—创造竞争优势需要及时、准确的做出科学决策科学决策必须以准确、有效的数据为基础充分利用现有数据，将它转化为信息以客户为中心的经营管理模式—优化客户关系原有系统往往以产品为中心原有系统往往以“单据（票证）”的处理为基础转向“以客户为中心”强调服务，尤其是个性化服务企业信息化建设提出了更高的要求市场竞争日益激烈—创造竞争77分析处理的需求例1：今年销售量下降的因素（时间、地区、商品、销售部门）时间：销售地区：销售*顾客（顾客地址所在的地区）商品：销售*订单细则（商品类别）销售部门：销售*员工*部门（部门名称）例2：某种商品今年的销售情况与以往相比，有怎样的变化？每年的第一季度商品销售在各类商品上的分布情况怎样？要求：多个子系统中的数据（数据集成）历史数据汇总、综合的数据分析处理的需求例1：今年销售量下降的因素（时间、地区、商品、78现有数据库系统处理分析型应用存在的问题数据可靠性（可信度）生产率不可能把数据转换成信息数据动态集成问题历史数据问题数据的综合问题：非细节数据，多种程度的综合现有数据库系统处理分析型应用存在的问题数据可靠性（可信度）79数据可靠性数据没有同一时间基准例如：一个银行的两个部门对同一业务提交报告部门A，于星期天傍晚提交，业务增长了10%部门B，于星期三下午提交，业务增长了15%算法不同部门A使用的是所有类别的帐户，部门B使用的是所有大帐户多次抽取，扩大了上述两个问题用抽取程序从数据库/文件中抽取数据，并存放起来，然后又从此再次进行抽取，从数据进入系统到提供分析往往经过8、9次的抽取。数据可靠性数据没有同一时间基准80数据可靠性（续）外部数据问题一位分析员把华尔街杂志上的数据带进系统另一位将商业周刊的数据进入系统数据一旦进入系统，往往已失去“身份”，并且一位分析员也不知道另一位分析员所输入的数据开始时就不是同一个公共的数据源部门A最初来源于文件XYZ部门B最初来源于DBABC数据可靠性（续）外部数据问题81生产率为了生成一个报告，必须经过获得源数据定位和分析数据：由于同名不同义、同义不同名，很难准确定位和分析，可能造成进一步的混乱把数据加工成报告要写许多程序，每个程序必须客户化（与客户环境有关）程序会涉及公司具有的各种技术由于定位数据困难，检索所要的数据是一件很麻烦的事完成任务需要很长时间定位数据+获得数据+集成报告，完成任务所需时间较长每份报告各自需求不同，因此每份报告所需要的时间都很长。生产率为了生成一个报告，必须经过82从数据到信息例如：“今年的帐户情况与前五年比较”涉及大量应用：储蓄应用、贷款、即期汇票管理、信托，而这些应用并未集成。没有足够的历史数据：贷款部门，拥有二年的数据银行存折处理，拥有一年的数据即期汇票管理只有60天的数据现金交易处理具有18个月的数据。数据不一致问题：同名不同义、同义不同名，例如M/F，Male/Female外部数据和非结构化数据从数据到信息例如：“今年的帐户情况与前五年比较”83操作型环境和分析型环境不同的需求，要求将操作型环境和分析型环境相分离在操作型环境中支持分析应用太复杂、太困难操作性环境不支持域（Domain）之间的联系，仅仅支持表之间的连接不同的数据环境要求从数据组织（结构）和管理上进行工作操作型环境和分析型环境不同的需求，要求将操作型环境和分析型环84两种数据的区别操作型数据分析型数据细节的综合的，或提炼的在存取瞬间是准确的代表过去的数据可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期对性能要求高对性能要求宽松一个时刻操作一单元一个时刻操作一集合事务驱动分析驱动面向应用面向分析一次操作数据量小一次操作数据量大支持日常操作支持管理需求两种数据的区别操作型数据85介绍内容为什么需要数据仓库技术什么是数据仓库数据仓库的概念数据仓库的特点什么是联机分析处理技术联机分析处理技术实现数据仓库系统的体系结构介绍内容为什么需要数据仓库技术86数据仓库的概念数据仓库（DataWarehouse）是一个面向主题的（SubjectOriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（TimeVariant）的数据集合，用于支持管理决策和信息的全局共享。 对数据仓库的理解数据仓库用于支持管理和决策，面向分析型数据处理，它不同于企业现有的面向交易的操作型数据库；数据仓库是对多个异构的数据源有效集成，集成后按照主题进行了重组，并包含历史数据。数据仓库的概念数据仓库（DataWarehouse）是一个87数据仓库回答的问题数据仓库技术将为高层管理人员的科学决策提供可靠依据。去年各个地区各个产品的销售量和销售额？10年以来，各个计算机厂商每个季度的销售额占有比例的变化情况？如果某种产品的销售价格打9折，利润将发生怎样的变化？今年销售量下降的主要因素（时间、地区、商品、销售部门）是什么？数据仓库回答的问题数据仓库技术将为高层管理人员的科学决策提供88数据仓库的特点：面向主题寿险财产险机动车险客户操作型数据库是面向特殊处理任务，各个系统之间各自分离数据仓库是按照一定的主题域进行组织。一个主题通常与多个操作型信息系统相关。操作型数据库数据仓库数据仓库的特点：面向主题寿险财产险机动车险客户操作型数据库是89数据仓库的特点：集成的面向特定应用集成的每一个数据库面向特定的应用，各类应用（包括其相关的数据库）之间相互独立。数据仓库中的数据面向整个企业的分析处理，数据仓库中的数据是已经集成了的，消除了数据的不一致性。操作型数据库数据仓库数据仓库的特点：集成的面向特定应用集成的每一个数据库面向特定90数据集成的方法:MQSMQS：MediatedQuerySystem1992年，由StanfordUniversity的GioWiederhold查询驱动的方法其目标是实现对信息的智能、能动的使用Mediator是一个软件模块，实现对数据的抽象与表示，具有相当的智能Mediator具有某些数据集的知识，为高层应用服务Mediator本身还可以进一步抽象成MetaMediator，来描述关于Mediator的信息。数据集成的方法:MQSMQS：MediatedQuery91数据仓库的数据集成抽取清理转化加载数据仓库数据源1数据源2数据源3数据源n数据仓库的数据集成抽取数据仓库数据源1数据源2数据源3数据源92数据仓库的特点：反映历史变化主要关心当前数据通常包含历史数据操作型数据库数据仓库数据仓库的特点：反映历史变化主要关心当前数据通常包含历史数据93数据仓库的特点：相对稳定的modifydeleteinsertupdateLoad/Update在某个时间段内保持相对稳定实时更新，数据根据需要及时发生变化定期加载，加载后的数据极少更新。实时更新操作型数据库数据仓库数据仓库的特点：相对稳定的modifydeleteinser94数据库技术与数据仓库技术数据库技术在系统功能和性能需求强调的是多用户环境下如何针对并发用户的增删改操作，保证数据的一致性和可恢复性，并发用户的吞吐量为数据库管理系统的重要性能指标数据仓库技术在系统功能和性能需求强调的是大数据量环境下的高效、快速查询，查询的吞吐量为数据仓库管理系统的重要性能指标数据库技术与数据仓库技术数据库技术在系统功能和性能需求95数据仓库管理系统的提供商Oracle:Oracle8i,Oracle9i,Oracle10g,Oracle11gIBM:DB2NCR:TeradataSybase:SybaseIQ数据仓库管理系统的提供商Oracle:Oracle896数据仓库中的索引技术位图索引（BitmapIndex）针对一些特殊的列建立索引列中的每一个值对应一个向量中的一位向量的长度对应与记录的条数不适合列中值的个数太多的情况基本表地区索引类型索引数据仓库中的索引技术位图索引（BitmapIndex）基本97数据仓库中的索引技术连接索引（JoinIndex）一个表对另一个表中包含本表中相关列内容的行进行索引。产品编码名称单价索引项P1电视5000R1,R2p2冰箱4000R3,R4产品销售情况记录号产品编码月份数量R1P12000/15128R2P12000/23246R4p22000/13457R3p22000/24030数据仓库中的索引技术产品编码名称单价索引项P1电视5000R98数据仓库中的索引技术建立广义索引用于处理最大（小）值问题

例如：每月销售最好的前5种商品？当数据装入到DW时，生成“广义索引”内容广义索引随着数据仓库的发展，数目会增加，但每个索引的规模小，需要在元数据中定义“广义索引”数据仓库中的索引技术建立广义索引99介绍内容为什么需要数据仓库技术什么是数据仓库什么是联机分析处理技术联机分析处理的提出联机分析处理的基本概念和相关操作联机分析处理技术实现数据仓库系统的体系结构介绍内容为什么需要数据仓库技术100联机分析处理（OLAP）的提出关系数据库满足了联机事务处理（OLTP）的要求存在着大量的分析型应用——关系数据库系统无法适应应用角度：要求对大量的数据从各个角度进行综合分析（多维分析）技术角度：SQL已经不能很好的适应分析应用需求查询效率（响应时间）：一条分析查询语句可能会分解为多条子查询，而每条子查询又可能涉及多个整表扫描、多表连接、聚集计算和排序，并且需要开辟较大的空间来存储各种临时表和中间计算结果。SQL本身的限制，尤其对时间的处理能力典型分析应用：对一些统计指标 （销售金额） 从不同角度（维）（时间、地区、商品类型） 从不同级别（层次）（地区：县、地市、省、大区）在RDBMS上开发前端产品，支持上述应用逻辑 E.F.Codd把这类技术称为“OLAP”（1993年）联机分析处理（OLAP）的提出关系数据库满足了联机事务处理（101多维数据模型多维数据模型又称多维概念视图，通常用Cube（或HyperCube）来表示。多维数据模型可以更加直观的表示现实中的复杂关系多维数据模型的基本组成：维度量（变量、指标）sumJ1J2J4sum批发…...sum零售时间地区销售渠道J3北京.上海广东All,All,All时间地区销售渠道销售额J1北京批发1200J1北京零售2300J1上海批发1233J1上海零售2122………J2北京批发3312J2上海批发3423………关系表与多维Cube多维数据模型多维数据模型又称多维概念视图，通常用Cube（或102若干概念术语度量（变量、指标）：数据的实际意义，一般是一个数值

例如：销售量、销售额，…… 而具体数据（如“10000”）是变量的一个值维：观察数据的特定角度

例如：时间、地区，……维的层次：特定角度的不同细节程度

例如：时间维：日、周、月、季、年 地理维：城市、地区、国家若干概念术语度量（变量、指标）：数据的实际意义，一般是一个数103若干概念术语（续Ⅰ）维的成员：维的一个取值（称为该维的一个成员）或 不同维层次的取值的集合（对多层次情况）。例如：时间维：三个层次，日、月、年，

维成员：1999年5月20日可以在某些层次上不取值，如1999年5月；5月20日；1999年维成员是数据在该维上的位置描述 例如：1999年5月20日销售额 表示销售额数据在时间维上的位置 （相当于时间轴上的某一点或某一区间）若干概念术语（续Ⅰ）维的成员：维的一个取值（称为该维的一个成104多维分析的基本分析动作切片（Slice） 从多维数组选定一个二维子集，切出一个“平面”切块（Dice） 从多维数组选定一个三维子集，切出一个“立方体”旋转（Rotate） 改变一个报告（或页面）显示的维方向钻取（DrillDown/RollUp）获得更加详细（或综合）的数据多维分析的基本分析动作切片（Slice）105切片举例选定时间维的维成员＂1997年1月＂1997年1月产品销售情况时间维地区维产品维产品维地区维产品销售情况选定两个维：产品维和地区维注：多维数组（地区、时间、产品、销售额）若在时间维上选定维成员“1997年11月”得到时间维上的切片（地区、“1997年11月”、产品、销售额）数据切片切片举例选定时间维的维成员＂1997年1月＂1997年1106旋转举例旋转：改变一个报告或页面显示的内容时间维产品维产品维时间维

行列交换(a) 把一个横向为时间，纵向为产品的报表 旋转成为 横向为产品和纵向为时间的报表旋转举例旋转：改变一个报告或页面显示的内容时间维产品维产品维107旋转举例（续Ⅰ）地区 北京上海时间产品销售量销售量

第一季度：第二季度：：地区北京上海时间第一季度第二季度.......产品

::将某行维换向列维(b)把一个纵向为时间和产品，横向为地区的报表变成 一个纵向为产品和横向为地区和时间的报表。旋转举例（续Ⅰ）地区 北京上海地区108钻取举例day2129...向下钻取向上钻取基本操作：求和day1sale(s1,*,*)sale(*,*,*)sale(s2,p2,*)钻取举例day2129...向下钻取向上钻取基本操作：109典型DataCubesumJ1J2J4sum批发…...sum零售时间地区销售渠道J3北京.上海广东All,All,All典型DataCubesumJ1J2J4sum批发…...110按照维层次钻取storeregioncountry(stores1inRegionA;storess2,s3inRegionB)day2day1按照维层次钻取storeregioncountry(stor111OLTP与OLAP的比较OLAP所用数据来自OLTP数据库进行了预综合和多维化处理OLAP更强调界面的可视化和灵活性可视化：多维报表，各种统计图形，…灵活性：切片、切块、旋转；逐层细化，…OLTPOLAP用户面向操作人员，支持日常操作面向决策人员，支持管理需要用途面向应用，事务驱动面向分析，分析驱动数据情况当前值数据，细节性数据历史数据，综合数据一次处理数据量小大访问更新可更新大量查询，极少更新，但周期性刷新用户量大小数据规模100M-1GB100GB-TB考察角度事务吞吐量查询吞吐量，响应时间OLTP与OLAP的比较OLAP所用数据来自OLTP数据库O112介绍内容为什么需要数据仓库技术什么是数据仓库什么是联机分析处理技术联机分析处理技术实现联机分析处理方法分类多维数据库数据仓库系统的体系结构介绍内容为什么需要数据仓库技术113OLAP的实现方法RelationalOLAP(ROLAP)

利用关系数据库来存储和管理基本数据和聚合数据，并利用一些中间件来支持缺失数据的处理具有良好的可扩展性MultidimensionalOLAP(MOLAP)

利用多维数据库来存放和管理基本数据和聚合数据，其中需要对稀疏矩阵处理技术对预综合的数据进行快速索引HybridOLAP(HOLAP)利用关系数据库来存储和管理基本数据，利用多维数据库来存储和管理聚合数据。OLAP的实现方法RelationalOLAP(ROLA114多维数据的组织存放例 维1：产品；维成员：冰箱、彩电、空调； 维2：地区；维成员：东北、西北、华北； 变量：销售量RDB中的数据组织 MDB中的数据组织输入成员输入成员导出成员导出成员多维数据的组织存放例 维1：产品；维成员：冰箱、彩电、空调；115MDB方法的优点细节数据清晰简明，占用存储少性能好，尤其像“冰箱销售总量是多少？”的查询RDB方法：找出有关“冰箱”的记录，再对销售量求和MDB方法：找到有关“冰箱”的行，按行求和综合数据多维概念表达清晰，占用存储少对数据进行综合的速度快（只需按行/列累加）在RDB中，“总和”作为某个域上的取值（属性值）与列定义语义不符MDB方法的优点细节数据116维的层次关系简单层次关系较复杂的层次关系地区总和西北地区东北地区华北地区地区总和西北地区东北地区华北地区黑龙江省辽宁省吉林省沈阳市大连市年份季度月份日期周次维的层次关系简单层次关系地区总和西北地区东北地区117维的层次关系不支持层次关系带来的问题增加维的数目，变成非常“稀疏”的状况标注：＂＂表示有意义的单元＂＂表示无意义的空单元省维城市维沈阳哈尔滨大连长春辽宁省黑龙江吉林省时间维产品维西北陕西甘肃宁夏...东北黑龙江吉林辽宁沈阳大连...不支持维层次关系支持维层次关系维的层次关系不支持层次关系带来的问题标注：＂＂表示有118ROLAP:星型模式（StarSchema）

time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcityprovince_or_streetcountrylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_typeitembranch_keybranch_namebranch_typebranchROLAP:星型模式（StarSchema）tim119ROLAP:星型模式（StarSchema）销售事务表为事实表四个维表：产品、销售渠道、地理、时间事实表中的变量值为总收益、销售量 维表码值为：产品代码、销售商代码、邮政编码、财政星期序号事实表与维表的连接操作实现数据的多维查询，查询变量的值及对应的维成员ROLAP:星型模式（StarSchema）销售事务表为事120ROLAP:雪片模式(SnowFlakeSchema)time_keydayday_of_the_weekmonthquarteryeartimelocation_keystreetcity_keylocationSalesFactTabletime_keyitem_keybranch_keylocation_keyunits_solddollars_soldavg_salesMeasuresitem_keyitem_namebrandtypesupplier_keyitembranch_keybranch_namebranch_typebranchsupplier_keysupplier_typesuppliercity_keycityprovince_or_streetcountrycityROLAP:雪片模式(SnowFlakeSchema)t121ROLAP:雪片模式(SnowFlakeSchema)维的层次和类组合构成复杂的维无法用一张维表表示复杂的维用多张表来描述复杂的维 每个维层次对应一张表；每个类属性对应一张表； 维表用来存放上述各表（对应层次的表、对应类的表）的码值ROLAP:雪片模式(SnowFlakeSchema)维122MOLAP:多维数据库存储由许多（经压缩的）类似于数组的对象构成每个对象由聚集成组的单元块组成每个单元块按类似于多维数据的结构存储通过直接偏移计算进行存取每个对象带有（压缩的）索引和指针结构分析时常需维间的组合从而需“旋转”（数据立方体）及“切片”须高效的稀疏数据处理能力MOLAP:多维数据库存储由许多（经压缩的）类似于数组的对123两种实现技术比较MOLAP结构结构简洁、明了适应数据量相对较少的情况灵活性稍差ROLAP结构结构相对庞大适应数据量很大的情况灵活性好两种实现技术比较MOLAP结构ROLAP结构124OLAPCube的构建sumJ1J2J4sum电视…...sum冰箱时间地区