数据库系统专题 第五章 决策支持数据库

数据库系统专题

AdvancedTopicsonDatabaseSystems第五章决策支持数据库第五章决策支持数据库5.1数据仓库(DataWarehouse)5.2在线分析处理(OLAP)5.3数据挖掘(DataMining)数据库专题讲义5.1数据仓库5.1.1数据库与数据仓库5.1.2数据仓库概念5.1.3数据仓库体系结构5.1.4数据仓库的数据模型5.1.5实例化视图数据库专题讲义5.1.1数据库与数据仓库传统数据库应用：事务处理(操作型数据)以数据为中心，进行事务处理，即对数据库进行日常操作型处理，对一个或一组记录进行查询和更新，人们最关心的是响应时间、数据安全性和完整性新型应用：分析型处理(分析型数据)面向管理人员的决策分析，经常访问大量的历史数据，对数据库进行非常复杂的分析查询，最关心的不是响应时间，而是分析结果。例如，一次质量事故的分析原因数据库专题讲义操作型数据与分析型数据的比较操作型数据细节性可更新操作需求事先可知对性能要求高事务驱动面向应用一次操作数据量小支持日常操作分析型数据综合性只读操作需求实现不知道对性能要求宽松分析驱动面向分析一次操作数据量大支持管理需求数据库专题讲义事务处理环境不适合分析应用

事务处理与分析处理的性能特性不同分析应用程序可能要运行几个小时，消耗大量的系统资源数据集成问题分析应用需要集成的数据，全面而正确的应用是有效分析和决策的首要前提，相关数据收集的越完整，得到的结果越可靠事务处理应用的分散。分析应用需要对分散在多个事务处理应用中的相关数据进行集成，以向分析人员提供统一的视图数据不一致问题。数据应用的分散可能导致多个应用间相关数据的不一致，严重影响分析结果的正确性外部数据和非结构数据。分析应用经常用到外部数据，它不是由事务处理系统产生的，且是非结构化的数据库专题讲义事务处理环境不适合分析应用

数据动态集成分析应用需要数据的动态集成。每次分析都进行数据集成代价太大，但静态集成不能将变化的信息反映给决策者，数据的刷新应该是周期性的。事务处理系统不具备动态集成能力

历史数据问题事务处理一般只需要当前数据，只存储短期数据。分析应用必须以大量的历史数据为依托数据的综合问题在事务处理系统中积累了大量的细节数据细节数据量很大，严重影响分析效率过多的细节数据不利于分析分析前应对细节数据进行不同程度的综合数据库专题讲义5.1.2数据仓库概念数据仓库是作为DSS服务基础的分析型DB，用来存放大容量的只读数据，为决策提供信息数据仓库是与操作型数据相分离的、基于标准企业模型集成的、带有时间属性的(即与企业定义的时间区段相关)、面向主题及不可更新的数据集合数据仓库是一个更好地支持企业或组织的决策分析处理的、面向主题的、集成的、不可更新的、集成的、随时间不断变化的数据集合。数据库专题讲义主题与面向主题主题是指在较高层次上将企业信息系统中的数据综合、归类并进行分析利用的抽象面向主题是指在较高层次上对分析对象的数据的一个完整的、一致的描述，能完整统一地刻画各个分析对象所涉及的各项数据，以及数据之间的联系。数据库专题讲义OLTP数据组织方式采购子系统定单定单细节供应商销售子系统顾客销售库存管理子系统领料单进料单库存库房人事管理子系统员工部门数据库专题讲义OLTP数据组织方式OLTP数据组织是面向应用的

OLTP数据组织反映一个企业内数据的动态特征，包括部门内数据流动以及部门间数据输入输出关系面向应用的数据库模式与业务处理流程中涉及的文档有很好的对应关系面向应用的数据组织没有实现数据与应用的分离，其抽象程度不高。数据库专题讲义OLAP数据组织方式商品商品固有信息商品采购信息商品销售信息商品库存信息供应商供应商固有信息供应商品信息顾客顾客固有信息顾客购物信息数据库专题讲义OLAP数据组织方式在数据仓库中一个主题是由一组关系来实现的，但数据仓库中的数据不再是业务处理的流水帐，例如在商品主题中就不再包含订单与领料单等信息每个主题中的信息应该保持独立性，一个主题中的信息可以与其它主题中的信息重复，它必须具有独立的内涵，有明确的界限每个主题中的信息必须具有完备性，一个主题要求包含与该主题有关的所有分析处理用数据信息数据库专题讲义数据仓库的特征

面向主题数据仓库的数据是集成的解决数据一致性进行数据综合和计算数据仓库的数据是不可更新的许多数据库技术难点在数据仓库中可以省去复杂查询与复杂索引技术数据库专题讲义数据仓库的特征

数据仓库的数据是随时间不断变化的数据仓库随时间变化不断增加新的数据内容数据仓库随时间变化不断删除旧的数据内容数据仓库中包含有大量综合数据数据库专题讲义数据仓库与数据库相分离：why性能需要特殊的数据组织、存取方法和实现方法来支持多维视图和典型的OLAP操作复杂的OLAP查询将降低操作型事务的性能OLTP的并发控制和恢复与OLAP分析不兼容数据库专题讲义数据仓库与数据库相分离：why功能数据丢失:决策分析需要历史数据但操作型数据库典型地并不维护这种数据数据聚合:决策分析需要数据聚合，这种数据聚合在操作型数据库中是冗余数据数据质量:不同的数据源可能使用不一致的数据表示、编码和格式

数据库专题讲义5.1.3数据仓库体系结构Monitor&IntegratorDataWarehouseExtractTransformLoadRefreshmetadataOLAPServerAnalysisQueryReportsDataminingDataSourcesToolsServeDataMartsOperational

DBsothersources数据库专题讲义数据源数据源通常是操作型系统，提供最底层数据一般数据源是为操作型使用而设计的，不为决策分析设计的数据源通常是运行在不同的硬件平台和软件系统之上数据源之间存在语义冲突数据库专题讲义数据抽取：从外部源数据抽取数据通常通过网关和标准接口来实现数据清洗：清洗的必要性，如不一致的域长，不一致的描述、值分配等数据装入：检查一致性约束、排序、概括、聚集、导出表的计算，建立索引和其它存取路径，分片到各个存储区。数据库专题讲义数据刷新：根据数据源的变化来修改数据仓库中的数据刷新时间周期地或随时地刷新方式数据移动:使用触发器来修改快照日志表，并将修改后的数据传送到数据仓库中事务移动:将事务日志中的数据修改发送到数据仓库中数据库专题讲义监控器检测数据源的变化定义触发器检查日志文件中的修改对于遗产系统要编写额外的程序将数据源的变化传送给集成器数据库专题讲义集成器接受来自监控器的变化使得数据与数据仓库概念模式一致将数据变化集成到数据仓库中与现有数据进行合并解决可能的修改异常数据库专题讲义元数据源数据库和内容gateway描述数据仓库模式、视图、导出数据定义维定义和维层次预定义查询数据集市的位置和内容数据分片数据抽取、清洗和转换规格数据刷新规则安全:用户授权、存取控制数据库专题讲义数据集市数据集市是企业内部部门级数据仓库的、小型的、面向部门或工作组的数据仓库。数据集市的作用自下而上地进行数据仓库的构建自上而下建立面向部门级的数据分析集数据库专题讲义自下而上的数据仓库构建采购子系统销售子系统库存子系统人事管理子系统财务子系统全局数据仓库数据抽取数据在抽取与集成数据集市数据库专题讲义自上而下建立面向部门级的数据分析集采购子系统销售子系统库存子系统人事管理子系统财务子系统全局数据仓库数据抽取数据在抽取与集成数据集市分析应用数据库专题讲义一个典型数据仓库数据组织数据仓库1主题组主题1细节表组汇总表组主题2……数据集市组集市1集市2……数据仓库2……数据仓库n元数据仓数据库专题讲义5.1.4数据仓库的数据模型星型模式:一个事实表连接多个维表雪花模式:星型模式的一种提炼，一个维表可以是一个维层次星座模式:多个事实表共享维表数据库专题讲义星型模式DateMonthYearDateCustIdCustNameCustCityCustCountryCustSalesFactTableDateProductStoreCustomerunit_salesdollar_salesYen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductStoreIDCityStateCountryRegionStore数据库专题讲义雪花模式DateMonthDateCustIdCustNameCustCityCustCountryCustSalesFactTableDateProductStoreCustomerunit_salesdollar_sales

Yen_salesMeasurementsProductNoProdNameProdDescCategoryQOHProductMonthYearMonthYearYearCityStateCityCountryRegionCountryStateCountryStateStoreIDCityStore数据库专题讲义查询模型：star-net

ShippingMethodAIR-EXPRESSTRUCKORDERCustomerOrdersCONTRACTSCustomerProductPRODUCTGROUPPRODUCTLINEPRODUCTITEMSALESPERSONDISTRICTDIVISIONOrganizationPromotionDISTRICTREGIONCOUNTRYGeographyDAILYQTRLYANNUALYTime数据库专题讲义汇总表数据仓库中可以存储一些汇总表汇总数据可以作为独立的事实表存储并共享相同的维表在事实表和维表中汇总数据可以进行编码数据库专题讲义5.2在线分析处理(OLAP)5.2.1OLAP基本概念5.2.2数据立方5.2.3

OLAP索引技术数据库专题讲义5.2.1OLAP基本概念OLTP数据原始数据细节性数据当前值数据可更新一次处理数据量小面向应用事务驱动面向操作人员，支持日常操作OLAP数据导出数据综合性或提炼性数据历史数据不可更新，但周期性刷新一次处理数据量大面向分析，分析驱动面向决策人员，支持管理需要数据库专题讲义OLAP功能给出数据仓库中数据的多维的逻辑视图通常包含交互式查询和对数据的分析。交互式有多种方法，包括细剖(drills-down)和统揽(roll-up)提供分析的建模功能，包括可以产生比率、变量的计算引擎，有关的度量，或跨多维的数字数据生成概括数据和聚集、层次，以及在每一维的交叉点上对聚集和概括级别的审计数据库专题讲义OLAP功能支持功能模型一进行预测、趋势分析和统计分析检索并显示二维或三维表格、图表和图形中的数据，并且能容易地变换基准轴极快得响应查询具有多维数据存储引擎，按阵列存储数据，这些阵列是商业维的逻辑表示数据库专题讲义6.2.2数据立方数据立方将频繁涉及聚集函数等费时计算的数据存储在多维数据库中，用来服务于决策支持、数据挖掘等应用CUBE是一个操作算子，用于支持OLAP数据库中的多聚合运算。它是GROUP-BY算子的N-维推广(GENERALIZATION).CUBE计算属性列表中所有属性的可能组合的GROUP-Bys数据库专题讲义6.2.2数据立方selectdate,product,customer,sum(amount)fromsalescubebydate,product,customer(date,product,customer),(date,product),(date,customer),(product,customer),(date),(product),(customer),ALL数据库专题讲义销售数据立方DateProductCountryAll,All,Allsumsum

TVVCRPC1Qtr2Qtr3Qtr4QtrChinaIndiaJapansumTotalannualsalesofTVinChina.数据库专题讲义数据立方上的操作切片(Slicing):在多维数组的某一维i上给定一个维值，所得的多维数组的子集，称为在维i上的一个切片。如，选定5月，则得到销售渠道与地区在5月的销售情况数据ProductDatemarketProductmProduct1Product2Productm-1marketDateDate1DatepProductmarket数据库专题讲义数据立方上的操作切块(Dicing)：在多维数组的某一维i上给定一个维值的区间，所得的多维数据的子立方