数据仓库技术ppt课件

1、数据库新技术 数据仓库技术1数据库新技术 数据仓库技术2数据库：数据库： 将数据堆积如山将数据堆积如山数据仓库：对数据库的数据进行清洗，堆积数据仓库：对数据库的数据进行清洗，堆积 成更大的数据山成更大的数据山OLAP： 从不同的角度对数据山进行观察从不同的角度对数据山进行观察数据挖掘：从数据山中挖掘出有用的商业知识数据挖掘：从数据山中挖掘出有用的商业知识数据库新技术 数据仓库技术3数据库新技术 数据仓库技术4数据库新技术 数据仓库技术5操作型操作型分析型分析型处理数据处理数据 当前数据当前数据历史数据历史数据支持技术支持技术 事务处理技术事务处理技术大量数据分析大量数据分析用户群体用户群体 大

2、量一般人员大量一般人员少量管理人员少量管理人员处理特性处理特性 响应时间快响应时间快CPU均衡均衡响应时间随意响应时间随意CPU占有不定占有不定数据库新技术 数据仓库技术6数据库新技术 数据仓库技术7数据库新技术 数据仓库技术8数据库新技术 数据仓库技术9数据库新技术 数据仓库技术10数据库新技术 数据仓库技术11数据仓库系统数据仓库系统数据库系统数据库系统管理层使用管理层使用一线人员使用一线人员使用战略性价值战略性价值策略性价值策略性价值支持战略制定支持战略制定支持日常操作支持日常操作用于联机分析用于联机分析用于事务处理用于事务处理面向主题面向主题面向应用程序面向应用程序存储历史数据存储历史

3、数据仅存储当前数据仅存储当前数据不可预测查询模型不可预测查询模型可预测查询模型可预测查询模型数据库新技术 数据仓库技术123、 数据仓库系统数据仓库系统数据库新技术 数据仓库技术13 数据库新技术 数据仓库技术14 数据库新技术 数据仓库技术15 数据库新技术 数据仓库技术16 操作型数据每日事务处理每日综合2月1日2月2日2月3日 。3月1日3月2日3月3日 。1月1日1月2日1月3日 。数据库新技术 数据仓库技术17 每日事务处理每日综合操作型数据第1天第2天第3天第7天第1周第2周第3周第5周第1月第2月第3月第12月第1年第2年第3年第n年数据库新技术 数据仓库技术18 1月份彩电销售

4、海尔 68长虹 100东芝 20熊猫 10 2月份彩电销售海尔 150长虹 90东芝 40熊猫 30数据库新技术 数据仓库技术19 1月份彩电销售海尔 68长虹 100东芝 20熊猫 10 2月份彩电销售海尔 150长虹 90东芝 40熊猫 30海尔 1月份至今 218长虹 1月份至今 190东芝 1月份至今 60熊猫 1月份至今 40 数据库新技术 数据仓库技术20 连续文件3月份彩电销售海尔 75长虹 60东芝 80熊猫 40海尔 1月份至今 293长虹 1月份至今 250东芝 1月份至今 140熊猫 1月份至今 80 海尔 1月份至今 218长虹 1月份至今 190东芝 1月份至今 60

5、熊猫 1月份至今 40 数据库新技术 数据仓库技术21 数据库新技术 数据仓库技术22 SourceDatabasesData Extraction,Transformation, loadWarehouseAdmin.ToolsExtract, Transformand LoadDataModelingToolCentralMetadataArchitectedData MartsData Accessand AnalysisEnd-UserDW ToolsCentral DataWarehouseCentral DataWarehouseMid-TierMid-TierDataMartDa

6、taMartLocal MetadataLocal MetadataLocal MetadataMetadataExchangeMDBDataCleansingToolRelationalAppl. PackageLegacyExternalRDBMSRDBMS数据库新技术 数据仓库技术23 数据仓库 MRDB MDDB 数据抽取 数据净化 数据载入信息发布系统操作型数据和外界数据 数据集市报表,查询, EIS工具OLAP 工具数据挖掘工具管 理 平台元数据管理平台数据仓库体系结构数据库新技术 数据仓库技术24 Extract, Transform and Load数据库新技术 数据仓库技术2

7、5 数据库新技术 数据仓库技术26 数据库新技术 数据仓库技术27 数据库新技术 数据仓库技术28 数据库新技术 数据仓库技术29 数据库新技术 数据仓库技术30示例：GenBank记录（平面文件）AccNumCrossRef数据库新技术 数据仓库技术31数据库新技术 数据仓库技术32数据库新技术 数据仓库技术33数据库新技术 数据仓库技术34操作数据库、操作数据存储、数据仓库三者之间的比较操作数据库、操作数据存储、数据仓库三者之间的比较操作数据库操作数据库操作数据存储操作数据存储数据仓库数据仓库数据内容数据内容当前值当前值当前和最近的值当前和最近的值存档、归纳数据和存档、归纳数据和经计算得出

8、的数据经计算得出的数据数据组织数据组织面向应用程序面向应用程序根据主体域根据主体域-数据数据集成集成面向主题面向主题数据性质数据性质动态动态(经常变化经常变化)动态动态(经常变化经常变化)静态静态(刷新时除外刷新时除外)数据结构格式数据结构格式复杂：适于操作型计复杂：适于操作型计算算复杂到简单复杂到简单简单：适于商业分简单：适于商业分析析访问概率访问概率高高高到中高到中中到低中到低数据更新数据更新按字段更新按字段更新可更新可更新没有直接地更新没有直接地更新数据访问数据访问每个事务访问几条记每个事务访问几条记录录每个事务访问几条每个事务访问几条记录记录每个事务访问多条每个事务访问多条记录记录用途

9、用途高度结构化、重复处高度结构化、重复处理和事务处理理和事务处理高度结构化、重复高度结构化、重复处理和事务处理和处理和事务处理和交互式交互式分析处理分析处理响应时间要求响应时间要求低于低于1 1秒到秒到2323秒秒低于低于1 1秒到秒到2323秒秒几秒到几分，几小几秒到几分，几小时时数据库新技术 数据仓库技术35RelationalPackageLegacyExternalsourceDataCleanToolDataStagingEnterprise DataWarehouse DatamartDatamartRDBMSROLAPRDBMSEnd-UserToolEnd-UserToolMD

10、BEnd-UserToolEnd-UserTool数据库新技术 数据仓库技术36数据库新技术 数据仓库技术37数据库新技术 数据仓库技术38数据库新技术 数据仓库技术391.要结合用户的现状，来明确数据仓库的目标任务。2.最好能确定评定将来数据仓库系统成功与否的基本原则。3.开展评估工作一定要有企业高层负责人参加 。4.建立数据仓库的环境状况和所利用的网络技术状况。 1.数据仓库是为支持决策服务的，所以首先要了解决策者的需求 。2.领导的决策总是由一批具体工作人员支持的，所以还应从他们这里收集具体的需求，并加以分析 。3.当前共同的业务问题是什么。4.此外，还要对在实现这些业务需求时，对信息技

11、术的需求加以分析 （运行平台、数据质量如何；确认硬件、网络和软件的限制条件；数据装载与更新的策略问题；数据量和占用空间的估计。 ）。1. 概念模型的设计概念模型的设计 l 主题域的公共码键。l 主题域之间的联系。l 充分代表主题的属性组。2.逻辑模型设计逻辑模型设计 l 确定数据仓库中的表结构。3.物理模型设计物理模型设计 l 确定数据的存储结构 。l 确定索引策略。l 确定数据存放位置。l 确定存储分配。1.选择最完整、最及时、最准确、最接近外选择最完整、最及时、最准确、最接近外部实体源的数据作为记录系统部实体源的数据作为记录系统 。2.记录系统的定义要记入数据仓库的元数据记录系统的定义要记

12、入数据仓库的元数据。 1.建立记录系统与数据仓库之间的接口建立记录系统与数据仓库之间的接口 。2.建立第一个主题域，在反馈和循环中逐渐建立第一个主题域，在反馈和循环中逐渐建立其他主题域建立其他主题域 。 1.数据仓库是支持用户进行决策的，人对系统的运作是决定性的因素。只有人充分地利用数据仓库的决策功能才可以证明数据仓库的成功。2.建成数据仓库后要根据具体情况认真进行用户的培训。 数据库新技术 数据仓库技术40应用A应用B应用C收集应用需求分析应用需求构建数据仓库系统实施系统测试应用编程DW生命周期方法数据仓库建模数据获取与集成构建数据仓库理解需求系统测试DSS应用编程DW反生命周期法DB外部数

13、据DB数据库新技术 数据仓库技术41数据集市数据集市外部数据外部数据数据集市数据集市操作数据操作数据问题企业数据仓库企业数据仓库数据库新技术 数据仓库技术42数据集市数据集市建立部门数据集市建立部门数据集市H限制在一个主题区域限制在一个主题区域H快速投资收益快速投资收益 H区域自治区域自治 设计的可伸缩性强设计的可伸缩性强H对相关部门的应用容易复制对相关部门的应用容易复制 H对每个数据集市需要数据重构对每个数据集市需要数据重构H存在一定的冗余及不一致性存在一定的冗余及不一致性H逐步扩展到企业数据仓库逐步扩展到企业数据仓库 (EDW)H把建造把建造EDW作为一个长期的目标作为一个长期的目标存在的

14、问题存在的问题:数据集市的数据都是可用的吗数据集市的数据都是可用的吗?能生成数据模型吗能生成数据模型吗?如何解决不一致性如何解决不一致性?外部数据外部数据操作数据操作数据 (全局全局)&操作数据操作数据 (局部局部)数据集市数据集市企业数据仓库企业数据仓库操作数据操作数据 (局部局部)数据库新技术 数据仓库技术43数据库新技术 数据仓库技术44数据库新技术 数据仓库技术457、数据仓库的发展现状和趋势、数据仓库的发展现状和趋势 一、并行化和可扩展性一、并行化和可扩展性二、集中化二、集中化三、数据仓库与三、数据仓库与Internet/Intranet的集成的集成四、数据挖掘工具的成熟和广泛使用四、数据挖掘工具的成熟和广泛使用五、通用数据库五、通用数据库六、数据仓库打包应用六、数据仓库打包应用 1.为提高数据仓库的性能和可扩展能力，数据仓库已趋向并行化。2.在硬件层次上，已越来越明显地采用多处理器并行结构。3.在数据库层次上，许多数据库厂商已推出并行产品，以适应数据仓库市场的需要。 数