Oracle数据仓库设计与使用.ppt

Oracle数据仓库解决方案OracleETLOracle存储和分析方案Oracle前端展示方案,Oracle数据仓库设计与使用,Oracle数据仓库解决方案,数据仓库：对来自不同的数据源的大量杂乱的信息进行统一处理及管理，通过灵活的展现方法从中提炼出有规律的、可重复使用的知识来帮助决策支持，并将可以重复使用的知识转化为企业的核心竞争力。,Oracle对数据仓库的理解:数据仓库是一个过程，而不是一个产品。,传统的数据仓库解决方案,BrandA,BrandB,BrandD,BrandC,BrandE,BrandF,传统的数据仓库解决方案,多种软件组成非集成的方案凌乱的平台技术、接口复杂实施时间长,Oracle数据仓库总体解决方案框架,数据转换,中央数据仓库,信息展现,业务用户,源数据,抽取转化过滤加载,Relational,Transformation,OLAP,DataMining,Oracle9i/10g,数据监督控制,Oracle数据仓库解决方案Oracle的数据仓库系统的逻辑体系架构是由三层组成：数据获取层：实现如何从所有源系统中获得原始的业务数据，并对其进行一致性处理，按主题进行数据重组和格式转换，然后传送并装载到数据仓库系统中。数据管理层：把数据存储到企业级数据仓库系统中进行集中管理；数据使用层：实现如何把数据仓库系统中的数据和分析结果提供给最终用户。按照用户的分析需求，使用报表、随即查询、多维分析和数据挖掘进行数据展现。,Oracle数据仓库解决方案数据获取层数据仓库系统需要从多个源数据系统中抽取和汇总各种业务数据，这些数据源系统是数据仓库系统的数据来源。系统按照满足分析需求的原则，把上述数据源系统中的数据按照主题进行划分和组织，然后抽取并装载到数据仓库系统中。从上述这些系统中获取数据需要三个过程(ETL)：抽取数据、数据转换和数据装载。这三个过程是在保证各个数据源系统与数据仓库系统能够成功连接（包括网络协议标准的转换、不同平台之间的接口）的前提下实现的。这三个过程主要完成确定从哪个系统中抽取什么样的数据，如何保证来自不同源数据系统的同类数据的一致性和完整性，如何把转换完成的数据装载到数据仓库系统中，以及如何处理在转换和装载过程中出现的错误。,Oracle数据仓库解决方案数据管理层在数据存储层，数据是存放在两类数据库中：关系型数据库和多维数据库。数据存储是数据仓库系统的中心。取自多个数据源系统的明细数据，以及用于分析的集成汇总数据都存储在这个中心。它在逻辑上是一个完整的库。,Oracle数据仓库解决方案数据使用层数据输出层的功能是使最终用户通过报表、图形和其它分析工具的方式简便、快捷地访问数据仓库系统中的各种数据，得到分析结果。Oracle提供多种数据分析方法，包括标准报表、即席查询报表和动态分析报表，预测，假设分析和数据挖掘等。标准报表和即席查询报表是基于关系型数据库/多维数据库的报表输出，标准报表是一种格式固定，是在系统开发时根据用户需求定制的，最终用户无法自己修改。即席(随即)查询报表的格式和内容可以由最终用户自由选择，即支持即席查询。允许最终用户控制数据的访问方法，定义报表格式和报表中的数据内容。动态分析报表支持客户对数据进行旋转、切片和分层，并从各个角度对数据进行分析和比较。预测主要是根据历史数据推断将来的数据趋势。假设分析允许用户设定一些假设条件，观察条件成立的情况下相关指标的变化。数据挖掘是利用多种数学的分析方法建立模型，找出隐含的业务规律。,Oracle数据仓库系统工具平台数据仓库是一个建设过程，Oracle公司在数据仓库建设的每一个环节上都提供了相应的技术手段及工具来保障数据仓库的顺利实现。Oracle公司在多年数据仓库开发过程中已开发出符合数据仓库建设每一阶段所需要的开发工具，这对保证数据仓库建设的顺利完成提供了保障。以下为Oracle公司为数据仓库系统技术平台的配置内容：,Oracle数据仓库系统工具平台数据获取层配置：lOracleWarehouseBuilder(OWB)实现数据仓库的设计、部署和管理，包括数据建模、数据抽取、数据转移和装载、聚合、元数据的管理等。,Oracle数据仓库系统工具平台数据管理层配置：lOracle10g/9iRDBMS进行数据存储及管理功能。lOracleOLAP多维分析服务器lOracleDataMining数据挖掘引擎lOracleEnterpriseManager数据仓库图形化管理工具,Oracle数据仓库系统工具平台数据展现层配置：lOracleReports数据仓库前端应用报表开发工具lOracleDiscoverer数据仓库随即查询、报表工具lOracleInternetApplicationServer应用服务器lOracleBIBeans由OracleJavaOLAPAPI构造的商业智能套件lOraclePortal企业门户信息开发工具lOracleFinancialAnalyzer财务分析应用lOracleSalesAnalyzer销售分析应用,Oracle数据仓库系统工具平台lOracleWarehouseBuilder（OWB）可以为数据仓库解决方案提供完整、集成的实施框架，以前只能由单独工具完成的功能现在能够在同一环境中实现，这些功能包括：数据建模、数据抽取、数据转移和装载、聚合、元数据的管理等。OWB还实现了数据仓库不同部件如关系数据库、多维数据库以及前端分析工具的集成，为用户提供完整的数据仓库和商业智能系统。,Oracle数据仓库系统工具平OWB具有如下特点：l全面的数据仓库设计、部署和管理功能l利用数据库服务器提高性能l与前端分析工具紧密集成l开放、可延伸的框架l支持复杂的提取、转换和传输(ETT)过程l集成元数据管理,Oracle数据仓库系统工具平台lOracle9i/10g数据仓库核心引擎，其中Oracle9i/10g为最新版本的数据库产品，专门针对数据仓库进行了很多的改进，包括对更大数据量的支持(PB级)，对更多用户数的支持(10000+)，更多数据仓库专用函数的支持等。集成了ETL、OLAP、DataMining功能,Oracle数据仓库系统工具平台Oracle9i数据仓库核心引擎具有以下特点：l高可靠性、高可用性l强大的伸缩性和性能，强大的并行处理能力，支持复杂的，大数据量的、突发查询的能力l快速响应时间，高性能l强大的复杂查询技术l高可扩展能力l支持大容量，TB级的数据存储能力l高安全性l开放性l易于管理与维护l专门集成了数据仓库所需的ETL、OLAP、DataMining功能,Oracle数据仓库系统工具平台lOracleInternetApplicationServer是目前市场上综合性最强，集成度最高的应用服务器。它可以运行任何网站，门户或互联网应用，并且其速度比市场上其他应用服务器都要快，OracleInternetApplicationServer能让您通过传统浏览器和任何移动设备访问网站和应用。通过集成商务智能，它可以满足您最新的商务信息需求，它还加进了一套综合的管理，集成和协作技术，使您能够简化操作，提高效率。,Oracle数据仓库系统工具平台OracleiAS由四部分服务组成：l通讯(CommunicationServices)l表示（PresentationServices）l商业逻辑(BusinessLogicServices)l系统服务(SystemServices)OracleiAS还包含了一系列的开发工具：Forms、Reports以及Discoverer。,Oracle数据仓库系统工具平台OracleiAS具有以下特点：l提供完整的功能选件,如门户,无线,企业集成l提供从开发工具到应用服务器,到后台数据库的完整解决方案,如支持数据库l提供Web缓冲功能l提供单次登录及集成的目录服务器功能l提供广泛的应用服务器的管理与监控工具，监控对象包括应用服务器本身的运行状态，网站内容访问，如访问频度分析器、相应的报告工具等l提供完整而集成的商业智能工具,如报表功能,数据分析功能l提供集成的网站分析工具,Oracle数据仓库系统工具平台OracleiAS具有以下特点：l支持目前主流的Web服务器，并提高其安全性和可控制性l提供相应的IDE开发环境，缩短开发测试周期。l提供对复杂WebServices的支持,并且完全支持业界标准l跨平台支持，包括操作系统和数据库系统，以提高应用的灵活性和可移植性。lXML支持，支持XML数据的解释和输出。l强大的安全功能，包括安全套接层（SSL）、授权、数字认证和访问控制。l提供大量现成的组件,可以用于快速构建Web应用程序。,Oracle数据仓库系统工具平台lOracleDiscoverer是最终用户查询，报告，深入和旋转和WEB公布工具，能够帮助用户迅速访问关系型数据仓库、数据集市和业务系统，从而使他们做出基于充分信息的决策。,Oracle数据仓库系统工具平台OracleDiscoverer具有以下特点：l超乎寻常的易用性l快速查询及相应性能l强大钻取功能l强大自动汇总重定向能力l资源控制能力l低维护的最终用户层l基于服务器的可伸缩性l开放式访问,Oracle数据仓库系统工具平台lOracleDeveloper(Forms&Reports)一个用于建立企业级客户/服务器和Web数据库应用的、易于使用的集成式快速应用开发环境（RAD）。OracleDeveloper通过使用快速应用开发技术（RAD技术）、面向对象技术，基于计算机的内部学习，以及统一的客户、应用服务器和数据库服务器体系结构，为客户/服务器和Web开发建立了新的易于使用的生产力标准。,Oracle数据仓库系统工具平台OracleDeveloper(Forms&Reports)具有以下特点：l易于使用及开发l丰富的报表样式l多种文件格式(PDF,HTML,XML,XSL)l可扩展的性能(ReportServer)lWeb发布,Oracle数据仓库系统工具平台lOracleBIBeans是集合了一系列标准JavaBean，帮助开发人员快速建立商业智能应用程序。直接从Oracle数据库中产生快速、灵活的随即查询和多维分析。,Oracle数据仓库系统工具平台OracleBIBeans有以下部分组件组成：l演示组件（图形、交叉表和图表）lOLAP组件（查询和计算创建器）l服务多个组件将JDeveloper作为商务智能应用程序的开发环境，协同操作，利用Oracle技术堆栈和OracleOLAP的高级分析特性，提高应用程序开发人员的开发效率。,Oracle数据仓库系统工具平台lOracleEnterpriseManager是一套开放的综合系统管理系列产品，可以高效地管理整个Oracle环境，包括系统、数据库、网络和应用程序，可以大大减少系统管理员用于管理复杂产品环境的时间。OEM有以下四部分组件组成：lOracleDiagnosticsPack能够让数据库管理员实施对Oracle环境的高级监控、诊断和规划。lOracleTuningPack为数据库管理员提供了对Oracle环境的专家级性能管理能力，包括SQL优化调整和存储最优化。,Oracle数据仓库系统工具平台OEM有以下四部分组件组成：lOracleChangeManagementPack能够消除在升级数据库以支持新应用时（可能产生的）数据错误与丢失。此工具包分析与应用变更有关的影响和复杂的依赖性，并自动实施数据库升级。lOracleManagementPackforSAPR/3提供了对SAPR/3系统的实时监测能力、用于历史分析和未来规划目的的容量计划、事件集成以及对主机、数据库和应用的单点管理功能。,Oracle数据仓库系统工具平台OEM具有以下特点：l使用统一的体系结构管理着整个数据仓库系统l集中控制平台单一视图管理l实时监控l分布式数据管理,Oracle数据仓库系统工具平台Oracle数据仓库支持：1、任何数据源（AnySource）搜集在Oracle数据仓库中的数据来源众多，包括内部存储的业务数据和外部的数据。在传统上，数据仓库中的大多数数据来自内部业务系统，如业务系统或各客户信息系统等方面的数据。然而外部来源的数据也越来越普通，并且将会提供比内部来源更多的数据。上述两种数据来源应该融合在一个单一的存储系统中，并且加以管理，从而为最终用户提供对这两种数据源的无缝访问。Oracle提供各种网关（gateway）及Sql*Loader以及合作伙伴提供的各种工具来实现不同数据源数据的加载。,Oracle数据仓库系统工具平台Oracle数据仓库支持：2、任何数据（AnyData）考虑到现在需访问的数据仓库的用户范围，系统设计者面临着纷繁各异的需求。对数据的访问必须快捷，直观和直接。大多数用户需要直接查询和深入的能力，而另外一些需要更复杂的分析能力。同时数据仓库必须能够处理新型格式的数据，如声音，视像，文字和空间数据。而且，日益增加的用户提出大量历史性需求，往往导致超大规模数据库（VLDB）的出现。为了满足这些需求，对作为数据仓库核心的数据库系统提出了很高的要求，而ORACLE数据库核心能够完全满足这些需求。,Oracle数据仓库系统工具平台Oracle数据仓库支持：3、任何访问需求（AnyAccess）Oracle提供了基于数据仓库的范围广泛的工具集，能够帮助各种类型的用户访问数据仓库中存储的数据，我们把数据仓库的用户分为两类：第一类是对数据进行随意查询和报告，深入和旋转，这类用户需要一种直接和直观的工具，帮助他们轻松地访问数据，从而作出明智的商业决策。另外一类用户是企业的高级管理者和决策者，他们需要进行更复杂更高级更完全的分析（建模，预测和假设分析等），以支持制定商业策略。上述两类用户体现了整个企业对于信息访问的需求。今天的数据仓库已经突破了管理人员和分析人员的范围，现在各类企业人员都在使用数据仓库，决定选用何种工具实施数据仓库，变得越来越重要。,数据仓库市场份额比较Oracle提供完整的产品工具集，满足上述数据仓库的用户需求,Oracle数据仓库国内部分用户,电信云南移动福建电信深圳电信天津移动交通运输中国民航信息中心中国货运航空公司中国东方航空公司能源中国石化镇海炼化上海电力制造中国朗讯（Lucent)摩托罗拉（Motorola)上海施贵保长安汽车集团南京汽车武汉丽花丝宝光明乳业,政府国家统计局北京市国家税务局北京市地方税务局浙江公安金融中国银行中国工商银行中国农业发展银行深圳建设银行四川建行,Oracle数据仓库和商务智能整体解决方案介绍OracleETL方案Oracle存储和分析方案Oracle前端展示方案,什么是OracleWarehouseBuilder?,一个能设计、部署和管理企业数据仓库、数据中心和电子商务智能应用的可扩展框架构造数据仓库ETL（抽取、转换、装载）功能设计和部署完整的生命周期管理包含在DeveloperSuite中,OWB工作流程,关系性数据平面文件应用主机,Oracle9iorOracle10g,OWBrepository,源数据,目标数据仓库,OWBClient,STEP1:在WarehouseBuilder中设置环境为开始使用WarehouseBuilder，我们首先必须创建一个项目（project）.,STEP2:创建数据源建立基于ORACLE数据库对象得源数据模块。该步骤仅是整个解决方案中的第一步。定义数据源对象的结构。导入数据源元数据定义数据源对象的结构包括如下行为：1)定义和创建针对平面文件的数据源模块2）定义和创建针对关系型数据库的数据源模块3）从数据源对象导入元数据到数据源模块,STEP3:设计数据仓库该模块利用WarehouseBuilder创建表、视图、方案的一些特征。在此部分我们将创建事实表及维。完成这些工作后，就能将数据载入这些结构中定下数据仓库。,STEP4:设计映射与转换模型OWB的核心功能是基于ETL过程。利用OWB映射设计工具完成这些过程的设计。将充分利用前面在OWB中定义好的数据源与数据目标，允许客户用PL/SQL开发辅助数据转换。,STEP5:配置，部署，运行在设计完数据仓库后，在数据库中安装它，并载入数据。如何配置在前面中创建的模块，并运行映射，载入数据。,STEP6:生命周期管理数据仓库是一个一直在进化的系统。为了处理数据源及数据目标的变化，OWB提供了用户数据源协调及数据仓库升级的手段。,Oracle数据仓库解决方案OracleETL方案Oracle存储和分析方案Oracle前端展示方案,Oracle数据仓库-数据管理,超越传统海量数据管理能力,最多的数据分区技术,物化视图,集成OLAP、DataMining和ETL服务,位图索引位图联合索引,ShareDisk的并行处理和集群,数据压缩,自动存储管理,智能化自我管理,Oracle数据仓库和商务智能整体解决方案介绍OracleETL方案Oracle存储和分析方案Oracle前端展示方案,单一基础架构支持全面的信息访问,逻辑统一，物理集成,完整展现，性能卓越,只有OracleApplicationServer10g能做到,Discoverer方便访问数据,点击式，非常简单拖放式的布局,交互式提示,右键单击以获得有用的选择,多步骤任务的向导,在任何级别上获取信息,功能强大的下钻特性来自于聚合数据,报告您的见解,需要通知其他人吗？,发布到OraclePortal,以电子邮件方式发送给团队,保存在Excel中,输出到AdobePDF,或者从任何web浏览器中访问！,电子表格插件,作为Excel插件安装QueryBuilder向导驱动的界面导航OracleOLAP多维数据集、维和层次异常、top/bottom、排名基于层次、基于时间创建和存储已保存的选项CalcBuilder向导驱动的界面创建和存储基于OracleOLAP的计算基于时间的计算、移动平均值所有可用的标准Excel功能（例如图形、格式化）与其他