Oracle的数据仓库解决方案

1、Oracle 的数据仓库解决方案议程Oracle公司简介介Oracle数据仓库库系统整整体解决决方案数据的管管理数据的获获取数据的展展现问题与讨讨论Oracle-全球卓越越的IT巨人Oracle是全球第第二大独独立软件件公司Oracle是全球第第一大数数据库软软件公司司Oracle是全球领领先的电电子商务务公司Oracle是北美制制造业第第一大ERP公司全球145+個個国家及及地区设设有分支支机构Oracle全球超过过42,700名员工工全球超过过200,000客户户Oracle总部位于于加州硅硅谷，亚亚太地区区总部设设于新加加坡2003财政年年度营业业额近100亿美元元,研研发经费费超10亿

2、美元元Oracle-中国营运概况1989年进入入中国，1991年正正式成立立“北京京甲骨文文软件系系统有限限公司”，是中中国最大大的国外外软件公公司之一一，技术术及咨询询人员占占员工总总数62%以以上提供全方方位服务务技术支持持：技术术人员提提供专线线与到场场支持服服务教育培训训：专业业讲师提提供丰富富课程，并利用用互联网网提供一一致的，全球化化的学习习咨询顾问问：专业业顾问提提供专业业咨询服服务在上海、广州、成都等等地设有有办事处处3大培训中中心，分分别在北北京,广广州和和上海于深圳、北京设设立两个个全球级级研发中中心顾问咨询询产品支持持教育培训训电子商务务套件信息协同同套件商业智能能数据库

3、应用服务务器数据仓库库工具Internet平台基于Internet的应用产品品服务体系系Oracle完整的企企业、政政府机构构信息化化解决方方案体系系合作伙伴伴1/17/2020技术发展展80年代代早期80年代代后期90年代代早期90年代代后期早期关系型客户/服服务器方式的关关系型企业级关系型Internet数据库简单的OLTP,特殊的SQL查询客户/服服务器方式的OLTP数据仓库库和高端的OLTP扩展的关系型Web方式的应用集中数据据的应用平台台2000Oracle9iInternet商务平台台2003Grid网格计算算Oracle10g下一代Internet计算技术术(Source: DM

4、 Review,May 2001)Oracle:最大的数数据仓库库平台厂厂商全球数据仓库工具市场份额IBM16%Microsoft9%NCR3%Sybase1%Others37%SAS9%Cognos4%Oracle21%(Source: IDC, Aug 2001)议程Oracle公司简介介Oracle数据仓库库系统整整体解决决方案数据的管管理数据的获获取数据的展展现问题与讨讨论数据数据仓库库是一个个建设过过程，而而不是一一个产品品。数据仓库库是通过对对来自不不同的数数据源进进行统一一处理及及管理，通过灵灵活的展展现方法法来帮助助决策支支持。数据仓库库最新理理解数据信息知识决策获取管理使用O

5、racle数据仓库库的完整整架构数据转换中央数据仓库信息展现业务用户源数据数据获取数据管理数据使用项目管理 数据仓库实施指导方法论业务规划 信息评估 逻辑数据 模型设计 物理数据模型设计数据库管理 元数据管理 应用开发 顾问咨询 知识转移 TMIS系统客运系统外部信息MIS 系统抽取转化过滤加载随即查询报表多维分析数据挖掘Portal集成RelationalTransformationOLAPData Mining数据集市Oracle 9i直接用户(客户端)Olap用户Web用户应用服务器决策者分析员研究员查询人员OWB项目管理理、数据据仓库方方法论OPMDWM业务规划划 信息息评估模模型设设

6、计OracleWarehouse Builder管理、开开发OEMOWB Oracle9iDS顾问咨询询 知识识转移DiscovererReportBIBeanPortalTMIS系统客运系统统外部信息息RelationalTransformationOLAPData MiningOracle9iMIS系统9i AS随即查询询报表多维分析析/数据挖掘掘应用服务器门户集成成ETL工具Oracle提供先进进的、完完善的数数据仓库库技术平平台数据转换中央数据仓库 信息展现 应用系统源数据数据获取数据管理数据使用议程Oracle公司简介介Oracle数据仓库库系统整整体解决决方案数据的管管理数据的获获

7、取数据的展展现问题与讨讨论数据集中中处理需需求数据量大大，并不不断增长长Jan 1, 2002Dec 31, 2002记录数量大汇总全局各业务系统: ERP 系统 MIS 系统业务数据 Date, Time, Number, Name, Addr., Amount ?.数据内容复杂详细记录货运信息、 客运信息等内容数据集中中处理需需求数据访问问性能要要求高查询统计数据集中中处理需需求对安全，可靠，高可用用性的要要求高建立集中中各业务务系统重重要数据据的备份中心心STOP24x7高效访问问大量数数据- 数据据分区技技术可管理性性将大的表表分割为为若干分分区，“分而治之之”性能“分区忽略略”机制提

8、高高查询性性能基于分区区的join操作可用性将故障局局限在分分区中缩短恢复复时间多种分区区方式范围(Range)分区、散散列(Hash)分区、列列表(List)分区混合分区区PartitionedTableswithLocalIndexesOCT2002SEP2002AUG2002NOV 2001OCT2001Load andindexnewmonthNOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002NOV2002.“滚动窗口口”操作- 大量量数据高高速装载载andadd newmonthtotableOCT2002S

9、EP2002NOV2002NOV 2001NOV 2001OCT2001OCT2002SEP2002NOV2002DEC 2001NOV 2001OCT2001OCT2002SEP2002NOV2002DEC 2001NOV 2001OCT2001OCT2002SEP2002NOV2002DEC 2001NOV 2001OCT2001OCT2002SEP2002NOV2002DEC 2001NOV 2001OCT2001OCT2002SEP2002NOV2002DEC 2001NOV 2001OCT2001OCT2002SEP2002NOV2002DEC 2001NOV 2001OCT2001

10、“滚动窗口口”操作- 大量量数据高高速装载载OCT2002SEP2002NOV2002DEC 2001NOV 2001OCT2001NOV2002Then removeandarchiveoldestmonthOCT2001OCT2001Load andindexnewmonth.PartitionedTableswithLocalIndexes保证系统统高可用用性 综合合信息库库系统ComputerCComputerDComputerAComputerBOne databaseaccessible by all nodesOracleRealApplicationCluster(Oracle

11、并行服务务器，OPS)在Cluster、MPP体系结构构中，实实现一个个共享数数据库， 支持持并行处处理，均均分负负载，保保证故障障时数据据库的不不间断运运行支持ShareDisk和ShareNothing类型的体体系结构构多个节点点同时工工作节点均分分负载DLM透明的应应用失效效转移-利用热失效转转移进行恢复复透明的应应用失效效转移补补全了可可用性等等级的所所有层次次将应用和和用户自自动而透透明地重重新连接接到另一一个系统统登录的上上下文可可被保持持应用查询询不会中中断节点A节点B节点A节点B当集群内节点 A 失败, 用户被转移数据库节点 A数据库 缓冲器节点 B数据库 缓冲器请求数据传输O

12、racle9i的完全缓缓存融合合技术提提高了性性能和可可扩展性性通过高速速互连直直接传输输数据昂贵的磁磁盘I/O被最小化化CacheFusionTM体系结构构面向查询询的读共共享查询操作作需要读读某数据据块，而而该块正正好在另另一个实实例的缓缓存中面向更改改的写共共享更改操作作需要修修改某数数据块，而该块块正好在在另一个个实例的的缓存中中。使用CacheFusion,仅当该数据块块不在全全局共享享的缓存存中，才才会执行行磁盘读读操作数据共享享问题DataA-Z应用Data A-Z应用Oracle9iReal Application Clusters -可伸缩性性 增加加系统扩扩充能力力增加机器

13、器时，系系统性能能的最佳佳响应快速增长长的集群群结构Clusters快速增加加节点和和硬盘当扩展节节点时数数据仓库库系统无无须重新新组织和和分布数数据#Users1,0261,9003,648OracleE-BusinessSuite11iOracle9iRAC可伸缩性性数据库服服务器:HPN-Class 6x440MHz CPUs89%Scalability93%生产数据据库延迟和零零数据丢丢失模式式(Both)物理后备备数据库建立综合合信息库库高效的的备份中中心-Oracle9iData Guard(Oracle Standbydatabase)零数据丢丢失的灾灾难保护护通过同步步/异步步

14、的日志志log传输控制制排除人为为错误通过延迟迟提交灵活的切切换操作作主数据库库和备份份数据库库可以灵灵活的互互换角色色Data Guard Manager在OEM图形界面面管理工工具内，配置、监控和和管理灾灾难保护护系统物理备份份数据库库生产系统统逻辑备份份数据库库主备系统统双向切换换管理员控控制台和和统一管理理平台(Both)延迟和零零数据丢丢失模式式(Both)保持数据据库打开状态态SQL提交附加的索索引和物化视视图建立综合合信息库库高效的的备份中中心-Oracle9iData Guard(Oracle Standbydatabase)按固定字字段的范范围分区区、哈希希分区、混合分分区、

15、列列表分区区灵活应用用、SQL语句自动动重写、自优化化能力高效、灵灵活、易易于使用用的OLAP分析、数数据挖掘掘和数据据抽取、转换、传输、存储服服务提高索引引效率、增强的的外连接接索引能能力Oracle9i,数据仓库库的增强强技术数据分区区物化视图图集成的OLAP、DataMining和ETL服务位图连接接索引数据分区区位图索引引真正仓库库物化视图图其他汇总数据按月汇总的不同种类货运数据按地区汇总的每月货运数据查询详细货运记录查询自动重写汇总数据据管理-物物化视图图MaterializedView蚌埠和上上海分局局在过去去三个月月的货运运总量是是多少？表压缩(Oracle9i,版本2)表能被压

16、压缩在分区级级别上压压缩也能能具体指指定典型压缩缩比率从从3:1到5:1压缩由实实际数据据决定压缩规则则基于数数据冗余余主要好处处是节省省开销节省TB级的存储储而不影影响性能能或功能能数据分区区位图索引引真正仓库库物化视图图Oracle9iDatabase单一的商商业智能能数据服服务器RelationalETLOLAPData MiningMetadata数据获取数据管理数据展现传统的分分析服务务器数据仓库库引擎数据整合合引擎OLAP引擎数据挖掘掘引擎数据获取数据管理数据展现Oracle9i分析平台台Data WarehousingETLOLAPData MiningOracle9i数据获取数

17、据管理数据展现更强大的的分析能能力更加安全全可靠部署和管管理更加加简单目前业界界最先进进的OLAP处理方法法所有OLAP数据和处处理过程程都存储储在Oracle9iDB多维结构构（维表表，cube立方体）存储在在数据库库中没有外部部文件存存储或单单独的OLAP处理(不同于竞竞争对手手产品)SQL直接访问问多维目目标、模模型、预预测等开放的、基于Java标准的OLAP API利用BIBeans方式加速速基于internet的应用开开发Oracle9iDB集成OLAP和Data MiningOLAP数据分区区位图索引引真正仓库库物化视图图应用部署署Oracle9iASJava应用或AppletSe

18、rvletPDAMobilePhonePCBrowserOracle 9iOLAP 服务数据仓库BI Beans 库提高了应应用的预预报和洞洞察力例如，建建立货运运量的趋趋势分析析模型Data Mining嵌入了Oracle9iDatabase简单的过过程，避避免了数数据迁移移，提供了更好好的运行行性能和和可扩展展性开放的、基于Java标准的API用于开发发商业智智能的应应用Oracle9iData MiningData Mining数据分区区位图索引引真正仓库库物化视图图ETL的压力和和挑战短时间内内完成大大量数据据的抽取取、转换换和装载载 (ETL)不能影响响数据源源系统(业务运运营系统统

19、)和目目标系统统(分析析系统)ETL是分析系系统中非非常复杂杂和关键键的处理理步骤传统ETL处理的方方法方式一：数据库库外部的的ETL方式二：数据上上载到数数据库的的存储区区域（Staging)进行ETL方式一：数据库库外部ETL方式一：数据库库外部ETL主要的风风险和缺缺点扩展性差差缺乏数据据恢复能能力难于维护护没有充分分利用数数据库的的处理能能力方式二：数据库库Stage中的ETL方式二：数据库库Stage中的ETL主要的风风险和缺缺点数据库需需要存储储两份数数据：原原始数据据和中间间结果数数据数据库工工具和语语言对处处理特殊殊的ETL问题没有有优化几种高效效的ETL技术获取变化化数据（C

20、hangeDataCaptureCDC)从数据源源中获取取变化的的数据异步：OracleLogMiner将从归档档日志中中发现变变化数据据同步：复复制技术术CDC不仅有获获取变化化数据能能力，而而且还可可提供发发布的机机制，不不同的系系统可进进行定制制特别适合合于多个个数据集集市（Data Mart)的系统ConsumptionStagingCaptureOracleStream外部表(ExternalTable)外部表(ExternalTable)数据文件件作为虚虚表，就就像存储储于数据据库中的的表特点：可直接查查询（Select)和连接（Join),并支持并并行处理理，提高高Scalabi

21、lity免去数据据装载的的过程，提高性性能特别适用用于外部部数据(Flat files)与数据库库内数据据的频繁繁交互多表插入入 （Multi-TableInsert)可将数据据插入多多个目标标表中；或根据据特殊的的业务转转换规则则，将数数据插入入多个可可能目标标表中的的一个特别有助助于数据据转换处处理包括括多个目目标表的的环境Oracle9i之前，这这样的处处理必须须执行多多次Insert操作。即即需要处处理n次相同的的源数据据，数据据转换将将增加n倍的负载载。Upsert功能MERGEINTO products tUSINGproducts_deltasONd_id=d_idWHEN MA

22、TCHEDTHENUPDATESET d_list_price=s.list_price,d_min_price=s.min_priceWHEN NOTMATCHED THENINSERT(prod_id,prod_name,.,prod_list_price,prod_min_price)VALUES(d_id,d_name, .,s.list_price,s.min_price);表函数在ETL处理中，数据在在被装载载到数据据仓库之之前，通通常需要要经过一一系列的的转换复杂的转转换通常常在数据据库外部部或内部部，以过过程的方方式实现现 （如如存储储过程）Oracle9i

23、提供了管管道和并并行执行行的方式式，实现现复杂的的转换，无需中中间存储储表。表函数可移动的的表空间间（Tablespaces）为了将数数据从一一个数据据库移到到另一个个库中，采用移移动表空空间的技技术是非非常有效效的方法法它不需作作数据的的卸载和和装载Oracle9i中，保证相同同数据块块大小的的限制被被消除Oracle9i中的ETL特点：TransformwhileLoadingOracle公司简介介Oracle数据仓库库系统整整体解决决方案数据的管管理数据的获获取数据的展展现问题与讨讨论议程OracleWarehouse Builder数据仓库库建设工工具设计图形化建建模、映映射关系系定义

24、构造生成数据据仓库生成抽取取转换过过程元数据集集成管理基于元数数据的数数据仓库库管理OWB是一个针针对数据据仓库设设计、部部署、管管理的工工具数据获取数据管理数据展现模型设计计灵活快速数据获取数据管理数据展现映射源数数据和目目标数据据 FilterJoinerAggregaytorDeduplicatorSorterSetoperations(new)Keylookup (new)SplitterSequenceInlineExpressionsTransformationsPre- andPost-MappingProcessesCleansingNameandAddress(new)ETL

25、实现能力力数据获取数据管理数据展现自动化流程化议程Oracle公司简介介Oracle数据仓库库系统整整体解决决方案数据的管管理数据的获获取数据的展展现问题与讨讨论Reports Developer成熟的，高质量量的Web报表无限制的的数据格格式高质量的的报表展展示建立和配配置基于于Web的报表Oracle9iAS Reports基于应用用服务器器的报表表发布在Web上的数据据和应用用的安全全性保证证同Oracle9iAS Portal的集成通过XML实现个性性化数据获取数据管理数据展现User AVersionUser BVersion每个用户户可以定定义建议议符合自自己要求求的唯一一报表.V

26、ersion 1Version 1Version 1Version 1Version 2Version 3Version 4.对于每个个新版本本的定义义是可以以重复利利用的User AUser B客观、具具体的报报表定制制andapplied at runtime.一个单一一的报表表定义针针对所有有用户.XMLXMLVersion 1Version 2Version 3Version 4.运行时定定制个性性化报表表数据获取数据管理数据展现数据仓库库业务用户数据层语义层专业技术术人员OracleDiscoverer-业务人员员的查询询工具数据获取数据管理数据展现差异分析同期比较排名分析汇总趋势分

27、析Discoverer灵活的展展现方式式业务分析析数据获取数据管理数据展现信息预警Discoverer信息发布布Oracle9iEndUserLayer(TM)通用的术术语定义义商业计算算 查询钻入/钻钻出批量报表表Oracle9iASDiscoverer PlusDiscoverer ViewerAdministratiomEdition -iDS数据获取数据管理数据展现Oracle9i JDeveloperOracle9i数据库Oracle9iOLAPJava OLAPAPIBI Beans快速应用开发OLAP 准备就绪多维分析析-Oracle9iBI应用开发发平台可伸缩的的数据存存储集成

28、的元元数据摘要管理理SQL分析功能能数据获取数据管理数据展现商业智能能的应用用发布Oracle9iASServlet EngineBIBeansServlet/JSPApplicationOracle9iDatabaseOracle9i OLAPJava OLAPAPIClientWebBrowserBIBeansJava AppBI Beans Catalog数据获取数据管理数据展现BusinessIntelligenceBeansOracle9iTableCross TabChartOracle9iOLAP optionQuery BuilderCalculation BuilderQue

29、ry Metadata ManagerConnectionPersistenceBeans Repository数据获取数据管理数据展现开发人员员的生产产力可以使用用向导定定义计算算、交叉叉表、图图和表在开发环环境中可可进行可可视化编编辑的BI对象在JDeveloper中BI对象的可可视化定定义数据获取数据管理数据展现实现多维维分析Presentation向导生成成分析应应用数据获取数据管理数据展现实现多维维分析打开/保存演示示定义查询询定义计算算导出到电电子数据据表格式演示示Applet向导生成成分析应应用数据获取数据管理数据展现数据获取数据管理数据展现实现多维维分析JSP向导生成成分析应应

30、用集成的技技术堆栈栈-Oracle9iOLAP管理数据获取数据管理数据展现统一的管管理工具具（OEM）CWM Metadata分 析应应用用管理数据据外部数据运营数据WarehouseBuilderOracle9iApplicationServer9iApplicationServerBIBeansDiscovererReportsPortalOracle 9iETL InfrastructureAnalytic Services Data MiningBrowser/Device企业应用用系统发发展方向向Oracle9iApplicationServerOracle9iDatabaseSer

31、ver部署企业所有应用管理企业所有数据Oracle9iApplicationServer一个集成成的产品品包移动访问问Wireless商业智能能BusinessIntelligence后端系统统集成EnterpriseIntegration企业门户户Portal建立交易易处理站站点Transactional应用和数数据缓存存Web&Data Caching开发Internet应用开发发技术J2EE /Web Service(OC4J)Framework(BC4J/TopLink)PL/SQLServer PageRAD(Forms)分析汇总总打印网站技术术集成技术术部署安全体系系性能可伸缩性性

32、高可用性性管理性成本(高高性价比比)开放Oracle9iAS - DevelopmentPortalsWeb ServicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence企业应用用软件的的四大关关键因素素Oracle9iASJ2EE FacilitiesCertified100%J2EE 1.3CompliantJ2EE和Web应用开发发AnyDataSourcePackagedAppsServlet /JSPPerlPL/SQLFormsEJB/BC4JC/C+XML/XSLWireless&Mobil

33、eBrowser开发使用用Java,XML, Perl, PL/SQL,C/C+, Forms快速开发发 使用用Oracle集成的应应用开发发套件减少开发发成本通通过使用用统一的Java,XML, SQL平台WebCacheMicrosoftIISApacheWireless&MobileBrowser100%Standardscompliant -simple andcomplex webservices包装J2EE,PL/SQL和原有应应用系统统作为webservicesJDeveloper自动生成成和部署署webServiceservicesBusiness-to-BusinessAny

34、DataSourcePackagedAppsJCAJDBCJava/J2EEApplicationsPL/SQLApplicationsHTML/XMLStreamsUDDI RegistryJdeveloperInvoke(SOAP)XMLInterface (WSDL)Publish(WSDL)FindOracle9iAS全面的WebService开发、部部署、管管理Oracle9iASTopLinkOracle9iASTopLink世界上最最先进的的对象结结构 关系系结构映映射工工具使Java应用高效效访问关关系型数数据库Oracle9iASTopLink开发Internet应用开发发技

35、术分析汇总总打印WebReport (OracleReport)Ad-hocQuery(Discoverer)OLAP (OLAP +BIBeans)Site Analyzer (Clickstream)Personalization集成技术术部署安全体系系性能可伸缩性性高可用性性管理性成本开放Oracle9iAS - DevelopmentPortalsWeb ServicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence企业应用用软件的的四大关关键因素素Oracle9iAS基于Web的商务智智能唯一完整

36、整的商务务智能查询和分分析-Discoverer企业报表表 -Reports高级分析析 -BIBeans(OLAP)站点活动动分析Clickstream站点个性性化-Personalization唯一集成成的商务务智能9iAS,9iDS,9iDB集成通过门户户共享商务智能能门户WebCacheHTTPServerHTTPServerOther Data(Customer)LOGLOGLOGLOGClickstreamNS, IISOracle9i DB?30 Pre-built ReportsOracle ReportsDiscoverer(What-ifs)PersonalizationEn

37、gineJSPData MiningEngineOracle OLAP开发Internet应用开发发技术分析汇总总打印网站技术术Portal(OraclePortal)Content Management(iFS)Email(UnifiedMessaging)集成技术术部署安全体系系性能可伸缩性性高可用性性管理性成本开放Oracle9iAS - DevelopmentPortalsWeb ServicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence企业应用用软件的的四大关关键因素素客户化SingleSig

38、n-OnAs an employee.As a partner or supplier.As a customer.Oracle9iAS - DevelopmentPortalsWeb ServicesWirelessEnterpriseIntegrationJ2EE ApplicationsBusiness Intelligence开发Internet应用开发发技术Web网站技术术分析汇总总集成技术术业务流程程整合(OracleWorkflow)部署安全体系系性能可伸缩性性高可用性性管理性成本开放企业应用用软件的的四大关关键因素素Oracle9iASOracleWorkflowRolesUs

39、ersDirectory ServicesNotification ServicesSendRespondForwardCancelQueryOracle Workflow Enabled ApplicationOracle serverWorkflowEngineExecutionDefinitionAdministrationMonitoringQueryWorkflowBuilderWorkflowLoaderWorkflowDefinitionFilesWorkflowDevelopment Client9iASApachemod PL/SQLNotificationMailerApp

40、licationServerWebNotificationWorklistWebMonitorWebAnalysisToolsBrowser ClientMailApplicationsAQAQAQAQAQAQBusiness Event SystemSendReceiveRaiseListenQuery开发Internet应用开发发技术Web网站技术术分析汇总总集成技术术无线技术术开发工具具部署安全体系系性能J2EE ECperfWebCache可伸缩性性高可用性性管理性成本开放Oracle9iAS - DeploymentAvailabilityUser/SecurityManagemen

41、tCachingSystemsManagementPerformanceScalability企业应用用软件的的四大关关键因素素Oracle9iAS在J2EE ECperf测试中最最高性能能和最高高性价比比领先Improve latencybyintegratingcontentdeliverynetworksHigherreliabilitybydistributing cachesgeographicallyOracle9iASWebCachingDistributed Web Caches(INTRANET)TriggerDatabaseIBM, BEAMicrosoftASPJSP9i

42、ASServletPERLContentDeliveryNetworkWebCache 1WebCache 2WebCache 3WebCache(Local)INTERNETFailoverClusterIntelligent InvalidationOracle9iAS集群技术术体现高高可用性性HTTPServerHTTPServerHTTPServerHTTPServerLoad Balancing/FailoverNodeANodeBNodeCNodeDDBCluster(PersistentState)JDBCJDBCJDBCJDBCStateStateJ2EEJ2EEJ2EEJ2EEStateAppServer Cluster