Oracle 的数据仓库解决方案.ppt

朱旻高级技术咨询顾问Oracle上海分公司,Oracle的数据仓库解决方案,议程,Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,Oracle-全球卓越的IT巨人,Oracle是全球第二大独立软件公司Oracle是全球第一大数据库软件公司Oracle是全球领先的电子商务公司Oracle是北美制造业第一大ERP公司全球145+個国家及地区设有分支机构Oracle全球超过42,700名员工全球超过200,000客户Oracle总部位于加州硅谷，亚太地区总部设于新加坡2003财政年度营业额近100亿美元,研发经费超10亿美元,Oracle-中国营运概况,1989年进入中国，1991年正式成立“北京甲骨文软件系统有限公司”，是中国最大的国外软件公司之一，技术及咨询人员占员工总数62%以上提供全方位服务技术支持：技术人员提供专线与到场支持服务教育培训：专业讲师提供丰富课程，并利用互联网提供一致的，全球化的学习咨询顾问：专业顾问提供专业咨询服务在上海、广州、成都等地设有办事处3大培训中心，分别在北京,广州和上海于深圳、北京设立两个全球级研发中心,2019/12/6,顾问咨询产品支持教育培训,电子商务套件信息协同套件商业智能,数据库应用服务器数据仓库工具,Internet平台,基于Internet的应用产品,服务体系,Oracle完整的企业、政府机构信息化解决方案体系,合作伙伴,技术发展,80年代早期,80年代后期,90年代早期,90年代后期,早期关系型,客户/服务器方式的关系型,企业级关系型,Internet数据库,简单的OLTP,特殊的SQL查询,客户/服务器方式的OLTP,数据仓库和高端的OLTP,扩展的关系型,Web方式的应用,集中数据的应用平台,2000,Oracle9i,Internet商务平台,2003,Grid网格计算,Oracle10g,下一代Internet计算技术,(Source:DMReview,May2001),Oracle:最大的数据仓库平台厂商,议程,Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,数据仓库是一个建设过程，而不是一个产品。,数据仓库是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助决策支持。,数据仓库最新理解,Oracle数据仓库的完整架构,OWB,项目管理、数据仓库方法论OPMDWM,业务规划信息评估模型设计OracleWarehouseBuilder,管理、开发OEMOWBOracle9iDS顾问咨询知识转移,Discoverer,Report,BIBean,Portal,TMIS系统,客运系统,外部信息,Oracle9i,MIS系统,9iAS,随即查询,报表,多维分析/数据挖掘,应用服务器,门户集成,ETL工具,Oracle提供先进的、完善的数据仓库技术平台,议程,Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,数据集中处理需求,数据量大，并不断增长,数据集中处理需求,数据访问性能要求高,查询统计,数据集中处理需求,对安全，可靠，高可用性的要求高建立集中各业务系统重要数据的备份中心,高效访问大量数据-数据分区技术,可管理性将大的表分割为若干分区，“分而治之”性能“分区忽略”机制提高查询性能基于分区的join操作可用性将故障局限在分区中缩短恢复时间多种分区方式范围(Range)分区、散列(Hash)分区、列表(List)分区混合分区,PartitionedTableswithLocalIndexes,AUG2002,Loadandindexnewmonth,.,“滚动窗口”操作-大量数据高速装载,andaddnewmonthtotable,“滚动窗口”操作-大量数据高速装载,Thenremoveandarchiveoldestmonth,Loadandindexnewmonth.,.,PartitionedTableswithLocalIndexes,保证系统高可用性综合信息库系统,OracleRealApplicationCluster(Oracle并行服务器，OPS)在Cluster、MPP体系结构中，实现一个共享数据库，支持并行处理，均分负载，保证故障时数据库的不间断运行支持ShareDisk和ShareNothing类型的体系结构多个节点同时工作节点均分负载,DLM,透明的应用失效转移-利用热失效转移进行恢复,透明的应用失效转移补全了可用性等级的所有层次将应用和用户自动而透明地重新连接到另一个系统登录的上下文可被保持应用查询不会中断,请求,数据传输,Oracle9i的完全缓存融合技术提高了性能和可扩展性通过高速互连直接传输数据昂贵的磁盘I/O被最小化,CacheFusionTM体系结构,面向查询的读共享查询操作需要读某数据块，而该块正好在另一个实例的缓存中面向更改的写共享更改操作需要修改某数据块，而该块正好在另一个实例的缓存中。使用CacheFusion,仅当该数据块不在全局共享的缓存中，才会执行磁盘读操作,数据共享问题,DataA-Z,应用,Oracle9iRealApplicationClusters-可伸缩性增加系统扩充能力,增加机器时，系统性能的最佳响应快速增长的集群结构Clusters快速增加节点和硬盘当扩展节点时数据仓库系统无须重新组织和分布数据,#Users,1,026,1,900,3,648,OracleE-BusinessSuite11i,Oracle9iRAC可伸缩性,数据库服务器:HPN-Class6x440MHzCPUs,生产数据库,延迟和零数据丢失模式(Both),物理后备数据库,建立综合信息库高效的备份中心-Oracle9iDataGuard(OracleStandbydatabase),零数据丢失的灾难保护通过同步/异步的日志log传输控制排除人为错误通过延迟提交灵活的切换操作主数据库和备份数据库可以灵活的互换角色DataGuardManager在OEM图形界面管理工具内，配置、监控和管理灾难保护系统,物理备份数据库,生产系统,逻辑备份数据库,主备系统双向切换,管理员控制台和统一管理平台(Both),延迟和零数据丢失模式(Both),保持数据库打开状态,SQL提交,附加的索引和物化视图,建立综合信息库高效的备份中心-Oracle9iDataGuard(OracleStandbydatabase),按固定字段的范围分区、哈希分区、混合分区、列表分区,灵活应用、SQL语句自动重写、自优化能力,高效、灵活、易于使用的OLAP分析、数据挖掘和数据抽取、转换、传输、存储服务,提高索引效率、增强的外连接索引能力,Oracle9i,数据仓库的增强技术,数据分区,物化视图,集成的OLAP、DataMining和ETL服务,位图连接索引,数据分区,位图索引,真正仓库,物化视图,查询,汇总数据管理-物化视图MaterializedView,蚌埠和上海分局在过去三个月的货运总量是多少？,表压缩(Oracle9i,版本2),表能被压缩在分区级别上压缩也能具体指定典型压缩比率从3:1到5:1压缩由实际数据决定压缩规则基于数据冗余主要好处是节省开销节省TB级的存储而不影响性能或功能,数据分区,位图索引,真正仓库,物化视图,Oracle9iDatabase单一的商业智能数据服务器,Metadata,传统的分析服务器,数据仓库引擎,数据整合引擎,OLAP引擎,数据挖掘引擎,Oracle9i分析平台,Oracle9i,更强大的分析能力,更加安全可靠,部署和管理更加简单,目前业界最先进的OLAP处理方法所有OLAP数据和处理过程都存储在Oracle9iDB多维结构（维表，cube立方体）存储在数据库中没有外部文件存储或单独的OLAP处理(不同于竞争对手产品)SQL直接访问多维目标、模型、预测等开放的、基于Java标准的OLAPAPI利用BIBeans方式加速基于internet的应用开发,Oracle9iDB集成OLAP和DataMining,OLAP,数据分区,位图索引,真正仓库,物化视图,应用部署,Oracle9iAS,Java应用或Applet,Servlet,PDA,MobilePhone,PC,Browser,提高了应用的预报和洞察力例如，建立货运量的趋势分析模型DataMining嵌入了Oracle9iDatabase简单的过程，避免了数据迁移，提供了更好的运行性能和可扩展性开放的、基于Java标准的API用于开发商业智能的应用,Oracle9iDataMining,DataMining,数据分区,位图索引,真正仓库,物化视图,ETL的压力和挑战,短时间内完成大量数据的抽取、转换和装载(ETL)不能影响数据源系统(业务运营系统)和目标系统(分析系统)ETL是分析系统中非常复杂和关键的处理步骤,传统ETL处理的方法,方式一：数据库外部的ETL方式二：数据上载到数据库的存储区域（Staging)进行ETL,方式一：数据库外部ETL,方式一：数据库外部ETL,主要的风险和缺点扩展性差缺乏数据恢复能力难于维护没有充分利用数据库的处理能力,方式二：数据库Stage中的ETL,方式二：数据库Stage中的ETL,主要的风险和缺点数据库需要存储两份数据：原始数据和中间结果数据数据库工具和语言对处理特殊的ETL问题没有优化,几种高效的ETL技术,获取变化数据（ChangeDataCaptureCDC),从数据源中获取变化的数据异步：OracleLogMiner将从归档日志中发现变化数据同步：复制技术CDC不仅有获取变化数据能力，而且还可提供发布的机制，不同的系统可进行定制特别适合于多个数据集市（DataMart)的系统,Consumption,Staging,Capture,OracleStream,外部表(ExternalTable),外部表(ExternalTable),数据文件作为虚表，就像存储于数据库中的表特点：可直接查询（Select)和连接（Join),并支持并行处理，提高Scalability免去数据装载的过程，提高性能特别适用于外部数据(Flatfiles)与数据库内数据的频繁交互,多表插入（Multi-TableInsert),可将数据插入多个目标表中；或根据特殊的业务转换规则，将数据插入多个可能目标表中的一个特别有助于数据转换处理包括多个目标表的环境Oracle9i之前，这样的处理必须执行多次Insert操作。即需要处理n次相同的源数据，数据转换将增加n倍的负载。,Upsert功能,MERGEINTOproductstUSINGproducts_deltasONd_id=d_idWHENMATCHEDTHENUPDATESETd_list_price=s.list_price,d_min_price=s.min_priceWHENNOTMATCHEDTHENINSERT(prod_id,prod_name,.,prod_list_price,prod_min_price)VALUES(d_id,d_name,.,s.list_price,s.min_price);,表函数,在ETL处理中，数据在被装载到数据仓库之前，通常需要经过一系列的转换复杂的转换通常在数据库外部或内部，以过程的方式实现（如存储过程）Oracle9i提供了管道和并行执行的方式，实现复杂的转换，无需中间存储表。,表函数,可移动的表空间（Tablespaces）,为了将数据从一个数据库移到另一个库中，采用移动表空间的技术是非常有效的方法它不需作数据的卸载和装载Oracle9i中，保证相同数据块大小的限制被消除,Oracle9i中的ETL,特点：TransformwhileLoading,Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,议程,OracleWarehouseBuilder数据仓库建设工具,设计图形化建模、映射关系定义构造生成数据仓库生成抽取转换过程元数据集成管理基于元数据的数据仓库管理,OWB是一个针对数据仓库设计、部署、管理的工具,模型设计,灵活,快速,映射源数据和目标数据,FilterJoinerAggregaytorDeduplicatorSorterSetoperations(new)Keylookup(new)SplitterSequenceInlineExpressionsTransformationsPre-andPost-MappingProcessesCleansingNameandAddress(new),ETL实现能力,自动化,流程化,议程,Oracle公司简介Oracle数据仓库系统整体解决方案数据的管理数据的获取数据的展现问题与讨论,ReportsDeveloper成熟的，高质量的Web报表无限制的数据格式高质量的报表展示,建立和配置基于Web的报表,Oracle9iASReports基于应用服务器的报表发布在Web上的数据和应用的安全性保证同Oracle9iASPortal的集成通过XML实现个性化,UserAVersion,UserBVersion,每个用户可以定义建议符合自己要求的唯一报表.,对于每个新版本的定义是可以重复利用的,UserA,UserB,客观、具体的报表定制andappliedatruntime.,一个单一的报表定义针对所有用户.,XML,XML,运行时定制个性化报表,数据仓库,语义层,专业技术人员,OracleDiscoverer-业务人员的查询工具,Discoverer灵活的展现方式,业务分析,Discoverer信息发布,Oracle9i,EndUserLayer(TM),通用的术语定义商业计算查询钻入/钻出批量报表,Oracle9iAS,DiscovererPlus,DiscovererViewer,AdministratiomEdition-iDS,Oracle9i数据库,Oracle9iOLAP,JavaOLAPAPI,多维分析-Oracle9iBI应用开发平台,可伸缩的数据存储集成的元数据摘要管理SQL分析功能,商业智能的应用发布,Oracle9iAS,ServletEngine,BIBeansServlet/JSPApplication,Oracle9iDatabase,JavaOLAPAPI,Client,WebBrowser,BIBeansJavaApp,BusinessIntelligenceBeans,Oracle9i,Oracle9iOLAPoption,开发人员的生产力,可以使用向导定义计算、交叉表、图和表在开发环境中可进行可视化编辑的BI对象,在JDeveloper中BI对象的可视化定义,实现多维分析,Presentation向导生成分析应用,实现多维分析,打开/保存演示定义查询定义计算导出到电子数据表格式演示,Applet向导生成分析应用,实现多维分析,JSP向导生成分析应用,集成的技术堆栈-Oracle9iOLAP管理,统一的管理工具（OEM）,分析应用,管理数据,WarehouseBuilder,Oracle9iApplicationServer,9iApplicationServer,BIBeans,Discoverer,Reports,Portal,Browser/Device,企业应用系统发展方向,Oracle9iApplicationServer,Oracle9iDatabaseServer,Oracle9iApplicationServer,一个集成的产品包,移动访问Wireless,商业智能BusinessIntelligence,后端系统集成EnterpriseIntegration,企业门户Portal,建立交易处理站点Transactional,应用和数据缓存Web&DataCaching,开发Internet应用开发技术J2EE/WebService(OC4J)Framework(BC4J/TopLink)PL/SQLServerPageRAD(Forms)分析汇总打印网站技术集成技术部署安全体系性能可伸缩性高可用性管理性成本(高性价比)开放,企业应用软件的四大关键因素,Oracle9iASJ2EEFacilitiesCertified100%J2EE1.3Compliant,J2EE和Web应用开发,AnyDataSource,PackagedApps,Servlet/JSP,Perl,PL/SQL,Forms,EJB/BC4J,C/C+,XML/XSL,Wireless&Mobile,Browser,开发使用Java,XML,Perl,PL/SQL,C/C+,Forms快速开发使用Oracle集成的应用开发套件减少开发成本通过使用统一的Java,XML,SQL平台,WebCache,MicrosoftIIS,Apache,Wireless&Mobile,Browser,100%Standardscompliant-simpleandcomplexwebservices包装J2EE,PL/SQL和原有应用系统作为webservicesJDeveloper自动生成和部署webServiceservices,Business-to-Business,AnyDataSource,PackagedApps,JCA,JDBC,Java/J2EEApplications,PL/SQLApplications,HTML/XMLStreams,UDDIRegistry,Jdeveloper,Invoke(SOAP),XMLInterface(WSDL),Publish(WSDL),Find,Oracle9iAS全面的WebService开发、部署、管理,Oracle9iASTopLink,Oracle9iASTopLink世界上最先进的对象结构关系结构映射工具使Java应用高效访问关系型数据库,Oracle9iASTopLink,开发Internet应用开发技术分析汇总打印WebReport(OracleReport)Ad-hocQuery(Discoverer)OLAP(OLAP+BIBeans)SiteAnalyzer(Clickstream)Personalization集成技术部署安全体系性能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,Oracle9iAS基于Web的商务智能,唯一完整的商务智能查询和分析-Discoverer企业报表-Reports高级分析-BIBeans(OLAP)站点活动分析Clickstream站点个性化-Personalization唯一集成的商务智能9iAS,9iDS,9iDB集成通过门户共享商务智能门户,开发Internet应用开发技术分析汇总打印网站技术Portal(OraclePortal)ContentManagement(iFS)Email(UnifiedMessaging)集成技术部署安全体系性能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,客户化,SingleSign-On,开发Internet应用开发技术Web网站技术分析汇总集成技术业务流程整合(OracleWorkflow)部署安全体系性能可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,Oracle9iASOracleWorkflow,开发Internet应用开发技术Web网站技术分析汇总集成技术无线技术开发工具部署安全体系性能J2EEECperfWebCache可伸缩性高可用性管理性成本开放,企业应用软件的四大关键因素,Oracle9iAS在J2EEECperf测试中最高性能和最高性价比领先,ImprovelatencybyintegratingcontentdeliverynetworksHigherreliabilitybydistributingcachesgeographically,Oracle9iASWebCaching,Oracle9iAS集群技术体现高可用性,HTTPServer,HTTPServer,HTTPServer,HTTPServer,LoadBalancing/Failover,DBCluster(PersistentState),JDBC,JDBC,JDBC,JDBC,State,State,J2EE,J2EE,J2EE,J2EE,State,AppServerCluster(SessionState),LoadBalancing/Failover,WebServerCluster,LoadBalancing/Failover,开发