Oracle 的数据仓库解决方案

1、朱 旻 高级技术咨询顾问 Oracle 上海分公司,Oracle 的数据仓库解决方案,议程,Oracle 公司简介 Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现 问题与讨论,Oracle - 全球卓越的IT巨人,Oracle 是全球第二大独立软件公司 Oracle 是全球第一大数据库软件公司 Oracle 是全球领先的电子商务公司 Oracle 是北美制造业第一大 ERP公司 全球145+個国家及地区设有分支机构 Oracle 全球超过42,700名员工 全球超过200,000客户 Oracle 总部位于加州硅谷，亚太地区总部设于新加坡 2003财政年度营业额近

2、100亿美元, 研发经费超10亿美元,Oracle-中国营运概况,1989年进入中国，1991年正式成立“北京甲骨文软件系统有限公司”，是中国最大的国外软件公司之一，技术及咨询人员占员工总数 62%以上 提供全方位服务 技术支持：技术人员提供专线与到场支持服务 教育培训：专业讲师提供丰富课程，并利用互联网提供一致的，全球化的学习 咨询顾问：专业顾问提供专业咨询服务 在上海、广州、成都等地设有办事处 3大培训中心，分别在北京, 广州和上海 于深圳、北京设立两个全球级研发中心,2020/7/15,顾问咨询 产品支持 教育培训,电子商务套件 信息协同套件 商业智能,数据库 应用服务器 数据仓库 工具

3、,Internet 平台,基于Internet的 应用产品,服务体系,Oracle 完整的企业、政府机构信息化解决方案体系,合作伙伴,技术发展,80年代早期,80年代后期,90年代早期,90年代后期,早期 关系型,客户/服务器 方式的关系型,企业级 关系型,Internet 数据库,简单的 OLTP,特殊的 SQL 查询,客户/服务器 方式的OLTP,数据仓库和 高端的 OLTP,扩展的 关系型,Web方式的 应用,集中数据的 应用平台,2000,Oracle9i,Internet 商务平台,2003,Grid 网格计算,Oracle10g,下一代 Internet 计算技术,(Source:

4、 DM Review, May 2001),Oracle: 最大的数据仓库平台厂商,议程,Oracle 公司简介 Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现 问题与讨论,数据仓库是一个建设过程，而不是一个产品。,数据仓库是通过对来自不同的数据源进行统一处理及管理，通过灵活的展现方法来帮助决策支持。,数据仓库最新理解,Oracle 数据仓库的完整架构,OWB,项目管理、数据仓库方法论 OPM DWM,业务规划 信息评估 模型设计Oracle Warehouse Builder,管理、开发OEM OWB Oracle9iDS 顾问咨询 知识转移,Discoverer

5、,Report,BI Bean,Portal,TMIS系统,客运系统,外部信息,Oracle 9i,MIS系统,9i AS,随即查询,报表,多维分析/ 数据挖掘,应用 服务器,门户集成,ETL工具,Oracle提供先进的、完善的数据仓库技术平台,议程,Oracle 公司简介 Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现 问题与讨论,数据集中处理需求,数据量大，并不断增长,数据集中处理需求,数据访问性能要求高,查询 统计,数据集中处理需求,对安全，可靠，高可用性的要求高 建立集中各业务系统重要数据的备份中心,高效访问大量数据 - 数据分区技术,可管理性 将大的表分割

6、为若干分区，“分而治之” 性能 “分区忽略”机制提高查询性能 基于分区的 join 操作 可用性 将故障局限在分区中 缩短恢复时间 多种分区方式 范围(Range)分区、散列(Hash)分区、列表(List)分区 混合分区,Partitioned Tables with Local Indexes,AUG2002,Load and index new month,.,“滚动窗口”操作 - 大量数据高速装载,and add new month to table,“滚动窗口”操作 - 大量数据高速装载,Then remove and archive oldest month,Load and in

7、dex new month .,.,Partitioned Tables with Local Indexes,保证系统高可用性 综合信息库系统,Oracle Real Application Cluster (Oracle并行服务器，OPS) 在Cluster、MPP体系结构中，实现一个共享数据库， 支持并行处理， 均分负载，保证故障时数据库的不间断运行 支持Share Disk 和Share Nothing类型的体系结构 多个节点同时工作 节点均分负载,DLM,透明的应用失效转移-利用 热失效转移 进行恢复,透明的应用失效转移补全了可用性等级的所有层次 将应用和用户自动而透明地重新连接到另

8、一个系统 登录的上下文可被保持 应用查询不会中断,请求,数据传输,Oracle9i 的完全缓存融合技术提高了性能和可扩展性 通过高速互连直接传输数据 昂贵的磁盘 I/O被最小化,Cache FusionTM 体系结构,面向查询的读共享 查询操作需要读某数据块，而该块正好在另一个实例的缓存中 面向更改的写共享 更改操作需要修改某数据块，而该块正好在另一个实例的缓存中。 使用 Cache Fusion, 仅当该数据块不在全局共享的缓存中，才会执行磁盘读操作,数据共享问题,Data A-Z,应用,Oracle9i Real Application Clusters - 可伸缩性 增加系统扩充能力,增

9、加机器时，系统性能的最佳响应 快速增长的集群结构Clusters 快速增加节点和硬盘 当扩展节点时数据仓库系统无须重新组织和分布数据,# Users,1,026,1,900,3,648,Oracle E-Business Suite 11i,Oracle9i RAC 可伸缩性,数据库服务器: HP N-Class 6x440MHz CPUs,生产数据库,延迟和零数据丢失模式(Both),物理后备 数据库,建立综合信息库高效的备份中心 - Oracle9i Data Guard (Oracle Standby database),零数据丢失的灾难保护 通过同步/异步的日志 log传输控制 排除人

10、为错误 通过延迟提交 灵活的切换操作 主数据库和备份数据库可以灵活的互换角色 Data Guard Manager 在OEM图形界面管理工具内，配置、监控和管理灾难保护系统,物理备份数据库,生产系统,逻辑备份数据库,主备系统 双向切换,管理员控制台和 统一管理平台 (Both),延迟和零数据丢失模式(Both),保持数据库 打开状态,SQL提交,附加的索引 和物化视图,建立综合信息库高效的备份中心 - Oracle9i Data Guard (Oracle Standby database),按固定字段的范围分区、哈希分区、混合分区、列表分区,灵活应用、SQL语句自动重写、自优化能力,高效、灵

11、活、易于使用的OLAP分析、数据挖掘和数据抽取、转换、传输、存储服务,提高索引效率、增强的外连接索引能力,Oracle9i, 数据仓库的增强技术,数据分区,物化视图,集成的OLAP、Data Mining和ETL服务,位图连接索引,数据分区,位图索引,真正仓库,物化视图,查询,汇总数据管理 - 物化视图Materialized View,蚌埠和上海分局在过去三个月的货运总量是多少？,表压缩(Oracle9i, 版本 2),表能被压缩 在分区级别上压缩也能具体指定 典型压缩比率从 3:1到 5:1 压缩由实际数据决定 压缩规则基于数据冗余 主要好处是节省开销 节省 TB级的存储而不影响性能或功能

12、,数据分区,位图索引,真正仓库,物化视图,Oracle9i Database单一的商业智能数据服务器,Metadata,传统的分析服务器,数据仓库引擎,数据整合引擎,OLAP引擎,数据挖掘引擎,Oracle9i 分析平台,Oracle9i,更强大的分析能力,更加安全可靠,部署和管理更加简单,目前业界最先进的OLAP处理方法 所有OLAP数据和处理过程都存储在 Oracle9iDB 多维结构（维表，cube立方体）存储在数据库中 没有外部文件存储或单独的OLAP处理 (不同于竞争对手产品) SQL直接访问多维目标、模型、预测等 开放的、基于Java标准的 OLAP API 利用BI Beans方

13、式加速基于internet的应用开发,Oracle9iDB集成OLAP和Data Mining,OLAP,数据分区,位图索引,真正仓库,物化视图,应用部署,Oracle 9iAS,Java 应用或 Applet,Servlet,PDA,Mobile Phone,PC,Browser,提高了应用的预报和洞察力 例如，建立货运量的趋势分析模型 Data Mining 嵌入了 Oracle9i Database 简单的过程，避免了数据迁移，提供了更好的运行性能和可扩展性 开放的、基于Java标准的 API 用于开发商业智能的应用,Oracle9i Data Mining,Data Mining,数据

14、分区,位图索引,真正仓库,物化视图,ETL的压力和挑战,短时间内完成大量数据的抽取、转换和装载 (ETL) 不能影响数据源系统(业务运营系统)和目标系统(分析系统) ETL是分析系统中非常复杂和关键的处理步骤,传统ETL 处理的方法,方式一：数据库外部的ETL 方式二：数据上载到数据库的存储区域 （Staging)进行ETL,方式一：数据库外部ETL,方式一：数据库外部ETL,主要的风险和缺点 扩展性差 缺乏数据恢复能力 难于维护 没有充分利用数据库的处理能力,方式二：数据库Stage中的ETL,方式二：数据库Stage中的ETL,主要的风险和缺点 数据库需要存储两份数据：原始数据和中间结果数

15、据 数据库工具和语言对处理特殊的ETL问题没有优化,几种高效的ETL技术,获取变化数据（Change Data Capture CDC ),从数据源中获取变化的数据 异步：Oracle LogMiner 将从归档日志中发现变化数据 同步：复制技术 CDC 不仅有获取变化数据能力，而且还可提供发布的机制，不同的系统可进行定制 特别适合于多个数据集市（Data Mart)的系统,Consumption,Staging,Capture,Oracle Stream,外部表 (External Table),外部表 (External Table),数据文件作为虚表，就像存储于数据库中的表 特点： 可直

16、接查询（Select)和连接（Join),并支持并行处理，提高Scalability 免去数据装载的过程，提高性能 特别适用于外部数据(Flat files) 与数据库内数据的频繁交互,多表插入 （Multi-Table Insert),可将数据插入多个目标表中；或根据特殊的业务转换规则，将数据插入多个可能目标表中的一个 特别有助于数据转换处理包括多个目标表的环境 Oracle9i之前，这样的处理必须执行多次Insert操作。即需要处理n次相同的源数据，数据转换将增加n倍的负载。,Upsert 功能,MERGE INTO products t USING products_delta s ON

17、 d_id=d_id WHEN MATCHED THEN UPDATE SET d_list_price=s.list_ price, d_min_price=s.min_price WHEN NOT MATCHED THEN INSERT (prod_id,prod_name,.,prod_list_price, prod_min_price) VALUES (d_id, d_name, ., s.list_price, s.min_price);,表函数,在ETL处理中，数据在被装载到数据仓库之前，通常需要经过一系列的转换 复杂的

18、转换通常在数据库外部或内部，以过程的方式实现 （ 如存储过程） Oracle9i提供了管道和并行执行的方式，实现复杂的转换，无需中间存储表。,表函数,可移动的表空间（ Tablespaces）,为了将数据从一个数据库移到另一个库中，采用移动表空间的技术是非常有效的方法 它不需作数据的卸载和装载 Oracle9i中， 保证相同数据块大小的限制被消除,Oracle9i中的ETL,特点：Transform while Loading,Oracle 公司简介 Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现 问题与讨论,议程,Oracle Warehouse Builder

19、数据仓库建设工具,设计 图形化建模、映射关系定义 构造 生成数据仓库 生成抽取转换过程 元数据集成 管理 基于元数据的数据仓库管理,OWB 是一个针对数据仓库设计、部署、管理的工具,模型设计,灵活,快速,映射源数据和目标数据,Filter Joiner Aggregaytor Deduplicator Sorter Set operations (new) Key lookup (new) Splitter Sequence Inline Expressions Transformations Pre- and Post-Mapping Processes Cleansing Name and

20、 Address (new),ETL实现能力,自动化,流程化,议程,Oracle 公司简介 Oracle 数据仓库系统整体解决方案 数据的管理 数据的获取 数据的展现 问题与讨论,Reports Developer 成熟的，高质量的Web报表 无限制的数据格式 高质量的报表展示,建立和配置基于Web的报表,Oracle9iAS Reports 基于应用服务器的报表发布 在Web上的数据和应用的安全性保证 同Oracle9iAS Portal的集成 通过XML实现个性化,User A Version,User B Version,每个用户可以定义建议符合自己要求的唯一报表.,对于每个新版本的定义

21、是可以重复利用的,User A,User B,客观、具体的报表定制and applied at runtime.,一个单一的报表定义针对所有用户.,XML,X M L,运行时定制个性化报表,数据仓库,语义层,专业技术人员,Oracle Discoverer-业务人员的查询工具,Discoverer 灵活的展现方式,业务分析,Discoverer 信息发布,Oracle9i,End User Layer (TM),通用的术语定义 商业计算 查询 钻入/钻出 批量报表,Oracle9i AS,Discoverer Plus,Discoverer Viewer,Administratiom Edit

22、ion - iDS,Oracle9i 数据库,Oracle9i OLAP,Java OLAP API,多维分析-Oracle9i BI 应用开发平台,可伸缩的数据存储 集成的元数据 摘要管理 SQL 分析功能,商业智能的应用发布,Oracle9iAS,Servlet Engine,BI Beans Servlet/JSP Application,Oracle9i Database,Java OLAP API,Client,Web Browser,BI Beans Java App,Business Intelligence Beans,Oracle9i,Oracle9i OLAP option

23、,开发人员的生产力,可以使用向导定义计算、交叉表、图和表 在开发环境中可进行可视化编辑的 BI 对象,在 JDeveloper 中 BI 对象的可视化定义,实现多维分析,Presentation 向导生成分析应用,实现多维分析,打开/保存演示 定义查询 定义计算 导出到电子数据表 格式演示,Applet 向导生成分析应用,实现多维分析,JSP 向导生成分析应用,集成的技术堆栈-Oracle9i OLAP 管理,统一的管理工具（OEM）,分 析 应 用,管理数据,Warehouse Builder,Oracle 9i Application Server,9i ApplicationServer

24、,BI Beans,Discoverer,Reports,Portal,Browser/ Device,企业应用系统发展方向,Oracle9i Application Server,Oracle9i Database Server,Oracle 9i Application Server,一个集成的产品包,移动访问 Wireless,商业智能 Business Intelligence,后端系统集成 Enterprise Integration,企业门户 Portal,建立交易处理站点 Transactional,应用和数据缓存 Web & Data Caching,开发 Internet应用

25、开发技术 J2EE / Web Service (OC4J) Framework (BC4J / TopLink) PL/SQL Server Page RAD (Forms) 分析汇总打印 网站技术 集成技术 部署 安全体系 性能 可伸缩性 高可用性 管理性 成本(高性价比) 开放,企业应用软件的四大关键因素,Oracle9iAS J2EE FacilitiesCertified 100% J2EE 1.3 Compliant,J2EE 和 Web 应用开发,Any Data Source,Packaged Apps,Servlet / JSP,Perl,PL/SQL,Forms,EJB/B

26、C4J,C/C+,XML / XSL,Wireless &Mobile,Browser,开发使用 Java, XML, Perl, PL/SQL, C/C+, Forms 快速开发 使用Oracle集成的应用开发套件 减少开发成本通过使用 统一的Java, XML, SQL平台,Web Cache,Microsoft IIS,Apache,Wireless &Mobile,Browser,100% Standards compliant - simple and complex web services 包装 J2EE, PL/SQL 和原有应用系统作为 web services JDevel

27、oper 自动生成和部署 web Service services,Business-to- Business,Any Data Source,Packaged Apps,JCA,JDBC,Java/J2EE Applications,PL/SQL Applications,HTML/XML Streams,UDDI Registry,Jdeveloper,Invoke (SOAP),XML Interface (WSDL),Publish (WSDL),Find,Oracle9iAS 全面的Web Service开发、部署、管理,Oracle9iAS TopLink,Oracle9iAS T

28、opLink 世界上最先进的对象结构 关系结构 映射工具 使Java 应用高效访问关系型数据库,Oracle9iAS TopLink,开发 Internet应用开发技术 分析汇总打印 Web Report (Oracle Report) Ad-hoc Query (Discoverer) OLAP (OLAP + BI Beans) Site Analyzer (Clickstream) Personalization 集成技术 部署 安全体系 性能 可伸缩性 高可用性 管理性 成本 开放,企业应用软件的四大关键因素,Oracle9iAS基于Web的商务智能,唯一完整的商务智能 查询和分析 -

29、 Discoverer 企业报表 - Reports 高级分析 - BI Beans(OLAP) 站点活动分析 Clickstream 站点个性化 - Personalization 唯一集成的商务智能 9iAS, 9iDS, 9iDB集成 通过门户共享 商务智能门户,开发 Internet应用开发技术 分析汇总打印 网站技术 Portal (Oracle Portal) Content Management (iFS) Email (Unified Messaging) 集成技术 部署 安全体系 性能 可伸缩性 高可用性 管理性 成本 开放,企业应用软件的四大关键因素,客户化,Single

30、Sign-On,开发 Internet应用开发技术 Web网站技术 分析汇总 集成技术 业务流程整合 (Oracle Workflow) 部署 安全体系 性能 可伸缩性 高可用性 管理性 成本 开放,企业应用软件的四大关键因素,Oracle9iASOracle Workflow,开发 Internet应用开发技术 Web网站技术 分析汇总 集成技术 无线技术 开发工具 部署 安全体系 性能 J2EE ECperf Web Cache 可伸缩性 高可用性 管理性 成本 开放,企业应用软件的四大关键因素,Oracle9iAS 在J2EE ECperf测试中最高性能和最高性价比领先,Improve

31、latency by integrating content delivery networks Higher reliability by distributing caches geographically,Oracle9iASWeb Caching,Oracle9iAS集群技术体现高可用性,HTTP Server,HTTP Server,HTTP Server,HTTP Server,Load Balancing/ Failover,DB Cluster (Persistent State),J D B C,J D B C,J D B C,J D B C,State,State,J2EE,J2EE,J2EE,J2EE,State,App Server Cluster (Session State),Load Balancing/ Failover,Web Server Cluster,Load Balancing/ Failover,开发 Internet应用开发技术 Web网