OracleBI数据仓库设计及解决方案

1、 1数据仓库解决数据仓库解决方案探讨方案探讨 基于开放和标准基于开放和标准 业已优化业已优化, , 集成的和可延展的集成的和可延展的 更好的性能更好的性能, , 可靠性可靠性, , 安全性安全性 更短的部署时间更短的部署时间 更简便的管理与升级更简便的管理与升级 更低的拥有成本更低的拥有成本 极大降低变更管理的风险极大降低变更管理的风险 整体支持整体支持Complete, Open, IntegratedOracle 产品体系架构平台产品及技术映射产品体系架构平台产品及技术映射 Oracle 电子商务应用套件电子商务应用套件 EBSOracle 融合中间件融合中间件SOA Suite OSB

2、BEPL BAM Web Service ManagementOracle 网格基础架构层网格基础架构层 Oracle10g/11g/RAC WebLogic ServerOracle 展现展现 Oracle WebCenter BI EE+ RUEIOracle 用用户和安全管理户和安全管理 Oracle Identity ManagementOracle 企业管理企业管理 Oracle Enterprise ManagerOracle 数据仓库数据仓库 Partitioning Hyperion Essbase Data MiningOracle 高性能计算高性能计算 TimesTen C

3、oherenceOracle 内容管理内容管理 Enterprise Content Management商务智能商务智能门户门户数据库数据库应用服务器应用服务器存储存储流程管理流程管理企业服务总线企业服务总线规则引擎规则引擎应用应用1应用应用2应用应用3应用应用4应用应用5安安 全全 管管 理理拓拓 扑扑 管管 理理系统的监控和调优系统的监控和调优产品生命周期管理产品生命周期管理企企 业业 管管 理理单点登陆单点登陆用户管理用户管理目录集成目录集成联盟身份联盟身份应用应用6业务监控业务监控其它其它操作型数据库操作型数据库数据仓库数据仓库批量数据加载批量数据加载实时实时/准实时更新准实时更新人

4、工流程人工流程Oracle 数据获取数据获取层层 GoldenGate ELT（Oracle Data Integrator ） Oracle BPM Suite流程管理流程管理Oracle Exadata一体机一体机Oracle 人力资源人力资源 PeopleSoftOracle 项目管理项目管理 P6Oracle 客户关系管理客户关系管理 SiebelOracle 供应链供应链 JDEOracle 绩效管理绩效管理 Hyperion 4 Oracle 数据数据仓库解决方案仓库解决方案 数据数据仓库系统实施仓库系统实施规划规划 总结总结日程日程 5绩效可见性是投资时最优先考虑的事项绩效可见性

5、是投资时最优先考虑的事项 Gartner, Inc. 6什么是数据仓库什么是数据仓库 数据仓库概念的提出者、美国著名信息工程专家William Inmon博士在90年代初提出了数据仓库概念的一个表述：“一个数据仓库通常是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，它用于对管理决策过程的支持。” 数据仓库术语数据仓库术语 类比类比主题主题模型（表模型（表 视图）视图）数据集市数据集市用户用户分析结果分析结果管理员管理员多维分析多维分析固定报表固定报表即席查询即席查询数据挖掘数据挖掘架构设计架构设计 8ETL & 配置器配置器 数据仓库和商务智能解决方案数据仓库和商

6、务智能解决方案CRMIVR Supply ChainFinancialHRWebCTI发现和预警交互式仪表板报表报表数据仓库平台数据仓库平台企业领导企业领导经理经理一线员工一线员工上下游企业上下游企业业务分析数据仓库业务分析数据仓库移动分析移动分析实时分析实时分析即时查询即时查询销售分析销售分析服务分析服务分析市场分析市场分析供应链分析供应链分析财务分析财务分析劳动力分析劳动力分析 预制的客户和业务分析 行业化和基于规则 针对Siebel, SAP, PeopleSoft, Oracle, 和其他数据源 快速实施、低成本 为所有用户服务 极高的扩展性和性能 完整的、即时的数据提供 提供更强的B

7、I和分析能力 9数据仓库逻辑结构数据仓库逻辑结构元数据元数据数据集市数据集市数据集市数据集市数据分析数据分析BusinessModeling数据挖掘数据挖掘查询及报表查询及报表门户门户数据仓库管理数据仓库管理数据源数据源数据数据仓库仓库OLAP数据仓库构建数据仓库构建数据仓库数据仓库,模型模型分段数据存储分段数据存储抽取抽取,转换转换,加载加载ERP数据数据其它其它数据数据其它数据其它数据知识工人知识工人用户用户 决策人员决策人员数据仓库及商务智能系统逻辑架构图数据仓库及商务智能系统逻辑架构图 单点登录单点登录和和统一身份管理统一身份管理数据仓库数据加载数据仓库数据加载Oracle Data

8、Integrator我该如何主动管理自己应收的产品组合的风险？我该如何主动管理自己应收的产品组合的风险？供应商绩供应商绩效效如何影响客户满意度和销售收入？如何影响客户满意度和销售收入？ 服务服务 客户客户销售销售 营销营销 分销分销财务财务 人力资源人力资源/劳动力劳动力 运营运营采购采购 客户客户客户客户供应商供应商供应商供应商供应商供应商高级的分析往往涵盖异构数据源高级的分析往往涵盖异构数据源 呼叫中心呼叫中心人员人员如何享有、培训并且通过报酬来影响销售人员的工作效如何享有、培训并且通过报酬来影响销售人员的工作效率和交叉销售业绩？率和交叉销售业绩？ Oracle Data Integrat

9、or（ODI) 是一个是一个 SOA-Ready 的数据集成工具的数据集成工具数据集成数据集成 数据仓库数据仓库主数据管理主数据管理实时消息实时消息数据联邦数据联邦数据迁移数据迁移分散在各个系统中的异构数据源分散在各个系统中的异构数据源 ERP-CRM- - -遗留系统遗留系统-业务系统业务系统如何充分利用企业现有的信息如何充分利用企业现有的信息 商业智能商业智能绩效管理绩效管理业务流程监控业务流程监控商业流程管理商业流程管理- - - - - - - - -数据同步数据同步Oracle Data Integrator支持多种数据源和目标 高性能ODI可以方便地调用数据库存储过程、函数、操作系

10、统可执行脚本ODI支持增量数据捕获ODI支持BLOB/CLOB数据类型的完全处理ODI支持将数据库数据转换为XML，包括BLOB/CLOB数据类型图形化界面，易于使用E-LT 架构架构-数据加载数据加载高性能高性能传统的传统的ETL架构架构ExtractLoadTransform新一代架构新一代架构“E-LT”LoadExtractTransformTransform在单独在单独ETL服务器上进行转换服务器上进行转换私有的引擎私有的引擎性能差性能差高成本高成本在已有的关系数据库上进行转换在已有的关系数据库上进行转换充分利用资源充分利用资源效率高效率高高性能高性能好处好处 最佳的高性能、可扩展性

11、最佳的高性能、可扩展性 易管理、低成本易管理、低成本ODI的易用性的易用性 ODI提供图形化方式实现异构数据复制、异构数据的抽取加载以及转换 17数据仓库逻辑结构数据仓库逻辑结构数据仓库数据管理数据仓库数据管理Oracle DB 大型数据仓库大型数据仓库特性排序特性排序 Source: Oracle ST Survey数据分区技术提高大数据量的访问速度数据分区技术提高大数据量的访问速度 数据分区层次的管理数据分区层次的管理 范围、范围、 hashhash、列表、复合分区列表、复合分区 查询查询时自动分区忽略，减少对不相关数据的访问时自动分区忽略，减少对不相关数据的访问 查询语句可以在分区间并行

12、，提高查询语句可以在分区间并行，提高CPUCPU和和IOIO并发并发 增强增强的数据有效性的数据有效性 数据故障隔离在分区而不是表上，备份、恢复更灵活数据故障隔离在分区而不是表上，备份、恢复更灵活查询的自动分区忽略、其它分区数据不受影响查询的自动分区忽略、其它分区数据不受影响order tableDropmay04Addjan04feb04mar04apr04本地索引本地索引 数据分区的益处：数据分区的益处：q显著提高访问大表时的性能显著提高访问大表时的性能q 只访问相关的分区只访问相关的分区q 优化器知道或查找相关的分区优化器知道或查找相关的分区q预先用已知的值进行静态修剪预先用已知的值进行

13、静态修剪q 使用内部递归使用内部递归 SQL 查找相关的分区来进查找相关的分区来进行动态修剪使行动态修剪使 I/O 操作最小化操作最小化分区忽略分区忽略系统自动根据分区情况优化系统自动根据分区情况优化数据访问，忽略无关的数据数据访问，忽略无关的数据分区分区199819992000register Table Table select sum(register_amt)from register where reg_datebetween 1998and 1999表分区使用情况表分区使用情况? 0%10%20%30%40%50%60%70%80%90%100%Range-ListListHash

14、Range-HashRangeOracleOracle数据库的真正应用集群技术数据库的真正应用集群技术高可用性高可用性 保证节点故障保证节点故障时时连续访问连续访问, ,用户连接自用户连接自动重定向（动重定向（2424* *7 7）高伸缩性高伸缩性 自动负载均衡，自动负载均衡，当当负载增加时可增加节负载增加时可增加节点来提高处理能力。点来提高处理能力。共享磁盘技术共享磁盘技术高速内存通道技术高速内存通道技术可支持多节点配置可支持多节点配置11g 中新的高级压缩技术中新的高级压缩技术 压缩大的应用表压缩大的应用表 9i只在数据加载时用，因此只适用数据仓库系统 11g适合所有命令，可用于业务处理系

15、统 压缩各种数据类型压缩各种数据类型 结构化数据和非结构化数据 典型压缩比典型压缩比 2-3 X 大量节省磁盘空间消耗2x-3x 可减少IO, 加强了缓存的效率 比正常读取要快2倍 压缩的成本压缩的成本 能节省一半的存储空间 会增加5%的CPU使用率Sun Oracle Database Machine 网格就是未来网格就是未来 高性能高性能, 低成本低成本, 冗余冗余, 线性扩展线性扩展 Sun Oracle Database Machine 为所有数据管理需求交付第一个为所有数据管理需求交付第一个也是唯一一个完整的网格架构也是唯一一个完整的网格架构Exadata Storage Serve

16、r Grid 14 x高性能低成本高性能低成本存储服务器存储服务器 100 TB raw SAS disk storage or 336 TB raw SATA disk storage 5TB+ 闪存闪存(flash storage)!RAC Database Server Grid 8 x 高性能低成本服务器高性能低成本服务器 每个服务器包括每个服务器包括2 Intel quad-core XeonsInfiniBand Network 40 Gb/sec fault-tolerant unified server and storage network26Exadata Flash 解决

17、随机解决随机I/O瓶颈瓶颈 Sun Oracle Database Machine有有5+ TB 的闪存存储的闪存存储 Exadata Smart Cache技术缓存热点访技术缓存热点访问的数据问的数据 Allows optimization by application table 极大地降低成本极大地降低成本 同样的同样的I/O能力能力,超过超过10 x倍的磁盘节省倍的磁盘节省 低能耗低能耗Oracle 是第一个闪存优化是第一个闪存优化的数据库系统的数据库系统New5X More I/Os than 1000 Disk Enterprise Storage Array 2009 Oracl

18、e Corporation - Confidential2750XUp ToOnly on ExadataExadata Hybrid Columnar Compression 数据以字段形式存储并压数据以字段形式存储并压缩缩 查询模式查询模式 针对针对data warehousing 最优的速度最优的速度 典型的可达到典型的可达到10X的压缩率的压缩率 按压缩比率改进扫描按压缩比率改进扫描 Archival Mode 针对频繁针对频繁的数据访问的数据访问 减少空间减少空间 典型的可达到典型的可达到15X的的压缩压缩率率 有些可达到有些可达到50X 28数据仓库逻辑结构数据仓库逻辑结构多维数据

19、集市多维数据集市EssbaseOracle Essbase近十年内最具影响力的 10 大科技创新之一 全球第一的多维数据库 What-if 计算 多维分配 多用户读/写 写回建模 BI 财务智能维度和度量维度和度量稀疏维稀疏维402020203015100451453018152012831295281083020187638114402020203015100451455828235032181595020998484370623325995354北京总部北京总部天津分公司天津分公司济南分公司济南分公司合肥分公司合肥分公司广州分公司广州分公司深圳分公司深圳分公司华北地区华北地区华南地区华南地

20、区全国全国商品商品C商品商品B商品商品A商品商品分类分类商品商品分类分类商品全体商品全体2003年年1月月2003年年2月月2003年年3月月2003年年4月月2003年年5月月2003年年6月月地区维度地区维度时间维度时间维度商品商品维度维度销售额度量销售额度量Dimension维度维度 地区地区时间时间商品商品Measure度量度量销售额销售额成员成员卓越的计算能力卓越的计算能力 最广泛的功能： 简单汇总到复杂的跨维分配 根据检索存储或计算的结果 关系识别 条件或程序逻辑Hyperion Essbase 可提高数据仓库性能可提高数据仓库性能1,000 个并发查询个并发查询 1,400 万客

21、户帐户万客户帐户响应时间响应时间磁盘占用空间磁盘占用空间7 小时1 TB响应时间响应时间磁盘占用空间磁盘占用空间.2 秒1.4 GB具有具有 Q&R 工具的数据仓库工具的数据仓库Hyperion Essbase1% 完成，仍需要完成，仍需要 7个个 小时小时100% 完成，共计完成，共计 .2 秒秒大数据量、多用户支持大数据量、多用户支持分析可伸缩性国际整流器有限公司国际整流器有限公司 协作需求计划销售趋势及预测制造能力与调配营销分析客户和产品盈利能力资本预算财务报表编制与分析通过改进预测降低库存成本、提高收入通过改进预测降低库存成本、提高收入数据可伸缩性安大略省交通部安大略省交通部超

22、过100GB的39 维数据库提供14年的历史记录230,000次事故250,000段公路450,000辆车（22个属性）185,000名受伤人员（18个属性）通过提高对意外事件影响因素的洞察力降低死亡通过提高对意外事件影响因素的洞察力降低死亡率率维护可伸缩性戴姆勒戴姆勒克莱斯勒公司克莱斯勒公司使用UNIX外壳脚本、AutoSys作业和Tivoli TME10监控实现过程自动化4个物理服务器上运行45个数据库服务器及应用日志监控每晚更新及计算备份与恢复降低管理成本，提高应用程序的可用性降低管理成本，提高应用程序的可用性用户可伸缩性NTT DoCoMo 37个业务部门及172个办事处，共30,00

23、0名用户移动电话销售客户账单资产、合同、采购与物流 人力资源 财务- P/L、C/F、B/S、虚拟结算实时可视性实时可视性 35数据仓库逻辑结构数据仓库逻辑结构数据挖掘数据挖掘Data MiningOracle Data Mining任务业务问题示例算法人群聚类客户聚类聚类预测客户行为预测用户是恶性欠款的可能性分类预测或者估算数值预测明年的产量 回归影响某个业务指标最多的因素影响糖尿病患者病情好转的前十个因素因素重要性一个事物和其他事物之间的相互依存性和关联性产品或者服务打包哪些商品容易被同时购买关联异常数据或者行为发现发现客户通话中的异常行为（防欺诈）异常检测Oracle 数据挖掘数据挖掘

24、Oracle in-Database 挖掘引擎挖掘引擎 数据挖掘功能 (Server) PL/SQL & Java APIs 开发 & 部署预测分析应用 大量的 DM 算法 (12) 分类 回归 聚类 异常检测 关联规则 (购物篮分析) 结构化 & 非结构化数据 (文本挖掘） Oracle 数据挖掘器 (GUI) 简易化的, 直观的数据挖掘 预测分析 从电子表格中“1-click data mining”Data WarehousingETLOLAPData MiningStatistics数据库内的数据挖掘数据库内的数据挖掘优势优势 ODM 架构提供了更强大的性能，可

25、扩展性和数据安全性 数据一直还留在数据库里一直在适当的读取安全机制的控制下更少的移动部分 分析结果可以直接在应用流程里得到应用，不用经过“落地”、转储等耗费资源的物化过程 性能和可扩展性: 快速评分: 250万个记录在单CPU系统中只需6秒 实时评分: 在单CPU中100 个模型只需: 0.085 秒Data WarehousingETLOLAPData MiningStatisticsOracle BI EE 管理员可以看到Oracle 数据挖掘结果Oracle BI EE 定义了最终用户展现的结果ODM和和Oracle BI EE的整合的整合预测分析预测分析Oracle 数据挖掘数据挖掘

26、& Oracle BI EE 了解更多了解更多! 大量的数据挖掘算法 和(免费的) 统计功能 挖掘数据, 探索更全面的隐含信息, 进行预测 做的更多做的更多! 挖掘新的信息用Oracle BI EE 做部署 构建的应用可以帮助你“胜在分析上” 花的更少花的更少! 排除冗余的数据管理和数据分析系统 利用Oracle 数据库技术的投资Data WarehousingETLOLAPData MiningStatistics您可以您可以 ： 产业案例产业案例 银行业银行业 对新的银行产品最有兴趣的目标客户 (家庭实体融资, 教育储蓄计划, 保险等) 花旗银行 识别 “忠实” 客户和可能流失的客

27、户 识别信用卡欺诈行为的模式 根据人口统计和与银行相关的活动识别相似客户分隔 零售零售 / 市场市场 预测那些客户会对特定邮寄方式有反应 识别每一个客户 “下一个可能的购买目标” 找到产品系列 (e.g. 电池 + 玩具, 羊毛衫 + 龟领裙等. 对仓库存货进行网站促销) ABC Stores产业案例产业案例 保险保险 & 政府政府 识别欺诈行为(交税情况) 美国内部收入署 (IRS) 预测那些客户会遵守新规 识别危险客户的行为模式 药业药业 & 保健行业保健行业 识别对不同病情和病人的成功的药物疗法 Walter Reed Medical Center 识别与疾病有关的因素

28、(基因, 综合症等) 44数据仓库逻辑结构数据仓库逻辑结构数据仓库展现数据仓库展现BIEEOracle BI EE PlusKPI 指标可以钻取到明细动态警告简 报 下 载便 于 离 线分析视图选择，动态改变分析方式轻松在仪表盘，即席查询，高级报表等功能间切换图 形 钻 取， 追 寻 问题根源指标选择，快速切换关注焦点Oracle BI EE Plus直观的维度展示和选取轻松进行钻取、旋转、切片等复杂分析快速添加各种数据视图数据仓库扩展数据仓库扩展动静相宜动静相宜 53数据仓库和商务智能系统的发展趋势数据仓库和商务智能系统的发展趋势从静态走向动态从静态走向动态Phase II 扩展扩展Phas

29、e I 基础基础Data WarehouseOracle EBSPeople SoftSAP/R3Other SourcesCRMMsg QueuesAnalyticsReporting更实时更实时更主动更主动更有效更有效更直观更直观 这就是这就是BI/DW的的全部？全部？ 54扩展的数据仓库分析平台扩展的数据仓库分析平台Oracle能提供什么产品能提供什么产品扩展功能扩展功能Oracle 数据仓库和商务智能产品数据仓库和商务智能产品Oracle 扩展功能产品扩展功能产品及时响应及时响应Data IntegratorBAMTimesTen闭环分析闭环分析SecurityPortalPartit

30、ioningCompressionData MiningOLAP EssbaseWarehouse BuilderBIEEBI Apps事件驱动事件驱动OSB+CEPBPELBPA地理信息地理信息Spatial 55扩展的数据仓库分析平台扩展的数据仓库分析平台Closed Loop AnalyticsSrc2Src3Src4Src1Message QueuesCDCBulk Data, Events,Changed Data Capture and Data ServicesHourly, minute CDC, Real-timeActive DataSEEDminiSEEDData War

31、ehouseEventsServicesDaily, MonthlyMonitor EventsAnalyze DataMining DataMonthly+RAC+Partitioning+Spatial+Data MiningTake ActionWrite Back Monitor Present Analyze the Past Predict for the FutureOracle Portal 56 Oracle 数据数据仓库解决方案仓库解决方案 数据仓库系统实施规划数据仓库系统实施规划 总结总结日程日程通过传统决策分析工具从头开始建立通过传统决策分析工具从头开始建立 Oracl

32、e 决策分析应用决策分析应用针对针对 Oracle, PeopleSoft, Siebel, SAP 等的预建业务适配器等的预建业务适配器预建的预建的数据仓库数据仓库设计，适合您的设计，适合您的 EDW基于角色的指示板和数千个预定义的基于角色的指示板和数千个预定义的衡量标准衡量标准 方便使用和部署方便使用和部署数周或数月数周或数月后台后台 ETL 和映射和映射 数据仓库设计数据仓库设计定义衡量标准和指示板定义衡量标准和指示板后台后台 ETL 和映射和映射数据仓库设计数据仓库设计定义衡量标准和指示板定义衡量标准和指示板培训培训 / 推广推广 培训培训 / 推广推广数月或数年数月或数年Oracle

33、 商务智能应用解决商务智能应用解决方案方法方案方法： 快速实现价值快速实现价值 降低总拥有成本降低总拥有成本 保证业务价值保证业务价值资料来源：资料来源：Patricia Seybold 调查调查, Gartner, Merrill Lynch, Oracle 分析分析快速实现价值并降低总拥有成本快速实现价值并降低总拥有成本 58数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素为什么为什么?开始阶段树立信用度和信心开始阶段树立信用度和信心怎么做怎么做?确认谁对确认谁对DW/BI 最感兴趣最感兴趣实施难度评估实施难度评估Choose “Right” Business U

34、nitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement 59为什么为什么?在开始阶段取得成果在开始阶段取得成果怎么做怎么做?高价值和高价值和ROI较高的数据可用性较高的数据可用性更好的数据质量更好的数据质量更好的数据组织更好的数据组织R eturnO n I nvestmentChoose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓库和商务智

35、能系统实施5个关键因素个关键因素 60为什么为什么?确定下一阶段的目标确定下一阶段的目标怎么做怎么做?评估当前使用的频率评估当前使用的频率评估当前的评估当前的ROI评估用户需求评估用户需求Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素 61为什么为什么?在内部和外部推广在内部和外部推广怎么做怎么做?使用经验推广使用经验推广ETLReportOperation Capabilit

36、y提升最终用户分析能力提升最终用户分析能力分析数据分析数据Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素 62为什么为什么?高层领导的参与程度直接决定了数据仓库的建设效高层领导的参与程度直接决定了数据仓库的建设效率率 “一把手工程一把手工程”业务用户的参与能保证项目不偏离业务目标，最终业务用户的参与能保证项目不偏离业务目标，最终用户对系统的评价是数据仓库是否成功的标准用户对系统

37、的评价是数据仓库是否成功的标准怎么做怎么做?尽量让高层领导了解实施的每个阶段才能充分协调尽量让高层领导了解实施的每个阶段才能充分协调各类资源各类资源业务用户充分参与到项目每一个实施的步骤，特别业务用户充分参与到项目每一个实施的步骤，特别是测试的工作是测试的工作Choose “Right” Business UnitBase on ROIPeriodic EvaluationInternal TrainingEnd Users Involvement数据仓库和商务智能系统实施数据仓库和商务智能系统实施5个关键因素个关键因素 63DW/BI 系统实施方法论系统实施方法论需求分析需求分析信息收集信息收集模型设计模型设计数据仓库架构设计数据仓库架构设计商务智能应用开发商务智能应用开发运行维护运行维护数据抽取数据抽取RA 需求分析需求分析IC 信息收集信息收集AD 数据仓库架数据仓库架构设计构设计MD 模型设计模型设计