SAP数据仓库和数据分析方案

1、SAP数据仓库和数据分析方案议程SAP数据仓库概述SAP数据仓库平台解决方案数据交换平台数据仓库平台数据的展现与可视化SAP数据仓库平台的相关案例SAP数据仓库概述企业数据成熟度分析，每提高一个成熟度，将带来巨大的业务价值无知不具备大数据功能应对只有部分关键绩效历史数据分析，无统一标准了解监测现有业务的整体运行状况，一定的业务预警功能管理具备一定的预测洞察能力，对特定业务领域提出改善业务绩效的行动建议创新大数据技术与业务运营融合，利用大数据预测成果自动优化和提升业务业务场景成熟度大数据发挥的业务价值最难跨越的阶段目前阶段提高数据成熟度，发挥大数据价值，应从五个方面入手大数据场景人员、技能和文化

2、数据治理信息和应用架构标准和流程建立数据场景或KPI体系组织架构创新，以适应大数据发展需要进行数据质量、元数据治理建立统一的可扩展大数据分析平台数据流程和制度标准化ERP数据SEM数据SRM数据PDM外部数据源OAEAM数据交换平台流数据(ESP)数据复制(SRS)ETL(Data Services)ESB(PI)数据管控平台主数据治理(MDG)元数据管理(信息管家)数据质量管理(Data Quality)数据标准管理数据安全管理企业级数据仓库平台PMISSAP HANAIn-memory computing分析SAP BusinessObjects BI探索, 仪表盘, 报表, 图表, 可视

3、化SAP Lumira 数据分析与可视化SAP Predictive Analysis 预测分析SAP数据仓库平台整体架构历史数据、非机构化数据Hadoop分布式文件系统HivePigSpark扩展数据层（冷存储）结构化历史数据扩展表磁盘数据结构化实时数据热表扩展存储(定义)SDAvUDFVoraModels / PAL / R温存储（动态分层）热存储（内存计算）数据老化自动搬移DLMCRM数据SAP 移动平台 (BI Mobile, Mobile ApplicationSAP建议数据平台的主要特点广度 良好的产品覆盖度 深度以内存计算为核心，打造实时型企业开放与集成与开源产品紧密集成，具有良

4、好延展性HANA RDS(快速实施服务)SAP产品能够覆盖邮政大数据平台的几大功能模块SAP HANA同时满足企业数据仓库的ODS、EDW和Data Mart的需求部署方式灵活：企业预置型与云部署SAP在全球有大量的实施案例以内存计算为核心的大数据处理平台基于HANA简化企业EDW的复杂度SAP在内存计算领域排名第一大数据领域软件供应商的领导者理念领先，互联网+与工业4.0的主要倡导者能够提供基于产品的快速部署和开发服务遵循业界通用的接口与开发标准支持开源的数据处理技术，如Hadoop能够与Hadoop/Spark等进行深度的技术j集成可结合开源产品实现邮政集团数据生命周期管理借助SAP提供的

5、全面解决方案，中国邮政可构建敏捷、高效能的大数据平台，从而消除业务复杂度，提升企业整体洞察力数据交换平台数据采集SAP IQ 基于触发器, 实时ETL, 批 Batch基于日志ODBCDB ConnectionODBC事件流Event StreamsECHODBC数据同步Data SynchronizationODBC/ JDBC/ ODataSAP HANA 敏捷数据访问 数据可视化 非SAP 数据源贸易和订单管理系统网络设备 - 有线 / 无线SAP BWSAP IQ /ASE SAP Business Suite SAP Data ServicesSAP LT Replication S

6、erver SAP Event Stream Processor SAP SQL Anywhere 定制应用SAP HANA SAP Replication Server 数据源Data SourcesSAP DS（Data Service）数据抽取、整合、加载 (ETL)SAP的数据服务方案全面考虑数据集成, 数据质量管理, 数据切面及非结构化数据获取问题支持访问全部关键业务数据(任意数据源,类型和领域), 一体化平台全面解决数据的清洗、排重、归并、衍生、合并、统计、汇总等一系列数据加工问题结构数据非结构数据 一个运行时架构及一系列服务业务界面统一的元数据技术界面数据服务解决方案包数据抽取数

7、据质量数据切面文本分析统一的管理环境(调度, 安全, 用户管理) 一套源/目标各类型数据库：OracleDB2Sybase ASESybase IQSQL ServerInformixMySQLTeradataHP NeoViewNetezzaODBCSAP HANA全面接口支持各类型技术接口：Text delimitedText fixed widthEBCDICXMLCobolExcelHTTPJMSSOAP(Web Services)JSONData CleanseQ- 质量在数据捕获中加入数据质量管理加载数据时提高数据质量使用CPB（ Cleansing Package Builder

8、）组件为我们的数据创建清晰规则包将这些清洗规则包放在DS（Data Services）服务中发布从而在DS的工作任务中可以使用这些清洗规则Cleansing PackageL 加载T- 转换E - 抽取SAP业务系统HANA非SAP的业务系统SAP SRS （SAP Replication Server）复制数据HANA ODBCSAP Sybase ASEOracleMS SQLIBM DB2/UDBSAP Sybase Replication Server for HANADBDBDBHANALANWANHANAHANASAP Sybase Replication Server for H

9、ANA实时或定时复制数据到HANA远程数据访问 就像访问“本地”数据表一样无特殊语法去访问 异构数据源敏捷查询处理 能够尽量多的推送到目标数据源功能性补偿 允许客户使用HANA的全功能自动数据类型翻译 使得远程数据类型映射到HANA的数据类型支持 数据单元不可知性 开发非破坏性 进化异构数据源SAP HANA to Hadoop (Hive)SAP IQSAP HANA Smart Data Access平台的“粘合剂”SAP HANA Smart Data AccessSAP ESP (EventStream Processor)Smart data streamingSAP Data Se

10、rvicesSAP SRS - Replication ServerSAP LT Replication ServerSAP SQL Anywhere任何数据源数据迁移转换和持续数据Event StreamsData SynchronizationData VirtualizationODBCSAP HANAVirtual TablesData Sources (SP6: HANA, IQ, ASE, Hadoop, Teradata) Network Devices Wired / WirelessComplex Event Data SourceNon-SAP Data SourcesCl

11、oud DeploymentsSAP Business SuiteTrigger-BasedLog-BasedETL, Batch强大的数据提供平台数据仓库平台整体框架来源: Gartner (2016)年2月 /doc/reprints?id=1-2ZV8BTS&ct=160229&st=sbSAP 提供了IQ与HANA两套方案。HANA成为SAP数据仓库解决方案的核心SAP在数据仓库领域持续获得成功。BW on HANA的用户持续高速增长。 SAP持续提升基于云的灵活部署能力，以及高可用性/容灾等方面方案。 SAP持续强化HANA与Hadoop以及其它数据平台的集成能力， 并且提供了Vor

12、a产品支持Spark，作为大型数据仓库的方案更加成熟和完善。数据仓库与数据管理分析系统2016年2月SAP HANA 市场领先的内存数据库平台The Forrester Research WaveForrester研究中的亮点“SAP 内存数据库技术开始得到市场的认可.” Noel Yuhanna, ForresterSAP HANA 平台在策略和现阶段能力的评分都得到了最高SAP 是唯一一个在远见得到满分的公司SAP 是唯一一个在数据管理和交易能力方面得到满分的公司SAP 还在其他方面得到了满分，其中包括执行，市场表现，合作伙伴，分析能力等Source: The Forrester Wave

13、TM: In-Memory Database Platforms, Q3 15 SAP HANA 市场领先的内存数据库平台The Forrester Research Wave真正实现“实时”，业务洞察力SAP HANA 实时，可信的数据实时业务实时应用内存数据库SAP 商务套件ERP/CRM等等HadoopHDFS其他信息系统基于（DB2SybaseOracleSQL-Server）实时复制实时分析BI客户端工具第三方查询工具SQLMDXBICS数据抽取实时复制/数据抽取什么是SAP HANA？SAP HANA 是一个先进的平台，使用内存计算技术来实现企业应用数据驱动业务，在大数据下实现实时

14、处理简化IT的系统部署，可通过云方式交付SAP HANA为企业带来的好处创新平台，并且在应用中不会中断原有系统应用，实现大量数据的高速处理提供实时访问，实时复制服务和数据集成功能完整和即时的洞察力与灵活 的数据计算引擎，提供预置的报告和分析模型简化IT架构，多用途的内存计算平台减少数据处理层次支持任何设备任何应用任何应用服务器SAP Business Suite 和 BW ABAP 应用服务器JSONROpen ConnectivityMDXSQL其他应用位置实时HADOOP机器非结构化事物SAP HANA 平台SQL, SQLScript, JavaScript复制、流处理和ETL集成服务搜

15、索商务函数库数据虚拟化文本挖掘预测分析函数库数据库服务存储过程和数据模型计划引擎规则引擎应用和UI服务HANA 实时计算环境HANA不仅仅是一个数据库，是创新平台SAP HANA 聚集了数据库、数据处理、应用平台能力，并且提供了预测分析库、计划、文本、空间、和商务分析，来使业务能够实时运作。HANA平台的优势：内存计算实时处理预测分析库文本处理空间计算业务分析库开放的架构操作维护简单多种创新应用ON-PREMISE | CLOUD | HYBRIDSAP HANA 平台基于HANA的大数据平台SpatialGraphPredictiveSearchText AnalyticsPlanningD

16、ataEnrichmentSeriesDataFunctionLibraries处理服务Web Server JavaScriptFiori用户界面Graphic Modeler应用服务ALMApplication Lifecycle Management列存储内存数据库 OLTP+OLAP多核大规模并行计算高级压缩多租户动态分层存储数据库服务高可用性和灾难恢复开放的标准数据模型Data VirtualizationELT & Replication集成服务Hadoop IntegrationStreaming (CEP)Remote DataSync非结构化数据处理文本分析可从工程、CRM、

17、运维、研发和客服等不同部门获得大量的非结构化数据，也可从社交媒体、论坛、微博、邮件和文档等获得外部或内部的大量非结构化数据Entity & Fact ExtractionText ProcessorLinguistic ProcessingHANA 文本分析优势:本地全文检索I内置数据库文本分析图形化文本建模信息访问 HTML5 用户界面 和JavaScript的 API益处较少的数据复制和迁移 利用一个基础架构实现分析与查询负载从非结构化的文本数据提取重要信息易于使用的建模工具 HANA Studio快速构造检索应用 Info Access现状: 大数据平台数据规模庞大，数据增长速度快，且数

18、据类型多样（结构化、非结构化）。今后可能会集成更多的外部数据大数据平台的数据温度管理策略数据管理策略（由业务应用主导定义）SAP HANA热数据实时数据HANA动态分层温数据历史数据数据仓库分析型业务应用: 更高效地管理海量数据，降低整体拥有成本 HANA与温数据层、扩展数据层深度集成，提升系统性能一体化的数据管理品台，降低系统复杂度高度可扩展的架构Hadoop & Spark扩展数据频繁访问数据实时计算数据历史数据相对复杂的计算与查询非活跃数据海量非结构化数据非复杂的分析计算热数据SAP HANA温数据HANA动态分层扩展数据HadoopSpark数据移动Data Lifecycle man

19、ager在高度集成的系统内，提供高性能的数据管理，支持可扩展架构能力基于表级别定义数据管理层：内存处理 (热数据) 或磁盘处理 (温数据)利用磁盘级的列存储技术，提高数据分析访问性能可支持高达PB级的数据规模提供集成的安全策略与备份恢复能力动态分层处理引擎列式处理引擎的先驱与领导者久经考验的数据处理引擎（大量政府、金融、电信等行业）在TPC-H基准的领先者优势库内集成，高性能单一系统，消除了数据冗余统一访问接口，降低复杂度邮政可根据需要定义数据管理策略动态分层支持海量数据管理HANA动态数据分层制造业HANA与HadoopSAP HANA集成流式传感器数据获取流式传感器数据并存储于HDFS在S

20、AP HANA Vora中展现 HDFS 中的数据（如证明层级能力等）与SAP 相关数据一起存储传感器数据于HDFS中（如BOM/服务、订单数据等）数据显示Zeppelin 开源社区的数据可视化的框架SAP Lumira 自助数据探索让数据访问无处不在制定准确的业务决策简化大数据所有权SAP HANA Vora 内置和扩展于 Apache Spark 执行框架，是一款内存计算查询引擎，能够基于 Hadoop 提供丰富的交互式分析体验向下钻取Hadoop数据混搭API增强功能可编译的查询HANA-Spark 适配器统一风格设计开发编程任意 Hadoop 集群SAP HANA Vora产品特征和业

21、务优势数据仓库平台EDW系统的高可用性SAP HANA的备份与恢复可供选择的备份方式 文件系统备份利用DAS存储数据的备份集第三方工具备份HANA的Backint可兼容主流的备份软件存储快照备份将存储设备的数据快照作为备份集利用数据内置的备份功能，低成本的备份与恢复方案仅需HANA服务器连接存储设备（如NAS）最便捷管理数据备份的方式SAP HANA has full control about B&R management 可快速地创建数据备份集可与其它备份方式结合使用，提升系统可恢复性SAP HANA DatabaseBackup Storage,e.g. NFSCreate backup

22、hdbsqlSAP HANA studioSAP HANA Database3rd Party Backup Server3rd PartyBackup AgenthdbsqlSAP HANA studioCreate backupSAP HANA DatabaseExternal StorageStorage ToolData Area (Disk)Data snapshotPrepare databaseCreate storagesnapshotConfirm storagesnapshot hdbsqlSAP HANA studio首选的备份方式生产节点HANA DBWorker节点索

23、引服务器统计信息服务器DB分区1基于MPP的集群架构水平线性扩展与高可用性热备节点HANA DBStandby节点索引服务器统计信息服务器DB分区NDB分区2DB分区N生产节点生产节点HANA DBWorker节点索引服务器统计信息服务器HANA DBWorker节点索引服务器统计信息服务器SAP HANA DB日志卷数据卷SAS存储2日志卷数据卷SAS存储NIn-memory computing共享卷Master2Master日志卷数据卷SAS存储1邮政大数据平台分析型数据应用大规模并行处理数据均匀分布在各个节点（数据分区），并行处理提供更高的处理性能与并发性良好的线性扩展性支持大规模的集群

24、部署，（可支持上百个节点）可基于数据分布优化器（DDO）优化数据分布高可用集群架构集群中可配置备用节点，可接管故障的工作节点热备节点数量=容错节点数自动的故障切换与数据装载大数据平台容灾系统Data CenterOS: DNS, virt. hostnames, virt. IPsPrimary(active)Name ServerIndex serverSecondary(active, data pre-loaded)Name ServerIndex serverHA Solution PartnerClientsApplication ServersHA Solution Partner

25、TransferbyHANAdatabasekernelInternalDisksInternalDisksDataDisksLogDisksDataDisksLogDisks大数据平台灾备中心 邮政大数据平台数据中心SyncAsync容灾中心部署数据库容灾技术容灾系统设计鉴于大数据平台为中国邮政的核心业务平台，建议采用两级容灾机制本地/同城灾备中心：同步数据复制异地灾备中心：可选择基础情况较好的省中心，异步数据复制异地灾备中心冗余的资源也可以用于开发/测试快速的RTO (最小化RTO)同步复制零数据丢失数据库容灾 (System Replication)基于HANA的日志复制技术日志通过网络

26、传输可支持同步/异步数据复制灾备中心可选择内存同步复制方式（灾备中心数据在内存中预装载）能够保持事务的一致性：进行中的事务被回滚并被重演，无数据丢失成功的客户案例SAP在国内外案例分享华能集团公司背景与业务需求中国华能集团公司，是以经营电力产业为主的央企集团，覆盖新能源、环保产业、煤炭产业、金融产业、交通运输等行业。发电装机容量1.35亿千瓦，位居亚洲第一、世界第二的电力集团已跨入世界500强企业，在2012年全球排名246位。集团实施三级组织架构管理，有二级单位50家，基层单位300多家企业。金融煤炭科技运输电力生产2008年就已初步建成传统数据中心，并已经覆盖了二级单位和基层单位：但是，传

27、统数据中心也遇到一系列问题和挑战传统数据仓库技术性能不足，难以满足在线经营分析的要求；没有与ERP等应用系统实时集成；没有监理集团统一的真实数据源；难以满足今后大数据分析的要求.随着支持“在线经营”的战略要求，以及ERP系统等实施推广；集团按照“五统一”的原则，自上而下重新规划了未来数据中心架构集团数据中心的目标定位：支持集团实时在线经营分析集团级集中统一的大数据中心覆盖全集团业务，集成所有应用数据统一的权威数据（ Single Source of Truth）开放数据生态系统，以支持不同应用开发团队统一标准统一管理统一建设统一规划统一投资自上而下华能集团大数据平台的建设目标SLTSLT华能集

28、团数据中心的总体架构特点分析华能集团选择采用SAP HANA构建企业数据仓库，分两期实现了企业分析型数据的归并、整合与集中分析与展现企业商务智能支持平台运营数据存储ODS（基于HANA)数据管理即席查询固定报表仪表盘数据探索HRFI/COSRMEAM综合统计系统实时监管系统非结构化文档EDW（基于HANA)数据交换平台（实时同步、数据抽取、数据转换、数据交换）华能业务运营/支持类系统实时分析云平台管理集团总部区域/产业公司基层电厂其它应用系统一期上线二期上线SAP BusinessObject企业版ODS效益：采用HANA作为ODS（管理一个业务周期数据），千百倍的提升数据库性能各系统运营数据

29、可以准实时地同步到HANA的ODS可以进行面向日常业务活动的、高性能的实时分析和决策实现了集团分析数据的唯一真实信息来源EDW效益：集中管理集团总部各业务模块历史数据；可准确、迅速地发掘业务历史变化便于集团层面的审计与监控BI展现工具：灵活、丰富的前端展现界面；业务人员可通过BOE语义层便捷地构建模型；支持移动端的做为前端展示界面，随时、随地获取报表中石化利用SAP HANA构建企业级数据中心公司中国石油化工集团公司集团总部北京行业石油化工产品与服务石油、天然气以及衍生产品的开采、炼化和销售员工数量120万利润28259亿元企业规模 世界财富500强中排名第二合作伙伴德勤石化盈科、普联集团概况

30、中石化共有上百家全资、控股或分子公司，业务遍及国内外主要市场。公司控股的中国石油化工股份有限公司先后于2000年10月和2001年8月在境外、境内发行H股和A股，并分别在香港、纽约、伦敦和上海上市。主要挑战基于上市要求，实现财务的透明化，能够迅速出具各种审计报表企业系统众多，需要整合集团数据，做到唯一真实的数据来源做到关键业务（如财务）的可追溯性技术实现 对集团分析型数据进行归并、汇总，统一进入企业数据仓库对原有数据仓库的各主题库整合到统一的数据仓库将集团级数据仓库迁移至SAP HANA之上部署效益整合了集团内部分析型数据，不再有多份拷贝统一的数据仓库使企业业务更加透明处理效率大幅度提升，传统

31、月结时间大大缩短为将业务应用系统迁移至内存平台提供了技术储备1st国内目前上线的HANA最大项目3 days财务月结周期由原来的1周多缩短至3天Up to 20数据中心各种报表速度较以往有本质上的改变中石化将数据仓库平台整体迁移到SAP HANA之上预算合并报表 SAP Business Objects自开发报表勘探R3/4.6CECC 6NON SAP现有的数据仓库架构SAP ERPNON SAPEDW on HANA数据汇总、归并层HarmonizedSSC之前的数据仓库架构R3/4.6CR3/4.6CECC 6ECC 6NON SAPNON SAP销售油气EDW on AnyDB炼化其它

32、分析主题SAP Business Objects自开发报表预算合并报表 其它分析主题SAP ERPSAP ERPNON SAPNON SAP中石化下属公司共有70于套ERP系统石化集团正在规划逐步整合底层ERP系统，将其整合至上游、中游、下游、实验和研发4个版块之上SLTSLTSLT数据源的集成采用SAP实时复制技术，从各个ERP应用端（SAP ERP）或其它系统数据源整合各个业务数据设置数据汇总、合并层，对数据进行合并与去重，减轻对EDW的更新压力企业级数据仓库将数据仓库平台迁移至SAP HANA之上，性能得到大幅度提升 对原有的数据仓库进行整合和归并，打造集团统一的数据仓库后续规划（用户正在考虑基于HANA构建更多应用）共享财务/服务中心ERP大集中（正在规划中)1234规划56| I I I I | I I I I | I I I I | I I I I | I I I