中国邮政大数据平台SAP方案v2.0

1、中国邮政大数据平台SAP方案建议SAP 中国 2015 SAP SE. All rights reserved.2议程邮政大数据平台业务需求以及SAP理解SAP大数据解决方案数据交换平台数据仓库平台数据管控平台数据的展现与可视化项目实施整体规划SAP大数据平台的相关案例邮政大数据平台业务需求以及SAP理解 2015 SAP SE. All rights reserved.4企业数据成熟度分析，每提高一个成熟度，将带来巨大的业务价值无知无知不具备大数据功能应对应对只有部分关键绩效历史数据分析，无统一标准了解了解监测现有业务的整体运行状况，一定的业务预警功能管理管理具备一定的预测洞察能力，对特定业

2、务领域提出改善业务绩效的行动建议创新创新大数据技术与业务运营融合，利用大数据预测成果自动优化和提升业务业务场景成熟度业务场景成熟度大数据发挥的业务价值大数据发挥的业务价值最难跨越的阶段最难跨越的阶段目前阶段目前阶段 2015 SAP SE. All rights reserved.5中国邮政大数据平台建设的总体要求实现大数据、云计算等新技术的落地应用，为其他系统建设探索经验，开启邮政云时代建立企业级数据中心，实现企业数据统一归集，促进企业数据共享，成为企业唯一真实数据来源促进企业数据共享机制建立，为生产、经营、管理、决策提供数据服务5构建企业数据管控体系，实现邮政数据安全、标准和质量的集中管理

3、，固化数据管控流程，推动企业数据治理。统一整合企业内外部结构化、半/非结构化数据资源，提高企业数据利用率。推动大数据分析，挖掘邮政数据潜在价值，为企业战略决策、业务协同、风险管控等提供有力支撑。 2015 SAP SE. All rights reserved.6提高数据成熟度，发挥大数据价值，应从五个方面入手大数据场景人员、技能和文化数据治理信息和应用架构标准和流程建立数据场景或KPI体系组织架构创新，以适应大数据发展需要进行数据质量、元数据治理建立统一的可扩展大数据分析平台数据流程和制度标准化 2015 SAP SE. All rights reserved.7邮务数据源速递、物流数据源金

4、融数据源ERP数据源邮政外部数据源非结构化数据源其它系统数据源流数据(ESP)数据复制(SRS)ETL(Data Services)ESB(PI)数据管控平台主数据治理(MDG)元数据管理(信息管家)数据质量管理(Data Quality)数据标准管理数据安全管理企业级数据仓库平台A-CRM数据源SAP HANAIn-memory computing分析SAP BusinessObjects BI探索, 仪表盘, 报表, 图表, 可视化SAP Lumira 数据分析与可视化SAP 移动平台 (BI Mobile, Mobile Application)SAP Predictive Analys

5、is 预测分析中国邮政大数据平台建议架构数据交换平台历史数据、非机构化数据Hadoop分布式文件系统HivePigSpark扩展数据层（冷存储）结构化历史数据扩展表磁盘数据结构化实时数据热表扩展存储(定义)SDAvUDFVoraODS、EDW Data Mart温存储（动态分层）热存储（内存计算）数据老化自动搬移DLM量收数据 2015 SAP SE. All rights reserved.8SAP建议数据平台的主要特点HANA RDS(快速实施服务) SAP产品能够覆盖邮政大数据平台的几大功能模块 SAP HANA同时满足企业数据仓库的ODS、EDW和Data Mart的需求 部署方式灵活

6、：企业预置型与云部署 SAP在全球有大量的实施案例 以内存计算为核心的大数据处理平台 基于HANA简化企业EDW的复杂度 SAP在内存计算领域排名第一 大数据领域软件供应商的领导者 理念领先，互联网+与工业4.0的主要倡导者 能够提供基于产品的快速部署和开发服务 遵循业界通用的接口与开发标准 支持开源的数据处理技术，如Hadoop 能够与Hadoop/Spark等进行深度的技术j集成 可结合开源产品实现邮政集团数据生命周期管理借助SAP提供的全面解决方案，中国邮政可构建敏捷、高效能的大数据平台，从而消除业务复杂度，提升企业整体洞察力数据交换平台 2015 SAP SE. All rights

7、reserved.10邮政大数据平台整合给类型数据源数据抽取数据清洗数据合并数据排重等操作金融板块数据源速递物流板块数据源邮政板块数据源ERP数据源邮政外部数据源各类非结构化数据源结构化数据非结构化数据非结构化数据读取解析邮政企业级数据仓库 2015 SAP SE. All rights reserved.11SAPSAP的数据服务方案的数据服务方案全面考虑数据集成, 数据质量管理, 数据切面及非结构化数据获取问题支持访问全部关键业务数据支持访问全部关键业务数据(任意数据源任意数据源,类型和领域类型和领域), 一体化平台全面解决一体化平台全面解决数数据的清洗、排重、归并、衍生、合并、统计、汇总

8、等一系列数据据的清洗、排重、归并、衍生、合并、统计、汇总等一系列数据加工加工问题问题结构数据结构数据非结构数据非结构数据 一个运行一个运行时时架构及架构及一系列服一系列服务务业务业务界面界面统统一的元数据一的元数据技技术术界面界面数据服务解决数据服务解决方案包方案包数据抽取数据抽取数据质量数据质量数据切面数据切面文本分析文本分析统统一的管理一的管理环环境境(调度, 安全, 用户管理) 一套源一套源/目目标标各类型数据库：各类型数据库：OracleDB2Sybase ASESybase IQSQL ServerInformixMySQLTeradataHP NeoViewNetezzaODBCS

9、AP HANA全面接口支持全面接口支持各类型技术接口：各类型技术接口：Text delimitedText fixed widthEBCDICXMLCobolExcelHTTPJMSSOAP(Web Services)JSON 2015 SAP SE. All rights reserved.12SAP BusinessObjects Data ServiceSAP BusinessObjects Data Service性能强劲的执行引擎使用便捷的开发工具所有的任务在统一的图形界面开发易于使用，拖拽界面内带数据预览、结构分析、清洗和调试交付可信赖的信息集成数据质量管理跨越BIBI环境的元数据

10、管理端到端冲突分析简化变动管理性能强劲的执行引擎通过高性能并行架构支持网格计算最好的企业应用连接性实时和批处理数据整合Designer (Windows)Administrator (Web)Request-Response Access ServerReal-time ServicesJob Server and EngineHeterogeneous Data SourcesHeterogeneous Data TargetsWeb ApplicationsLocal RepositoryCentral RepositoryData IntegratorData Integrator 20

11、15 SAP SE. All rights reserved.13SAP SRS （SAP Replication Server）复制数据HANA ODBC SAP Sybase ASE Oracle MS SQL IBM DB2/UDBSAP Sybase Replication Server for HANADBDBDBHANALANWANHANAHANASAP Sybase Replication Server for HANA实时或定时复制数据到HANA数据仓库平台整体框架 2015 SAP SE. All rights reserved.15真正实现“实时”，业务洞察力SAP HAN

12、A 实时，可信的数据实时业务实时应用SAP 商务套件ERP/CRM等等HadoopHDFS其他信息系统基于（DB2SybaseOracleSQL-Server）实时复制实时分析BI客户端工具第三方查询工具SQLMDXBICS数据抽取实时复制/数据抽取什么是SAP HANA？ SAP HANA 是一个先进的平台，使用内存计算技术来实现企业应用 数据驱动业务，在大数据下实现实时处理 简化IT的系统部署，可通过云方式交付SAP HANA为企业带来的好处创新平台，并且在应用中不会中断原有系统应用，实现大量数据的高速处理提供实时访问，实时复制服务和数据集成功能 完整和即时的洞察力与灵活 的数据计算引擎，

13、提供预置的报告和分析模型简化IT架构，多用途的内存计算平台减少数据处理层次 2015 SAP SE. All rights reserved.16ON-PREMISE | CLOUD | HYBRIDSAP HANA 平台基于HANA的大数据平台SpatialGraphPredictiveSearchText AnalyticsPlanningDataEnrichmentSeriesDataFunctionLibraries处理服务Web Server JavaScriptFiori用户界面Graphic Modeler应用服务ALMApplication Lifecycle Manageme

14、nt列存储内存数据库 OLTP+OLAP多核大规模并行计算高级压缩多租户动态分层存储数据库服务高可用性和灾难恢复开放的标准数据模型Data VirtualizationELT & Replication集成服务Hadoop IntegrationStreaming (CEP)Remote DataSync 2015 SAP SE. All rights reserved.17现状: 大数据平台数据规模庞大，数据增长速度快，且数据类型多样（结构化、非结构化）。今后可能会集成更多的外部数据050010001500200025003000初始201520162017中国邮政大数据平台数据量增

15、长趋势Data Volume(TB)大数据平台的数据温度管理策略数据管理策略（由业务应用主导定义）SAP HANA热数据实时数据HANA动态分层温数据历史数据数据仓库分析型业数据仓库分析型业务应用务应用: 更高效地管理海量数据，降低整体拥有成本 HANA与温数据层、扩展数据层深度集成，提升系统性能一体化的数据管理品台，降低系统复杂度高度可扩展的架构Hadoop & Spark扩展数据频繁访问数据实时计算数据历史数据相对复杂的计算与查询非活跃数据海量非结构化数据非复杂的分析计算热数据热数据SAP HANA温数据温数据HANA动态分层扩展数据扩展数据HadoopSpark数据移动数据移动D

16、ata Lifecycle manager 2015 SAP SE. All rights reserved.18HANA大数据平台的数据存储层如何有效区别各数据层次内存管理内存管理操作类型操作类型 日常运行的业务应用，分析操作和统计报表 实时分析 复杂的分析、预测等 密集型计算数据特征数据特征 当前活跃数据 信息单位价值高的业务数据管理数据量管理数据量 管理数据规模在几十个TB量级Hadoop企业级海量数据存储企业级海量数据存储 低成本的数据存储、通用硬件 高度灵活、可扩展架构数据数据特征特征 大量非结构化/半结构化数据，社交媒体和邮政外部数据 非活跃，批量处理数据 信息单位价值相对不高的业

17、务数据数据数据移动（同前）移动（同前）管理数据量管理数据量 管理数据规模可达到PB级动态分层动态分层HANA的磁盘级处理引擎数据特征数据特征 历史数据为主 近实时的分析场景 信息单位价值较高的业务数据数据移动（数据移动（Data Lifecycle Mgt.） 定义数据分割/分区策略 按照规则在内存和硬盘引擎间移动数据管理数据量管理数据量 管理数据规模在几百个TB以内SAP HANASAP HANAHANA RAMDT数据的温度是随时间动态变化的，而且并不是同类型数据只存在一个存储空间，要看具体的业务场景和数据价值，比如实时数据不只是在温存储中，也可以在HANA内存中，HANA也有处理时间序列

18、的功能。 2015 SAP SE. All rights reserved.19在高度集成的系统内，提供高性能的数据管理，支持可扩展架构能力基于表级别定义数据管理层：内存处理 (热数据) 或磁盘处理 (温数据)利用磁盘级的列存储技术，提高数据分析访问性能可支持高达PB级的数据规模提供集成的安全策略与备份恢复能力动态分层处理引擎列式处理引擎的先驱与领导者久经考验的数据处理引擎（大量政府、金融、电信等行业）在TPC-H基准的领先者优势库内集成，高性能单一系统，消除了数据冗余统一访问接口，降低复杂度邮政可根据需要定义数据管理策略动态分层支持海量数据管理HANA动态数据分层 2015 SAP SE.

19、All rights reserved.20支持丰富的Hadoop处理引擎，支持主要的Hadoop厂商，如Cloudera, Hortonworks, MapR等 Smart Data Access 将外部的数据源映射为本地的数据表，做到实时访问外部数据源 支持与Hadoop，Teradata, Microsoft SQLServer, Oracle, IBM DB2, IBM Netezza等数据库的集成 Virtual UDF (vUDF) 可自定义的数据联邦类型 支持访问Hadoop分布式文件系统(HDFS)，无需Mapper/Reducer解析包 支持直接调用自定义的Map Reduc

20、e任务 vUDF可集成到SQL语句 效益 能够利用Hadoop集群中HIVE & Spark无法提供的功能 (如. Hadoop Distributed File System (HDFS) 和MapReduce) 提高非结构化数据的即席查询能力SAP HANAvUDF OperatorRFC HadoopHadoopMap ReduceHDFSYARNHIVE与Hadoop的深度集成Smart Data access 2015 SAP SE. All rights reserved.21YARNHDFS其他应用文件文件文件SAP HANA - Apache Spark Adapter

21、可用于提高分布式系统连接的性能编译查询可以提高应用和数据分析在各节点的运行效率基于 Hadoop 的 OLAP 体验非常常见，可用于从大数据中挖掘业务洞察，比如向下钻取 HDFS 数据编译查询Apache Spark Adapter向下钻取功能SAP HANA 内存平台 SAP HANA VoraApache SparkSAP HANA VoraApache Spark内存存储应用服务数据库服务集成服务处理服务SAP HANA 平台SAP HANA VoraApache SparkSAP HANA-ApacheSpark AdapterSAP HANA Vora 内置于 Apache Spar

22、k 执行架构之中，是一款内存计算查询引擎，能够基于 Hadoop 提供丰富的交互式分析体验。SAP HANA Vora与Spark的深度集成数据仓库平台EDW系统的高可用性 2015 SAP SE. All rights reserved.23SAP HANA的备份与恢复可供选择的备份方式 文件系统备份利用DAS存储数据的备份集第三方工具备份HANA的Backint可兼容主流的备份软件存储快照备份将存储设备的数据快照作为备份集利用数据内置的备份功能，低成本的备份与恢复方案仅需HANA服务器连接存储设备（如NAS）最便捷管理数据备份的方式SAP HANA has full control abo

23、ut B&R management 可快速地创建数据备份集可与其它备份方式结合使用，提升系统可恢复性SAP HANA DatabaseBackup Storage,e.g. NFSCreate backuphdbsqlSAP HANA studioSAP HANA Database3rd Party Backup Server3rd PartyBackup AgenthdbsqlSAP HANA studioCreate backupSAP HANA DatabaseExternal StorageStorage ToolData Area (Disk)Data snapshotPre

24、pare databaseCreate storagesnapshotConfirm storagesnapshot hdbsqlSAP HANA studio首选的备份方式 2015 SAP SE. All rights reserved.24生产节点HANA DBWorker节点索引服务器统计信息服务器DB分区1基于MPP的集群架构水平线性扩展与高可用性热备节点HANA DBStandby节点索引服务器统计信息服务器DB分区NDB分区2DB分区N生产节点生产节点HANA DBWorker节点索引服务器统计信息服务器HANA DBWorker节点索引服务器统计信息服务器SAP HANA DB

25、日志卷数据卷SAS存储2日志卷数据卷SAS存储NIn-memory computing共享卷Master2Master日志卷数据卷SAS存储1邮政大数据平台分析型数据应用大规模并行处理n数据均匀分布在各个节点（数据分区），并行处理n提供更高的处理性能与并发性n良好的线性扩展性n支持大规模的集群部署，（可支持上百个节点）n可基于数据分布优化器（DDO）优化数据分布高可用集群架构n集群中可配置备用节点，可接管故障的工作节点n热备节点数量=容错节点数n自动的故障切换与数据装载 2015 SAP SE. All rights reserved.25大数据平台容灾系统Data CenterOS: DNS

26、, virt. hostnames, virt. IPsPrimary(active)Name ServerIndex serverSecondary(active, data pre-loaded)Name ServerIndex serverHA Solution PartnerClientsApplication ServersHA Solution PartnerTransferbyHANAdatabasekernelInternalDisksInternalDisksDataDisksLogDisksDataDisksLogDisks大大数据平台灾备中心数据平台灾备中心 邮政大数据平

27、台数据中心邮政大数据平台数据中心SyncAsync容灾中心部署数据库容灾技术容灾系统设计n鉴于大数据平台为中国邮政的核心业务平台，建议采用两级容灾机制n本地/同城灾备中心：同步数据复制n异地灾备中心：可选择基础情况较好的省中心，异步数据复制n异地灾备中心冗余的资源也可以用于开发/测试n快速的RTO (最小化RTO)n同步复制零数据丢失数据库容灾 (System Replication)n基于HANA的日志复制技术n日志通过网络传输n可支持同步/异步数据复制n灾备中心可选择内存同步复制方式（灾备中心数据在内存中预装载）n能够保持事务的一致性：进行中的事务被回滚并被重演，无数据丢失数据仓库平台基于

28、HANA部署企业云 2015 SAP SE. All rights reserved.27中国邮政企业云平台建设的几种思路业务应用（量收、速递、集邮、物流等业务）SAP HANASAP HANA企业云（企业云（HANA Enterprise Cloud)SAP HANA合作伙伴云合作伙伴云(Partner Cloud) 私有云（Platform-as-a-service） IT基础设施 （服务器、网络、存储等基础设施 ）整合与企业内部IT基础设施集中式的部署与维护动态系统扩展与资源按需分配企业级的系统安全性 2014 SAP AG or an SAP affiliate company. Al

29、l rights reserved.27Public企业级共享数据中心企业级共享数据中心 中国邮政自建与维护企业级数中国邮政自建与维护企业级数据中心据中心数据中心支撑企业内部多业务数据中心支撑企业内部多业务系统，做到资源按需分动态配系统，做到资源按需分动态配运用运用HANA多租户的技术多租户的技术企业无需自行IT基础设施由SAP提供基础架构与数据库服务快速的部署与实施及时采用最新的技术业务灵活地扩展与计费方式由由SAP提供基础设施提供基础设施可以选择购买或者租赁可以选择购买或者租赁License由由SAP提供管理服务提供管理服务由由SAP合作伙伴提供基础设施合作伙伴提供基础设施可以选择购买或者

30、租赁可以选择购买或者租赁License由由SAP合作伙伴提供管理服务合作伙伴提供管理服务合作伙伴可以根据用户需求灵活地构建基础架构良好地本地支持与服务与硬件供应商更紧密地集成与合作 2015 SAP SE. All rights reserved.28Runtimes / Programming Models应用服务数据库服务UXIdentity Mgmt.SSOPortalAnalyticsAPI Mgmt.MobileCollaborationOn StorePlanningSpatialPredictiveStreamingTextHA / DRSmart DataOther DBs,

31、Hadoop IntegrationMulti_DBTieringGraphCloud ConnectorIntegrationGatewayDoc. MgmtPaaS ( SAP HANA 云平台)Powered by SAP HANAIaaSSAP | 合作伙伴OpenStack云托管服务商务套件SAP数据仓库其它SAP应用SaaSCustomer Engagement & CommerceFinanceProcurementHR(HANA Enterprise Cloud)新应用新应用扩展服务扩展服务集成集成中国邮政大数据平台建设方向SAP 能够提供什么样的云平台？ 2015 S

32、AP SE. All rights reserved.29基于SAP HANA的企业私有云将云应用构架于HANA之上SAP HANA PlatformHANA native其它分析其它分析型业务型业务SAPHANASAPHANA多个应用运行在一个HANA实例里 不需要多余的数据复制每个应用可以访问跨系统数据，虽然这些数据属于其他应用系统 实时报表，实时访问数据 灵活扩展下层的硬件设备 智能平衡工作负载 弹性的架构设计 可基于集团内存私有云部署，集团总部以及各省中心业务用户沟通消费企业云 可延用现有两套系统（量收、综合分析平台），分别在HANA两个集群实例环境中部署虚拟化技术承载从基础设备层到应

33、用和平台层 HANA是新一代云架构的基础Enterprise Storage量收系统量收系统网运系统网运系统集邮系统集邮系统报刊报刊系统系统物流平台系统物流平台系统 2015 SAP SE. All rights reserved.30 大数据平台私有云（大数据平台私有云（SAP HANA）基于多租户构架HANA私有云平台主机 1 主机 3 主机 2 备用节点 (主机 4) 报刊业务租户库物流业务租户库量收业务租户库1量收业务租户库2System DB(Standby)集邮业务租户库2速递平台租户库1速递平台租户库2集邮业务租户库1System DB(Standby)System DB(Sta

34、ndby)System DB邮政报刊业务系统邮政集邮业务系统邮政速递平台系统邮政物流平台系统 部署建议 基于HANA MPP集群构建邮政集团私有云 在一个实例上运行多个业务应用 根据业务负载选择部署节点 为何要使用多租户数据库 业务隔离 有效利用系统资源 计算资源管理 业务数据共享 效益 简化系统管理 灵活可扩展 构建集团内部私有云 提高硬件利用率，降低整体成本数据管控平台数据管控平台主数据管理 2015 SAP SE. All rights reserved.33邮政各数据源主数据管理的基本架构企业数据创建并管理主数据清洗匹配 / 合并创建支配分发分配 / 分发 / 发布主数据 MDM主数据

35、分发信息管理通常被部署的位置n标准化主数据n经过专业认证审批主数据进入主数据管理n分发主数据金融板块邮政板块物流板块物流板块速递板块速递板块普通文件，Excel和 XMLWeb大型主机ERP 2015 SAP SE. All rights reserved.34数据标准化步骤建议34数据的维护流程数据元素的属性标准数据的编码范围数据的分类标准数据标准n 编码是指用于唯一区别一条数据记录的特殊标识n 为了避免由于各企业各自为政对数据进行独立编码最终导致在企业横向整合的过程中发生重码、数据冗余等情况n 用于将具有相同数据属性、管理要求和系统要求的数据进行分组的标准n 通过分组实现对数据的专项化侧重

36、管理，并为业务管理和分析提供必要基础依据n 为了保证数据标准规能够准确、有效的去规范数据元素的属性，必须制定一套科学、合理和高效的工作流，即数据的维护流程n 例如规定数据的申请人和申请流程、审批人和审批流程、数据的业务归口管理部门等内容n 规定每个数据字段内容的填写规范，保证所有的数据在整个企业范围的填写规则统一 2015 SAP SE. All rights reserved.35各个业务板块主数据数据梳理准备步骤35快递ERP集团统一数据清理数据优化数据合规数据查重数据确认数据合并总体思路具体技术步骤确定数据优化的具体属性和内容进行数据总体优化确定每个属性信息特别是关键信息的标准和规范，在

37、系统中进行合规校验和修改确定并在系统中实现重复原则和查重策略根据数据情况分别进行系统和人工数据确认根据数据合并策略和数据确认结果在系统中进行数据合并现有MDM1. 现有MDM的迁移2. 新增主数据的规则规则梳理、数据迁移大数据平台主数据与现有MDM双规运行一段周期，双向数据同步平滑迁移数据管控平台元数据管理 2015 SAP SE. All rights reserved.37SAP信息管家提供强大的元数据管理能力对各种类型的场景提供完善的元数据管理BI 系统系统数据库数据库ETL模块工具模块工具元数据集成元数据集成其他元数据集成可用其他元数据集成可用*AltovaBorlandCACOBOL

38、EmbarcaderoEMCGentlewareSilverunKnightbridge (HP)IBMInformaticaMicsosoftMicroStrategyNoMagicOMGOracleSELECT SPARX SystemsSUN SybaseTeradataTigrisVisible Systems Corp W3C 元数据与信息管家的集成元数据与信息管家的集成SAP BI Platform CWMXML (CWM), RDBMS: MSSQL Server, DB2, Teradata and JDBC Sources*其他元数据集成可通过 Meta Integratio

39、n Technology, Inc. (MITI) 2015 SAP SE. All rights reserved.38元数据管理保障数据来源的可追溯和标准化程度做持续优化q 提供血缘分析和影响分析功能，为保证系统能从元数据的变化发现对数据分析的影响，确定某个实体的用途，以及实体之间的关联关系。q 积分卡功能，对数据质量是否满足设计目标，提供持续的监控，从各个维度（如：数据口径，依赖关系等）提供全面的检查，持续优化数据管控平台数据质量管理 2015 SAP SE. All rights reserved.40数据质量管理完整的方法论支持评估（Assess）n理解数据质量问题提升（Improv

40、e）n（清洗、加强并合并）维持（Sustain）n持续监控AssessAssessSustainSustainImproveImprove典型应用场景n企业合并过程中，系统间主数据的合并n建立真正干净、完整的客户资料库n资源、资产管理的必要手段SAP Data Quality 2015 SAP SE. All rights reserved.41Data Quality：完整的方法论支持 数据清洗（客户数据）n将客户数据进行清洗和标准化，例如姓名/地址，邮件，电话，SSN，以及日期n可管理190多个国家的数据，支持Unicode数据读写n去除错误，发现数据库中的真实内容n提升数据完整性，识别匹

41、配，并最终形成单一客户视图数据清洗（操作数据）将业务数据进行解析和标准化n例如客户编号，产品代码，产品描述，采购日期，部件编号，SKU等n对于更多的定制化结果需求，可利用基于规则的解析和规则编辑架构n提供图形化界面，让用户决定数据如何被解析，并评估定制化的变化对数据的影响 数据增强n使用字典中的数据补足姓名、地址、电话或者电子邮件信息，从而让记录完整n提供地理编码能力，用于基于地理或者人口统计学的营销需求n为客户地址分派地理空间，用于税收监控，保险投保地区分布，保险风险分布等匹配和合并n识别“雪鸟”：例如具有多个居所的个人或者家庭n创建一个全景单条最佳纪录n提供身份识别能力，揭示不明确的关系，

42、用于欺诈侦测 持续监控n建立现存的或者推断的业务规则/任务n自动发现易被忽略的业务规则和关系n设定阀值，定时评估n如果持续监控任务发现异常数据，则自动提醒n提示中包括阀值的细节情况数据评估n对数据进行探察，发现其是否符合业务规则n对来自异构数据源的数据进行对比n发现数据缺陷，衡量这些缺陷对业务的影响n将发现的结果向相关人士报告n就数据清洗中使用的业务规则进行沟通n将上述过程自动化，以实现持续监控数据分析与可视化平台 2015 SAP SE. All rights reserved.43数据利用能力原始数据准确的数据固定报表即席查询&OLAP敏捷可视化预测模型优化已经发生了什么已经发生了

43、什么为什么会发生为什么会发生将会发生什么将会发生什么怎样可以取得更怎样可以取得更好的结果好的结果收益收益利用利用能力能力自助BI通用预测分析企业级企业级BI敏捷可敏捷可视化视化高级分析高级分析 2015 SAP SE. All rights reserved.44商务智能应用分析适应不同用户的要求决策层决策层管理层管理层执行层执行层管理关键指标，及时调整经营战略。比如收购或并购新公司，进入新市场，引入新产品；管理层需要获取和解读数据，快速调整运作战术。比如开展/终止销售计划，调整供应链指标；日常业务操作需求，直接获得分析内容提高操作效率。比如客户信用状况，成本费用报表；具体的视角实时浏览/行业

44、规范（套打）全面的视角实时分析/趋势分析/预测推演统一的视角实时告警/交互审批/级联分析 2015 SAP SE. All rights reserved.45SAP 商务智能解决方案一个套件，多个视角查询与报表查询与报表自助与预测自助与预测仪表盘仪表盘和应用和应用发现、预测、创造发现、预测、创造创建互动体验创建互动体验发布信息发布信息 Lumira 数据探索（Explorer*） 预测分析（Infiniteinsight*） 仪表盘（Dashboards） 即时查询（Web Intelligence*） 水晶报表（Crystal Reports*）BI 平台（移动平台（移动BI）语义层语义层

45、 2015 SAP SE. All rights reserved.46示例：报表与查询示例 2015 SAP SE. All rights reserved.47示例：仪表板 2015 SAP SE. All rights reserved.48美观丰富的图形化引擎n共享的图形化引擎使之与其它客户端软件有相似的外观n更广泛的图表库，更多交互，创建和修改更简单n降低新用户学习曲线，同时提高高级用户的生产力和灵活度n热点图n盒型图n多系列饼图n云标签可以进行分析、格式化、添加计算列、修改查询和图表类型图表参数和图层的精细控制新增图表类型n散布气泡图n极地气泡图 n双轴图n树形图 2015 SAP

46、 SE. All rights reserved.49随时随地的移动应用更快、更便利的远距沟通让信息随处可用的手段n可从任何移动设备上迅速访问到所需的信息n具有良好的交互功能，可立即采取行动n部署简便、快捷交互式、实时采取行动n可钻取式互动图标、度量、仪表盘n报告到报告的导航n从移动装置上可以直接改变重要的数据n直接的回答和触发遥控过程控制EASY 2015 SAP SE. All rights reserved.50SAP大数据预测分析专为业务用户设计数据挖掘/统计学/概率学 专业知识无业务分析师数据 科学家业务用户低高SAP 大数据预测分析SAP PA 智能建模+Lumira自助探索SAP

47、 PA 专家建模R语言SAP HANA 分析函数包 2015 SAP SE. All rights reserved.51BI 平台平台HANARDBMSExcel / CSVhadoopBW*ClipboardSAP商务智能详细架构报表报表仪表盘仪表盘分析分析水晶报表即席查询DashboardDesign Studio数据探索高级分析平台客户端BI工具数据源语义层*数据源数据建模数据分析分析共享查看平台Lumira 服务器服务器（基于基于 HANA）Lumira 云云 （基于（基于HANA）Lumira 桌面版桌面版Excel / CSVLumira 服务器服务器（内存数据库）（内存数据库）

48、 2015 SAP SE. All rights reserved.52数据准备可视化探索故事构建结果分享 数据源多样化 内存存储 利用现有企业级BI中搭建的模型 根据业务分析需求处理数据，例如：企业和个人数据合并、数据计算、数据分组等 自由灵活的展现 多种视觉冲击强烈的可视化组件 持续增强和增加的可视化组件 与第三方软件提供商的集成（例如ESRI、VE） 根据业务需求，快速构建故事板 快速生成业务报告 基于故事板的互动查询 发布结果到部门服务器、企业级服务器或者云 多种设备端查看分析结果，实现随时随地的分析 发布故事板到BI平台，与现有企业级BI平台统一管理，包括内容、权限等敏捷可视化的4个

49、步骤 2015 SAP SE. All rights reserved.53关键能力（数据自由获取、整理，自动建模） 2015 SAP SE. All rights reserved.54Lumira加速数据探索过程自助自助 业务人员可以完成全流程的数据分析数据整理，数据建模，可视化，共享集成集成 与企业级BI平台、高级分析高度集成语义层、安全与共享；预测能力 2015 SAP SE. All rights reserved.55 SAP IQ企业核心业务数据数据展现BO仪表盘Lumira自助探索其它应用系统SAP ERPSAP大数据预测分析系统架构 敏捷分析+内存数据库+自助探索移动可视化第

50、三方数据SAP CRM 历史数据扩展存储Predictive Analysis Libraries | Business Function Libraries | Data Models & Stored ProceduresSAP Predictive Analytics 数据挖掘自动化大数据内存分析平台数据驱动SAP HANA DataServices数据存储数据建模与分析/Hadoop 2015 SAP SE. All rights reserved.56数据挖掘和预测：直观的可视化应用，丰富的预置预测模型SAP PA大数据预测分析解决方案方案价值：自动数据准备和探索、完整的数据

51、挖掘过程、强大的预测算法库直观地设计复杂的预测模型，可视化分析丰富的建模技术，可扩展的预测模型：关联分析聚类分析决策树分析神经网络分析例外分析回归分析时间序列分析概率分布聚类分析决策树分析神经网络分析例外分析时间序列分析多元回归分析 2015 SAP SE. All rights reserved.57数据挖掘和预测：高效的内存预测分析，支持外部算法调用SAP PA大数据预测分析解决方案方案价值：结合了SAP HANA内存分析的深度、性能，支持多种高级分析和预测场景，高效快速地获取结果，实现大数据的挖掘通过集成R语言，在SAP HANA中访问3,500种以上的开源算法内置于业务应用中，扩展到B

52、I和报表中，对事务的洞察结果，可立即传送到仪表盘、警告提示和移动终端，使业务相关人员都能灵活获取预测洞察力 与BI平台的一体化设计，通过任何 BI报表或仪表盘均可访问分析结果 2015 SAP SE. All rights reserved.58数据挖掘和预测：自动数据准备和探索SAP PA大数据预测分析解决方案方案价值：自动数据准备和探索，包括上千个变量并自动找到重要的指标 在几小时内创建和部署模式，而不是数周可以支持日常决策、解答传统模型因市场响应速度慢而无法解决的商业问题自动实现选择变量准备数据变量编码缺失值处理奇异值处理匹配模型测试模型模型报告模型部署商业问题选择变量准备数据建模模型测

53、试理解应用选择商业问题最相关的变量，以适合算法需要SAP：自动决定重要变量，多至几千个变量用不同算法进行建模，选择不同的参数SAP：结构风险最小化理论自动选优把数据语言转换成商业描述SAP：独特的专利技术准备数据：缺失值处理，异常值处理，函数变换SAP：自动化预处理 2015 SAP SE. All rights reserved.59数据挖掘和预测：精简的预测分析应用函数建模工具 (AFM)SAP PA大数据预测分析解决方案方案价值： 图形化用户界面，用于创建基于函数和PAL算法的程序 模型将存为存储对象，可以在多个应用间重复使用 可用函数放置在拖拽列表中 简单选取输入/输出表、参数、以及过

54、滤器，并生成程序 无需编写SQL语句代码，就可创建基于PAL函数的程序 快速开发和部署预测应用 简单易学的编辑器，使应用开发过程更高效率、有成效、出成果项目实时规划概述 2015 SAP SE. All rights reserved.61SAP 开发方法论 概述业务蓝图设计业务蓝图设计开发与测试开发与测试 客户验收测试与交付客户验收测试与交付生产切换生产切换 项目，质量及风险管理项目，质量及风险管理校验校验客户验收客户验收数据准备数据准备功能说明书功能说明书 设计设计 实现实现 测试测试方案方案制定制定确定平台实现功能确定平台实现功能环境部署环境部署软软/硬件环境部署硬件环境部署开发、测试开

55、发、测试数据迁移数据迁移系统迁移系统迁移试运营试运营试运营试运营上线支持上线支持 2015 SAP SE. All rights reserved.62大数据平台实施计划和主要里程碑2015年9月2016年6月2017年中项目启动完成系统开发联调测试项目准备阶段一: 大数据平台的搭建与量收系统迁移阶段二: 大数据的完善与整体迁移UAT业务蓝图l制定项目计划l项目组织结构l需求整理及准备图例：UAT：用户确认测试 ：主要里程碑l生产环境与认证机制l硬件平台的部署l平台应用的调整或二次开发l数据的迁移l平台上线前核查l应急措施与计划l技术上线批准系统实现最终准备上线和支持l平台上线l平台文档交付l

56、平台上线后支持平台一期上线试运行业务蓝图系统实现最终准备上线和支持l系统上线l系统文档交付l系统上线后支持l最终用户培训l系统上线前核查l应急措施与计划l系统上线批准UAT2016年1月系统设计数据设计2016年5月l生产环境与认证机制l硬件平台的部署l平台应用的调整或二次开发l数据的迁移l主数据的梳理与平台迁移成功的客户案例SAP在国内外案例分享 2015 SAP SE. All rights reserved.64华能集团公司背景与业务需求中国华能集团公司，是以经营电力产业为主的央企集团，覆盖新能源、环保产业、煤炭产业、金融产业、交通运输等行业。发电装机容量1.35亿千瓦，位居亚洲第一、世

57、界第二的电力集团已跨入世界500强企业，在2012年全球排名246位。集团实施三级组织架构管理，有二级单位50家，基层单位300多家企业。金融煤炭科技运输电力生产2008年就已初步建成传统数据中心，并已经覆盖了二级单位和基层单位：但是，传统数据中心也遇到一系列问题和挑战传统数据仓库技术性能不足，难以满足在线经营分析的要求；没有与ERP等应用系统实时集成；没有监理集团统一的真实数据源；难以满足今后大数据分析的要求. 2015 SAP SE. All rights reserved.65随着支持“在线经营”的战略要求，以及ERP系统等实施推广；集团按照“五统一”的原则，自上而下重新规划了未来数据中

58、心架构集团数据中心的目标定位：支持集团实时在线经营分析集团级集中统一的大数据中心覆盖全集团业务，集成所有应用数据统一的权威数据（ Single Source of Truth）开放数据生态系统，以支持不同应用开发团队统统一一标标准准统一统一管理管理统一统一建设建设统一统一规划规划统统一一投投资资自自上上而而下下华能集团大数据平台的建设目标 2015 SAP SE. All rights reserved.66SLTSLT华能集团数据中心的总体架构特点分析华能集团选择采用SAP HANA构建企业数据仓库，分两期实现了企业分析型数据的归并、整合与集中分析与展现企业商务智能支持平台运营数据存储ODS

59、（基于HANA)数据管理即席查询固定报表仪表盘数据探索HRFI/COSRMEAM综合统计系统实时监管系统非结构化文档EDW（基于HANA)数据交换平台（实时同步、数据抽取、数据转换、数据交换）华能业务运营/支持类系统实时分析云平台管理集团总部区域/产业公司基层电厂其它应用系统一期上线二期上线SAP BusinessObject企业版ODS效益：采用HANA作为ODS（管理一个业务周期数据），千百倍的提升数据库性能各系统运营数据可以准实时地同步到HANA的ODS可以进行面向日常业务活动的、高性能的实时分析和决策实现了集团分析数据的唯一真实信息来源EDW效益：集中管理集团总部各业务模块历史数据；可准确、迅速地发掘业务历史变化便于集团层面的审计与监控BI展现工具：灵活、丰富的前端展现界面；业务人员可通过BOE语