SAP HANA高性能内存计算平台

1、SAP HANA高性能内存计算平台SAP HANA议程安排SAP HANA内存计算概览SAP HANA的数据中心技术规范SAP HANA数据库云中心架构SAP HANA应用设计开发特点介绍HANA POC结果介绍、第三方应用支持情况讨论时间SAP HANA内存计算概览SAP的内存数据管理创新提供实时应用平台在一个数据库中同时实现OLTP和OLAP的高性能，使用内存列式数据库技术。A common Database Approach for OLTP and OLAP Using an In-Memory Column DatabaseHasso Plattner以客户为中心的创新交易分析加速交

2、易和分析直接在内存计算完成VS.SAPIn-MemoryCache离散改变游戏规则，打破数据库格局传统数据库 硬件 多核处理器架构 (每台刀片8 x 8 核 CPU)64bit 地址空间 单台可扩展到4TB ,(理论达4EB)100GB/s 数据传输多台服务器并行运行每台服务器的价格低廉价格迅速下降，性能迅速提升缓存磁盘行+列存储压缩 5-20倍分区：大量数据，复杂计算动态聚集增量数据处理内存技术+内存SAP HANA主存磁盘集成取消IO瓶颈保证数据一致SAP HANA的硬件和性能指标认证的硬件系统单机从128GB 4TB内存，数据中心方案更多的硬件供应商超过60种规格的认证硬件服务器基于AW

3、S的云部署认证的同步，异步的集群容灾备份恢复方案BI认证和ETL，备份工具的认证以5年SD模块的销售数据为例- 1000亿条数据记录- 16个HANA服务器节点- 19倍压缩率- 100TB-3.7TB月度销售与分销报告。1个月，0.3秒6个月，0.7秒12个月，1.04秒前 100 位客户的 YOY 趋势报告超过2年，1.5秒超过5年，3.8秒可小，可大的平台内存容量：128GB 50TB 500TB计算能力：16核10000核从单节点到100个节点的集群支持HANA的硬件列表经过认证的8家硬件合作伙伴，6种配置规格，70多种不同机器配置可供选择具体配置机型请查阅：/pamSAP HANA-

4、内存计算最简单的理解内存（数据）闪存-Flash（日志）数据来自任何DB来自任何系统客户端访问I/O都在内存硬盘SAP HANA硬件服务器写入11数据总是直接写进内存同步写入22更新内存数据的同时写入日志异步33数据定期写入磁盘并创建保存点重启之后44数据恢复时从磁盘和日志区读取记录HANA特点一数据压缩再加速内存极速访问姓名城市性别张山北京男李四上海女李梦上海女李梦上海女传统关系型数据库表HANA列式存储数据字典压缩张山李四李梦李梦北京上海上海上海男女女女0: 张山1: 李四2: 李梦 0: 北京1: 上海0:男1:女HANA列式存储运行长度压缩1 x 01 x 12 x 21 x 03 x

5、 11 x 03 x 10: 张山1: 李四2: 李梦 0: 北京1: 上海0:男1:女1 x 0 表示 1个张山* 后面的数字表示实际的值模拟内存中的数据HANA特点二数据分而治之数 据内存本地化，把大数据量和计算量分散到不同处理器任务并行处理，不同的服务器之间也共享同一组数据高可用性，单一的服务器的DOWN机将不影响任何计算MPP模式，Share-Nothing的体系架构，最大化的减少资源竞争，更适合高性能、高并发场景HANA特点三最小化数据传输传统的方式数据计算数据库层面信息系统应用层模式转变 SAP HANA信息系统应用层数据计算内存计算引擎内存数据库内存计算技术的“革新”行存储与列存

6、储的混合应用数据压缩数据分析数据库内并行计算不需要聚集表不需要物化视图实时数据复制仅插入增量数据5倍的压缩率1TB的数据，约使用200GB的内存列式存储 = 更快的查询更利于分析大数据块更复杂的计算场景更灵活的建模不需要数据冗余更快、更具时效性的数据加载更好的利用多核CPU的优势更大的内存参与数据分析强大的计算能力一百万倍快于磁盘数据库1TB内存的服务器, 大于80 个处理器 SAP HANA更多的把计算推动到软件技术以完成性能的优化使用HANA Studio进行数据建模HANA Studio基于Eclipse实现可视化开发使用HANA Studio监控数据库服务状态提供多种数据上载方法，考虑

7、性能和实时性多种方法加载数据到SAP HANA数据库数据加载的方法还在不断增强中R语言的集成，更多的预测函数库提供R统计函数库与HANA的集成可实现更多的高级分析和财务预测功能发现隐藏的收入机会，保留高价值客户，提供最相关的和及时的信息，增加交叉销售和向上销售的有效性，发现欺诈行为，并改善与客户的互动.R与HANA的集成可使用R的开放环境，提供多余3500个函数库用于内存计算R的函数通过高性能的内存计算来并行处理R的脚本可嵌入SQL语句共同完成HANA的数据模型增强的预测函数库提供额外的预测算法库内存处理提供更强更快的结果快速实现YXZSAP HANA如何应用？“肩并肩” 的场景HANA RD

8、S(快速实施服务)CRM 客户细分COPAFinance & controllingBW powered by HANABusiness planning & consolidation (BPC)on HANABusiness Suite on HANAHANA new analyticsSAP HANA DB数据集市及相关应用BOBJ BISAP PA文本 & 预测分析针对零售的销售分析流动性风险管理ERP 运营报表社交情感分析销售管道分析Business One on HANASAP Business One Analytics on HANAHANA new analyticsBI o

9、n Demand销售 & 运营计划供应商信息网络基于 Amazon Web Services (AWS)开发环境智能电表分析精确零售现金预测来自合作伙伴的独立应用还有更多的来自 SAP, ISVs 和快速启动计划项目的解决方案HANA加速器HANAplatform(数据集市)HANAapps for Suite(包括：报表 & 分析)Cloudon HANAAny DBClientSAP BusinessSuiteHANA DBAny DBHANA DBClientOD/SF solutionsAny DBHANA DBSAP BusinessSuite& any appDatamartSAP

10、 BOBJ BI, VIAny DBHANA DBAppsSAP BusinessSuite实时分析BusinessSuiteon HANABusiness Oneon HANA 集成的场景HANA DBCRMSCMSRMPLMERPVDLSAPBusiness SuiteBWAppsHANA DBSAPBusiness OneMSSQLBW onHANAAny DBHANA DBBWSAP BusinessSuite实时应用HANA newappsHANA DB新应用新领域实时平台123SAP HANA的数据中心技术规范SAP HANA 数据库中心准备就绪：简介及概览设备方法论（安装和升级）

11、永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计SAP HANA 数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计SAP HANA 设备SAP HANA 技术合作伙伴SAP HANA 特色产品SAP HANA Enterprise EditionSAP HANA Platform Edition - 包括数据准备工具(SLT、DS)SAP HANA for runtime DB - 仅提供SAP应用的数据库SAP HANA 硬件合作伙伴从安装的角度看 SAP HANA 设备软件：允许工厂预安装及现场配

12、置SAP HANA 的安装以下是 SAP 设备发布模型硬件提供商在工厂预先安装硬件，操作系统和 SAP 软件硬件提供商可以加入特定的最佳实践和 SAP HANA 软件的配置硬件提供商完成包括现场安装和配置 HANA 组件在内的最终安装*客户建立 SAP HANA 和数据源以及 BI 客户端的复制 / 连接*向客户发布硬件HANA 系统安装HANA 场景运行工厂预装现场服务现场安装组装硬件和操作系统安装SAP软件工厂冒烟测试现场安装技术配置现场冒烟测试建立复制业务配置这是计划的当前状态， SAP随时可能修改。SAP HANA SP 升级 流程描述SAP HANA 设备软件 SAP HANA 数据

13、库和客户端 SAP HANA Studio 目录 SAP HANA 加载控制器SUM for SAP HANASAP HANA studio (Eclipse)LM perspectiveMaintenance OptimizerService MarketplaceAll remote connections are done via secure web services.SAP HANA 可以通过 Software Update Manager 自动升级通过 SAP HANA landscape 检测到组件从 SMP 获得最新的升级包 (SP stack)下载所需的升级模块在 SAP H

14、ANA 系统上升级互联网本地补丁目录SAP HANA 数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计HANASAP HANA 存储： 定期将内存数据存储到硬盘数据:SQL 数据和 undo日志信息额外HANA信息，如建模数据留在内存已保证最好的性能异步的写入进程日志:数据变化的信息（redo日志）当事务提交时直接存储到永久化存储介质循环擦写 (仅当备份过后)存储点:变化的数据和 undo日志从内存写入永久化存储介质自动至少每5分钟一次 (可配置)内存数据永久化存储介质定期自动的存储点数据变化的信息日志卷数据卷内存运算是

15、安全的SAP的内存数据库在内存中保留大量数据以获取最好的性能，但是仍旧需要永久化存储介质以保证系统失败时候的低效运行。 日志（这里指redo日志）通过记录数据库事务捕捉了所有的变化。数据和undo日志信息（也是数据的一部分）会在固定的存储点自动存入硬盘。日志（也就是redo日志）在每个数据库事务提交后会同步地存到硬盘中（等待直到磁盘写入结束）。这样断电发生时，数据库就可以象一个磁盘存储的数据库一样重启了：系统正常重启 (延迟加载数据表可以缩短重启时间)系统恢复到最后的稳定状态(通过执行最后一个存储点之后的所有redo日志)SAP HANA 的永久化：定期将内存数据存储到硬盘，重启存储点： 数据

16、和 undo日志写入硬盘(数据区)1Redo日志在每次事务提交 后写入硬盘(日志区)2断电3时间轴SAP HANA 数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计SAP HANA 服务器SAP HANA 备份和恢复数据备份： 只备份有效信息共享备份目录(数据缓冲区)名称服务器Data索引服务器统计数据服务器DATA_BACKUP_0001DATA_BACKUP_0002DATA_BACKUP_0003数据存储点数据存储点数据存储点DATA_BACKUP_0000备份和恢复数据库正常操作时的备份：总结数据备份（外部备份）

17、1日志备份（外部备份）2系统崩溃4日志区域最新日志3时间轴共享备份目录SAP HANA 备份和恢复数据备份：单节点和多节点（scale out）系统SAP HANA 自动处理所有节点的同步和备份 不需用户交互内部发生的事情：同一个永久化存储介质上的所有服务都被备份 (例如索引服务器，主名称服务器)一个全局的同步的存储点备份所有这些服务所有事务都被短暂暂停直到所有服务的备份完成被标记上存储点的数据从数据卷写入了备份文件每个服务一个备份文件并行写入 - 从不同的磁盘读出（取决于设备的配置）备份文件名称 服务器索引 服务器存储点名称 服务器索引 服务器存储点主名称 服务器索引 服务器存储点数据从不同

18、的节点并行写入存储点SAP HANA 数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计HANA 的高可用性 容灾性业务连续性每个数据中心的高可用性数据中心之间的容灾性向外扩展（Scale-Out）备用节点例如 MetroCluster向外扩展（Scale Out）高可用性高可用性配置一个集群上 N 个活动节点其中有 M 个是备援节点所有服务器共享文件系统服务所有节点均有名称服务和索引服务统计服务（仅在一台激活的节点上）备援节点的名称服务器是激活的失效备援服务器 X 失败服务器 N+1 从共享存储读取索引并且连接到服务器X

19、的逻辑连接服务器 1服务器 2服务器 3服务器 4服务器 5服务器 6备用服务器共享存储空间SAP HANA 的架构SAP HANA 设备Software Update ManagerSAP 主机代理SAP HANA Studio 目录SAP HANA 数据库节点 2节点 n名称服务器索引服务器统计服务器Preprocessor索引服务器Preprocessor索引服务器Preprocessor单个主机配置多节点集群配置维护系统概貌信息保留数据并且执行所有操作搜集HANA的性能数据文本解析预处理HANA Studio 升级目录提供远程启动/关闭管理 HANA 软件升级失效备援和恢复的共享存储S

20、AP 主机代理SAP 主机代理名称服务器名称服务器SAP HANA 数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计datalogsdatalogsmemorylocal storagebackup storagedata backuplog backupsavepointslogscrash pointtime DR: Backup持久化交易日志，保存点备份数据和日志备份fault recoverydisaster recoveryor恢复零RPO的故障恢复长RTO的灾难恢复 (准备系统，完整的安装和恢复周期)1Hos

21、t 1Host 2SAP HANASAP HANAdatalogsPrimary SystemdatalogsReplicated Storagedatalogsdatalogs DR: Storage Replication硬件合作伙伴提供的解决方案SAP认证同步复制 (最长100公里)：零RPO长RTO (准备系统，完整的安装和恢复周期)2Host 1Host 2SAP HANASAP HANAPrimary SystemHost 1Host 2SAP HANASAP HANAdatalogsSecondary Systemdatalogsdatalogsdatalogs DR: Syst

22、em Replication N+N 方式同步日志复制：零RPO分钟级的RTO (将来: RTO = 零)在备系统内存装载(列)：恢复后具有完全性能!3Host 1Host 2SAP HANASAP HANAPrimary SystemHost 1Host 2SAP HANASAP HANAdatalogsSecondary SystemdatalogsdatalogsdatalogsDR: System Replication无数据丢失恢复进行中的事务被回滚并被重演，无数据丢失使用DNS或virtual IP来重定位客户端client操作进行中重新连接，操作恢复3SAP HANA 数据库中心

23、准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计SAP HANA Studio 管理和监控台导航视图属性视图管理视图SAP HANA 数据库中心准备就绪：简介及概览设备方法论（安装和升级）永久化存储备份及恢复（系统备份）高可用性容灾能力监控和管理安全和审计SQLMDXSAP HANA 安全架构SAP HANA身份存储授权框架身份认证 / SSO 服务审计日志框架加密数据库分析视图新应用程序BI 客户端第三方应用程序服务器安全管理安全基础设施应用程序逻辑SAP HANA 安全特性概览身份认证用户名密码， Kerberos利用密码策略

24、加强密码质量，定期更换密码等等不允许用纯文本传输密码，身份认证要基于 salted challenge response 算法 - 攻击者不能通过监听连接的建立来获取进入身份认证和用户管理数据存储 SAP HANA 数据库里：用户和角色的概念设计时和运行时的权限概念， 包括运行时的安全激活概念SAP identity management 向 SAP HANA 提供用户设置的连接审计日志安全相关的事件，例如身份认证和配置改变审计跟踪记录在 syslog - 防止 DBA 访问审计信息安全配置网络安全： SSL 加密密码存储安全 (脚本密码的存储)只允许 adm 操作系统用户访问文件系统移交工具

25、 (硬件合作伙伴 - 客户; 例如修改密码)详尽的安全指导文档 (/hana_appliance) SAP HANA数据库云中心架构SAP HANA Platform私有云SAP HANA One公有云SAPHANA基于HANA的应用环境环境搭建于客户自己的数据中心基于新技术的云架构可选的：使用SAP工具(Managed Private Cloud)管理HANA云平台快速高效的开发基于SAP HANA平台HANA原生的应用由SAP开发按照使用来付费SAP HANA Enterprise Cloud托管的私有云在SAP数据中心搭建基于HANA的SAP应用环境同时支持生产环境和非生产环境更快的实现

26、价值SAPHANA基于SAP HANA的企业私有云HANA平台上实现私有云SAPHANA&SAP Apps&SAP Apps基于SAP HANA的企业私有云下一代云应用构架于HANA之上SAP HANA PlatformHANA LiveHANA nativeDW/DMSAPHANAPIPortalHANA LiveSAPHANA多个应用运行在一个HANA实例里不需要多余的数据复制每个应用可以访问跨系统数据，虽然这些数据属于其他应用系统实时报表，实时访问数据灵活扩展下层的硬件设备 智能平衡工作负载 弹性的架构设计 多个不同类型的HANA系统满足客户的特殊需求虚拟化技术承载从基础设备层到应用和平

27、台层 HANA是新一代云架构的基础APP1APP2APP3Non-SAPSolutionManagerEnterprise Storage基于SAP HANA的企业私有云灵活扩展的平台架构服务器虚拟化技术 应用服务器部署方式SAP AS未来的应用架构使用服务器虚拟化技术以及SAP HANA云平台搭建 OSVirtualizationSAP HANA数据库平台Scalability for SAP Application Servers based on server virtualizationVirtualization characteristics see last slideSAP H

28、ANA DBScalability for HANA DBs based on SAP HANA PlatformSeamless scalability via adding server nodesHANA PRD and also non-PRD HANA DBs can be added or extended (including redistribution)Using storage concept of HANA Tailored Datacenter IntegrationSAP HANA DBSAP HANA DBSAP ASOSSAP ASOSVirtualization

29、SAP ASOSSAP ASOSSAP ASOSVirtualizationSAPHANA Consumption LayerSAP Business Process Management (BPM) SAP Process Orchestration (POL) SAP Process Integration(PI)Orchestration LayerSAP Landscape Virtualization ManagementSAP Cloud Management ToolsNon-SAP Management ToolsMonitoringNetworkingStorageManag

30、ementComputeComputeCompute私有云平台的管理和监控 私有云端对端解决方案HANA Platform App LayerHANA Platform DB LayerSAP HANA PlatformHANA LiveHANA nativeDW/DMSAPHANA.NetC+JavaNon-SAPHANA Platform HW LayerSAP Solution ManagerSAP HANA应用设计开发特点介绍内存计算架构下的开发框架 ClientDisplay pre-rendered UIUI RenderingApplication LogicDB Shared

31、Libraries, DB Buffer Application ServerDatabaseSQL, no scriptsXS Engine http(s); OdataSAP HANAIndexServerICMData oriented Application LogicHDB-SQL, SQLScriptProcedural Application LogicXS Web Protocol APIHdbNet(minimal data volume)ClientComplete UI rendering (HTML5)Mobile Devices/Web BrowserThis pre

32、sentation and SAPs strategy and possible future developments are subject to change and may be changed by SAP at any time for any reason without notice. This document is provided without a warranty of any kind, either express or implied, including, but not limited to, the implied warranties of mercha

33、ntability, fitness for a particular purpose, or non-infringement.ClientComplete UI rendering (HTML5)Mobile Devices/Web BrowserProceduresData Java LayerSAP HANAHANA Application Services (XS Engine)提供应用开发和配置管理最小化“层级”基于Http的用户接口（浏览器和移动应用）直接运行于SAP HANA内部不需要安装其他的应用服务器调用HANA内存数据库的库内计算优势目标轻量级环境应对小型基于web的应用

34、中强度环境应对复杂的，高速的业务应用Application ServerClientDatabase Application ServicesClientSAP HANA3-tier architecture2-tier architectureThis presentation and SAPs strategy and possible future developments are subject to change and may be changed by SAP at any time for any reason without notice. This document is

35、provided without a warranty of any kind, either express or implied, including, but not limited to, the implied warranties of merchantability, fitness for a particular purpose, or non-infringement.HANA在软件和硬件的技术创新Innovations inhardware technology1 TB RAM / serverThroughput 100GB/sSignificant reduction

36、 in cost / GBMulti-Core architectureMassive scaling with blade serversRow and column based data storeCompressionPartitioningNo pre-calculated aggregatesInnovations inSAP software technologySAP HANA的能量来自于硬件和软件的联合创新应用开发者需要了解以下HANA的特性，以获得更大的性能Technology / Architecture: 多核并行处理应用多任务并发开发架构（Multi-Core Arch

37、itecture） 设计基于HANA的最快应用程序，必须利用多核心架构，实现高并行度。如果一个用户使用了全部的资源运行的很快，但是要考虑了多用户环境的并发处理设定运行的KPI指标，用来估算你的应用大小。Technology / Architecture: 行存和列存行存储 对比 列存储:通常HANA上的应用运行OLTP型的应用，但是后期的OLAP型分析装载同样的数据。对于此类的应用，主数据和交易数据建议存储在列存储方式。对于某些表不需要进行OLAP分析，并且需要频繁变化，或者表中包含非结构化数据(LOBs,.) ，此类应用建议采取行存储方式。典型的例子，队列表，元数据，数字范围间隔，消息的有效

38、载荷，.Technology / Architecture: 数据分区对于数据分区的典型用例:列表的限制: 最大20亿条记录是单表存储的临界点。超过20亿条记录的表必须设计分区结构，以获得更好的性能。集群: 使用多节点环境时，表需要设计分区规则，以使数据平均分布于整个环境，查询可在多节点上并行处理。并发: 在各个分区中执行查询，可实现多线程方式，最大化提升性能。分区修剪: 扫描仅在数据相关分区进行，最大减少查询负载。前提是，查询必须匹配分区定义。Range Partitioning Hash Partitioning Round-Robin PartitioningMulti-Level Pa

39、rtitioning Technology / Architecture: 压缩压缩:列存储机制可以很容易的获得一个很好的压缩率（使用字典压缩）。通常情况下，你可以预期比传统的关系数据库多310倍的压缩比。字典压缩和长度算法提供了较高的压缩比和高速的访问特性。请注意，另一方面，插入/更新在非规范化的模型可能会变得比较慢。Technology / Architecture: 没有冗余数据不需要预计算的聚集表:避免尽可能多的数据冗余。在HANA中不需要表索引，物化视图，总计/总结表，聚集等通过“更改等同插入”和“增量合并”的方法来改善列存储的数据变更性能。但是，检查和读取的性能足够。同样考虑，可定

40、期实行数据归档和数据清理大规模场景的聚集、汇总分析尤其适合。避免冗余数据，也有助于减少所需的内存容量。Technology / Architecture: 列存储中的索引列存储中是否仍然需要索引？ 默认情况下不需要额外的索引支持例外:非常巨大的表并且在WHERE条件中指定使用了额外的索引HANA中的索引可以创建在列上（HANA可以并行处理多个索引）Technology / Architecture: 代码下沉 code push down哪部分的SQL代码需要重写为存储过程并下沉到HANA处理？ 一切应用将导致大量的数据库和应用交互的操作经验表明，通常不是一个小的SQL代码被替换成存储过程，而是完整的报表或完全的业务逻辑需要下沉到HANA。应用设计原则Code Push Down要最大化发挥HANA的性能特点，应用逻辑必须尽量推动到数据库。应用设计原则典型例子Code Push DownMeasurementsRuntime of old“ Liquidity Forecast Run vs. new SQL script based implementation.Improvements / Key MessagesRuntime