POWER大数据解决方案_房树新33.ppt

大数据解决方案交流 Agenda 从传统架构到大数据架构的转变几种典型方案介绍大数据案例分享 企业级市场的大数据应用机会 KeyIndustryOpportunityandTrendsTelecom BankingandGovernmentcontributethelargestincrementalBigData Analyticsmarketsizefrom2013to2017inGCG Morerationalthanlastyear notonlyfocusingonHadoopplatformTelecom Banking Gov tsectorswillhavemoredemandsforadvancedBD AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket 如何着手考虑大数据 五个建议 海量数据的处理方案 三种分析与计算模式的整合 传统分析方法和大数据分析方法的整合 银行与金融市场行业的大数据的部分场景 从传统数据处理到大数据 技术的变革 SQL 事务 分析 事务OldSQL 分析NewSQL 互联网NoSQL 传统时代数据处理一种架构支持多类应用 OneSizeFitsAll 大数据时代数据处理多种架构支持多类应用 架构多元化 传统数据库的基本架构是30年前以事务处理为主要应用设计的 大数据时代应采用新的技术架构 行业的技术大思路应该由 一种架构支持所有应用 转变成 多种架构支持多类应用 数据库行业出现三个互为补充的三大阵营 OldSQL NewSQL和NoSQL 从传统数据处理到大数据 技术的变革 数据管理能力 TB PB EB 数据价值密度 实时性 高 低 OldSQL NewSQL NoSQL 流计算 内存计算Stream Storm Spark 内存关系数据库TimesTen Altibase 内存KV数据库Memcache Redis 内存数据分析DB2BLU HANA 海量数据批处理HadoopM R Spark 海量数据管理MongoDB SequoiaDB Impala HBase 数据仓库 MPPDB2DPF GreenPlum GBase 传统事务处理Oracle DB2 SQLServer 大数据计算需要什么样的硬件平台 OLAP DW BigDataSQL NoSQL NewSQLRDBMS Hadoop Spark批处理 交互分析 流计算 更大容量更低成本 更快的处理速度 支持多样化的计算类型 横向扩展的能力更大更多的磁盘更少机器更少空间和耗电更低的造价 更快的CPU更多的线程并行更大的内存容量和带宽更大的IO带宽Flash加速 大数据处理技术的发展 对硬件提出了更高的要求 灵活的硬件配比支持从计算密集到IO密集多种计算类型灵活定制硬件创新 CPU GPU和混合计算多种计算负载的混合调度 PowerLinux与Software兼容需求 PowerLinux与Software兼容需求 Linux社区贡献排名公司第2 主流Linux发行版均有Power优化版本 Power支持KVM虚拟化 IBMPower与开源的合作 白金赞助商 19个核心贡献者 贡献排名第2 超过100个活跃开发者 IBM基础架构云全面以OpenStack为中心 投入10亿美金发展Linux及相关开源技术 IBM发起创立软件定义网络开源联盟 Hadoop社区主要贡献者 提供Hadoop发行版 发起成立ODP 提供Hadoop增强方案 IBM与国内实力最强的星环 亚信 巨杉等新技术公司合作 开发Power优化的Hadoop版本和NewSQL数据库 与国内公司一起拓展开源商业生态系统 IBM与Redis合作 基于IBMCAPICPU硬件加速技术 建立创新的Redis方案 IBM和Docker宣布建立战略伙伴关系 提供基于Power的Docker优化版本 Power PostgreSQL提供分布式事务处理数据库优化方案 Power HBase 大数据快速存储查询方案 磁盘KV数据库 磁盘KV型数据库 如 Hbase Cassandra Hypertable Accumulo等 能够很好地实现对海量数据的实时读写访问 实时数据存储管理和实时简单查询 其目标是存储并处理大型的数据 是一个分布式的 多版本的 面向列的存储模型 存储的是松散型数据 高可靠性 高效性 面向列 可伸缩IBMPower针对Hbase进行优化 提供更好地性能和安全性 目前已有多个基于Power的Hbase项目正在或已经交付 Power不仅能为开源Hbase提供更高运行性能 还能使用IBMSymphony软件对Hbase任务进行调度 进一步提高加载查询环节的性能表现 WhyPower Power硬件在多线程 内存通道和IO带宽方面有更好的性能 并有更高的可靠性 HBase在Powerlinux上有更好的性能 适用场景 海量结构化数据的快速预置查询 海量非结构化数据的实时读写与存储 在某案例中 Power Symphony Hbase的组合 能够提升加载环节性能4倍以上 提升查询环节性能2倍以上 Power 文档型数据库 大数据实时查询分析方案 MongoDB 最流行的开源NewSQL数据库面向文档存储完整的索引支持模式自由 可自由更新数据结构支持复制和故障恢复 易扩展 Power针对MongoDB优化 可提供更好的性能和安全性 以下为某客户实地进行的测试 Power平台上的MongoDB可比x86提供5倍以上的处理性能 SequoiaDB 优秀的国产文档数据库产品 灵活动态的数据类型 并 执 行引擎 线性水平扩张 MPP 无单点故障 在压缩数据上执 行SQL 保持数据接近CPU 核以下为采用Power SequoiaDB方案构建的某应用日志查询分析平台 Power 流计算 大数据实时分析计算方案 Stream Storm SparkStreaming IBM成熟的商用流计算技术 广泛的案例验证 开源流式计算框架 简单实用 大规模流式数据处理的新贵 基于Spark通用计算框架 Streaming 适用场景 实时监控告警分析 实时营销分析触发 高速数据采集预处理 流式动态数据处理等 Power灵活支持商用和开源流计算方案 Power特性和流计算框架的结合 具有更好的性能和效费比 流式计算的原理是在内存里不间断地对流入的数据进行计算 通过多节点多核多线程并发已达到亚秒级快速处理大量数据的目的 因此 CPU的主频 并发多线程能力 cache大小 内存带宽和Java性能等方面都会直接影响到流式计算的性能表现 IBM和x86针对流计算的性能指标对比 Power Redis 创新大数据缓存方案 内存KV数据库 LoadBalancer 500GBCacheNode 10GbUplink POWER8Server FlashArrayw upto40TB DifferentiatedNoSQL POWER8 CAPIFlash NewmemorytierforPOWER8serverUpto40TBforNoSQLbasedapplicationsClustersolutioninaboxInfrastructureAttributes192threadsin2UServerdrawer40TBofmemorybasedFlashper2UDrawerSharedMemory CachefordynamictuningEliminationofI OandNetworkOverhead Today sNoSQLinmemory x86 InfrastructureRequirementsLargeDistributed Scaleout LargeMemorypernodeNetworkingBandwidthNeedsLoadBalancing 基于Power8CAPI接口的闪存创新方案 实现Redis在内存和闪存间的自由切换 相对于全内存方案 提供更加灵活的性能成本配置 并具有更少的资源占用 WWW 10GbUplink WWW BackupNodes 500GBCacheNode 500GBCacheNode 500GBCacheNode 512GBCacheNode 24 1Reductionininfrastructure2 4xPricereduction12xLessEnergy12xLessrackspace40TBofextendedmemory 4U 适用场景 高并发实时缓存 如网站前端静态数据 用户 商品 订单查询系统 读写分离的读库等 海量数据批处理 共享资源多应用大数据处理框架 Power HadoopM R Spark HDFS Map Reduce Yarn GPFS Symphony HBase Spark 物理层 平台层 工具层 Hive Storm BigSQL Stream MapReduce BigSheet SPSS Powerlinux 企业级环境的最佳选择 性能与成本最佳平衡的新一代硬件平台 标准linux Redhat Suse全面支持 更加成熟 可靠与更高性能的分布式文件系统 领先的大数据计算调度平台 多租户管理 更智能调度 更高性能 SLA管理 支持更多大数据计算类型 多种大数据应用 共享资源 混合运行 完全支持开源大数据版本 Powerlinux是大数据计算的理想平台 多线程 POWER7 每处理器核心有4线程 而Intel的处理器只有2线程高吞吐 POWER7 有非常大的内存和I O带宽 沃森成功的关键 依赖Java应用 POWER7 提供了高度优化的JVM 企业用户的大数据建设方向是 资源共享的大数据中心 管理和运维方面的需求共享资源 提高资源利用率 提高投资收益资源统一调度 为每个应用弹性供给资源统一管理应用统一管理用户统一管理数据安全统一管理 业务和开发的需求统一的基础平台层 统一的数据和应用接口 便于应用开发的标准化和开放化独立的基础平台层 便于灵活引入各种力量进行应用层的开发创新数据和应用的共享和重用 提高开发效率 推动应用的迭代创新 其关键是实现面向多租户的任务调度和资源管理 IBM面向多租户的大数据共享平台实现场景 IBM多租户大数据平台技术实现框架 PlatformComputingSymphonyEGO DCOS dynamicclusterresourcemanagementsupportingdiversetenants HDFS GPFS GPFSFPO reliable distributedstorage yourchoiceofdistributed orfastparallelPOSIXfilesystems ABB applicationbackboneBigInsightsinstance Streams Hbase Oozie NativeSQLapps MongoDB Cassandra PlatformSymphony PlatformSymphonySOAM PSMR IBMPlatformClusterManager provisioningandmanagementofdistributedenvironments HPA BigData AnalyticSPSS Algo RBigSQL Pig Hive DataExplorer PlatformLSF PlatformLSF SerialBatch MPIParallel Sessionoriented HPC BatchanywhereR SAS MatLab DataStage FlowManagement Hypervisor PlatformResourceScheduler ExistingDataCenterProvisioningTechnologies Puppet RPM TPM Kick start PlatformPPM ParallelSOA DataAffinity ParallelRecursion MapReduce PlatformPPM BatchanywhereSAS Integrationw Autosys CtrlM DAG PlatformSymphonyAdvancedServiceController YARNAPI PlatformAdvancedServiceController MRAMR StreamsDataExplCognos BigSQL online HBase online YARN Hadoop2 xRM MRBatch Tez Storm ABBApps IBMSymphony支持多种高性能计算 高性能分析 大数据和其它分布式框架 实际生产环境验证的多租户 共享资源框架 支持包括Hadoop在内的分布式负载 IBMSymphony提供面向多租户的资源调度 多租户间基于策略的资源共享 多种负载 计算框架资源共享 可同时调度并执行MapReduce分析框架 SPARK内存计算 Stream Storm流式计算 Hbase MPP NoSQL数据库 SOA实时计算 R SAS等传统BI分析及ETL应用等7种类型的负载 某运营商流计算案例 Streams 网络质量实时监测数据规模大 大于10万 秒的信令实时洞察网络质量指标实时分析CDR短频话单分析短频话单分析并按小区 号段统计切换频话单异常话单单通话单掉话率分析测试结果 CDR 秒 配置 2GHz 4核 2台服务器单节点 702083两节点 140000 按小区或号段纬度统计短频话单 1 占用时长小于15秒的通话 且同一主叫和被叫的两通通话间隔小于20秒重复小区切换话单 2 剔除业务台号码 3 按照小区维度统计满足条件1 2的话单数 包含设备和业务种类多 涉及指标多 数据量大不断的增大等挑战 需要有一个实时分析平台解决实时分析网络质量问题 优化网络设备提高客户满意度 某运营商移动流量经营和大数据分析平台 硬件配置 IBMPower70 7R1Redhatv6 46Cores 128GBMemInternalDisk 2 300GB 4 1 2TBEXP24s 24 1 2TBSASdiskNetworkAdapter 2x1000Gbps 2x10000Gbps 开源软件部分清单 Hadoop2 3 0 cdh5 0 0HBase0 98 Spark Sparkstream HDFS2 3 0 cdh5 0 0 某省移动企业级多租户大数据平台 30台7R1单台7R1配置 8core128GB54 SASHDD4 10GE 4 1GE 面向多租户资源SLA的统一平台应用之间 用户之间的资源的共享和隔离跨O域和B域的共享资源大数据平台 多个开发商并行开发并行运行 每日处理数据超过50TB资源隔离 应用之间的隔离 避免某些应用发生异常 抢占过多资源资源共享 应用之间的资源共享 提高资源的利用率 某省移动日志分析系统 后端以NoSQL数据库结合Hadoop运行框架 前端以AJAX结合JSP搭建XX移动日志分析系统 该系统提供对XX移动应用程序日志的实时检索和批处理分析功能 通过分析应用程序日志的方式进行错误信息回溯以及进行业务审计的功能 1 日志实时录入 2 日志根据指定条件实时查询 3 日志分析处理 包括错误信息回溯以及业务审计等 Citi银行Symphony网格计算平台 在爱 Citi网格运行分析 Citi 计算和数据结合型网格系统 主要为风险分析 在一个共享的网格资源里运行着200以上不同的IB和零售分析应用全球动态共享的40 000cores能够持续维持70 以上的利用率超强的管理效率 管理者与主机的比为1 400作业吞吐量 400 000 000作业 天14条不同的业务线共享着全球的HPC资源为每个商业业务单元确保SLAs时间指标 实现广泛的资源共享4个数据中心包含了异构的Linux Windows主机 一处在伦敦 一处在香港 还有两处在美国处理国内增长的风险 定价应用和其他的商务应用 与SAS Murex等集成 异构的工作内容 批处理 SOA 计划部署MapReduce 自定义服务 报表和退款 实时的监控和管理主机 所有全球资产的完全可视化 针对整个企业相关应用和风险控制的全球资源分配方案 在数据中心和功能域基础上的有关LOBs和应用的弹性的资源分配模式 横跨整个地域的有关LOBs和应用的全球资源共享视图 实时数据分析方案 内存分析数据库 Power DB2BLU StandAlone Solution AdvantageArchitecture OpenSolutionismorepreferredinChinacustomersTechnology DynamicIn Memory ActionableCompression ParallelVectorProcessing DataSkipping etc Performance DB2BLUonPower7xbetterperformancethanSAPHANAPrice DB2BLUonPower1 9costofSAPHANA Sizing 38x AverageAccelerationofdatabasequeriesforreporting vs previousversion 实现10TB数据亚秒级查询 Power DB2BLU内存分析案例 企业ETL应用DB2BLU加速原来Row数据库中需要执行2小时20分的ETL过程缩减到3分30秒即可完成 整体提升性能30倍 硬件环境 Power716Cores 128GBOurBIsolutionisbuiltonaCognos DB2 WithBLUAcceleration wehavebeenabletoreducethetimespentonpre aggregationfromonehourtotwominutes BLUAccelerationistrulyamazing YongZhou Sr ManagerofDataWare