大数据应用融合解决方案72

1、云计算及大数据应用融合解决方案 目 录大数据分析应用之关键技术能源行业之大数据分析应用场景企业面临的挑战和分析需求云计算、移动计算、社交媒体和大数据分析云计算、移动计算、社交媒体和大数据分析推动产生新的计算推动产生新的计算模式。模式。该模式该模式进而引发业务转型进而引发业务转型以提升效率以提升效率, 促进法规遵从促进法规遵从,提升提升整体业务可持续性整体业务可持续性以及以客户为中心以及以客户为中心。互联网商业模式对传统行业的冲击数据处理的难题及大数据革命 收集、存储和分析数据的能力在信息技术带来的影响中始终占有重要一席。在这个数字化程度日益提高的时代，您所做的每件事都会有一个电子记录。 随着企

2、业积聚的数据越来越多并达到数百TB，他们纷纷寻求更加尖端的软件工具对数据进行挖掘和分析，从而帮助企业更好地了解市场和客户，甚至是帮助企业对未来作出预测。您如何收集和存储数据？您如何收集和存储数据？ 您如何传输数据？您如何传输数据？您如何分析数据？您如何分析数据？您如何从数据获益？您如何从数据获益？ 大数据时代带来的思考 新时代需要一个全新的计算平台互联网平台时代，第三代 IT体系的代表互联网公司采用的是PaaS,DevOps来实现创新虚虚拟拟化化运运维维自自动动化化PaaSStartups时间时间期望期望值值Innovation GapCloudClient-ServerDevOps, CD/

3、CI, Agile, MicroService大数据时代行业商机无处不在！大数据行业应用 社交媒体大数据行业应用 电商平台大数据行业应用 互联网平台大数据行业应用 风力涡轮发电系统管理监控以毫秒级捕获传感器数据（如：主轴传感器、齿轮箱传感器和定子传感器等），监控单台风力发电机运行状态以秒级捕获传感器数据，监控风机位置、彼此协作情况，保证发电场以最优状态工作以分钟级捕获传感器数据，监控输电状态、效率大数据行业应用 工业互联网 零部件库存管理零部件库存管理 资产管理资产管理 供应链自动化供应链自动化 工作范围的自动化工作范围的自动化 场力优化场力优化 监控和诊断监控和诊断 状态检修状态检修 停电管

4、理停电管理 资产生命周期管理资产生命周期管理 物流管理物流管理 控制和工厂自动化控制和工厂自动化 燃料消耗的优化燃料消耗的优化 排放管理排放管理 法规遵从法规遵从 健康健康&安全保证安全保证 运营管理与监测系统运营管理与监测系统 网络吞吐量的优化网络吞吐量的优化 终端客户信息服务终端客户信息服务云计算改变IT，大数据应用重在创新工业互联网和工业大数据特点基于分布式内存计算技术的IOT逻辑架构云计算改变IT，大数据应用重在创新 云计算侧重 资源管理，而大数据侧重 业务应用。 云计算资源池化的管理模式是大数据应用的前提。 云计算提供的存储和计算资源池可动态支撑大数据分析业务不断变化的需求。

5、 目 录大数据分析应用之关键技术能源行业之大数据分析应用场景大数据时代的来临大数据分析应用的数据内容及实现技术 应用平台提交请求访问的数据，包括结构化和非结构化两类 在线存储周期超过数据生命周期规划的数据 适合Hadoop分布式架构管理 无法用二维表结构来逻辑表达的无结构性的数据。例如文本、音频数据等。 适合Hadoop架构 方便用数据库的二维表结构来逻辑表达实现的数据，数据结构字段含义确定，清晰。例如：客户信息、用电记录等。是挖掘数据价值的主要对象。 支持分析型应用，时效性较低 支持前台交易系统查询需求，具有可靠性高、并发度大、采集频率短的特点 适合分布式内存数据处理技术数据类别数据格式数据

6、采集频度 大数据分析应用的数据内容及实现技术在线数据归档数据非结构化数据结构化数据准实时数据非实时数据 面向贴源数据查询和主题数据整合。 数据区，适合X86MPP数据库集群范式化模型数据 面向分析类应用。 对应ADW，适合MPP数据库集群维度模型数据数据模型大数据分析应用的关键核心技术大数据分析套件组合：（完善生态链） 关系型数据库, NoSQL, 流计算，SQL on Hadoop, OLAP on Hadoop, OLTP on Hadoop，Cache 缓存，In-Memory DB, In-Memory Data Grid，非关系型数据库，等等 。大数据分析应用的关键技术之一分布式内存

7、数据库MPP 分布式数据库流式处理 Hadoop 分析框架体系大数据分析应用的关键技术之一PaaS 平台弹性运行时环境监控管理层物理资源层PaaS 服务层业务应用层IAAS InterfacePaaS 运行时环境运行时环境Services Interface PaaS Service应用中间件Hadoop消息中间件 SQL 数据库NoSQL 数据库安全管理资源管理配置管理服务目录服务管理性能监控资源监控存储设备计算资源池存储资源池网络资源池计算机网络设备分析研判类应用预测预警类应用动态监控类应用信息处理类应用 IaaS服务层大数据时代平台产品的关键能力真正无共享的海量并行处理架构工业标准的X8

8、6平台服务器资源按需分配，按需搭建集群，按需缩放集群规模增加节点可线性增加存储、查询和加载性能支持在线扩容，扩容期间保证系统继续对外提供服务保证用户不被专有平台锁定企业初期投入和后续扩容的成本可控支持PB级的数据处理、存储和访问在数据加载、处理、访问等各个环节最大化并行处理能力按需分配资源（CPU、内存、IO）动态调整资源数据镜像、硬件冗余等多种容错技术保证系统高可用故障切换和恢复，对用户透明扩容期间可持续对外服务直观的图形化界面，实时的状态监控最大限度降低管理员的日常管理和维护工作大数据时代催生 PaaS 平台的变革IaaS: 硬件的自动化管理，人与机器的解耦合 获得效率/牺牲性能 PaaS

9、：应用的自动化管理，应用与OS的解耦合 获得弹性/牺牲控制业务创新需要重新定义企业级 PaaS支持开放标准并与开源有效互动强调以数据为中心 兼顾各种数据类型处理充分关注新一代开发人员和新一代企业级应用的需求为有效进行实时大容量信息处理而设计同时兼顾与传统应用的互操作性与传统技术的有效结合 云支撑平台数据支撑架构应用支撑架构创新：以数据支撑为中心创新：以数据支撑为中心未来大数据分析应用的 PaaS 平台发展方向New Data-fabricsInternet-of-thingsPervasive telemetryBig DataFast DataRapid Application Dev &a

10、mp; Integration GemfirevFabric Cloud Abstraction & App Automation面向数据的企业级 PaaS平台快速应用开发在收集数量庞大的事件数据的同时对特定事件进行实时反应与传统应用和基础架构有机配合配合不同云计算平台实现高效运维和水平扩展存储并且在非常大量的数据上进行分析行业大数据分析应用的数据架构设计大数据时代云计算及大数据融合架构全景图计算存储网络应用运行环境云平台管理云平台安全数据批处理（Hadoop）近实时分析（MPP DB）实时数据处理应用和数据集成应用开发接口资源和服务交付统一访问门户应用容器虚拟机服务器虚拟化存储虚拟化

11、网络虚拟化公有云接口iVirtualvSphereNovaXenServerPowerVM分布式文件系统分布式块存储分布式对象存储SAN存储网关Open FlowvxLanvSwitchAWSACEAzureGAE流处理内存数据库HbaseYarnMapReduceHive, Pig, MahoutSQLData DistributeQuery PlannerMPP ExecLoad Balancer分布式缓存消息中间件RDBMS云资源管理运维管理桌面管理业务流程管理资源计费网络安全容灾备份数据和应用访问权限管理安全审计vRoute大数据分析应用的 PaaS 平台产品组合实时的数据处理实时的数

12、据处理Run-TimeApplications企业级数据仓库企业级数据仓库大规模数据存储大规模数据存储实时的数据实时的数据捕获和共享捕获和共享分析型数据集市分析型数据集市大数据分析应用的资源池拓扑图存储系统备份系统存储系统备份系统K-HAK-HAK-HAK1 -1K1- 2K1 -3K1- 4K1 -5K1- 6TS860TS860TS860TS860核心交换机 虚拟化（非关键应用）资源池 物理（核心业务系统）资源池 物理（大数据分析应用）资源池大数据分析应用系统架构系统管理体系 ( 日志审计、用户管理、运维监控 )计算资源池存储资源池网络资源池平台层 (PaaS)数据存储层数据准备层数据处理

13、层数据服务层分布式文件系统MPP 数据库分析模型算法引擎挖掘工具应用层(SaaS)基础设施(IaaS)应用层(SaaS)分析研判类服务预测预警类服务动态监控类服务信息处理类服务大数据分析研判系统门户运营状态监控决策分析预警安全保障体系 ( 访问权限控制，防病毒、防入侵 )内存计算RDBMS数据块ODS数据立方体数据立方体数据仓库数据仓库数据集市数据集市基础设施(IaaS)流式处理客户精准营销数据交换平台数据交换平台系统管理体系 ( 日志审计、用户管理、运维监控 )安全保障体系 ( 访问权限控制，防病毒、防入侵 )服务总线风险模式识别PaaS平台弹性运行时环境平台弹性运行时环境云数据中心管理平台

14、云数据中心管理平台 目 录大数据分析应用之关键技术能源行业之大数据分析应用场景大数据时代的来临大数据产品线规划和产业定位数据源数据收集数据存储数据处理分析及可视化应用数据拥有者数据分析技术提供商服务技术提供商最终用户数据采集技术提供商 数据采集者 数据分析者数据服务提供商基础硬件（服务器、存储、网络交换）厂商大数据分析软件平台（数据库、数据仓库、分布式处理技术等）提供商大数据分析一体化产品提供商大数据产品线的保障体系l 缩短开发周期l 实现数据共享l 降低管理风险l 提高安全和质量l 资深工程师提供在线指导服务l 专家提供现场指导运维服务l 评估业务需求l 分析已有基础设施l 风险评估l 推荐

15、合理方案大数据一体机产品定位及软硬一体化设计方案计算单元： 采用Intel最新 Xeon E5 v3系列处理器，性能相比上一代产品提升 2倍 FPGA 加速卡+CPU对比纯CPU性能那个提升 10+倍 系统进行内存调度算法优化，增强 内存访问速度 采用全文检索、动态页面生成等技术提供 ms级查询响应存储单元： 优化文件系统热点数据读取算法，整机磁盘I/O高达 500+MB/s 小文件聚合技术，解决小文件快速写入问题 SSD 加速缓存与传统磁盘比较读性能提升 20倍通信单元： 节点间通信网络采用远程直接数据存取技术，能够支持 1000+节点 之间同时的大数据量传输 节点间网络采用 40Gb/s

16、高速网络，网络延迟低至 us级MPP 数据库：DaaS 的计算引擎企业级数据仓库企业级数据仓库分析型数据集市分析型数据集市 Greenplum DB: Greenplum DB: DataData asas a a ServiceService的计算引擎的计算引擎Gartner 公司每年发布关于数据仓库管理系统业界地位的魔法象限研究报告公司每年发布关于数据仓库管理系统业界地位的魔法象限研究报告 报告主要从数据仓库厂商的执行力和远景两个方面评估报告主要从数据仓库厂商的执行力和远景两个方面评估 评估对象包括传统的企业级数据仓库和新一代的评估对象包括传统的企业级数据仓库和新一代的 MPP 并行数据库

17、厂商并行数据库厂商 支持各种规模、有大量并发用户、能管理混合工作负载的数据仓库 具备较高的客户满意度和强有力的服务支持 在数据仓库市场有长久的生命力 风险最低、产品成熟度最高Gartner Gartner 对领导者象限的评价对领导者象限的评价 采用前瞻性思维设计的数据仓库 较小的市场领导者，缺乏全球性发展 缺少较大的本地客户，因此不易证明其产品的功能和价值 在产品技术领域，某些特性具备前瞻性，但综合能力需要完善Gartner Gartner 对远见者象限的评价对远见者象限的评价 MPP 数据库：极速分析平台 并行处理架构并行处理架构MPP shared-nothing 架构，基于通用X86平台

18、PB级以上海量存储，最大支持10000节点以上所有节点并发IO，实现超大IO吞吐，并行运行SQL 自动化并行自动化并行自动化并行计算,实现超大计算能力使用同传统DB一样，加载和运行SQL数据多节点分布及高可用性都由DB自身实现 极佳的横向扩展性极佳的横向扩展性在线横向扩展容量、加载和SQL查询性能随节点线性增加专为专为BI及数据分析优化及数据分析优化深度整合统计数学模块（SAS, SOLR, MADLIB, R）高性能并行SQL执行器 MPP shared - nothing 架构架构构建在构建在X86开放平台上的并行处理架构开放平台上的并行处理架构 MPP 数据库：行业最快的数据加载技术 每

19、个每个Rack（16节点）节点）,每小时每小时16TB加载性能加载性能 Scatter-Gather Streaming提供性能线性扩张提供性能线性扩张 支持大批量数据加载和持续化的数据加载支持大批量数据加载和持续化的数据加载 Enable complex data transformations “in-flight” 对对GBK/UTF8/ISO8859字符集的原生支持字符集的原生支持GreenplumOracleExadataNetezzaTeradataSINGLE RACK COMPARISONGreenplum load rates scale linearly with the

20、number of racks, others do not. For example, two racks = 32 TB/HLoadMPP 数据库：高可用性ClientRedundantInterconnectMPSegment ServersPrimaryMaster1 Sync &FailoverProcesses Standby MasterPrimaryDataRAID 5 ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345 提供了全量备份和增量备份功能，保证系统级故障后的数据恢复提供了全量备份和增量备份功能，保证系统级故障后的

21、数据恢复 对于任一设备的故障，系统数据不丢失、提供持续服务对于任一设备的故障，系统数据不丢失、提供持续服务 多个节点宕机后，系统性能只降低多个节点宕机后，系统性能只降低1/6MPP 数据库： 负载管理技术查询层对运行的查询提供基本的优先级管理对CPU内存IO利用率进行定额分配控制单个查询并发度会话层每个用户能够分配一个资源队列管理工作允许控制查询和查询代价数据库连接层控制多少用户可以连接。提供的池(允许大量)和(限制数量)MPP 数据库：Polymorphic Data Storage( 多态存储 - 同时支持行存储及列存储 )Table CustomerTable CustomerJan 0

22、9Feb 09Mar 09Apr 09May 09Jun 09Jul 09Aug 09Sept 09Oct 09Nov 09Column-OrientedColumn-OrientedArchival CompressionArchival CompressionColumn-OrientedColumn-OrientedFast CompressionFast CompressionRow-OrientedRow-Oriented 提供灵活存储技术 四种表类型: 普通行表, AO表, 列存储表, 外部表 两种压缩技术: Gzip (levels 1-9), QuickLZ 同一库内甚至同一个

23、表中多种存储技术混合使用 灵活定义不同表分区存储结构 只需定义关键字orientation=row|column 允许用户根据不同应用场景，达到最优性能效果 MPP DB 与 HD 通过gNet无缝集成通过标准接口或编程语言，透明访问数据库和Hadoop内部存储的数据 。大数据一体机 SDA 50000SDA 50000 单柜满配备注数据分发节点2固定计算交换机2固定管理交换机2固定KVM1固定数据库节点12配、半配、满配总内存1.5T总核数192C硬盘总数量96 可用裸容量56 TB建议使用容量（3副本）18.75TB大数据分析系统软件：MPP 数据库 应用场景 ： 数据仓库应用 / OLA

24、P 多维分析 大数据分析应用的关键技术之一 大数据分析套件组合：（完善生态链） 关系型数据库, NoSQL, 流计算，SQL on Hadoop, OLAP on Hadoop, OLTP on Hadoop，Cache 缓存，In-Memory DB, In-Memory Data Grid，非关系型数据库，等等 。大数据分析应用的关键技术之一SQL on Hadoop 最初的设计定位： 专为分析完整事务支持而优化的大规模并行SQL处理引擎 。大数据分析应用的关键技术之一SQL on Hadoop 技术的重要特性和优点：l 高度扩展和存储系统l 业界领先的性能与动态流水线l 弹性故障容错和事

25、务支持l 数据管理和分析工具包l 真实的SQL功能 基于成本的世界一流查询优化、领先的边缘网络互连 、功能丰富的SQL和分析界面 、并配有事务性存储子系统的高性能执行运行时间 ，是唯一 能够提供此技术的 Hadoop 查询引擎 。大数据分析应用的关键技术之一 Hadoop 分析框架体系HDFSHBasePig, Hive, MahoutMap ReduceSqoopFlumeResource Management & WorkflowYarnZookeeperCommand CenterConfigure, Deploy, Monitor, ManageData LoaderHadoo

26、pEnterpriseSpringUnified Storage Service XtensionFrameworkCatalogServicesQueryOptimizerDynamic PipeliningANSI SQL + AnalyticsHadoop Virtualization ExtensionDistrubuted In-memory StoreQuery TransactionsIngestion ProcessingHadoop Driver Parallel with CompactionANSI SQL + In-MemoryGemFire XD Real-Time

27、Database ServicesMADlib AlgorithmsHAWQ Advanced Database Services大数据产品线 大数据一体机 SDA 60000SDA 60000 单柜满配备注管理节点2固定，HA计算交换机2固定管理交换机2固定KVM1固定数据节点16配、半配、满配总内存2T总核数192C硬盘总数量192可用裸容量768TB建议使用容量（3副本）256TB大数据分析系统软件：Hadoop 系统 应用场景： 海量数据离线批处理 / 查询分析大数据分析应用的关键技术之一 分布式内存数据库DatabasesOther Data Systems文件系统常用的数据存储高吞

28、吐量低延时高伸缩性持续可用性可靠的事件通知连续查询并行执行广域网分布数据调用方数据持久性分布式内存数据库大数据一体机 SDA 80000大数据分析系统软件（分布式内存数据库）： 应用场景：海量数据高并发查询 / 实时事务处理 分布式内存数据库SDA 80000 单柜满配备注数据分发节点2固定，HA计算交换机1固定管理交换机1固定KVM1固定数据节点16配、半配、满配总内存4 T总核数192 C硬盘总数量384 块 PaaS 平台的核心组件 Cloud Foundry 企业版Cloud Foundry 企业版的主要功能 跨云部署机制 PaaS 平台弹性运行时环境 Cloud Foundry 大数据一体机 SDA 90000计算单元分布式数据处理模块大数据存储模块加速器高速交换网络可视化管理 大数据分析处理 PaaS 平台 大数据分析 SaaS 应用预测预警类服务动态监控类服务信息处理类服务存储单元网络单元大数据分析 PaaS 平台（一体化集群部