大数据应用融合解决方案72

云计算及大数据应用融合解决方案目录录13大数据分分析应用用之关键键技术2能源行业业之大数数据分析析应用场场景大数据时时代的来来临企业面临临的挑战战和分析析需求我们知道并且已经掌握的知识我们知道并且尚未掌握的知识我们不知道并且尚未掌握的知识云计算、、移动计计算、社社交媒体体和大数数据分析析推动产生生新的计计算模式。该模式进而引发发业务转转型以提升效效率,促进法规规遵从,提升整体业务务可持续续性以及以客客户为中中心。互联网商商业模式式对传统统行业的的冲击数据处理理的难题题及大数数据革命命收集、存存储和分分析数据据的能力力在信息息技术带带来的影影响中始始终占有有重要一一席。在这个数数字化程程度日益益提高的的时代，，您所做做的每件件事都会会有一个个电子记记录。随着企业业积聚的的数据越越来越多多并达到到数百TB，他们纷纷纷寻求求更加尖尖端的软软件工具具对数据据进行挖挖掘和分分析，从从而帮助助企业更更好地了了解市场场和客户户，甚至至是帮助助企业对对未来作作出预测测。您如何收收集和存存储数据据？您如何传传输数据据？您如何分分析数据据？您如何从从数据获获益？大数据时时代带来来的思考考……新时代需需要一个个全新的的计算平平台互联网平平台时代代，第三代IT体系的代表表互联网公公司采用用的是PaaS,DevOps来实实现创新新虚拟化运维自动动化PaaS传统ITStartups时间期望值InnovationGapCloudClient--Server互联网公公司DevOps,,CD/CI,Agile,MicroService大数据时时代行业业商机无无处不在在！大数据行行业应用用–社交媒体体大数据行行业应用用–电商平台台大数据行行业应用用–互联网平平台大数据行行业应用用–风力涡轮轮发电系系统管理理监控以毫秒级级捕获传传感器数数据（如如：主轴轴传感器器、齿轮轮箱传感感器和定定子传感感器等）），监控控单台风风力发电电机运行行状态以秒级捕捕获传感感器数据据，监控控风机位位置、彼彼此协作作情况，，保证发发电场以以最优状状态工作作以分钟级级捕获传传感器数数据，监监控输电电状态、、效率大数据行行业应用用–工业互联联网资产管理理零部件库库存管理理资产管理理供应链自自动化工作范围围的自动动化场力优化化监控和诊诊断状态检修修停电管理理资产生命命周期管管理操作优化化物流管理理控制和工工厂自动动化燃料消耗耗的优化化排放管理理法规遵从从健康&安全保证证运营管理理与监测测系统网络吞吐吐量的优优化终端客户户信息服服务云计算改变变IT，大数据据应用重重在创新新工业互联联网和工工业大数数据特点点基于分布布式内存存计算技技术的IOT逻辑架构构云计算改变变IT，大数据据应用重重在创新新云计算侧侧重资源管理理，而大数数据侧重重业务应用用。云计算资资源池化化的管理理模式是是大数据据应用的的前提。。云计算提提供的存存储和计计算资源源池可动动态支撑撑大数据据分析业业务不断断变化的的需求。。目录录13大数据分分析应用用之关键键技术2能源行业业之大数数据分析析应用场场景大数据时时代的来来临大数据分分析应用用的数据据内容及及实现技技术应用平台台提交请请求访问问的数据据，包括括结构化化和非结结构化两两类在线存储储周期超超过数据据生命周周期规划划的数据据适合Hadoop分布式架架构管理理无法用二二维表结结构来逻逻辑表达达的无结结构性的的数据。。例如文文本、音音频数据据等。适合Hadoop架构方便用数数据库的的二维表表结构来来逻辑表表达实现现的数据据，数据据结构字字段含义义确定，，清晰。。例如：：客户信信息、用用电记录录等。是是挖掘数数据价值值的主要要对象。。支持分析析型应用用，时效效性较低低支持前台台交易系系统查询询需求，，具有可可靠性高高、并发发度大、、采集频频率短的的特点适合分布布式内存存数据处处理技术术数据类别别数据格式式数据采集集频度大数据分分析应用用的数据据内容及及实现技技术在线数据据归档数据据非结构化化数据结构化数数据准实时数数据非实时数数据面向贴源源数据查查询和主主题数据据整合。。数据区，，适合X86MPP数据库集集群范式化模模型数据据面向分析析类应用用。对应ADW，适合MPP数据库集集群维度模型型数据数据模型型大数据分分析应用用的关键键核心技技术大数据分分析套件件组合：：（完善善生态链链）关系型数数据库,NoSQL,流计算，，SQLonHadoop,OLAPonHadoop,,OLTPonHadoop，Cache缓存，In-MemoryDB,,In-MemoryDataGrid，非关系系型数据据库，等等等。。大数据分分析应用用的关键键技术之之一分布式内内存数据据库MPP分布式数数据库流式处理理Hadoop分析框架体系系大数据分分析应用用的关键键技术之之一PaaS平台弹性性运行时时环境监控管理层物理资源层PaaS服务层业务应用层IAASInterfacePaaS运行时环环境ServicesInterfacePaaSService应用中间间件Hadoop消息中间间件……SQL数据库NoSQL数据库安全管理理资源管理理配置管理理服务目录录服务管理理性能监控控资源监控控存储设备备计算资源源池存储资源源池网络资源源池计算机网络设备备分析研判判类应用用预测预警警类应用用动态监控控类应用用信息处理理类应用用……IaaS服务层大数据时时代平台台产品的的关键能能力开放弹性性架构真正无共共享的海海量并行行处理架架构工业标准准的X86平台服务器资资源按需需分配，，按需搭搭建集群群，按需需缩放集集群规模模在线线性性扩展增加节点点可线性性增加存存储、查查询和加加载性能能支持在线线扩容，，扩容期期间保证证系统继继续对外外提供服服务拥有成本本可控保证用户户不被专专有平台台锁定企业初期期投入和和后续扩扩容的成成本可控控海量并行行处理支持PB级的数据据处理、、存储和和访问在数据加加载、处处理、访访问等各各个环节节最大化化并行处处理能力力优秀混合合负载按需分配配资源（（CPU、内存、、IO）动态调整整资源平台持续续可用数据镜像像、硬件件冗余等等多种容容错技术术保证系系统高可可用故障切换换和恢复复，对用用户透明明扩容期间间可持续续对外服服务易于管理理维护直观的图图形化界界面，实实时的状状态监控控最大限度度降低管管理员的的日常管管理和维维护工作作大数据时时代催生生PaaS平台的变变革IaaS:硬件的自自动化管管理，人人与机器器的解耦耦合获得效率率/牺牲性能能PaaS：应用的的自动化化管理，，应用与与OS的解耦合合获得弹性性/牺牲控制制业务创新新需要重重新定义义企业级级PaaS支持开放放标准并并与开源源有效互互动强调以数数据为中中心兼顾各种种数据类类型处理理充分关注注新一代代开发人人员和新新一代企企业级应应用的需需求为有效进进行实时时大容量量信息处处理而设设计同时兼顾顾与传统统应用的的互操作作性与传统技技术的有有效结合合云支撑平台数据支撑架构应用支撑架构创新：以以数据支支撑为中中心未来大数数据分析析应用的的PaaS平台发展展方向NewData-fabricsInternet-of-thingsPervasivetelemetryOpenDataPlatformBigDataFastDataRapidApplicationDev&IntegrationGemfirevFabricCloudAbstraction&&AppAutomation面向数据据的企业业级PaaS平台快速应用用开发在收集数数量庞大大的事件件数据的的同时对对特定事事件进行行实时反反应与传统应应用和基基础架构有机机配合配合不同同云计算算平台实实现高效效运维和和水平扩扩展存储并且且在非常常大量的的数据上上进行分析析行业大数数据分析析应用的的数据架架构设计计大数据时时代云计计算及大大数据融融合架构构全景图图计算存储网络应用运行行环境云平台管管理云平台安安全数据批处理（Hadoop）近实时分析（MPPDB）实时数据处理应用和数据集成应用开发发接口资源和服服务交付付统一访问问门户应用容器器虚拟机服务器虚虚拟化存储虚拟拟化网络虚拟拟化公有云接接口iVirtualvSphereNovaXenServerPowerVM分布式文文件系统统分布式块块存储分布式对对象存储储SAN存储网关关OpenFlowvxLanvSwitchAWSACEAzureGAE流处理内存数据据库HbaseYarnMapReduceHive,Pig,,MahoutSQLDataDistributeQueryPlannerMPPExecLoadBalancer分布式缓缓存消息中间间件RDBMS云资源管理运维管理桌面管理业务流程管理资源计费网络安全容灾备份数据和应用访问权限管理安全审计vRoute大数据分分析应用用的PaaS平台产品品组合实时的数数据处理理Run--TimeApplications企业级数数据仓库库大规模数数据存储储实时的数数据捕获和共共享分析型数数据集市市大数据分析析应用的的资源池池拓扑图图存储系统统备份系统统……………存储系统统备份系统统K-HAK-HAK-HAK1--1K1-2K1--3K1-4K1--5K1-6TS860TS860TS860TS860……核心交换机虚拟化（（非关键键应用））资源池池物理（核核心业务务系统））资源池池……物理（大大数据分分析应用用）资源源池大数据分分析应用用系统架架构系统管理理体系(日志审计计、用户户管理、、运维监监控)计算资源源池存储资源源池网络资源源池平台层(PaaS)数据存储层数据准备层数据处理层数据服务层分布式文文件系统统MPP数据库分析模型型算法引擎擎挖掘工具具应用层(SaaS)基础设施施(IaaS)应用层(SaaS)分析研判判类服务务预测预警警类服务动态监控控类服务务信息处理理类服务务大数据分分析研判判系统门门户运营状态态监控决策分析析预警安全保障障体系(访问权限限控制，，防病毒毒、防入入侵)内存计算算RDBMS数据块ODS数据立方方体数据仓库数据集市基础设施施(IaaS)流式处理理客户精准准营销数据交换平台数据交换平台系统管理理体系(日志审计计、用户户管理、、运维监监控)安全保障障体系(访问权限限控制，，防病毒毒、防入入侵)服务总线线风险模式式识别PaaS平台弹性性运行时时环境云数据中中心管理理平台目录录13大数据分分析应用用之关键键技术2能源行业业之大数数据分析析应用场场景大数据时时代的来来临大数据产产品线规规划和产产业定位位数据源数据收集数据存储数据处理分析及可视化应用数据拥有者数据分析技术提供商服务技术提供商最终用户数据采集技术提供商数据采集者

数据分析者数据服务提供商基础硬件（服务器、存储、网络交换）厂商大数据分析软件平台（数据库、数据仓库、分布式处理技术等）提供商大数据分分析一体体化产品品提供商商大数据产产品线的的保障体体系1.需求分析2.解决方案3.维护服务缩短开发周期实现数据共享降低管理风险提高安全和质量资深工程师提供在线指导服务专家提供现场指导运维服务评估业务需求分析已有基础设施风险评估推荐合理方案大数据一一体机产产品定位位及软硬硬一体化化设计方方案计算单元元：采用Intel最新XeonE5v3系列处理理器，性性能相比比上一代代产品提提升2倍FPGA加速卡+CPU对比纯CPU性能那个个提升10+倍系统进行行内存调度度算法优化，增强内存访问速度采用全文文检索、、动态页页面生成成等技术术提供ms级查询响响应存储单元元：优化文件件系统热热点数据据读取算算法，整整机磁盘盘I/O高达500++MB//s小文件聚聚合技术术，解决决小文件件快速写写入问题题SSD加速缓存存与传统统磁盘比比较读性性能提升升20倍通信单元元：节点间通通信网络络采用远远程直接接数据存存取技术术，能够支持持1000+节点之间同时时的大数据量传输节点间网网络采用用40Gb/s高速网络络，网络络延迟低低至us级MPP数据库：：DaaS的计算引引擎企业级数数据仓库库分析型数数据集市市GreenplumDB::DataasaService的计算引引擎Gartner公司每年年发布关关于数据据仓库管管理系统统业界地地位的魔魔法象限限研究报报告报告主要要从数据据仓库厂厂商的执执行力和和远景两两个方面面评估评估对象象包括传传统的企企业级数数据仓库库和新一一代的MPP并行数据据库厂商商支持各种种规模、、有大量量并发用用户、能能管理混混合工作作负载的的数据仓仓库具备较高高的客户户满意度度和强有有力的服服务支持持在数据仓仓库市场场有长久久的生命命力风险最低低、产品品成熟度度最高Gartner对领导者者象限的的评价采用前瞻瞻性思维维设计的的数据仓仓库较小的市市场领导导者，缺缺乏全球球性发展展缺少较大大的本地地客户，，因此不不易证明明其产品品的功能能和价值值在产品技技术领域域，某些些特性具具备前瞻瞻性，但但综合能能力需要要完善Gartner对远见者者象限的的评价MPP数据库：：极速分分析平台台并行处理理架构MPPshared-nothing架构，基基于通用用X86平台PB级以上海海量存储储，最大大支持10000节点以上上所有节点点并发IO，实现超超大IO吞吐，并并行运行行SQL自动化并并行自动化并并行计算算,实现超大大计算能能力使用同传传统DB一样，加加载和运运行SQL数据多节节点分布布及高可可用性都都由DB自身实现现极佳的横横向扩展展性在线横向向扩展容量、加加载和SQL查询性能能随节点点线性增增加专为BI及数据分分析优化化深度整合合统计数数学模块块（SAS,,SOLR,,MADLIB,R）高性能并并行SQL执行器MPPshared-nothing架构构建在X86开放平台台上的并并行处理理架构MPP数据库：：行业最快快的数据据加载技技术每个Rack（16节点）,每小时16TB加载性能能Scatter-GatherStreaming™™提供性能能线性扩扩张支持大批批量数据据加载和和持续化化的数据据加载Enablecomplexdatatransformations““in--flight”对GBK//UTF8/ISO8859字符集的的原生支支持GreenplumOracle

ExadataNetezzaTeradataSingleRackComparisonGreenplumloadratesscalelinearlywiththenumberofracks,,othersdonot..Forexample,tworacks==>>32TB/HLoadMPP数据库：：高可用用性ClientRedundant

InterconnectMP

Segment

ServersPrimary

Master1Sync&

Failover

ProcessesStandby

MasterPrimaryDataRAID5ProtectionA1B1C1A2B2C2A1B1C1A2B2C2MirrorData2345提供了全全量备份份和增量量备份功功能，保保证系统统级故障障后的数数据恢复复对于任一一设备的的故障，，系统数数据不丢丢失、提提供持续续服务多个节点点宕机后后，系统统性能只只降低1/6MPP数据库：：负载管理理技术查询层对运行的的查询提提供基本本的优先先级管理理对CPU\\内存\IO利用率进行定额额分配控制单个个查询并并发度会话层每个用户户能够分分配一个个资源队队列管理理工作允许控制制查询和和查询代代价数据库连连接层控制多少少用户可可以连接接。提供的池池(允许大量量)和(限制数量量)MPP数据库：：PolymorphicDataStorage™™(多态存储储-同时支持持行存储储及列存存储)Table‘Customer’Jan’09Feb’09Mar’09Apr’09May’09Jun’09Jul’09Aug’09Sept’09Oct’09Nov’09Column--OrientedArchivalCompressionColumn--OrientedFastCompressionRow--Oriented提供灵活活存储技技术四种表类类型:普通行表表,AO表,列存储表表,外部表两种压缩缩技术:Gzip((levels1-9)),QuickLZ同一库内内甚至同同一个表表中多种种存储技技术混合合使用灵活定义义不同表表分区存存储结构构只需定义义关键字字orientation=[[row|column]允许用户户根据不不同应用用场景，，达到最最优性能能效果MPPDB与HD通过gNet无缝集成成通过标准准接口或或编程语语言，透透明访问问数据库库和Hadoop内部存储储的数据据。大数据一一体机SDA50000SDA50000单柜满配备注数据分发节点2固定计算交换机2固定管理交换机2固定KVM1固定数据库节点12¼配、半配、满配总内存1.5T总核数192C硬盘总数量96可用裸容量56TB建议使用容量（3副本）18.75TB大数据分分析系统统软件：：MPP数据库应用场景景：数数据仓仓库应用用/OLAP多维分析析

大数据分分析应用用的关键键技术之之一大数据分分析套件件组合：：（完善善生态链链）关系型数数据库,NoSQL,流计算，，SQLonHadoop,OLAPonHadoop,,OLTPonHadoop，Cache缓存，In-MemoryDB,,In-MemoryDataGrid，非关系系型数据据库，等等等。。大数据分分析应用用的关键键技术之之一SQLonHadoop最初的设设计定位位：专为分析析完整事事务支持持而优化化的大规规模并行行SQL处理引擎擎。大数据分分析应用用的关键键技术之之一SQLonHadoop技术的重要特特性和优优点：高度扩展展和存储储系统业界领先先的性能能与动态态流水线线弹性故障障容错和和事务支支持数据管理理和分析析工具包包真实的SQL功能基于成本本的世界界一流查查询优化化、领先先的边缘缘网络互互连、、功能丰丰富的SQL和分析界界面、、并配有有事务性性存储子子系统的的高性能能执行运运行时间间，是是唯一能能够提提供此技技术的Hadoop查询引擎擎。大数据分分析应用用的关键键技术之之一Hadoop分析框架体系系HDFSHBasePig,,Hive,,MahoutMapReduceSqoopFlumeResourceManagement&&WorkflowYarnZookeeperCommandCenterConfigure,Deploy,Monitor,ManageDataLoaderHadoop

EnterpriseSpringUnifiedStorageServiceXtensionFrameworkCatalogServicesQueryOptimizerDynamicPipeliningANSISQL++AnalyticsHadoopVirtualizationExtensionDistrubutedIn-memoryStoreQueryTransactionsIngestionProcessingHadoopDriver–

ParallelwithCompactionANSISQL+In-MemoryGemFireXD–Real-TimeDatabaseServicesMADlibAlgorithmsHAWQ–AdvancedDatabaseServices大数据产产品线–大数据一一体机SDA60000SDA60000单柜满配备注管理节点2固定，HA计算交换机2固定管理交换机2固定KVM1固定数据节点16¼配、半配、满配总内存2T总核数192C硬盘总数量192可用裸容量768TB建议使用容量（3副本）256TB大数据分分析系统统软件：：Hadoop系统应用场景景：海海量数据据离线批批处理/查询分析析大数据分分析应用用的关键键技术之之一

分布式内存数据库DatabasesOtherDataSystems文件系统常用的数据存储高吞吐量低延时高伸缩性持续可用性可靠的事件通知连续查询并行执行广域网分布数据调用方数据持久性分布式内内存数据据库大数据一一体机SDA80000大数据分分析系统统软件（（分布式式内存数数据库））：应用场景景：海量数据据高并发发查询/实时事务务处理分布式内存数据库SDA80000单柜满配备注数据分发节点2固定，HA计算交换机1固定管理交换机1固定KVM1固定数据节点16¼配、半配、满配总内存4T总核数192C硬盘总数量384块

PaaS平台的核核心组件件–CloudFoundry企业版CloudFoundry企业版的的主要功功能–跨云部署署机制PaaS平台弹性性运行时时环境–CloudFoundry大数据一一体机SDA90000计算单元元分布式数数据处理理模块大数据存存储模块块加速器高速交换换网络可视化管管理大数据分分析处理理PaaS平台大数据分分析SaaS应用预测预警警类服务务动态监控控类服务务信息处理理类服务务存储单元元网络单元元大数据分分析PaaS平台（一一体化集集群部署署方案））应用场景景：海海量数据据存储储/分析/查询/开发弹性运行行时环境境模块数据服务务总线API接口分析研判判类服务务行业信息息化特点点行业面临临的严峻峻形势和和挑战行业大数数据应用用整体解解决方案案行业大数数据分析析平台建建设内容容大数据分分析平台台分层模模型大数据分分析应用用检索