边缘大数据技术的应用

边缘大数据技术的应用摘要1.背景和意义2.场上计算3.优势分析4.研究展望传统云数据中心压力与日俱增EverythingisintheCloudEver-increasinguserdataEndlessdataprocessingMoreserversareneeded!分布式大数据的挑战SensorNetworksUbiquitousCameraScientificDatasetEngineeringProject“Transferringdata

toasinglelocationforprocessing

willbechallengedboth

technologicallyandeconomically.

-

SoumendraMohanty,VPofglobaldataandanalyticsatMindtree问题1：数据中心可用容量不足数据中心是功耗受限的LimitedpowercapacityheadroomRunoutofpowercapacityin2012?Capacityexpandedinthelast5years?问题1：数据中心可用容量不足(Cont’d)ImproveEfficiencyFacilityConstructionThird-PartySolutionsPreferencetodifferentsolutions[1][1]theUptimeInstitute2012DataCenterIndustrySurvey,2012SchemesProblemsImproveEfficiencyPowerunder-provisioningissueandlowperformanceFacilityConstructionHighcapitalinvestmentandlongconstructionleadtimeThird-PartySolutionsNotsuitableforlarge-scale

enterprisedatacentersImproveEfficiencyFacilityConstructionThird-PartySolutions问题1：数据中心可用容量不足(Cont’d)问题2：网络传输开销大代价高！Datavolumeandvelocityarebeyondthecapabilityoftoday’scommoditymachines40G/100GEthernetisonlylimitedtocorebackbonenetworksAdatarateofseveralTBperhourcanbeadisaster…Source:CiscoSystemsInc.WearehereNet5yearsUsingSatellite/Microwaveinremoteareas?Source:/AcceleratebulkdatamovementusingHDD?<4TBperHDD,$80perdisk$2.49perdata-loading-hour$80perdisk问题2：网络传输开销大代价高！（Cont’d）万物互连时代需要新的计算模式巨量的数据交换对现有通信基础设施提出了挑战复杂且大量的数据对现有的分析技术提出了挑战快速生成的数据对现有能源供应模式提出了挑战超级物联网，我们真的准备好了吗？通信基础设施能源基础设施信息分析服务摘要1.背景和意义2.场上计算3.优势分析4.研究展望DataCenterPowerSystemsServerRacksPowerDistributionUnits(PDUs)A/CSystemsEnergyStorageCabinets/UPSGeneratorsSwitchGears传统数据中心体系结构DataCenterPowerSystemsMicro-invertersSolarArrayDistributedBatteryCabinetOasisPowerControlHubOasisNode改进思路：将更多能源引入数据中心最终方案：现场计算（in-SituComputing）数据角度:降低物联网和物理信息系统中各智能终端与传感器产生的巨量数据传输和汇总成本，提升决策速度。能源角度:依托于新能源分布式发电供电架构，降低对既有电网基础设施的依赖，尤其适用于偏远地区的数据处理任务。In-SituCapacityandCapability：Sensors<<In-situ<<Datacenters边缘计算：一种云数据中心的有机补充现场化智能化实时化边缘计算：一种云数据中心的有机补充DistributedBatterySystemSolarModulewithMicro-invertersFacebookBatteryCabinet目前的硬件基础MicrosoftLESModule“能源-计算”聚合处理架构本地发电+储能单元+服务器系统能源流管理需要注意的特殊问题充电速率问题放电持久性问题未加优化的能源流:

放电快，充电慢，能源难以跟上负载要求优化目标：充电快，放电久，减少负载的运行中断处理现场生成的数据任务的挑战间歇性批处理数据（地址勘探数据处理，固定2kWh耗能）

ComputeCapabilityAvg.Pwr.

(watts)AvailabilityThroughput

(GB/hour)8VM(High)139757%14.04VM(Low)696100%(Better)16.5不同类别负载可能需要不同的处理方式避免任务处理中断对提升产能很重要持续性流处理数据（视频监控图像处理，固定2kWh耗能）

ComputeCapabilityAvg.Pwr.

(watts)Delay(minute)Throughput

(GB/hour)8VM(High)14110(Better)0.216VM10500.250.174VM6860.50.102VM(Low)3351.50.07边缘计算的能源和负载管控原型系统ServerLoad负载功率监控，虚拟机调度BatterySystems电池容量和寿命检测，拓扑结构管理PowerSources本地发电监控，电源输出优化DesignTrade-offs性能符合要求?碳排放符合要求?电池寿命符合要求?系统可用性符合要求?原型系统分析DesignTrade-offsServerLoadE-BuffPower“能源-计算”聚合架构验证平台实测效果整机系统单日运行能量流调度效果图充电系统优化效果图能量消耗优化调度效果图摘要1.背景和意义2.场上计算3.优势分析4.研究展望成本分析不同能源驱动下的成本对比节省网络通信带来的运营开销同时有利于提升决策时间和反应速度不同数据处理解决方案的运营成本对比不同供能方案的长期成本分析和对比便于根据实地需要灵活扩张不同数据量下和不同天气情况下的运营成本对比依赖云数据中心的横向拓展和场上横向拓展对比使用于个性化的计算需要尤其有利于偏远地区的部署和非入侵式部署摘要1.

Background2.

WhatisIn-SituProcessing3.

ProsandConsofIn-Situ4.

FutureResearchDirections边缘大数据计算未来关注点CapitalandOperatingCostReliabilityIssueinSevereEnvironmentData-AwareSchedulingSecurityandDataIntegrityIssueTowardsEfficientData-DrivenComputingintheBigDataEra:AMultidimensionalApproachBringserverresourcestodataacquisitionsystemsManydatasetsarecollectedfromremoteareasProvisionmodularizedserverclustersondemandDatavolume/velocityarechangingallthetimeComputelessaccuratelyanduseloosedeadlinesNoteverybitrequireshigh-qualityprocessingModularDCsDistributedGeneratorsModularDCsDynamicProvisioningRemoteAreasSensorsControllerWhere?When?SpatialMgmt.TemporalMgmt.LoadMgmt.SomeWorkloadsareResilientorDeferrableHPCBatchSchedulerWhat?CloudInfrastructureintheSmartGridEra:BridgingtheGapbetweenDataCenterandSmartGridSmartdatacenterinfrastructurearchitecture:powersystemsLeverageintelligentPDUs,in-rackbatteries,sensors,etc.Smartdatacenterinfrastructurearchitecture:serverclustersHigh-end/low-end+scale-up/scale-out❶❷❸❶❷❸KeyInformationCommonInformationStructuredDataSetUnstructuredDataSetSustainableInformationCloud:TheNext-GenerationCloudEnabledbyHierarchicalGreenDataProcessingAgreatnumberofdatacenterspoweredbydistributedenergyCross-layercoordinationhelpsmaintaindesiredefficiencyLearning-basedapproachwilloptimizetheoverallQoS2ndLevelInfor-CloudData-Cloud(MetaData)Data-Cloud(RawData)1stLevelInfor-CloudGreenEnergy(VeryHighAvailability)ServerclustersGreenEnergy(GuaranteedAvailability)ServerclustersGreenEnergy(AcceptableAvailability)ServerclustersLoad/PowerManagementWealwaysov