空间大数据和无线网络38.ppt

空间大数据和无线网络 14120439 大数据 bigdata 宏观上大数据即指海量的数据 从微观上定义 大数据是指需要通过快速获取 处理 分析以从中提取有价值的海量 多样化的交易数据 交互数据与传感数据等数据 主要特征包括 海量 volume 类型繁多 variaty 增长迅速 velocity 价值巨大 value 等 移动大数据的主要特征 海量数据 思科预测全球数据流量 截止到2013年底 智能手机的数量仅占全球在用手机总量的27 但其产生的流量占全球手机总流量的95 每部智能手机的移动数据流量为529MB 月 业务类型演进传统无线通信网在通信机制 互联互通规则等方面与互联网有完全不同的设计理念 难以适应新业务的需求 数据多样化移动数据类型更加繁多 包括结构化数据 半结构化数据和非结构化数据结构化数据 简单来说就是数据库 结合到典型场景中更容易理解 比如企业ERP 财务系统 医疗HIS数据库 教育一卡通 政府行政审批 其他核心数据库等 这些应用需要哪些存储方案呢 基本包括高速存储应用需求 数据备份需求 数据共享需求以及数据容灾需求 非结构化数据 包括视频 音频 图片 图像 文档 文本等形式 具体到典型案例中 像是医疗影像系统 教育视频点播 视频监控 国土GIS 设计院 文件服务器 PDM FTP 媒体资源管理等具体应用 这些行业对于存储需求包括数据存储 数据备份以及数据共享等 半结构化数据 包括邮件 HTML 报表 资源库等等 典型场景如邮件系统 WEB集群 教学资源库 数据挖掘系统 档案系统等等 这些应用对于数据存储 数据备份 数据共享以及数据归档等基本存储需求 随着网络技术的发展 特别是Internet和Intranet技术的飞快发展 使得非结构化数据的数量日趋增大 这时 主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显 因而 数据库技术相应地进入了 后关系数据库时代 发展进入基于网络应用的非结构化数据库时代 所谓非结构化数据库 是指数据库的变长纪录由若干不可重复和可重复的字段组成 而每个字段又可由若干不可重复和可重复的子字段组成 简单地说 非结构化数据库就是字段可变的数据库 数据的空 时域大动态变化 传统大数据处理 关系型数据 进行关系发现 分类 预测等 基于线性时间 空间大数据处理cubictime 移动大数据对无线网络的挑战 网络部署移动数据流量和信令均呈非线性高速增长 给无线接入网络带来巨大压力 smallcell作为一种全新的网络架构体系 其最主要的特点就是将无线接入部分包括射频 基带部分 高层协议处理全部小型化 为运营商的热点覆盖 盲区覆盖提供了一种极为灵活的方式 这也顺应了LTE宽带高吞吐量的精细覆盖要求 严重的信号衰落及信号传播通常在视距范围内 使得室内小区形状呈现 准 确定性和小区边缘锐利化的特征 这对室内网络覆盖规划引入了难题 室内节点的密集程度主要受建筑物布局的影响 若以最小化室内无线节点为网络规划目标 锐利的小小区边缘会使问题建模异常复杂 资源管控数据多样化和流量空 时域大动态变化给传统资源管理体系带来了新的难题 数据安全性用户隐私安全数据的访问控制和可信度高能耗 图4网络侧能耗分布图 thisarticleisstructuredasfollows WegiveadetailedoverviewofthreeapplicationdomainsforbigdataprocessinginwirelessnetworkswebelievetobemostrelevantforthecomingdecadeWethendiscussthealgorithmicchallengesrelatedtotheseapplications andtherelatedimplementationissues Next keyissuesforfutureresearcharediscussedbeforedrawingtheconclusions ApplicationScenariosforSpatialBigData ApplicationScenario1 ManagementofWirelessNetworksUsingBigDataApplicationScenario2 MassiveSensingandIoTApplicationsApplicationScenario3 SmartCitiesandNoisySpatialData ApplicationScenario1 ManagementofWirelessNetworksUsingBigData optimizenetworks increasesecuritythroughanomalydetection andprovideandenhanceapplicationbehavior amongotherthings howtofusethisdatainanoptimalmanner Spitaldata Datamining theactualcoverage spatialestimatesbasedon10 000 spatialestimatesbasedon27000 Exampleofatypicalspatialestimationtaskinmanagementofwirelessnetworks CurrentlyapproachesDetailedpropagationsimulationsDrivetest RoughestimateExpensiveinaccuracies alternative Mobileterminals ApplicationScenario2 MassiveSensingandIoTApplications Emergingdataprocessingchallenges ApplicationScenario3 SmartCitiesandNoisySpatialData firstchallengeisthatofrobustenoughprocessingofinformationinasufficientlyrapidmannertoenablerealtimecontrolapplications Forexample reroutingoftrafficflows publictransportationscheduling pollutionestimates andnoiselevels ApplicationScenario3 SmartCitiesandNoisySpatialData Thesecondchallengesistheneedtocross correlatenumerousdatasourcesforobtainingthebestandmostrobustestimates UsingtheRightAlgorithms OptimalityandRobustnessSelf AwarenessofErrorsMatchwithComputationalInfrastructuresExtendibilitywithPriorandSideInformationControlledApproximations ScalableComputationalSolutions 空间插值 空间插值常用于将离散点的测量数据转换为连续的数据曲面 以便与其它空间现象的分布模式进行比较 它包括了空间内插和外推两种算法 空间内插算法 通过已知点的数据推求同一区域未知点数据 空间外推算法 通过已知区域的数据 推求其它区域数据 Kriging算法 satisfiesthepropertiesdiscussedabove thatis providingoptimalandrobustspatialestimates Kriging算法 克里金法假定采样点之间的距离或方向可以反映可用于说明表面变化的空间相关性 克里金法工具可将数学函数与指定数量的点或指定半径内的所有点进行拟合以确定每个位置的输出值 克里金法是一个多步过程 它包括数据的探索性统计分析 变异函数建模和创建表面 还包括研究方差表面 该方法通常用在土壤科学和地质中 hadoop 是一个由Apache基金会所开发的分布式系统基础架构 实现了一个分布式文件系统 HadoopDistributedFileSystem 简称HDFS HDFS有高容错性的特点 并且设计用来部署在低廉的 low cost 硬件上 而且它提供高吞吐量 highthroughput 来访问应用程序的数据 适合那些有着超大数据集 largedataset 的应用程序 mapreduce MapReduce本身就是用于并行处理大数据集的软件框架 MapReduce的根源是函数性编程中的map和reduce函数 它由两个可能包含有许多实例 许多Map和Reduce 的操作组成 Map函数接受一组数据并将其转换为一个键 值对列表 输入域中的每个元素对应一个键 值对 Reduce函数接受Map函数生成的列表 然后根据它们的键 为每个键生成一个键 值对 缩小键 值对列表 ScalableComputationalSolutions ScalableComputationalSolutions tablesforstoringindividualsensorreadingsestimatesofaccuraciesofthesensorsused underlyingresource Hbase Hbase estimationofvariousspatialstatisticsofinterest ScalableComputationalSolutions Thekeycomputations ScalableComputationalSolutions KD treek d树 k dimensional树的简称 是一种分割k维数据空间的数据结构 主要应用于多维空间关键数据的搜索KD treessignificantlyspeedingupthissearchandenablingahighdegreeofparallelismintheimplementationenabledbytheMapReducecomputationalmodel Themodulelaunchesseveralmappersreadingthedatafromthedatasources convertingthedataformatsasneeded andwritingthemintoaspecificHBase aconstructorandasearchfunction aMapReduceprogramcomputingtheexperimentalsemivariogram ThefittingisdoneusinganimplementationofanonlinearconjugategradientoptimizerrealizedintheAnalyticalSemivariogramMmodule TheSpatialpredictionMmoduleisfinallyresponsibleforcomputingthespatialestimate ItisalsoaMapReduceprogram computationalburdenofthesestepsthreeHadoopservers ResearchChallenges Foundationsmorescalablealgorithmsareneededincludinganomalydetection systemidentificationandsimilarproblems especiallyforspatio temporalbigdata DeploymentPlanningandHierarchicalNetworkDimensioning large scaleWSNandIoTdeploymentscanresultinextremelylargedatastreamsHierarchicalcommunicationanddataprocessingsolutionsareneededtodealwithsuchvastquantitiesofdata andplanningsuchdeploymentsjointlywiththedataprocessingframeworkisachallengingtask Forexample addingnewdatafusionandprocessingcentersevenwhennotstrictlyneededintermsofcomputationalpowercanincreasedeploymentcosts butsimultaneouslysignificantlyimproverobustness byremovingsinglepointsoffailure andreducelatency SoftwareFrameworksandImplementationLanguages Moreandmor