空间大数据和无线网络.pptx

1、空间大数据和无线网络,14120439,大数据（big data）,宏观上大数据即指海量的数据; 从微观上定义, 大数据是指需要通过快速获取、处理、分析以从中提取有价值的海量、多样化的交易数据、交互数据与传感数据等数据, 主要特征包括：海量(volume)、类型繁多(variaty)、增长迅速(velocity)、价值巨大(value)等,移动大数据的主要特征,海量数据,思科预测全球数据流量,截止到2013年底, 智能手机的数量仅占全球在用手机总量的27%, 但其产生的流量占全球手机总流量的95%(每部智能手机的移动 数据流量为529 MB/月).,业务类型演进 传统无线通信网在通信机制、互联

2、互通规则等方面与互联网有完全不同的设计理念, 难以适应新业务的需求.,数据多样化 移动数据类型更加繁多, 包括结构化数据、半结构化数据和非结构化数据 结构化数据，简单来说就是数据库。结合到典型场景中更容易理解，比如企业ERP、财务系统；医疗HIS数据库；教育一卡通；政府行政审批；其他核心数据库等。这些应用需要哪些存储方案呢？基本包括高速存储应用需求、数据备份需求、数据共享需求以及数据容灾需求。 非结构化数据，包括视频、音频、图片、图像、文档、文本等形式。具体到典型案例中，像是医疗影像系统、教育视频点播、视频监控、国土GIS、设计院、文件服务器（PDM/FTP）、媒体资源管理等具体应用，这些行业

3、对于存储需求包括数据存储、数据备份以及数据共享等。 半结构化数据，包括邮件、HTML、报表、资源库等等，典型场景如邮件系统、WEB集群、教学资源库、数据挖掘系统、档案系统等等。这些应用对于数据存储、数据备份、数据共享以及数据归档等基本存储需求。,随着网络技术的发展，特别是Internet和Intranet技术的飞快发展，使得非结构化数据的数量日趋增大。这时，主要用于管理结构化数据的关系数据库的局限性暴露地越来越明显。因而，数据库技术相应地进入了“后关系数据库时代”，发展进入基于网络应用的非结构化数据库时代。所谓非结构化数据库，是指数据库的变长纪录由若干不可重复和可重复的字段组成，而每个字段又可

4、由若干不可重复和可重复的子字段组成。简单地说，非结构化数据库就是字段可变的数据库。,数据的空-时域大动态变化,传统大数据处理,关系型数据,进行关系发现、分类、预测等,基于线性时间,空间大数据处理 cubic time,移动大数据对无线网络的挑战,网络部署 移动数据流量和信令均呈非线性高速增长, 给无线接入网络带来巨大压力. small cell作为一种全新的网络架构体系，其最主要的特点就是将无线接入部分包括射频、基带部分、高层协议处理全部小型化，为运营商的热点覆盖、盲区覆盖提供了一种极为灵活的方式，这也顺应了LTE宽带高吞吐量的精细覆盖要求。,严重的信号衰落及信号传播通常在视距范围内,使得室内

5、小区形状呈现“准”确定性和小区边缘锐利化的特征, 这对室内网络覆盖规划引入了难题. 室内节点的密集程度主要受建筑物布局的影响, 若以最小化室内无线节点为网络规划目标, 锐利的小小区边缘会使问题建模异常复杂.,资源管控 数据多样化和流量空-时域大动态变化给传统资源管理体系带来了新的难题.,数据安全性 用户隐私安全 数据的访问控制和可信度 高能耗,图4 网络侧能耗分布图,this article is structured as follows,We give a detailed overview of three application domains for big data process

6、ing in wireless networks we believe to be most relevant for the coming decade We then discuss the algorithmic challenges related to these applications, and the related implementation issues. Next, key issues for future research are discussed before drawing the conclusions.,Application Scenarios for

7、Spatial Big Data,Application Scenario 1: Management of Wireless Networks Using Big Data Application Scenario 2: Massive Sensing and IoT Applications Application Scenario 3: Smart Cities and Noisy Spatial Data,Application Scenario 1: Management of Wireless Networks Using Big Data,optimize networks, i

8、ncrease security through anomaly detection, and provide and enhance application behavior, among other things.,how to fuse this data in an optimal manner,Spital data,Data mining,the actual coverage,spatial estimates based on 10,000,spatial estimates based on 27000,Example of a typical spatial estimat

9、ion task in management of wireless networks.,Currently approaches Detailed propagation simulations Drive test,Rough estimate Expensive inaccuracies,alternative,Mobile terminals,Application Scenario 2: Massive Sensing and IoT Applications,Emerging data processing challenges,Application Scenario 3: Sm

10、art Cities and Noisy Spatial Data,first challenge is that of robust enough processing of information in a sufficiently rapid manner to enable realtime control applications. For example:rerouting of traffic flows ,public transportation scheduling ,pollution estimates, and noise levels,Application Sce

11、nario 3: Smart Cities and Noisy Spatial Data,The second challenges is the need to cross-correlate numerous data sources for obtaining the best and most robust estimates.,Using the Right Algorithms,Optimality and Robustness Self-Awareness of Errors Match with Computational Infrastructures Extendibili

12、ty with Prior and Side Information Controlled Approximations,Scalable Computational Solutions,空间插值空间插值常用于将离散点的测量数据转换为连续的数据曲面，以便与其它空间现象的分布模式进行比较，它包括了空间内插和外推两种算法。 空间内插算法：通过已知点的数据推求同一区域未知点数据。 空间外推算法：通过已知区域的数据，推求其它区域数据。,Kriging算法,satisfies the properties discussed above; that is, providing optimal and r

13、obust spatial estimates,Kriging算法,克里金法假定采样点之间的距离或方向可以反映可用于说明表面变化的空间相关性。克里金法工 具可将数学函数与指定数量的点或指定半径内的所有点进行拟合以确定每个位置的输出值。 克里金法是一个多步过程；它包括数据的探索性统计分析、变异函数建模 和创建表面，还包括研究方差表面。 该方法通常用在土壤科学和地质中。,hadoop,是一个由Apache基金会所开发的分布式系统基础架构。 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的（lo

14、w-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。,mapreduce,MapReduce 本身就是用于并行处理大数据集的软件框架。MapReduce 的根源是函数性编程中的 map 和 reduce 函数。它由两个可能包含有许多实例（许多 Map 和 Reduce）的操作组成。Map 函数接受一组数据并将其转换为一个键/值对列表，输入域中的每个元素对应一个键/值对。Reduce 函数接受 Map 函数生成的列表，然后根据它们的键（为每个键生成一个键/值对）缩小键/值对列表。,Sca

15、lable Computational Solutions,Scalable Computational Solutions,tables for storing individual sensor readings estimates of accuracies of the sensors used,underlying resource,Hbase,Hbase,estimation of various spatial statistics of interest,Scalable Computational Solutions,The key computations,Scalable

16、 Computational Solutions,KD-tree k-d树（k-dimensional树的简称），是一种分割k维数据空间的数据结构。主要应用于多维空间关键数据的搜索 KD-trees significantly speeding up this search and enabling a high degree of parallelism in the implementation enabled by the MapReduce computational model,The module launches several mappers reading the data

17、from the data sources, converting the data formats as needed, and writing them into a specific HBase.,a constructor and a search function,a MapReduce program computing the experimental semivariogram,The fitting is done using an implementation of a nonlinear conjugate gradient optimizer realized in t

18、he AnalyticalSemivariogramM module.,The SpatialpredictionM module is finally responsible for computing the spatial estimate. It is also a MapReduce program,computational burden of these steps three Hadoop servers,Research Challenges,Foundations more scalable algorithms are needed including anomaly d

19、etection, system identification and similar problems, especially for spatio-temporal big data.,Deployment Planning and Hierarchical Network Dimensioning,large-scale WSN and IoT deployments can result in extremely large data streams Hierarchical communication and data processing solutions are needed

20、to deal with such vast quantities of data, and planning such deployments jointly with the data processing framework is a challenging task. For example, adding new data fusion and processing centers even when not strictly needed in terms of computational power can increase deployment costs, but simultaneously significantly improve robustness (by removing single points of failure) and reduce latency.,Software Frameworks and Implementation Languages,More and more different computational models a