基于无线热点的人流量时频域分析.docx

基于无线热点的人流量时频域分析摘要人类移动性的相关研究已经在诸多领域吸引了人们的关注。其中不同地点、不同时间段人流量分布情况有着自身独特的规律，基于人流量分布的分析结果可以应用在改善城市、交通、医疗等公共服务、预防拥堵、踩踏等突发情况，甚至为不同商铺提供合理营销建议等。而由于移动互联网技术的迅速发展和智能终端的飞速普及，无线探测技术与人类移动性的结合日益密切。通过移动终端的无线探测技术（如WIFI，GPS，CDR等），我们可以准确获取到相关的某一场景下某一时间段的人流量数据，并对人流量数据进行分析、研究。基于此，本文首先对人类移动性理论进行总结归纳，对无线探测技术及应用进行充分调研。随后基于上述理论对无线实境分析系统进行开发和优化，进而实现了不同场景下人流量实时数据的采集、分析及展示。最后，通过不同谱变换方法，将人流量数据视作时域信号进行相应谱分析。从频域角度上分析不同地点、不同时间段人流量分布的规律性及周期性。从另一个角度揭示人类移动性。综上所述，针对人类移动性、无线实境系统以及人流量谱分析，本文所做的主要研究工作有：1. 对人类移动性的相关研究工作进行了总结概括。详细叙述了关于人类移动性的三个核心属性即时间、空间以及连通性。并且对无线信号的采集方式和相关特点（GPS、移动蜂窝网络、WIFI）做了相应阐述，并有选择性的摘取了一些无线技术与人类移动性研究相结合的应用。2. 实现并优化了无线实境系统。实现了采集端为OPENWRT路由器、分析端为SPRING MVC架构、展示端为HTML、CSS、JAVASCRIPE相结合的无线实境系统。实现了诸如人流量监测、智能终端品牌分布的实时分析及异常监测等功能。与此同时，对无线实境系统的数据采集模块、分析模块以及网页展示模块做出一定优化。3. 选择合适的谱分析方法（快速傅里叶变换，沃尔什功率谱变换，小波分解-重构变换），对无线实境分析系统得到的人流量分布数据进行处理。从频域角度去揭示不同场景下人流量分布的规律性及人群活动周期性，最后根据谱分析得到的特征参数进行建模预测。关键字：人类移动性 无线实境系统 人流量分布 周期性 谱分析 THE SPECTRUM ANALYSIS IN THE HUMAN TRAFFIC BASED ON THE HOTPOTABSTRACTHuman mobility research has attracted attention in many fields. Wherein the different locations, different time distribution of the flow of people has its own unique rules, based on the analysis of human flow distribution results it can be used in remote medical monitoring, theft detection, shopping malls and traffic control, and many other applications.The development of wireless technology enables collecting massive human movement data based on mobile terminals, due to the close relation between the mobile terminal and human. In this paper, we call it a wireless reality analytics system, if the reality analytics system is realized through wireless technology. Rapid growth in the number of mobile users and the Broadband China strategy implementation plan provide favorable conditions for wireless reality analytics system and its application services. With Chinas development of a new generation of IT strategic emerging industries, as well as the implementation of national development strategies of smart city, wireless reality analytics system can be used to optimize the daily urban public services, to prevent of emergency situations, as well as to provide favorable recommendations for individual shops, chain stores, shopping malls. About human mobility and wireless reality analysis system, the main work in this paper is as follows:Firstly, review of human mobility related research. This paper summarizes three important properties, the baselines and the distributions of human mobility. The three properties of human mobility are temporal property, spatial property and contact property. Then some wireless data acquisition mode are described, mainly including GPS, mobile cellular networks and WIFI, as well as their features and progress in human mobility research.Secondly, design and implement a wireless reality analytics system. The design scheme of wireless reality analytics system is proposed, bottom-up, including base layer, data layer and application layer. A platform is built to implement a WIFI-based wireless reality analytics system, including data collection module, data analysis module, and web display module.Thirdly, select the appropriate spectral analysis (fast Fourier transform, Walsh power spectrum transform, wavelet decomposition - reconstruction Transform) analysis system for wireless reality was distributed data processing flow of people, from the amplitude, frequency, phase, etc. angle to reveal the regularity and periodic flow distribution of different scenarios servant.KEY WORDS: human mobility wireless reality system human traffic periodicity of activities spectrum analysis目录THE SPECTRUM ANALYSIS IN THE HUMAN TRAFFIC BASED ON THE HOTPOT6ABSTRACT6第一章 绪论11.1 引言11.2 本文主要研究工作11.3 论文结构2第二章 相关研究工作32.1 人类移动性研究32.1.1 人类移动性属性32.1.2 人类活动规律及周期性研究52.2无线技术概述62.2.1 无线探测技术分类62.2.2 无线探测技术对比72.3无线实境系统实现及优化72.3.1 数据采集92.3.2 数据分析102.3.3 数据展示112.3.4 系统优化132.4 本章小结15第三章 人流量时域分析163.1人流量定义及数据预处理163.1.1人流量定义163.1.2人流量数据采集及预处理163.2不同场景人流量时域分析18第四章 人流量频域分析214.1 谱分析简述214.2 谱分析方法比较224.2.1快速傅里叶变换224.2.2沃尔什功率谱变换234.2.3小波分解-重构变换234.3 不同场景人流量分布的频谱分析244.3.1 基于无线热点数据的快速傅里叶变换分析法244.3.2 基于无线热点数据的沃尔什功率谱分析法274.3.3 基于无线热点数据的小波分解重构变换分析法284.4 谱分析方法结果比较294.5 基于谱分析结果的人流量周期性规律304.6 本章小结32第五章 人流量预测分析345.1 神经网络预测模型概述345.1.1 神经网络345.1.2 BP神经网络355.2人流量预测模型建立355.3应用场景39第六章 总结416.1 论文总结416.2 未来展望42参考文献43致 谢45攻读学位期间发表的学术论文47第一章 绪论第一章 绪论1.1 引言 人类移动性的相关研究已经在诸多领域吸引了人们的关注。其中不同地点、不同时间段人流量分布情况有着自身独特的规律，基于人流量分布的分析结果可以应用于远程医护监控，盗窃行为监测，商场客流控制，突发事件预防等诸多领域。而由于移动互联网技术发展迅速和智能终端的迅速普及，无线技术在我们生活中的份额越来越重。通过针对移动终端的无线技术，我们可以有效获取到相关的人流量分布数据。本文即是基于以上思路，将利用无线技术实现的无线实境系统去实时获取无线终端数据。其中，无线实境系统是基于OPENWRT路由器技术实现的WIFI信号探测系统，其基本的工作流程为：首先放置于不同场景下的无线探测设备（即OPENWRT路由器）监测场景中移动终端发出的无线WIFI信号，然后将收集到的原始数据自动上传到公网平台，最后公网平台负责结合应用服务程序对采集到的数据进行预处理。然而，依靠应用程序对人流量数据进行预处理仅仅能得到人流量在时域上的分布，很难准确显著的反映出人类活动的周期性规律，为了进一步研究人流量中蕴含的周期性和规律性，我们采用频谱分析将时域上的周期性表现在频域中，试图从频域中获取更多的关于人类活动相关的周期性信息并建立相关预测模型。1.2 本文主要研究工作本文所做的主要研究工作有： 1对人类移动性的相关研究工作进行了总结概括。详细叙述了关于人类移动性的三个核心属性即时间、空间以及连通性。并且对无线信号的采集方式和相关特点（GPS、移动蜂窝网络、WIFI）做了相应阐述，并有选择性的摘取了一些无线技术与人类移动性研究相结合的应用。2. 实现并优化了无线实境系统。实现了基于OPENWRT路由器的无线实境系统。并实现了诸如人流量监测、智能终端品牌分布分析、异常监测等应用。与此同时，对无线实境系统的数据采集模块、分析模块以及网页展示模块做出一定优化。3. 将无线实境系统获取的人流量数据进行时域分析，通过拟合函数的形式去分析不同场景下的人类活动规律以及活动周期。4. 将无线实境系统获取的人流量数据进行频域分析，首先充分调研对相关的谱分析原理及方法（快速傅里叶变换，沃尔什功率谱变换，小波分解-重构变换），并就其分析特点和一般适用性进行对比，然后针对不同时间段，不同地点的人流量数据运用相关谱分析方法进行处理并对处理结果进行分析对比，得出不同场景下人流分布规律以及人类活动的周期性。5. 将上述规律进行参数规整后进行特定场景下的人流量预测模型建设。1.3 论文结构本文第二章是本文的相关研究工作，首先对人类移动性的相关研究进行了简要介绍。对人类移动性的三个重要属性即时间、空间、连通性进行了着重叙述。针对人类活动规律以及周期性研究做了详细描述。然后，针对现如今无线技术的发展情况，对基于GPS、基于移动蜂窝网络以及基于WIFI的数据获取方式及其特点进行比较分析。实现并完善了无线实境系统。并有选择性的摘取了一些无线技术与人类移动性研究相结合的应用。本文第三章是人流量时域分析，主要对不同时间，不同地点下人流量数据进行时域方面的分析研究。主要是通过函数拟合的形式进行信号处理以及分析，结合波形图去尽可能揭示不同场景下蕴含的人流分布规律及人类活动周期。本文第四章是人流量频域分析，主要是针对第三章时域分析结果存在的准确性和显著性上的不足，通过频域谱分析的方法对人流量信号进行处理分析，从另一个角度去分析不同场景下的人流分布规律及人类活动周期，即首先充分调研对相关的谱分析原理及方法（快速傅里叶变换，沃尔什功率谱变换，小波分解-重构变换），并就其分析特点和一般适用性进行对比，然后针对不同时间段，不同地点的人流量数据运用相关谱分析方法进行处理并对处理结果进行分析对比，总结不同场景下人流分布规律以及人类活动的周期性。本文第五章是人流量预测分析，主要是针对第四章得出的规律，对特定场景中的人流量分布进行预测分析。本文第六章对所做工作进行了总结，并对人流量谱分析的应用发展进行了展望。47第三章 无线实境分析系统设计与实现第二章 相关研究工作基于无线热点的人流量时频域分析实质上是通过无线探测技术实现对真实世界的监控、跟踪以及分析。其相关工作包含人类移动性相关研究、无线技术相关研究以及无线实境系统相关研究。本章是本文的相关研究工作，首先对人类移动性的相关研究进行了简要介绍。对人类移动性的三个重要属性即时间、空间、连通性进行了着重叙述。并针对人类活动规律以及周期性研究做了详细描述。然后，针对现如今无线技术的发展情况，对基于GPS、基于移动蜂窝网络以及基于WIFI的数据获取方式及其特点进行比较分析。实现并完善了无线实境系统。并有选择性的摘取了一些无线技术与人类移动性研究相结合的应用2.1 人类移动性研究2.1.1 人类移动性属性如今，人类移动性的相关研究主要是基于移动性的空间属性、时间属性以及连通性属性三方面展开。其中，移动性的空间属性是指人类移动的物理空间1 。即通过不同人与不同物理空间的对应关系区别于其他随机运动。移动性的时间属性是指人类移动的时间变化1。即通过不同人在不同地点的时间分布来表示其时间属性。人流量的分布规律正是人类移动性时间属性上的体现。移动性的联通性是指社会群体间的相互关系1。其中，移动性相关的跳跃长度、质心、回转半径可以用来描述人类移动性的空间属性2。跳跃长度用来指代人群活动的距离；质心用来指代各个质点的位置矢量和对应质量加权平均得到的平均矢量；回转半径则是关于运动轨迹如何远离质心的相关描述。Gongzalez等在研究单个人类移动模型中发现跳跃长度的分布含有幂律分布（以指数截止形式呈现）1。Brockman等在研究钞票流通规律时发现，大部分钞票仅是在一个比较狭窄的空间内流动，只有一小部分钞票会流通到更远的区域1。上述研究结论从侧门印证了人类相关生活经验，即人们只有很少的机会进行远距离的迁移，而在大部分的时间内都是在短距离内移动。向上述的这种移动规律被叫做Levy飞行模型2。Yan等则通过研究不同类别的人群（学生、上班族、退休者和家庭主妇）认为个体移动过程并不能完全等同于群体移动过程。即个体移动过程不能通过Levy飞行或截断的Levy飞行模型来很好的呈现3。而对于回转半径来说。Yan等通过工作、回家、休息三种连续行为将人群移动模型简化。并以此得出每人每天的活动范围呈现为椭圆状。提出了一个针对该活动区域计算回转半径的方法。通过该方法详细说明了人类移动性的空间属性具轨道性、中心性以及随机性等特点。举例而言，中心性体现在家与其他活动地点相比占据着大部分活动区域的中心。而轨道性主要体现在当人们处于一个狭窄的空间内，其活动模式具有一定的轨道性或者说周期性3。Gonzalez等建议采取回转半径当做个人移动距离的表征。其思路在于通过回转半径范围内的运动轨迹对个人移动轨迹进行建模2。而针对人类移动性的时间属性，绝大多数优秀的科学家都乐于关注于时间和频率这两个参数，试图通过这两个参数将人类移动性的时间属性描述清楚。Song等就重点关注了人群的访问时间参数，通过处理分析海量用户的手机访问时间的分布数据集，得出访问时间在不同地点符合不同的截断幂律分布。Gongzalez等通过分析某一时间段内人们返回特定位置的概率，得出返回该位置的频率与该位置对群众的吸引力成正比，随后通过数学推导得出该频率与齐夫定律相符。除此之外，时间属性在不同的场景中还具有随机性，周期性等特点。举例来说，绝大多数的工作日中上下班的行为具有很强的周期性，而探亲访友相对来说呈现出很大的随机性4。相对前两种属性而言，人类移动性的连通性由于其考察目标、研究目的的不同，相对而言考量的指标参数更多，分析模式也更加复杂。典型的参数包括有接触频次，接触时间，人群活动与环境的交互方式等等。Karagiannis等通过分析呼叫记录（CDR）揭示出人类接触时间更符合指数截止形式的幂律分布5。而Chaintreau等通过分析WIFI和GSM数据发现数分钟至半天时间尺度上的人类接触时间分布也符合相关幂律分布6。除此之外，还有一些关于人群活动与环境间相互方式的研究。如Vazquez等通过调研分析地理环境对人群活动的影响，得出二线城市环境中绝大部分家庭的活动半径在一公里之内。而恰恰相反，这种在次发达城市中十分常见的规律在发达城市中只占不到一半7。科学家们利用人类移动性连通性相关的分析结果可用在客流疏导，交通调配等领域。针对人类移动性研究的一系列问题，如个体行为之间的关系、人类移动性模型，轨迹与位置的关系等，Asgari等将人类移动性研究方法分为三条主要基线，即基于轨迹、基于网络中的流和基于动态接近网络。基于轨迹的人类移动性研究主要通过分析用户轨迹，采用大数据分析等方法，利用跃长、回转半径等指标得出个人移动模式。文献指出个体单位时间内在两个地点之间的移动次数与出发地人口数量和目的地人口数量成正比，与二者之间的距离成反比。Csaji等利用大数据分析，对大量手机用户数据进行了分析，通过应用主成分分析法将用户最常去的位置聚类到家庭、办公室以及其他频繁位置，并通过位置分类得到了相当准确的人口分布。8基于网络中的流的人类移动性研究中，图论和网络科学被广泛使用。人类移动性的研究中定义了多种不同的网络，比如交通网络、传输网络、接触网络和社会网络等。图论通过分析真实空间的抽象网络来研究人类活动，利用图论建立系统模型可以得到网络的一个部分对另一部分的影响以及如何优化网络9。图论中的属性，如中心、连通、路径长度、直径、度和群，在网络科学研究中同样发挥着关键作用。基于动态接近网络的人类移动性研究主要是通过网络中个体节点之间的路由来揭示人类移动性的时空属性和连通性属性，并进行预测。其网络拓扑结构是随时间变化的。这类研究方法反映了人类移动性的复杂性。其重点不是研究个体的轨迹，而是社会行为。Clause等通过研究动态接近网络的时空连接关系。发现其遵循重尾分布，接触间隔显示出强烈的日周期性行为10。Jiang等基于用户呼叫记录研究了人类交互时间以及移动手机用户呼叫的动力学特性11。2.1.2 人类活动规律及周期性研究根据上一小节所述，人类移动性中时间属性具有周期性（Periodic），不定期行为（Aperiodic），零星行为（Sporadic）等特点。人流量在时域上的分布情况正是体现出这些特点11-12。基于此，Gambs13移动马尔可夫链模型进行了扩展，提出了包含n个以前访问地点信息的移动性模型-n-MMC，在预测准确度方面有大幅提高。而Csaji等12利用数据挖掘技术对手机用户中大量数据进行了挖掘分析，将用户最常去的位置聚类到家庭、办公室以及频繁位置通过概率推理中的主成分分析方法进行分析并分类，得到了相关性高达92%的人口分布模型。Gonzalez等人14则基于人类移动性的时间属性概念。着重研究了人群活动的访问频率，并通过分析返回时间概率分布发现访问位置的频率正比于城市规模，进一步的研究发现访问频次符合齐夫定律。 相对而言，动态接近网络的研究工作主要是揭示时空属性和连通性属性，例如人群接触的平均时间或者是见面频率，利用这些信息参量进行建模分析15。与之前基于个人信息所得到的结论不同，这些网络链接表明的是一种群体间、社会间的联系16。在此交互活动基础之上。移动性网络充分体现出人类移动性的复杂性。移动性网络的研究重点已经从单个个体的时空间属性转移到群体，从单个轨迹、频次、停留时间转移到群体行为甚至是社会活动。Clauset等人17对此进行了深入研究，尽管结果不是很明显，但是基于移动性网络的时空连接呈现出一定的重尾分布。随后，为了探讨接触时间（inter-contact）网络，他们研究了不同时刻的邻接节点以及对两个连续的网络快照之间的相似性进行了衡量。最后得到的频谱结果呈现出显著的日周期性。目前，研究者已经用过不同的概率方法构造出模型来分析相关用户行为。比较常用的概率方法模型有贝叶斯模型以及马尔可夫模型18-21。这些模型可以用来对无线网络中用户移动性行为进行特征建模。并依据这些模型对符合模型特点的用户进行行为预测分析。除此之外，也有使用N-GRAM模型22对特定场景下用户行为异常进行模式识别。结合上文可知。由于人流量在时域上的分布情况体现出较强的周期性，所以为了对无线热点下的不同时间、不同地点人流量分布进行周期性分析，本篇论文提出了一个基于频域的方法来分析不同时间、不同地点移动用户的行为及人流量分部，其中用户数据是从OPENWRT路由器获取的移动终端数据。即从频域角度着手，将时域上的人流量分布情况看做信号，采取相关的谱分析方法，将时域中的周期性映射在频域中。从人流量分布的频谱图中揭示人流量分布规律及周期性，并得出结论。2.2无线技术概述现如今,主流的无线探测技术主要分为三类，即全球定位系统、蜂窝移动网络以及无线局域网。三者各自具有各自的特点。下面我们对其依次介绍。2.2.1 无线探测技术分类全球定位系统(GPS)，简单的说，即是通过接入卫星已知的位置与接收机时空信息（某个时间点接收机与卫星间的距离）来进行定位。可作为交通路线监控、交通管理指挥、预防交通堵塞以及防盗等功能 22。除此之外，测速也是GPS非常实用的功能之一。通过安置GPS模块在车辆目标中，可以在室外有效的收集车辆目标的位置变换信息，从而实现非常精确的定位测量与测速测量。于此同时，GPS也可以通过相关数据分析技术研究车辆行驶轨迹追踪、动物迁徙等规律。实现方法是利用蜂窝移动网络将GPS获取的目标信息及时传输至相应基站。通过基站进一步送达分析中心进行相关处理。蜂窝移动网络(Cellular network)，是目前主流的通过蜂窝组网来进行信息交互的移动通信技术。随着时代的发展，现如今3G甚至4G通信技术的应用已经在我们周围屡见不鲜。具体来说，蜂窝移动网络监测技术在监测方式方面可以分为主动形式和被动形式。通过在用户的智能终端上安装相关的信号收集器来进行信号采集监控的视为主动形式，而通过蜂窝移动网络本身采集智能终端相关信息的视为被动形式。两种方式都是通过小区基站与智能终端建立连接后进行监测的。无线局域网(WLAN)，以主流的基于WIFI信号作为传输媒介的局域网络为例，是可以通过无线信道实现有线局域网功能的计算机网络。换句话说，在有热点提供的情况下，WLAN可以满足使用者自由的接入网络并获取信息。WIFI作为最主流的的无线局域网技术，在笔记本电脑、平板电脑、手机、MP3等多种智能终端中越发普及。在使用WIFI接入网络的同时，类似于OPENWRT路由器的接入装置会通过嵌入式软件捕获相关用户信息作为探测之用。2.2.2 无线探测技术对比具上节所述，三种主流的无线探测技术都具有一定的特点及适用范围。通过比较我们可以得出以下结论。GPS定位精确，定位精度10米左右，覆盖范围广，几乎可以覆盖整个地球表面，可以提供覆盖全球范围以及高精度、全天候的连续定位能力，而且GPS还可以测量用户的移动速度，GPS是用来进行人类移动性测试一个很好的选择14。但其在高楼林立的城区和室内等对GPS信号遮挡严重的密集环境中，接收机捕获不到足够强度的卫星信号，信号质量变差或完全丧失，在这种环境中，GPS的定位质量难以得到保证甚至无法完成定位，使其可用性受到严重制约。GPS模块价格较贵，并且耗电量比较大32。对于蜂窝移动网络，其最大的优势就是拥有大量的用户。CDR不但提供了用户的时间信息，还包含了用户的空间信息。CDR的缺点是用户的信息在时间上较稀疏以及位置信息粗糙。WLAN网络因其普及范围广，室内覆盖率高，因而能够提供较好的室内定位信息。WLAN 耗电量比较低。WLAN的缺点是覆盖范围比GPS和蜂窝网络的覆盖范围小，单个接入点的覆盖范围一般在100米以内。本文研究的是基于无线热点的WiFi用户行为，是通过开发改造后的AP来获取用户的WLAN信号及相关信息，目前这方面的研究还非常少。采用WLAN来获取用户信息可以用于人流统计、位置预测以及研究人类异常活动等。综上所述，WLAN由于覆盖率高，可以在密集城区和室内提供便捷高效的高质量定位服务等优点，在无线实境监测技术尤其是对室内用户进行监测上具有很大的发展优势。2.3无线实境系统实现及优化由前文所述，无线探测技术日趋成熟，人类移动性也越来越多的通过数字信号呈现在我们面前，基于探索室内人流量的需求，我们采取WIFI作为无线实境系统的数据获取途径，具体流程即：通过OPENWRT路由器将监测场景中移动终端发出的无线WIFI信号进行采集。然后将收集到的原始数据自动上传到公网平台。最后公网平台负责结合数据分析程序对采集到的数据进行预处理。之所以选择WIFI技术作为无线实境系统的数据获取途径，主要是由于其可以在室内方便部署的特点。现如今，WIFI功能已经逐渐成为绝大多数便携式电脑以及智能手机的标配功能。而在校园、商场、办公室、家庭等场所中具有WIFI热点的路由器也随处可见。由此可见，WIFI技术拥有广泛的受众群体。著名设备商ERICSSON预测，未来5年内，将有多达五十亿部的智能终端会在全世界范围内投入使用。接入无线网络笔记本电脑将占百分之五十，这个数字相比于前五年上升了将近十倍。而数据流量甚至会达到前五年水平的十五倍。相比之下，CDR数据存在着位置信息粗糙以及时间稀疏问题，GPS无法实现室内定位的功能。而且二者在部署及扩展方面与WIFI技术均有一定的差距。由于人们活动的范围大部分是在室内进行的。所以，WIFI信号中包含的MAC地址、信号强度、接入时间、接出时间信息会为人类移动性研究、人流量分布研究、活动模式、社交方式等提供有效的数据依据。由于WIFI具有诸多优点，并且WIFI信号本身也包含区域位置信息。因此，许多科学家都选择利用WIFI信号作为数据集来对人类移动性进行轨迹预测、场景识别、行为分析等研究。微软研究院曾经做过一个关于用户聚集度的研究，他们利用手机中的APP去搜索WIFI信号，基于WIFI数据通过EZ服务进行定位，从而生成出表现人流量聚集度的热图，其中具体分为表现人群数目在某一时间段内的数量热图以及表现每个地点平均停留时间的时间热图等等。而Gambs则在前人研究的基础之上，以WIFI信号作为数据集，将移动马尔可夫链模型进行了扩展。提出了包含n个以前访问地点信息的移动性模型-n-MMC。算法核心思想即基于前n个移动终端访问位置，套用加入新参量的markov模型最终实现对第n+1个位置的预测。实验结果证明，该模型在位置预测准确度方面高达百分之九十以上，相比之前结果有很大提升29。不仅如此，WIFI信号中包含的接入时间、接出时间也可以用来研究人类移动性，特别是其时间属性。University of South Carolina、Duke University以及IBM的Manweiler等为了预测用户的停留时间，设计出基于WIFI热点的TOGO系统。并且通过在快餐店、图书馆、咖啡厅等地方设置WIFI热点进行预测性能实验及优化。从预测准确率方面证实了TOGO系统的可用性。本节内容主要是实现并完善了无线实境系统。该无线实境系统主要由三部分组成，即采集端（移动智能终端作为数据源、OPENWRT路由器作为监测节点）、分析端（公网服务器作为分析平台，其上布有JAVA程序实现不同需求的数据分析）、展示端（以WEB作为实时展示端）。其中采集端负责对系统所需的原始数据进行采集，是整个系统运行的基础。分析端将数据采集模块采集的原始数据进行分析处理，将其转化成我们更加容易处理的数据格式。展示端则负责与用户的交互，将分析结果以各种图表的形式展示给用户，接收用户对系统的相应操作。在该系统基础上，对该实境系统进行框架层的优化。下面会对相关内容依次介绍。2.3.1 数据采集在无线实境系统中，系统分析所需数据是通过采集端来完成的。换句话说，整个系统运行的基础就是采集端。基于实际需求考虑，我们采取了OPENWRT路由器作为采集端主要设备，基于WIFI信号，对智能终端的MAC地址，信号强度以及接入时间、接出时间进行采集、整理、存储，最后上传至公网形成移动性分析所需要的原始数据。具体来说，当处于OPENWRT路由器信号覆盖范围内，该路由器会向周围智能终端采集基于WIFI的SHORT PING信号。该PING信号可以通过OPENWRT系统内的C语言程序实现对其的捕捉及解读。当有智能终端的WLAN功能被用地址户开启后，其在接入WLAN前以主动扫描和被动扫描的形式寻找附近可以使用的无线网络。其中，SHORT PING信号即是智能终端在进行主动扫描时发出的信号。在该PING信号中存在的PROBE REQUEST帧是包含有智能终端MAC地址的信息帧。可以通过OPENWRT路由器进行解析。从而获得智能终端的MAC地址信息，于此同时，诸如信号强度、接入时间、接出时间等信息都在PING信号到达OPENWRT路由器时被记录。在采集到原始数据之后，将这些原始数据以txt文件形式上传至公网服务器端，同时录入数据库。以备数据分析程序做处理。以上，就是整个数据采集过程。图2-1即是对数据采集过程的展示。图2-1无线实境系统数据采集过程2.3.2 数据分析在无线实境系统中，原始数据需要通过数据分析程序（通常使用JAVA程序）进行预处理，将提炼出的数据存入关系型数据库方便网站展示。而在通常在网页展示时所利用到的核心参数如下所示：1. 接入人群数量：接入人群数量是无线实境系统进行分析的数据基础。接入的意义是当有终端使用者在某一场所打开终端WIFI并被放置在该场所的OPENWRT路由器检测到信息的过程。而接入人群数量即为这一时间段内OPENWRT路由器探测到的终端用户数量。该参量可以表征为人流量活动规律分析的基础。2. 真实人群数量：在此基础之上，还可以升华出一个新的概念，即通过接入人群数量正确反映出所处该场景下的真实人数。我们把接入人群数量与真实人数数量的比值叫做真实用户比例。这个比例是通过对OPENWRT监测矫正（排除笔记本等电脑终端）以及实境监测矫正（通过实际场景监测预估不同场景中开WIFI的人数与没开WIFI人数的比值）以及捕获率（通过接入信号强度预估进入某一场景中的人数占路过该场景监测到的人数）得到的一个综合数值。不同场景下的真实用户比例不同，通过这个综合值，我们可以通过无线实境系统对人群数量有个较为真实的反映。关于接入人群数量、真实人群数量与人流量之间的关系我会在后面继续详细阐述。3. 到访频率：顾名思义，到访频率即在某一段时间内，某一个终端使用者（通过MAC区分）接入某一场景下的OPENWRT路由器的次数。4. 平均用户逗留时间：终端使用者在某一场所下接出时间减去接入时间所得到的时间长度即为使用者在该场所下所逗留的时间。而通过计算接入人群的所有用户逗留时间，即可以得到该场所下的平均人群逗留时间。5. 用户忠诚度：忠诚度用来反映终端使用者对于该场景的依赖程度，通常是商铺考察的重要指标参数，它可以通过使用者到访频率和平均用户逗留时间结合起来得到。 6. 终端品牌分布：通过无线实境系统可以有效获取到移动智能终端的MAC地址。它与厂商有着一一对应的关系，通过IEEE上MAC地址前六位与移动终端生产商对应表，我们可以筛选出各个移动智能终端的品牌并进行品牌分布的统计排名。以上即是无线实境系统进行数据分析时重点关注的人类移动性指标。在本文中，我们重点关注接入人群数量，也即人流量数据。2.3.3 数据展示如前文所述，移动终端的信息通过数据采集端（OPENWRT路由器）传送至分析端（公网服务器后台）。通过JAVA程序对原始数据进行预处理分析。并将处理后的数据存入关系型数据库。最后通过WEB展示的形式将处理后的有效信息展示出来。最后这一部分内容就是展示块。它负责将各式各样的分析结果如人流量、品牌分布、停留时间以实时形式展现给用户，于此同时，对用户的需求如注册账号、登录、查看自身商铺人流情况进行实时更新展现。以WEB为基础的展示端是无线实境系统的最后一个模块。相对来说，需要更清晰，更直接，更鲜明的呈现形式以及呈现内容。它应该可以满足用户更好的了解自身店铺相关信息的基本需求。这些相关信息即人流量、品牌分布、停留时间等。不仅如此，我们还对当日情况，近七天情况，近一个月人流量进行独立展示。对人类移动性相关信息生成报表进行展示。对不同场景进行对比展示。对不同用户名下的特定场景进行单独展示，设定权限可以不被其他用户查看。如图2-2是针对商铺设计的网站首页，是基于HTML+CSS完成的。图2-2 网站首页如图2-3是针对不同用户登录设计的登录界面，其中用户名与密码是通过JAVASCRIPE与后台进行相互的。图2-3 登录界面如图2-4是用户登录后所查看的不同场景下人流量实时分布图和智能终端品牌分布图。人流量可以查看当天、近七天以及近三十天的分布情况，而智能终端品牌分布可以查看近七天及近三十天分布情况，除此之外，还有类似于人流量热图，不同场景对比图等应用。图2-4 不同场景下人流量实时分布图和智能终端品牌分布图2.3.4 系统优化由前文所示，无线实境系统通过数据采集端、数据分析端以及数据展示端三个模块构成。实现了从原始数据采集、数据预处理（存入数据库）到数据分析、WEB页面展示的整个流程。在此基础之上，我们对这三部分进行了针对性的优化。当前系统存在的问题包括，数据探测不稳定，数据分析内容不够全面，数据分析过程存在逻辑问题，分析结果展示不够全面，应用展示层加载缓慢，应用扩展困难。针对以上的内容，我们从无线实境系统架构优化与功能的新增方面对这三部分提出系统优化方案。1. 数据采集端：数据采集部分由于会受到不同环境断电、信号屏蔽等问题的影响，在无线实境系统中相对来说不是非常稳定。因此，我们针对环境和采集端做了这两方面的改进。在环境方面，我们提前与需要安装OPENWRT路由器的场所管理人员进行沟通，尽可能确保OPENWRT路由器的网络二十四小时通畅以及电源二十四小时供给。同时，尽可能将OPENWRT路由器放置在场所中央或人流量较大的位置，同时保证周围信号干扰程度较低（即降低墙，玻璃窗，隔间等对WIFI信号的影响）。在采集端方面，由于无线实境系统的数据采集端是由OPENWRT路由器实现的。因此，针对市面上不同品牌的OPENWRT路由器，我们对其探测范围、灵敏度以及价格进行比较，并最终选择了TP-LINK的开发式路由器。而在该路由器的基础之上，我们也对不同的OPENWRT系统进行了性能测试，由于OPENWRT系统具有不同的版本，功能丰富的版本相对来说稳定性较差，稳定性强的版本功能又较为单一，经过反复对比后，我们选定了NEATGEAR4300，相对来说可以满足我们的探测数据需求同时具有较高的稳定性。2. 数据分析端：数据分析部分的优化主要分为两方面，一方面数据库的优化，另一方面是数据分析程序中算法的优化。数据库的问题主要是由于原始数据需要在预处理后实时存入到后台服务器的数据库中由于数据库结构设计的不合理，存入时间较慢，而且JAVA后台分析数据速度会变得很慢，影响前端展示效果。优化策略是通过建立数据字典，去梳理数据库中不同表的关系。目的是去除冗余数据，并对需要展示的数据组合设置视图以及索引，加快后台程序搜索速度。同时由于数据库条目过多，我们选择进行表拆分甚至是数据迁移。表拆分即将不同月的数据分开存放而不是集中存放入同一个表当中， 保证每个表的简洁性，提升表的读取效率。数据迁移即对长时间的数据进行数据库备份转移，保证公网服务器的资源利用率最大。而在数据分析程序中，由于一开始只是为了实现数据分析的功能，没有过多的考虑到程序时间复杂度以及服务器负载能力。于是在读取数据、分析处理会损失很多时间，做不到真正意义上的实时分析。于是我们在原有数据分析程序的基础上进行算法改造。举例说明，在实现终端品牌分布这个需求过程中，我们放弃了通过SQL语句进行逐条查询的方法，而是利用了Java中的一种集合类HashMap。HashMap是根据关键值Key来进行快速查找的对应对象Value的一种数据结构。也就是说，它通过把关键值Key映射到表中一个位置来访问Value，以加快查找的速度。在品牌分析程序中，我将 Key设为唯一移动智能终端的MAC地址，Value设为了相对应的厂商。从而实现在非常短的时间就实现了终端品牌查询工作。3. 数据展示端：在数据展示端，由于需要实时从数据库中获取相关数据用于显示在WEB页面。所以，我们在WEB后台架构方面的实现是基于J2EE的基本架构。前端利用了HTML、JavaScript、CSS、BootStrap等技术结合，同时实现动态与静态页面的展示。后台将SPRING+HIBERNATE相结合，使用MVC对原始代码进行迁移，提升系统的扩展性能以及开发效率。SPRING+HIBERNATE框架属于J2EE。实质上是企业级的Java框架。它的本质是一套针对网站架构的技术指南和开发框架。以该框架为基础，其上的软件设计模式MVC能够为软件开发人员提供便利的使用以及完善的指导。相比其他框架，SPRING+HIBERNATE的扩展性、迁移性、鲁棒性等方面都有很大的提升。对于减少开发流程，提升工程效率，通过插件丰富系统功能等方面有显著效果。2.4 本章小结首先，本章通过介绍人类移动性属性详细阐述了人类移动性相关理论研究工作。即空间、时间和连通性是人类移动性的三个基本属性，其中人类活动与随机运动之间的区别表征了空间熟悉。而人与位置之间的时间关系表征了时间属性。人与人群体之间甚至是人群与环境之间的相互关系表征了连通性属性。在此基础上，通过列举相关实际研究工作去对人类活动规律以及周期性规律等方面进行阐述。紧接着对无线技术进行了介绍。即对无线探测技术进行了调研及分类，同时对调研到的相关无线探测技术进行横向对比。为无线实境系统的设计、实现、完善提供了理论基础和研究依据。最后针对自身实验室实际情况和需求。设计、实现并完善了无线实境系统。从数据采集端、数据分析端、数据展示端方面对无线实境系统进行了详细介绍。并针对现有系统提出并实现了优化方案。为人流量的时频域分析打下平台基础。由于人流量在时域上的分布情况体现出较强的周期性，所以为了对无线热点下的不同时间、不同地点人流量分布进行周期性分析，本文从频域角度着手，将时域上的人流量分布情况看做信号，采取相关的谱分析方法，将时域中的周期性映射在频域中。从人流量分布的频谱图中揭示人流量分布周期性规律，并得出初步结论。第四章 无线实境分析系统应用研究第三章 人流量时域分析3.1人流量定义及数据预处理3.1.1人流量定义如前文所述，以WIFI作为无线探测手段可以有效的实现探测场景内接入人群数量，并且部署简单，实时性强。但是，WIFI探测的前提是以终端使用者开启终端WIFI功能。如果不是所有的用户都打开WIFI功能或者某些笔记本电脑也打开WIFI功能的话。通过计算接入设备的数目并不能正确反映场景内的用户数目。然而，基于无线热点的人流量时频域分析在一定意义上来说是研究人类群体在某一场景下的活动规律、活动周期甚至是变化趋势。所以，在此理解基础上，我们以接入人群数量（即无线实境系统在某一时间段某一场景中探测到的开启WIFI的终端数目）作为该场景下在这一时间段的人流量。即通过开启WIFI功能的终端使用者的活动情况来映射出该场景下整体人群的活动情况。3.1.2人流量数据采集及预处理人流量统计的数据集是通过在无线路由器中嵌入无线探测系统，构成我们测量中使用的无线探测设备，将该无线探测设备部署于大学实验室、办公室、酒店等多处，对这些无线热点下的移动智能终端的无线信号进行数据采集。具体来说，即数据采集采用的设备是无线实境分析系统的监测模块，通过探测周围智能移动终端发出的pi