手机信令处理实时交通信息

手机信令处理实时交通信息2018年7月01背景0203目录CONTENT基于信令的实时交通信息处理信令数据与浮动车数据融合3背景4基于信令的实时交通信息处理架构离线预处理数据清洗信令定位路径推测路况生成数据融合5架构5手机信令处理引擎数据采集客户端处理系统清洗轨迹积攒推测融合系统单车计算发布系统多车融合城市分组填补平滑特殊模型处理服务端客户端实时处理离线处理数据轮转HDFS文件系统MongokafkaRedisCouchbase常驻点挖掘道路基站对挖掘切换点与道路匹配预处理切换点间路径推测预处理6离线预处理目的：为清洗数据进行预处理，提前预编译好切换点间路径，提升处理效率。1.常驻点挖掘2.道路基站对挖掘3.切换点与道路匹配预处理4.切换点间路径推测预处理7数据清洗-删除无效数据

现有无线移动数据存在支持路况信息计算的条件，并且保持路况的鲜度，故采用5分采样周期，1分钟滑动窗口模式处理。

无效数据是指处理周期内未行驶在道路范围内或移动通信记录缺失的用户数据。实际处理中应删除以下数据：处理周期内存在记录中基站未覆盖城际高速手机数据。一个处理周期内记录数少于三条的手机数据，则删除该手机记录序列。切换序列内存在两个切换点时间间隔大于10分钟或距离大于5公里的手机数据。8数据清洗-删除非移动数据

9数据清洗-删除非车载数据

重复切换是指处理周期内手机数据切换序列中出现环路。根据异常数据特征分析中定义的重复切换特点，寻找非车载数据进行剔除。10数据清洗-删除非车载数据

重复切换是指处理周期内手机数据切换序列中出现环路。根据异常数据特征分析中定义的重复切换特点，寻找非车载数据进行剔除。11数据清洗-删除常驻人口数据

根据预处理挖掘的常驻人口与基站的映射表，进行相应的信令清洗过滤。12信令定位-基于测试车辆采集的匹配点通过测试采集车辆，通过记录切换点基站信息以及信令切换时刻的GPS定位信息，进行切换点与道路的匹配定位13信令定位-基于切换点定位手机发生切换，且切换基站间距离小于2公里的，基站切换范围内(A区域)所有的路链与基站连线的垂直平分线交点作为切换点R=Distance(C1,C2)/2/0.8Distance:求距离C1/C2基站点位置注：该算法是在未知基站影响范围的情况下的理想估算范围，如果可提供基站影响范围，我们会按照实际基站影响范围来计算14信令定位-基于基站定位此定位主要应用于,手机发生基站切换操作，且两个基站之间的距离大于理论值时(目前定义为2km，即中途有无信号情况),那么使用此方式定位。通过计算基站覆盖范围内与道路Link的交点，将交点定义为信令切换点。15路径推测

按照预先标定好的切换网络，在理想条件下每条道路都有一条稳定的切换序列与之对应路径推测算法主要是把上一章节位置匹配得出的结果(即切换点位置及备选link)进行逻辑连接,把可以连通的多个切换点形成的备选link连接成一条/多条轨迹信息,然后经过筛选得出最优的车辆行驶轨迹。16路况生成-单车计算通过轨迹推测最终确定车辆行驶的轨迹，以及切换点在地图上的具体位置，然后根据相邻切换点间的距离以及切换点间的时间差计算出当前信令轨迹所经过的每根Link的速度及路况信息17路况生成-多车融合聚类加权平均方法：首先将每辆车的行驶速度按照3个设定的速度区间（配置文件中设定的每种道路等级的路况计算速度区间）进行聚类，计算各自的权重比例；再对每辆车的速度乘上这个比例并求和(设为SpeedSum)，同时将每辆车的速度权重比例也求和(设为ScaleSum)，最后用SpeedSum/ScaleSum即为该Link的平均速度。举例如下：【例】某条Link上有10辆车经过，速度分别为V1，V2，……，V10，其中V1~V2属于一个速度区间，V3~V5属于一个速度区间，V6~V10属于一个速度区间。则SpeedSum=(V1+V2)*(2/10)+(V3+V4+V5)*(3/10)+(V6+V7+V8+V9+V10)*(5/10)ScaleSum=2*(2/10)+3*(3/10)+5*(5/10)该Link的平均车速=SpeedSum/ScaleSum18路况生成-状态确定道路等级畅通缓慢拥堵高速(+∞,60km/h](60km/h,40km/h](40km/h,0km/h]城快(+∞,40km/h](40km/h,20km/h](20km/h,0km/h]国道(+∞,25km/h](25km/h,15km/h](15km/h,0km/h]省道(+∞,25km/h](25km/h,15km/h](15km/h,0km/h]其他道路(+∞,20km/h](20km/h,10km/h](10km/h,0km/h]常规阈值算法自由流算法基于历史的交通流数据，得到每条道路的自由流速方法一：可以采用低峰时段（或夜间）的道路速度平均值近似自由流速度方法二：类似85%位车速理论，取道路的p%位车速（速度从小到大排序）根据欧美的标准，拥缓区间取自由流速度的72%与36%作为畅通与拥堵的分界线。19信令路况与CN路况相关对比整体说明鉴于以上特点，需要进行手机信令与浮动车数据的融合，通过浮动车数据提升城市内道路路况的品质，弥补由于手机信令精度问题造成的质量损耗；而对于覆盖的范围更广数据量更大手机信令数据，可以补充浮动车数据源覆盖不到区域的路况，二者的融合将会发挥各自的优势，必将带来更高品质的路况信息，提高整体的服务质量。对比项手机信令CENNAVI数据量海量级别车辆数:200万+/分钟（2000W+Gps点/分钟）数据覆盖范围全域全国300+城市内及城际间高速数据品质数据精度差、数据载体对象复杂、噪音多城市内主要道路覆盖率高，数据精度高；城际间高速国省道覆盖相对较差拥缓畅区间划分基于道路等级设定速度区间整体基于道路等级，并结合自由流速度，针对特殊道路进行特殊处理路况更新周期每5分钟支持:5分钟、1分钟、30秒路况发布精度基于TMC位置参考、无路况精细化、路况表达粗矿支持多种位置参考，支持基于LINK、亚LINK的精细化路况发布对比项手机信令CENNAVI数据量

数据覆盖范围

数据品质

拥缓畅区间划分

路况更新周期

路况发布精度

优势项对比强强联合20融合方案整合方案

-特征级融合方案方案概述基于过程的融合方案：即结合信令终端与CN车辆在同时间段内、相同LINK上，基于各自速度与权重等信息的优化与融合处理。融合周期为1分钟。21特征级融合方案融合结构图特征融合主要包含4部分处理:主要应对于输入数据中的异常过滤数据清洗基于LINK速度的融合处理融合处理主要是防止交通状态发生异常跳变,使交通状态更加有连续性数据平滑速度阀值过滤、速度离群过滤、完走率过滤交通事件过滤时间平滑空间平滑计算数据鲜度权重加权融合010203主要是防止因某个时间点无车辆通过而导致无路况发布填补处理时间填补空间填补0422数据清洗功能※主要应对于输入数据中的异常过滤,主要包含四个方面：速度阀值过滤：按照不同道路等级的自由流速度*1.2,进行过滤超过阀值的异常数据。速度离群过滤：通过对当前融合周期内的所有数据进行离群操作,过滤掉不符合条件的数据。完走率过滤：通过对不同车辆的完走率计算,过滤掉不符合条件的车辆数据。交通事件过滤：通过对封路/施工等不允许车辆通过的路段进行过滤清洗CN有专门的交通事件平台,集合了全国各个地区的事件数据(包括:施工/封路/积水/事故等)

[自由流速度]-自由流速度是一个交通工程术语，指不受上下游条件影响的交通流运行速度。CN利用近4年的历史数据分析挖掘，计算出每条道路的具体自由流速度,存入缓存区,提供使用。

[完走率]-当前车辆在当前路段上行驶里程占路段长度的比例(如果完走率过低,那么标识车辆的轨迹在当前路段上不具有代表意义)。

[离群点过滤]-是在融合周期内，剔除GPS速度显著不同于其他GPS速度的点，处理包含如下4步：

Step3：利用方差思想大范围剔除速度异常离群点，得到速度矩阵M2及速度矩阵M2的平均速度值a2

Step1：计算得到每条Link上单车速度矩阵M1的速度平均值a1

Step2：计算得到M1速度矩阵的标准方差σ

Step4：小范围剔除离群点，得到速度矩阵M3及速度矩阵M3的平均速度值a3，x,y暂均取1/2备注23融合处理功能※

把基于LINK的不同类别的速度数据融合到一起的过程,主要包含四个方面：权重计算：数据鲜度:计算出每条数据在当前融合周期内的数据鲜度:状态权重:即状态相同的越多，在此状态下的数据融合权重越高,计算出每条数据在当前融合周期内的状态权重加权融合方法：通过权重进行加权平均得到最终融合后的速度值。记录贡献度：通过记录每次融合的结果数据中各类型数据的贡献度，用于后续对数据质量的评价和分析。

通过上述基于过程的融合，将各类基于LINK的速度进行融合计算，最终评选出最优的速度，并以此速度来评价当前LINK的实际通行能力（即：路况状态）。概述

单条数据鲜度变量说明:C=融合周期(秒);

dt=数据时间(秒);et=融合周期结束点时间(秒)单条数据状态权重变量说明:N=与当前数据状态相同的数据数量L=数据总数量(W)=N/L融合后速度变量说明:V1=车辆速度X1=数据鲜度W1=状态权重(S)=V1*X1*W1+V2*X2*W2/(X1*W1+X2*W2)变量说明:VA1=A数据源车辆速度XA1=A数据源数据鲜度WA1=A数据源状态权重A数据源融合贡献度(B)=VA1*XA1*WA1+VA2*XA2*WA2/(XA1*WA1+XA2*WA2)24平滑处理功能※

主要是防止交通状态发生异常跳变,使交通状态更加有连续性,主要包含两个方面：时间平滑：主要是防止数据在时间序列上连续异常跳变。例：当前时间戳拥堵,下一个时间戳畅通,再下一个又变回拥堵的异常跳变，故使用平滑算法提升路况连续性空间平滑：主要是防止数据在空间序列上连续异常跳变例：比如两段畅通路段夹杂着1个很短的拥堵，在平滑过程中可以平滑掉异常的路况。

平滑处理主要是从时间序列和空间序列两个方面对路况产生跳变情况的优化，时间平滑主要是针对相同LINK在连续的不同时间点上产生跳变情况的优化；空间跳变主要是针对一组连续的LINK序列上产生跳变情况的优化。通过平滑处理使得路况表达更为接近实际交通行为。概述25填补处理功能※主要是防止因某个时间点，某个路段无车辆通过而导致无路况发布，主要包含三个方面：时间填补：对于近期内，有车辆通过可以计算出路况的路段,那么用最近时间戳的路况数据进行填补。空间填补：当某条Link上没有实时交通流信息并且时间填补失败，就在当前时间的数据中查找该Link的前后接续Link是否存在实时交通流信息，如果存在，就进行空间填补否则不进行填补。历史Pattern填补：CN通过对历史浮动车路况进行深度挖掘分析，而形成一套路况TrafficPattern系统，可以查询出历史当前时间特征下的路况信息进行数据填补。

三种填补方式的优先顺序为时间

空间Pattern，通过这三种不同的填补方式，来保证满足填补条件的数据的正常发布。概述[备注]-TrafficPattern为CN公司历史数据分析的一套工具,通过聚类/平滑/决策树等方法，计算出每个特征日，每个时间段等多个特征下，当前时间戳的交通状态,如当前时间17点30分，特征是周五晚高峰/暴雨天那么就可以分析出历史周五晚高峰/暴雨天当前路况的运行状态用作填补。26融合方案小结融合的优势通过基于过程的[特征级融合]可以将基于速度的准原始数据，以CN的处理流程进行路况处理，并将得到的路况结果，再以基于结果的[决策级融合]处理，对处理结果的再校验，通过两次不同的切入方式融合逻辑处理，必将会得到更加准确的路况结果。补充CN部分区域数据源不足的问题，提升CN数据源较少区域的路况覆盖及路况准确率。更短的融合周期(每分钟)为信令路况发布的时效性提供了更好的保证。通过二者的融合，可以对发布结果进行相互校验与评判，最终提升发布路况服务的质量通过融合后的结果数据与为参与融合的信令路况数据、以及实地路况间的对比可以对现存处理的问题进行发掘，为信令路况准确率提供处理参考。综述27融合方案小结01CN与信令路况的相互校验整体路况质量的提升路况质量提升数据分析信令路况更新周期：5分钟；CN路况更新周期：1分钟更好的时效性CN路况:提供更精准的路况数据信令路况:补充CN的部分区域数据源覆盖低数据的相互补充指标1.补充CN部分区域数据源不足的问题，提升CN数据源较少区域的路况覆盖及路况准确率。020304指标1.通过二者的融合，可以对发布结果进行相互校验与评判，最终提升发布路况服务的质量。指标1.更短的融合周期(每分钟)为信令路况发布的时效性提供了更好的保证。指标1.通过融合后的结果数据与为参与融合的信令路况数据、以及实地路况间的对比可以对现存处理的问题进行发掘，为信令路况准确率提供处理参考。数据中问题不断挖掘，质量不断提升

通过基于过程的[