高速公路大数据及公路货运统计

1、高速公路大数据与公路高速公路大数据与公路货货运统运统计计中国国家统计局中国国家统计局服务业统计司服务业统计司2014年年10月月28日日第第一部分一部分研究研究背背景景第第二部分二部分高速高速公公路大路大数据数据介介绍绍及及预处理预处理第第三部分三部分基于基于大大数据数据的的超超限限车辆车辆规规律律分分析析第第四部分四部分大数大数据据应用启应用启示及示及前前景景展望展望一、一、公路运输统计的重要性及存在公路运输统计的重要性及存在的的困难困难二、结合大数据的公路运输统计二、结合大数据的公路运输统计新新方方案案简介简介第第一部分一部分研研究背景究背景第第 一一 部部 分分研研 究究 背背 景景一、

2、公路运输统计的重要性及一、公路运输统计的重要性及存存在的在的困困难难交通运输交通运输国民经济运行的大动脉国民经济运行的大动脉公路运输公路运输交通运输的主要组成部分交通运输的主要组成部分公路运输统计公路运输统计对于反映交通运输行业和对于反映交通运输行业和 国民经济形势具有重要意义国民经济形势具有重要意义(一一)重要性重要性一一（二）存在的困难（二）存在的困难部部 分分第第研研 究究 背背 景景公路运输统计受行业自身特点影响，存在一些困难公路运输统计受行业自身特点影响，存在一些困难，主要集中在公路货运统计上：点多面广、流量流，主要集中在公路货运统计上：点多面广、流量流 向繁杂、市场准入门槛较低、经

3、营业户极不稳定向繁杂、市场准入门槛较低、经营业户极不稳定。 这使得公路运输统计对公路运输实际情况反映有限这使得公路运输统计对公路运输实际情况反映有限，影响了其服务社会的功效。，影响了其服务社会的功效。第第 一一 部部 分分研研 究究 背背 景景服务业统计司与交通运输部综合规划司结合大数据设计服务业统计司与交通运输部综合规划司结合大数据设计 了公路运输量统计的新方法：通过传统抽样调查获得月度运了公路运输量统计的新方法：通过传统抽样调查获得月度运 量基数，采用大数据思路推算月度波动系数量基数，采用大数据思路推算月度波动系数, ,月度运量基数月度运量基数乘乘 以月度波动系数得到当月运量。以月度波动系

4、数得到当月运量。客运波动系数客运波动系数客运站售票记录客运站售票记录货运波动系数货运波动系数高速公路计重收费记录高速公路计重收费记录新方案仍存在一些问题尤其是货运统计部分，因此我司新方案仍存在一些问题尤其是货运统计部分，因此我司 对高速公路大数据展开了更深入的研究，希望能进一步完善对高速公路大数据展开了更深入的研究，希望能进一步完善 公路货运统计以及探索传统统计与大数据结合的途径。公路货运统计以及探索传统统计与大数据结合的途径。二、结合大数据的公路运输统二、结合大数据的公路运输统计计新方新方案案简介简介第第二部分二部分高高速公路速公路大大数据介数据介绍绍及预处理及预处理一、数据来源及情况一、数

5、据来源及情况二、原始数据预处理二、原始数据预处理第第 二二 部部 分分高高 速速 公公 路路 大大 数数 据据 介介 绍绍 及及一、数据来源及情况一、数据来源及情况（一）数据来源（一）数据来源 高速公路联网监控高速公路联网监控系统的原始记录系统的原始记录。各类检测监控设备各类检测监控设备环形线环形线圈圈微波检测微波检测 检测检测器器器器超声波超声波检检视频检测视频检测 测测器器器器计重收费计重收费人工输入人工输入对经过车辆实时对经过车辆实时识别、记录识别、记录预预 处处 理理系统系统解解 压压后后 大小大小达达 到到 1 1TBTB, , 解解 压压 就耗费近就耗费近2020个小时个小时。Vo

6、lumVolume e数据数据体体量大量大VelocVeloci it ty y高高速性速性VarieVariet ty y多多样样性性ValueValue价价值值性高性高符合大数据特性符合大数据特性第第 二二 部部 分分高高 速速 公公 路路 大大 数数 据据 介介 绍绍 及及（二）数据情况（二）数据情况预预 处处 理理原始数据情况原始数据情况原始原始 数据数据2 201013 3年年1 1月月至至2 201014 4年年4 4月月、14 14 个省个省的的原原始始数据数据，共共计计约约50 50 亿条记录亿条记录。原始原始记记 录录以以 t tx xt t 格格式式 存存储储 ，解压解压

7、前前均被压缩后存放在共计均被压缩后存放在共计22221 10 0 个压缩包个压缩包中中，所有，所有压缩压缩包包合合计大小约为计大小约为90G90GB B。解压解压 后后二、原始数据预处理二、原始数据预处理（三）（三）形形成具备成具备基基本的检本的检 索、汇索、汇总总功能并功能并能能进一步进一步（一）搭建数据（一）搭建数据 处理平台处理平台（二）对原始记录（二）对原始记录 进行预处理进行预处理第第 二二 部部 分分高高 速速 公公 路路 大大 数数 据据 介介 绍绍 及及预预 处处 理理统计分析的数据仓库统计分析的数据仓库（一）搭建数据处理平台（一）搭建数据处理平台从控从控制制节节点，点， 通过

8、心通过心跳跳技术监技术监 控主控控主控节节点，以点，以 避免单避免单点点故障。故障。数据数据的前的前端端应用，应用， 包括：包括：查查询统询统计计，OLAP，图表展示图表展示，数数据挖掘。据挖掘。第第 二二 部部 分分高高 速速 公公 路路 大大 数数 据据 介介 绍绍 及及预预 处处 理理两台两台PC服务服务器器，每，每台台部署部署24个数个数据据节点节点，共计共计48个数个数据据节点。节点。（二）对原始记录进行预处理（二）对原始记录进行预处理通过预处理，去除或者调通过预处理，去除或者调 整了其中的一些无效数据整了其中的一些无效数据、异常数据，补充了部分、异常数据，补充了部分 可以估计的不完

9、整数据可以估计的不完整数据， 对格式、字段含义、代码对格式、字段含义、代码 进行了转化统一，形成了进行了转化统一，形成了 可以进行初步检索、汇总可以进行初步检索、汇总、分析的数据仓库、分析的数据仓库。以车型代码为例：以车型代码为例：第第 二二 部部 分分各省之间的数据格式、各省之间的数据格式、字字 段含义等存在一定差异段含义等存在一定差异。高高 速速 公公 路路 大大 数数 据据 介介 绍绍 及及预预 处处 理理省省样例样例说明说明安徽安徽1-4，11-15标准代码福建福建1-4，1-5根据车种代码处理，1-5转换为11-15广东广东非标准代码，根据推测转换河北河北1-4，1-9需要转换，1-

10、5转换为11-15，6-9转换为15河北河北省省 京沈京沈片片 区区1-4，11-15标准代码河南河南非标准代码，根据推测转换湖北湖北非标准代码，根据推测转换湖南湖南1-4，1-91-4转换11-14，5-9转换15江苏江苏1-4，11-15标准代码江西江西1-4，11-2221-22转换15山东山东1-4，11-15标准代码陕西陕西1-4，1-5根据车种代码处理，1-5转换为11-15上海上海1-4，5-115-9转换11-15，10-11转换为15浙江浙江1-4，1-71-5转化11-15，6-7转换15重庆重庆1-4，1-5根据车种代码处理，1-5转换为11-15第第 二二部部 分分高高

11、 速速 公公 路路 大大 数数 据据 介介 绍绍 及及 预预 处处理理（三）形成具备基本的检索、汇总功能并能进一步（三）形成具备基本的检索、汇总功能并能进一步 统统计分析的数据仓库计分析的数据仓库可交互式的图表展示可交互式的图表展示多维数据在线分析多维数据在线分析 数据检索、汇总数据检索、汇总第第三部分三部分基基于大数于大数据据的超限的超限车车辆规律辆规律分析分析一、目的一、目的二、思路和方法二、思路和方法三、具体实施过程三、具体实施过程 四、初步结论四、初步结论第第 三三 部部 分分基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆一、目的一、目的1熟悉大数据的挖掘分析方法熟悉大数据

12、的挖掘分析方法2进一步摸进一步摸清清各变量特点各变量特点3为完善公路货运统计打下基础为完善公路货运统计打下基础积累统计中应用大数据的经验积累统计中应用大数据的经验4规规 律律 分分 析析思思路：路：从从大大数数据本据本身身出出发发，对，对已已有有各各变量变量自自身身特特征进征进行行初初步步挖掘挖掘， 基基于发于发现现的的规规律建律建立立合合理理的模的模型型，选选择可择可行行算算法法展开展开深深层层挖挖掘，掘，分分 析模型挖掘结果，找出超限析模型挖掘结果，找出超限车车规律规律。根据思路确定方法步骤如下：根据思路确定方法步骤如下：二、思路和方法二、思路和方法数据范围确定数据范围确定各变量探索各变量

13、探索选择模型选择模型确定建模变量确定建模变量模型结果分析模型结果分析选择可行算法选择可行算法第第 三三 部部 分分基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆规规 律律 分分 析析第第三、具体实施过程三、具体实施过程( (一一) )数据范围确定：选择数据质量较好的某省初探挖掘数据范围确定：选择数据质量较好的某省初探挖掘原始数据加载过程原始数据加载过程 损失程度损失程度确确定挖定挖掘省份掘省份：原始记：原始记录录 2 2 亿亿多条多条，其中，其中 超限记录超限记录2 20 000 00 多万条多万条。出入口收费站编号出入口收费站编号、车种和车型代码、车种和车型代码 等与字典表对应情

14、等与字典表对应情 况况。三三 部部 分分里程、车货总重里程、车货总重、 超限率等数据完整超限率等数据完整 程度程度。车牌号中有效数据车牌号中有效数据 比例比例规规 律律 分分 析析基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆（二）各变量探索（二）各变量探索第第 三三 部部 分分基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆小小 时时入入 口口 站站规规 律律 分分 析析点点第第 三三 部部 分分基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆车车 轴轴里里 程程、车车 货货 总总 重重规规 律律 分分 析析、车车 次次（三）选择模型和确定建模变量（三）选择模

15、型和确定建模变量根据对小时、里程、车轴、根据对小时、里程、车轴、车货车货 总重等变量的初步探索，结总重等变量的初步探索，结合考合考 虑需处理的数据量大小，比虑需处理的数据量大小，比较多较多 种模型的可行性和结果的有种模型的可行性和结果的有效性效性 后，最终选择聚类分析模型。后，最终选择聚类分析模型。按变量对于超限特征分析的按变量对于超限特征分析的解释解释 能力和对于超限分析的重要能力和对于超限分析的重要程度程度 进行筛选，确定放入到模型进行筛选，确定放入到模型的变的变 量为量为:月份、小时、里月份、小时、里程程、车、车货货总总 重和车次。重和车次。第第 三三 部部 分分基基 于于 大大 数数

16、据据 的的 超超 限限 车车 辆辆规规 律律 分分 析析（四）模型具体算法（四）模型具体算法聚类模聚类模型型 分分析超限车规析超限车规律律动态聚类动态聚类法法对对K=5K=5、6 6、7 7、8 8、9 9、10 10 都进行了聚类分析都进行了聚类分析层次聚类层次聚类法法未形成理想聚类结未形成理想聚类结果果第第 三三 部部 分分基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆 规规 律律 分分 析析（五）模型结果分析（五）模型结果分析经过比经过比较，较，k k等等于于8 8的的聚类效果优聚类效果优于于k=k=5 5、6 6、7 7、9 9、1 10 0时的效时的效果，果，故选故选 择

17、择k=8k=8的聚类结果：的聚类结果：第第 三三 部部 分分基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆 规规 律律 分分 析析变量列表变量列表群群1群群2群群3群群4群群5群群6群群7群群8进入高速路的月份进入高速路的月份6723101036进入高速路的小时进入高速路的小时13121245182013里程里程58654316161646148915422044218399034车货总重车货总重13898161857870472871173838653车次车次2632131214151516685颗粒数量颗粒数量1483119328 170986 179667 157086 18

18、2685 205430 11625颗粒数据占比颗粒数据占比0.14% 11.60% 16.63% 17.47% 15.28%17.77% 19.98%1.13%第第 三三 部部 分分基基 于于 大大 数数 据据 的的 超超 限限 车车 辆辆 规规 律律 分分 析析群群1 1收费收费站编站编 号号1 120201 106062 201010 01 12 207070 04 45 503030 05 52 208080 01 15 503030 04 46 601010 08 82 230302 207075 502020 05 52 240401 10404颗粒颗粒数量数量3 334343 32

19、4243 306061 123231 1050564646262545448483030位置位置省界省界省界省界省界省界省界省界省界省界省界省界省界省界省界省界省内省内省界省界群群8 8收费收费站编站编 号号2 205050 05 54 402020 04 41 120202 201015 503030 04 42 230302 20707 2 240401 104048 801010 09 96 601010 08 85 503030 010105 503030 05 5颗粒颗粒数量数量3 364643 348483 327273 310103 306063 303032 297972 28

20、4842 260602 25959位置位置省界省界省界省界省内省内省界省界省界省界省界省界港口港口省界省界港口港口省界省界第第 三三 部部 分分超超 限限 车车 辆辆 聚聚 类类 分分 析析 模模 型型四、初步结论四、初步结论超限车超限车 规律规律空间规律：空间规律：大部分超限车从大部分超限车从11个省界个省界站站点、点、2个个港港口站点口站点 进入高速公路（全省共进入高速公路（全省共300多个多个站站点）点）；剩下剩下 的小部分超限车辆多从的小部分超限车辆多从2个省内个省内站站点进点进入入高速高速 公路。公路。时间规律时间规律：超限车辆较多的月份是超限车辆较多的月份是2、3、4月月；较；较多多的小