提升交通管理能力数据策略论文.doc

提升交通管理能力数据策略论文 1、研究背景及意义 目前“大数据”一词成为热点关键词之一预示着大数据时代的到来大数据分析已经不仅仅是信息革命的新阶段更关系到诸多实体企业在电子商务、公共服务及安全上的应用企业的发展革新已经离不开大数据的应用如今企业对于大数据已经不再局限于了解大数据阶段大数据已经开始切实运用于实际云计算和大数据将携手共同掀起生产力大解放与以蒸汽机的使用和电气的使用为代表的第一次工业革命和第二次工业革命不同的是这次是以数据为材料计算为能源未来国家的发展战略将会以数据储备及数据分析为核心城市交通已面临诸多严重问题必须采取更有效的措施保证城市交通系统有效运行为了应对城市交通运行困境第一届智能交通大会于1994年在巴黎召开从此智能交通日益成为人们热衷探讨的话题随着时间流逝智能交通研究与应用在美、欧、日三国取得了长足发展这三个国家及地区也成为了世界智能交通研究应用的主要基地同时一些发达国家及地区例如新加坡、香港、澳大利亚等在此方面的研究也取得了相当的成果我国近年来也一直在充分利用物联网、云计算、大数据、移动互联等技术大力推进我国交通运输领域的信息化目前云计算、大数据、移动互联等新技术已被广泛运用到车路协同系统、公众出行便捷服务、车联网等领域的研究和实践中随着大数据技术的广泛研究及应用智能交通上已经可以运用大数据手段对交通运输的需求进行分析得出精确的需求数据在这样的形势之下交通网络优化、智能化出行服务以及交通应急保障等方面将形成巨大的市场大数据技术将成为市场新趋势 2、研究内容 借助大数据技术可以对多源、异构、海量、时变的海量交通数据进行分析和处理挖掘其隐含的时空知识为交通管理部门和出行者提供有利于公共系统调度和车主出行的决策信息以便主动干预各类可能的交通问题而不再被动接受主要内容包括以下内容 2.1构建交通大数据的时空模型对交通流状态分析和趋势预测 利用聚类分析方法构建交通流大数据时空模型利用对海量交通数据（包括静态和动态数据：交通基础设施数据是相对静态的如桥梁、城市道路、立交、轨道网、停车场等各类动态交通运行信息即为动态交通数据包括交通事故、施工占道、道路实时车速、流量、停车位使用等）进行空间聚类分析根据道路节点收集的数据将数据内部隐含的信息特征找出来将这些相似度高、关联性大的数据聚合运用这一聚类分析方法人们可以发现数据中交通网络的分布模式从数据结果出发实现交通流状态的分析及预测道路网通达性对于交通流量序列有着极大影响处于同一时空之内的道路之间必然存在时间差异关系极大的流量序列所以各个流量序列之间的时间相关性可以通过空间权重矩阵和时间延迟做出明确的表达按照相关系数将预测相关因子选取出来以多种算法模型为手段对交通流趋势进行预测 2.2基于交通流大数据时空模型分析交通路网拥堵状态的趋势和成因 交通拥堵趋势及成因可以通过分析拥堵状态的数据、时空特征、语义以时空关联性为基本方法采用时空关联规则做出分析在这一过程中还应该提高时空关联规则的获取效率可以通过过滤无效数据降低时间空间杂乱数据的干扰按照这种思路首先可以对频繁项集产生过程中的时空数据进行时间、空间段上的划分分析时间与空间的有效性及关联性在形成事务表之后链接时空规则之间的项集以拥堵状态的时空关联规则为基础分析交通网的拥堵趋势 2.3基于复杂网络的各公共交通子网之间级联关系的研究 公共交通是城市交通管理的主要对象利用大数据手段分析公共交通数据（公交车、地铁等数据）探寻交通运行规律研究各公共交通子网之间的级联关系 3关键问题 3.1大数据平台的搭建 交通信息数据具有海量异构的特征需要采用大数据手段、搭建大数据平台本项目拟搭建HADOOP大数据环境既需要对HADOOP环境本身的调试和配置也需要对海量异构的交通数据进行分类梳理因此搭建HADOOP大数据环境需要解决描述数据之间的连接关系及其相互影响以及在分布式条件下数据的分类、聚合及其参数的设定因此解决了这一问题将为后续大数据算法模型的运行提供基础环境 3.2多目标多因素算法和模型建立和优化方法 城市交通运行特性异常复杂尤其是在拥堵情况下受到的约束条件更多（如地铁客流、公交车客流等）因此需要在课题建立的模型基础上制定适应多目标多时间尺度的协调优化方法 3.3交通复杂网络拓扑 城市交通运行涉及交通路网、地铁、公交、出租等复杂数据这些数据各自成网又相互作用因此建立交通复杂网络拓扑结构对模拟现实交通运行状况探寻交通运行规律至关重要 4、研究步骤 可以采用理论分析、数值计算和试验相结合的方法取得研究效果 4.1清洗数据 4.2提取并分析数据 要对动态交通流以及交通网络拥堵状况进行分析必须对交通数据进行有效组织然后对交通数据进行提取分析首先数据分析应该以交管部门以及用户需求为出发点且工作必须具有相当时效性在这一过程中工作团队可以将交通流以及拥堵状态为工作导向结合数据的时空特征运用聚类、预测、异常检测等方法深入分析数据之间的关联性实现多维度、多粒度特征分析最后运用降维技术进行数据处理 4.3基于大数据分析的智能交通模型 4.3.1预测模型1（L1正则化模型） 对线性回归进行1范数的正则化在经验风险上加上一个正则化项（regularizer）或罚项（penaltyterm）正则化一般是模型复杂度的单调递增函数模型越复杂正则化值就越大比如正则化项可以是模型参数向量的范数正则化一般具有如下形式：min1Ni=1NL(yi,fxi+J(f)其中第1项是经验风险第二项是正则化项0是为调整两者之间关系的系数回归问题中损失函数是平方损失正则化项可以是参数向量L1范数：L(w)=1Ni=1N(fxi;wyi)2+w1这里w1表示参数向量w的L1范数第1项的经验风险较小的模型可能较复杂（有多个非零参数）这时第2项的模型复杂度会较大正则化的作用是选择经验风险与模型复杂度同时较小的模型 4.3.2预测模型2（L2正则化模型） 对线性回归进行L2正则化正则化一般具有如下形式：min1Ni=1NL(yi,fxi+J(f)其中第1项是经验风险第二项是正则化项0是为调整两者之间关系的系数回归问题中损失函数是平方损失正则化项可以是参数向量L2范数：L(w)=1Ni=1N(fxi;wyi)2+w2其中w2表示参数向量w的L2范数 4.3.3预测模型3（M5P模型） M5P模型是指利用系统变量分析特定变量值的预测模型这种模型所运用的思想主要为决策树思想首先工作者需要将变量分布的特征分析出来按照变量分布特征将样本空间划分为平行的长方形区域然后利用剪枝、平滑的方法将每一个分区确立对应的回归模型这样按照不同数据特征建立的模型合理性将更大在这个模型中决策树构建的思想十分直接只需按照决策树生成算法构建树然后以最大化信息增益为节点分支准则即可在M5P之中由于模型使用的是最小化子集属性差异因此引入剪枝策略剪枝策略包括构造时的预剪枝、构造后的后剪枝一般情况之下预剪枝一般在最小样本数上进行后剪枝一般在估计误差置信水平上进行特殊的如果存在节点子树性能低于内部节点性能的情况可以讲内部节点转换为叶节点决策树的分类一般分为两个步骤数据中知识获取进行机器学习这个过程就是决策树模型建立一般以训练集为基础利用已经生成的决策树对数据进行分类这种分类应该首先龚根节点开始应该对数据对象的属性进行逐步测试测算得出相应的值然后按照决策树分支往下走以叶节点为终点形成相应分类值得注意的是在对给定数据集进行计算时普通典型的线性回归算法只能给出单一的回归等式无法将样本空间划分为平行空间无法确定相应空间回归模型在这种情况之下工作者就可以采用决策树方法本研究将原始样本按8:2的比例分别划分为训练集、测试集并对全体样本利用上述预测模型进行多时段的预测然后对比预测效果 4.4模型评估 在本文中给出方案的评价指标采用预测准确度在这里我们可以引用平均绝对误差（MeanAbsoluteError简称MAE）以此将预测与实际流量之间的相似度表示出来其中C代表预测次数、预测流量、实际流量采用MAE有两个优点：这一方法的计