上半年技术讲座：分布式公路交通情况调查处理系统.doc

年上半年技术讲座：分布式公路交通情况调查处理系统 作者： 日期：分布式交通情况调查数据处理系统 计算机中心2006年上半年技术讲座 胡立辉 2006年6月一、项目背景1、需求背景公路交通情况是反映公路运营状况的重要信息，是公路交通建设规划、建设项目前期工作、公路建设决策、公路养护和管理的重要依据。当前，省公路局、省高管局分别设置了几十个全自动交通流量数据采集站（见图1的工作模式），省公路局还有近千台手工流量检测仪，但存在多家不同公司的产品，其数据格式各异，分散存放在各部门，大大降低了数据的利用价值，并且全省没有系统软件对其数据进行统计分析，提供决策支持。因此，建立全省公路交通流量调查数据中心，开发公路交通流量数据综合处理系统，统一采集、管理、发布交通流量调查数据，为我省交通建设事业提供全面、准确的交通流量数据及统计分析工具，势在必行。 图1 数据中心工作模式 图2 观测设备工作流程其中，有IP的采集设备的工作流程见图2。2、研究现状目前，国内公路交通流量调查系统的现状如下：1）交通部软件。目前，交通部统一发布了省级与地市级交通情况调查数据报表系统，其主要功能如下： 录入交通基础数据，包括：公路情况、观测站情况等； 录入/导入连续式观测设备的观测数据、间隙式观测设备的观测数据； 汇总统计部颁的统计报表。2）交通部交通规划设计院建立了全国的数据服务中心，其基本功能有： 重点连续观测站及省级数据服务中心转发的连续观测数据； 向全社会发布各观测站点的交通情况。3）厂商服务器湖南省高速公路管理局也建立了一个由武汉长安科技公司开发的数据接收服务器，并给各观测站发布了该公司开发的客户端。但该数据接收服务器仅仅为客户端和交通部服务，缺乏如下重要的功能： 没有开发相应的公路交通流量调查数据综合处理系统； 只能提供小数数据，缺乏实时的观测数据； 不能提供小时的分方向数据； 不能计算与输出全省报表； 不能满足我省的一些需求。于是，湖南省交通厅计划处组织，湖南省公路管理局、湖南省高速公路管理局协助，交通厅信息中心承担了相关服务器软件、客户端软件的研发工作。二、系统总体方案1、总体结构湖南省公路交通情况调查处理系统HNGLJD由八个子系统组成，见图3。图3 系统总体结构2、总体功能 数据包实时接收服务器 在线接收数据采集设备通过Socket上传的数据包，判断数据包的合法性、是否为重复包，并将处理结果及监控信息返回给远程采集设备； 数据包转发服务器 将接收到的观测站数据包转发到交通部DSC； 数据包分发服务器 读取观测站数据包，解析包的内容，并分发的相应的数据库； 系统管理工具 登记需要转发的站点基本情况，登记远程客户端帐号及权限，删除已经无效的数据记录（如几个月前的时序区间记录等），转移数据包备份记录，等等； 运行监控系统 定时检查三个服务器的运行情况，重装入运行已经停止的进程，在系统崩溃时重启计算机或关闭计算机； 报表处理系统 导入地市系统的数据，导出数据到省级子系统中，查询基础数据及交通流量数据，汇总与输出统计报表； 远程查询与报表客户端 远程客户端通过Web服务，查询观测站的实时交通情况、小时（日、月）的交通汇总情况，下载并保存报表为Excel格式； 数据在线查询与发布系统 建立ASP.NET应用系统，提供全省交调的基础数据、间隙式观测的流量数据、连续式观测的流量数据、数据综合汇总与查询输出等功能。3、系统架构图4 双服务器系统架构针对图4的组成架构，需要说明如下几点： 需要两台服务器、两个SQL Server的数据库管理系统和同名的数据库实例； 服务器1的基本功能：1）接收观测站数据包，并保留一个备份；2）解析并验证数据包，同时判断数据包时序是否重复；3）向交通部DSC转发数据包。如果该服务器停止运行，则观测站将停止发数据包直到服务器正常；5）满足服务器2的数据分发需求。该服务器尽量满足24*7运行状态（但也不会出现因停机而丢失数据的情况）。该服务器特别强调性能的稳定、可靠，其硬件设备配置不需要特别考虑； 服务器2的基本功能：1）从服务器1中抓取数据包文本；2）解析数据包文本（不需要判断重复）；3）保存T1天内的时段数据、T2天内的小时数据，供一般查询用户使用；4）保存永久数据（时段、小时、日）；5）定时删除T1天前的临时时段数据，定时转移T2天前的小时数据。该服务器的数据量非常大。但该服务器可以停机、可以慢响应用户请求。因此，该服务器的硬件设备配置要求比较高； 在服务器1上保存数据包文本，而不同步马上转发、分发数据包文本的主要原因：1）保持服务器1的完全独立性：不会因交通部DSC、服务器2的停机、网络故障或其他故障而停止接受客户端数据；2）在服务器2分发服务器1接收的数据包，比较将时段数据、小时数据、日数据从服务器1复制到服务器2，信息量要小得多，速度也要快得多（服务器2只需要增加解析包的时间，从服务器1取4个车道的数据显然要长些）； 双服务器架构可以合并为一个服务器情况，此时仅需要建立另一个数据库实例即可。三、系统特点与难点1、系统特点根据我省实际，目前已经安装配备了35个观测设备，未来将达到100200个观测站的规模，现按100个观测站的规模考虑，本系统有如下特点： 高频率实时运行 系统必须24*7小时运行，并能在3秒种内处理一个数据包 超大记录量 全年将有40008000万条、2040G的实时时段数据. 实时服务 对各个观测站管理者提供实时的流量查询、数据下载2、系统难点本系统的难点体现在：既要满足实时不间断运行，又要满足可能的100200个左右的观测点的数据查询需求，同时要保证系统数据的可靠与安全。四、主要技术路线1、平台及开发工具 服务器 两台有固定IP地址的PC机 运行平台 Microsoft Windows2000/2003 + IIS5.0/6.0 +.NET 2.0 数据管理系统 Microsoft SQL Server 2000 + SP4 开发工具 Visual C# 2005 Express版2、关键技术 数据包的判重与解析 1）使用了时序区间算法记录各观测站的时序包；2）没有使用一般的字符串处理或正则式处理方式，而是使用一遍扫描、同步解析，达到快速分解数据包的目的； 多线程及线程池技术 建立客户端Socket连接、清除内部超时的Socket连接、数据包解析； 异步处理技术 读写客户端Socket数据； 基于事件的消息传递 处理内部类到窗体类的消息传递，均是通过.NET的事件机制实现的； ASP.NET与Web服务技术 应用ASP.NET建立在线查询与数据发布系统，应用Web服务技术实现远程客户端的数据读取； .NET平台的COM .NET提供封装Windows平台下的COM组件为.NET装配集组件，以更安全的方式调用COM组件的方法。本系统主要调用Excel制作输出报表。四、程序运行演示（双服务器架构） 客户端+接收服务器 模拟一个远程带IP的观测站设备通过无线Modem发送观测数据包，省级DSC接收服务器接收数据包的运行过程； 转发服务器+接收服务器+分发服务器 模拟一个转发服务器将省级DSC的数据包转发到交通部DSC的过程，同时省级DSC分发数据包的过程； 远程客户端 实时查询交通DSC的接收数据情况（单服务器架构，已经出现超时错误）； 实际运行情况 启动较慢，但系统比较稳定（4月29日到5月25日没有down机）。五、下一步的工作 服务器架构转换