06年上半年技术讲座：分布式公路交通情况调查处理系统

分布式交通情况调查数据处理系统 计算机中心 2006 年上半年技术讲座 胡立辉 2006 年 6 月 一、项目背景 1、需求背景 公路交通情况是反映公路运营状况的重要信息，是公路交通建设规划、建设项目前期工作、公路 建设决策、公路养护和管理的重要依据。当前，省公路局、省高管局分别设置了几十个全自动交通流 量数据采集站（见图 1 的工作模式） ，省公路局还有近千台手工流量检测仪，但存在多家不同公司的产 品，其数据格式各异，分散存放在各部门，大大降低了数据的利用价值，并且全省没有系统软件对其 数据进行统计分析，提供决策支持。因此，建立全省公路交通流量调查数据中心，开发公路交通流量 数据综合处理系统，统一采集、管理、发布交通流量调查数据，为我省交通建设事业提供全面、准确 的交通流量数据及统计分析工具，势在必行。 图 1 数据中心工作模式 图 2 观测设备工作流程 其中，有 IP 的采集设备的工作流程见图 2。 2、研究现状 目前，国内公路交通流量调查系统的现状如下： 1）交通部软件。目前，交通部统一发布了省级与地市级交通情况调查数据报表系统，其主要功能 如下： 录入交通基础数据，包括：公路情况、观测站情况等； 录入/导入连续式观测设备的观测数据、间隙式观测设备的观测数据； 汇总统计部颁的统计报表。 2）交通部交通规划设计院建立了全国的数据服务中心，其基本功能有： 重点连续观测站及省级数据服务中心转发的连续观测数据； 2 2 向全社会发布各观测站点的交通情况。 3）厂商服务器 湖南省高速公路管理局也建立了一个由武汉长安科技公司开发的数据接收服务器，并给各观测站 发布了该公司开发的客户端。但该数据接收服务器仅仅为客户端和交通部服务，缺乏如下重要的功能： 没有开发相应的公路交通流量调查数据综合处理系统； 只能提供小数数据，缺乏实时的观测数据； 不能提供小时的分方向数据； 不能计算与输出全省报表； 不能满足我省的一些需求。 于是，湖南省交通厅计划处组织，湖南省公路管理局、湖南省高速公路管理局协助，交通厅信息 中心承担了相关服务器软件、客户端软件的研发工作。 二、系统总体方案 1、总体结构 湖南省公路交通情况调查处理系统 HNGLJD 由八个子系统组成，见图 3。 图 3 系统总体结构 2、总体功能 数据包实时接收服务器 在线接收数据采集设备通过 Socket 上传的数据包，判断数据包的 合法性、是否为重复包，并将处理结果及监控信息返回给远程采集设备； 数据包转发服务器 将接收到的观测站数据包转发到交通部 DSC； 数据包分发服务器 读取观测站数据包，解析包的内容，并分发的相应的数据库； 第 3 页 系统管理工具 登记需要转发的站点基本情况，登记远程客户端帐号及权限，删除已经无 效的数据记录（如几个月前的时序区间记录等） ，转移数据包备份记录，等等； 运行监控系统 定时检查三个服务器的运行情况，重装入运行已经停止的进程，在系统崩 溃时重启计算机或关闭计算机； 报表处理系统 导入地市系统的数据，导出数据到省级子系统中，查询基础数据及交通流 量数据，汇总与输出统计报表； 远程查询与报表客户端 远程客户端通过 Web 服务，查询观测站的实时交通情况、小时 （日、月）的交通汇总情况，下载并保存报表为 Excel 格式； 数据在线查询与发布系统 建立 ASP.NET 应用系统，提供全省交调的基础数据、间隙式观 测的流量数据、连续式观测的流量数据、数据综合汇总与查询输出等功能。 3、系统架构 图 4 双服务器系统架构 针对 图 4 的组成架构，需要说明如下几点： 需要两台服务器、两个 SQL Server 的数据库管理系统和同名的数据库实例； 4 4 服务器 1 的基本功能：1）接收观测站数据包，并保留一个备份；2）解析并验证数据包，同 时判断数据包时序是否重复；3）向交通部 DSC 转发数据包。如果该服务器停止运行，则观 测站将停止发数据包直到服务器正常；5）满足服务器 2 的数据分发需求。该服务器尽量满足 24*7 运行状态（但也不会出现因停机而丢失数据的情况） 。该服务器特别强调性能的稳定、 可靠，其硬件设备配置不需要特别考虑； 服务器 2 的基本功能：1）从服务器 1 中抓取数据包文本；2）解析数据包文本（不需要判断 重复） ；3）保存 T1 天内的时段数据、T2 天内的小时数据，供一般查询用户使用；4）保存永 久数据（时段、小时、日） ；5）定时删除 T1 天前的临时时段数据，定时转移 T2 天前的小时 数据。该服务器的数据量非常大。但该服务器可以停机、可以慢响应用户请求。因此，该服 务器的硬件设备配置要求比较高； 在服务器 1 上保存数据包文本，而不同步马上转发、分发数据包文本的主要原因：1）保持服 务器 1 的完全独立性：不会因交通部 DSC、服务器 2 的停机、网络故障或其他故障而停止接 受客户端数据；2）在服务器 2 分发服务器 1 接收的数据包，比较将时段数据、小时数据、日 数据从服务器 1 复制到服务器 2，信息量要小得多，速度也要快得多（服务器 2 只需要增加 解析包的时间，从服务器 1 取 4 个车道的数据显然要长些） ； 双服务器架构可以合并为一个服务器情况，此时仅需要建立另一个数据库实例即可。 三、系统特点与难点 1、系统特点 根据我省实际，目前已经安装配备了 35 个观测设备，未来将达到 100200 个观测站的规模，现 按 100 个观测站的规模考虑，本系统有如下特点： 高频率实时运行 系统必须 24*7 小时运行，并能在 3 秒种内处理一个数据包 超大记录量 全年将有 40008000 万条、2040G 的实时时段数据. 实时服务 对各个观测站管理者提供实时的流量查询、数据下载 2、系统难点 本系统的难点体现在：既要满足实时不间断运行，又要满足可能的 100200 个左右的观测点的数 据查询需求，同时要保证系统数据的可靠与安全。 四、主要技术路线 1、平台及开发工具 服务器 两台有固定 IP 地址的 PC 机 运行平台 Microsoft Windows2000/2003 + IIS5.0/6.0 +.NET 2.0 第 5 页 数据管理系统 Microsoft SQL Server 2000 + SP4 开发工具 Visual C# 2005 Express 版 2、关键技术 数据包的判重与解析 1）使用了时序区间算法记录各观测站的时序包；2）没有使用一般的 字符串处理或正则式处理方式，而是使用一遍扫描、同步解析，达到快速分解数据包的目的； 多线程及线程池技术 建立客户端 Socket 连接、清除内部超时的 Socket 连接、数据包解析； 异步处理技术 读写客户端 Socket 数据； 基于事件的消息传递 处理内部类到窗体类的消息传递，均是通过.NET 的事件机制实现的； ASP.NET 与 Web 服务技术 应用 ASP.NET 建立在线查询与数据发布系统，应用 Web 服务技术实现远程客户端的数据读取； .NET 平台的 COM .NET 提供封装 Windows 平台下的 COM 组件为.NET 装配集组件，以更 安全的方式调用 COM 组件的方法。本系统主要调用 Excel 制作输出报表。 四、程序运行演示（双服务器架构） 客户端+接收服务器 模拟一个远程带 IP 的观测站设备通过无线 Modem 发送观测数据包， 省级 DSC 接收服务器接收数据包的运行过程； 转发服务器+接收服务器+分发服务器 模拟一个转发服务器将省级 DSC 的数据包转发到交 通部 DSC 的过程，同时省级 DSC 分发数据包的过程； 远程客户端 实时查询交通 DSC 的接收数据情况（单服务器架构，已经出现超时错误） ； 实际运行情况 启动较慢，但系统比较稳定（4 月 29 日到 5 月 25 日没有 down 机） 。 五、下一步的工作 服务器架