智能交通大数据交通信息采集子系统建设技术方案

智能交通大数据交通信息采集子系统建设技术方案1.1系统概述当前建设大数据中心的数据采集系统无法保障支持任意类型的数据汇集需求，但鉴于当前数据汇集技术逐渐成熟，新的数据采集需求可以灵活的采用不同的技术进行适配。支持公安交警原有生成系统中多类数据库、异构数据源的数据采集。支持结构化、非结构化数据（包括文档、视图）采集，满足定时或实时更新要求。支持实施数据采集与应用系统数据支撑。1.2方案设计数据采集系统设计可根据不同的数据源及数据连接方式，灵活的选择数据采集方案，下面列举三种数据采集场景。1.2.1静态数据公安内部其他生产系统的数据多以数据库、文件、表格等方式存储在生产系统的存储设备中，这类数据的采集需要支持多种采集策略，包括数据全量更新、定时更新、实时更新等策略。实现方案：第一步，数据接入缓存：内部数据汇集平台建设，基于数据服务总线整体框架，通过公共数据交换平台和请求服务平台，实现将数据源的数据汇聚缓存至数据平台数据缓冲层；通过局方安全边界接入平台实现社会信息数据、交通数据、图片采集数据的接入数据缓存层，当前数据接入的技术相对成熟，可以选择的技术比较全面，例如sqoop、datax、kettle，各有优势，在接入内部数据时可以灵活选择。第二步，数据ETL：内部数据汇集平台数据整合集成在梳理业务流程与信息资源的基础上，建立数据整合的业务逻辑和数据模型，采用可视化ETL工具，进行数据抽取、转换、清洗、加载等基础功能，并可根据业务逻辑新增或变更ETL数据情况过程。第三步，数据存储：数据汇集平台数据整合最终采用物理集中方式进行存储，经过ETL清洗的数据根据实际业务的需求，频繁比对数据存于基于Spark内存数据库的数据存储空间，静态数据存储于基于Hadoop文件系统的Hive或Hbase存储空间。图1.2-1：数据中心平台架构1.2.2历史数据（以视频数据为例）视频监控数据存储于视频专网，可通过双向网闸公安网进行对接，既要保障大数据平台有实时数据，也要保障实时数据分析平台有数据支撑。方案一：通过分析先有视频系统数据库日志信息，完成视频监控数据监测与同步，结构图如下：图1.2-2：数据流程图现有视频系统已将视频及拍照数据进行解析，分为结构化视频数据与图片视频数据，其中结构化数据所占空间小、使用频率高、数据价值密度高，在大数据中心平台建设过程中，可以将视频系统中的结构化数据实时同步至大数据平台，而在需要用到图片或视频数据时通过URL远程调用，这样既可以节省空间，又能最大限度保证系统实用性。数据同步采用ogg日志分析工具，通过实时性检测日志，判别每个字段数据更新情况，并将更新的数据精准的同步至大数据中心库，更新时间间隔<1s在大数据中心库数据采集模块建设中，新建数据转发模块，可通过策略配置方式将从视频系统同步的数据实时转发至其他数据分析系统，以此保证多个系统数据高度同步。1.2.2.3动态数据方案二：新建数据流接入系统，在大数据平台完成数据的实时接收与转发。图1.2-3：数据流程图在视频系统外部新建数据流服务系统，包括数据流发送模块，数据流接收模块，数据流转发模块，消息同步服务。数据发送模块将通过解码的数据每1s重新打包成数据包，并通过既定的发送配置，将数据包发送至后端数据接收模块。数据流接收模块将接受数据包进行解码，并将其中数据传入storm实时数据流处理平台，对数据进行进一步加工并存储在大数据中心库中。数据流转发模块将同步接收数据发送模块打包传出的数据包，并根据配置策略将数据流转发至数据分析系统，由数据分析系统进一步处理。消息队列系统（kafka）在各系统中传递数据传输消息，以此保证数据流的运转畅通。1.2.4人工数据实现方案：新建数据流接收转发模块，完成流量数据试试接收与转发。在视频监控外部新建数据流服务系统，包括数据流发送模块，数据流接收模块，数据流转发模块，消息同步服务，同上。图1.2-4：数据流程图数据发送模块将预处理的流量数据每1s重新打包成数据包，并通过既定的发送配置，将数据包发送至后端数据接收模块。数据流接收模块将接受数据包进行解码，并将其中数据传入storm实时数据流处理平台，对数据进行进一步加工并存储在大数据中心库中。数据流转发模块将同