基于全域交通大脑的智慧交通一体化出行服务云平台

1目标和概述随着物联网、5G、云计算、大数据、人工智能、区块链、北斗高精度定位等新一代信息技术的发展以及交通强国、新基建、数字交通的提出，构建以数据驱动的综合交通数字治理和服务体系，实现综合交通政府多元化治理、企业精细化运营、公众智慧化出行，推动综合交通管理及服务从智能化向智慧化的转变成为当前迫切需求。北京华录高诚科技有限公司（以下简称：高诚科技）作为一家交通运输大数据AI的运营服务商，创新性地推出“基于全域交通大脑的智慧交通一体化出行服务云平台”（以下简称：智行云），以“数据入湖、算法入云、服务入户”为建设理念，以数据湖为基础、全域交通大脑为核心，作为交通运输“智慧型、中枢型、服务型”的信息化基础设施，面向政府、企业、公众三类用户，提供“智管、智运、智行”数据应用场景服务，涵盖城市运输、公路、港航、轨道、民航、物流、枢纽、旅游八大产业方向，提供700多个应用场景，打造“云享、云管、云服”新业态，助力政府现代化治理、企业高效化运营、百姓便捷化出行。2方案介绍智行云基于北斗高精度定位、5G、大数据、云计算、区块链、人工智能、物联网等新一代信息技术，依托数据湖云融合新基建，通过重构TOCC（交通综合运行协调和应急指挥平台），以云服务的方式，提供可灵活配置、按需定制、持续运营的信息化建设及数据服务模式。基于湖云融合以及交通大脑面向政府、企业、公众开展综合交通大数据云服务场景应用，构建“湖+云+边+端+协同”服务模式，实现湖、云、边、端四位一体，湖汇数据、云中心管控、边缘自治、端数据服务。以此为基础，智行云构建“1+1+1+3”的总体架构，“1”为数据湖，汇聚综合交通海量多源异构数据，打造交通数据资产银行；“1”为综合交通大数据服务云，支持综合交通及关联产业多源数据要素的融合和协同，支持多云协作以及跨云数据及业务融合；“1”为交通运输大脑，基于算法、模型，提供综合交通AI应用管理和服务；“3”为智管、智运、智行，智管面向政府提供城市治理、行业管理、监测预警、指挥调度、决策支持、信息服务六大场景及城市运输、智慧公路、智慧枢纽、智慧物流、智慧旅游、智慧港航、智慧轨道、智慧民航八大行业智慧管理服务；智运，创新政企数据融合应用，开展车路协同、安全生产、精准运营、安全生产大数据云服务；智行，基于政府、企业、和互联网数据，打通市内与城际高速公路出行链服务，开展综合交通一体化出行云服务。总体架构如图1所示。图1总体架构图2.1技术架构

智行云技术架构采用IaaS、Paas、DaaS、SaaS/Maas四层架构，不同层次实现主机安全、网络安全、数据安全、应用安全。如图2所示。图2数据架构图2.1.1

IaaS层云主机：采用云服务商的云主机服务相比于物理主机，整合了计算、存储与网络资源的IT基础设施能力，能够根据业务需求，按需使用、随时扩展、部署所需的服务器环境，并且能够保障主机稳定、安全运行。存储：数据采用云存储、湖存储的方式，云存储通过集群、分布式文件系统和网格计算等技术，实现云存储中多个存储设备之间的协同工作，使多个存储设备可以对外提供同一种服务，具备更大更强更好的数据访问性能，并通过各种数据备份和容灾技术及措施保证云存储自身的安全和稳定；湖存储以蓝光技术将冷数据存储于湖中，降低存储成本。2.1.2PaaS层高诚基础开发平台整合人工智能、大数据、指标计算、电子地图、统一认证、微服务、消息总结以支撑对外数据、算法、地图服务。人工智能：采用成熟人工智能框架TensorFlow、Caffe等，完成巨量数据的分析与挖掘、模式识别（如生物识别、文字识别、文件分类等）。大数据：采用Hadoop集群技术存储海量数据（如车辆GPS、公交刷卡、航空器轨迹及其它感知数据），对外提供数据存储服务；再利用Spark引擎完成各种各样的运算，包括SQL查询、文本处理、机器学习等，对外提供实时计算服务。指标计算：集成TOCC平台成熟的指标算法体系，通过统一API对外提供算法服务。电子地图：集成Arcgis、互联网地图及其它专业地图，统一GCMAP对外提供地图服务。

统一认证：为保证API服务安全通过Token认证，所有API通过统一认证保证接口安全性及数据安全。微服务：提供业务数据服务，整合业务需求，通过微服务横向扩展能力，对外统一数据服务。消息总线：利用成熟消息中间件（Kafka等），对亿级数据接入、分发。2.1.3DaaS层整合PaaS层服务，为业务层提供数据管理、数据共享交换、数据分析、数据运营管理服务。数据管理：将数据清洗、抽取的规范化数据按领域、维度分类对用户提供不同维度管理、元数据管理、数据计算管理、元数据查询、数据标准规范引用等。数据共享交换：构建一个统一数据共享交换平台，将已经规范化的数据，以规范的格式、服务对外提供数据接口服务，实现数据的最大化利用。数据分析：通过PaaS层指标计算服务，再通过BI工具形成统一报表服务。数据运营管理：对每条数据进行标签化管理，对数据进行运营，计算数据费用。2.1.4SaaS/MaaS层高诚云服务支撑平台定位ToG、ToB、ToC，为不同类型用户提供多种形式展板（PC、大屏、移动端）。ToG端应用方便行业监管、领导参观展示。ToB应用于企业业务运营。ToC满足公众出行服务。2.2数据架构

智行云数据管理服务，以云平台基础架构为支撑，对数据的接入、存储、分析、共享与交换、安全各个环节提供一体化解决方案。如图3所示。图3数据架构与传统数据管理不同，智行云数据管理服务增强了对实时数据的接入能力，通过自研的高性能数据接入网关，利用云平台提供的动态扩容能力，可根据实际的接入数据量对接入服务进行动态调整，节省成本的同时，大大减少了数据的延时，增强了对业务的快速响应能力。在数据接入和数据存储、计算服务之间，构建了一层中间层，能够帮助上层应用，通过其对外提供的标准化接口（如HTTP、JDBC、Java等），快速连接到多种底层计算存储引擎（如Spark、Hive、TiSpark、MySQL、Python等），提交执行各种类型的计算任务，并实现跨上层应用间的计算任务运行时上下文和依赖的互通和共享。且通过提供多租户、高并发、任务分发和管理策略、资源管控等特性支持，各种计算任务更灵活、可靠、可控地提交执行，成功返回结果，大大降低了上层应用在计算治理层的开发和运维成本。2.2.1数据接入采用ETL工具、标准协议、定制化的私有协议，可接入不同数据源、结构化数据和非结构化数据。可接入不同协议的终端数据：车载终端、物联网终端；可接入不同平台的数据，包括路网、基础设施、交通各领域、各企业平台的数据，包括静态数据、基础数据、音视频数据。将采集到的数据经过统一的接入网关，传输到系统。2.2.2数据接收处理从多租户管理角度，服务可区分为租户相关服务和租户无关服务两种类型。租户相关服务，包括一些任务逻辑处理负荷重、资源消耗高，或需要根据具体租户、用户、物理机器等做隔离划分，避免相互影响的服务。Eureka承担了微服务动态注册与发现中心及所有租户无关服务的负载均衡、故障转移功能。租户相关的计算服务，由服务调度框架向计算服务传递租户信息，由计算服务进行相关的计算。在数据的入口处，把数据打上租户的标签，此标签可追溯数据的整个生命周期中。2.2.3数据存储租户的数据的隔离分为多个层级：分表、分库隔离。数据存储标准化，把外部不符合标准的数据梳理为标准的数据格式。数据按领域、维度、事实分类，业务表职责清晰，对开发和业务人员更加友好。为减少重复开发，统一输入输出数据格式，数据存储分为三层：数据运营层（ODS）、数据仓库层（DW）和数据应用层（DAS）。ODS：数据源中的数据，经过抽取、洗净、传输，在ETL之后装入本层。本层的数据，总体上大多是按照源头业务系统的分类方式而分类的。考虑后续可能需要追溯数据问题，因此对于这一层就不做过多的数据清洗工作，接入原始数据即可，数据的去噪、去重、异常值处理等过程可以放在后面的DW层完成。DW：从ODS层中获得的数据按照主题建立各种数据模型。对通用的核心维度进行聚合操作，算出相应的统计指标。一张表会涵盖比较多的业务内容，其字段较多，因此一般也会称该层的表为宽表，即一个事实字段、多上维度字段，方便业务系统查询。DAS：主要是提供给数据产品和数据分析使用的数据，一般会存放在ES、MySql、Redis、Hive中。2.2.4数据分析和指标计算通过数据计算框架，调用数据计算服务，包括指标计算服务、分类服务、特征分析服务等。服务之间的依赖关系、先后执行顺序，由计算框架统一调度，大体上分为实时计算和离线计算。通过Spark、Hive脚本，按照事先定义好的维度表和算法库，计算结果。将计算结果保存到DW中。2.2.5业务应用数据访问接口把DAS层数据统一提供给各种应用，包括大屏、PC、手机端。

3代表性及推广价值本创新解决方案已在交通运输部-交通运输调度与应急指挥系统工程（部长一号工程）、北京大兴国际机场综合交通枢纽项目、北京交通委综合交通运行协调指挥中心二期、泰州姜堰综合交通大数据平台、宁波海曙TOCC平台、智慧顺德之智慧交通一期、四川省交通厅交通旅游大数据融合平台、武汉市交通运输行业运行指数系统等项目实现核心功能落地应用，下一步将在全国各大城市进行应用示范，立足京津冀、辐射全国城市群。本解决方案对服务模式的创新具体如下：（1）数字交通创新创业服务模式创新行业数据资源开发利用模式，激活数据增值能力，引导鼓励企业和社会机构开展交通运输服务大数据创新应用，推动交通运输服务联动创新、融合创新、万众创新。吸引人才与社会资源，带动物流服务降本增效、交通政务一体化服务、交通旅游融合服务等。（2）综合运输大数据挖掘与AI应用通过不断创新性研发数据的智慧化应用，准确研判交通运行态势，实时感知突发事件，准确分析视频图像资源，提供精细化信息服务，有效支撑交通主管部门的交通决策，更好地推动交通行业运行监管。（3）全出行链一体化的智慧服务打造全出行链一体化的智慧服务平台，实现出行等待时间的最小化、响应时间的最小化、状态切换时间的最小化，推动“门到门”的全过程服务，打造一次支付，全程换乘无缝衔接，统一规划行程并调配多模式的交通资源，最大程度地实现不同交通工具间的换乘衔接，减少中转过程的时间损耗，改善交通系统内部的服务和外部的衔接，使整个出行过程更高效，最终减少整个社会的出行成本。（4）数据运营通过数据开放，实现价值挖掘，获得收入分成。在政府助力之下实现数据的先期汇聚，通过数据脱敏交易或数据分析服务，获得运营回报，并在政府授权基础上，将部分数据脱敏面向企业、公众有序开放。通过提供产业基金及众创空间实现数据资产化和证券化，对一些有价值的行业中小微企业进行培育，完善行业大数据产业链，将传统的行业数据资源管理升级