DB50-T 1177-2021 智慧交通 物联网数据服务平台 数据管理通.用要求

CCSL80DB50重庆市市场监督管理局发布IDB50/T1177—2021前言 12规范性引用文件 13术语和定义 14缩略语 25数据采集 26数据预处理 27数据存储 38数据交换 39数据处理 410数据分析 411数据服务 5DB50/T1177—2021本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由重庆市经济和信息化委员会提出并归口。本文件起草单位：重庆市城投金卡信息产业（集团）股份有限公司、中国电子技术标准化研究院、重庆市公安局、重庆市公安局交通管理局。本文件主要起草人：张鹏、彭滨鸿、王文峰、赵明、宋鸿、陈占锋、许汝峰、张伟、刘立国、胡芮嘉、易佳、廖汝秋、刘玉印、李春雨、钟添翼、徐龙、徐立松、魏丽丽、杨民、辜继东、蒋川、张璋、耿力、刘倩颖、王思翔。DB50/T1177—20211智慧交通物联网数据服务平台数据管理通用要求本文件规定了物联网数据服务平台数据管理通用要求，包括数据采集、数据预处理、数据存储、数据交换、数据处理、数据分析以及数据服务。本文件适用于物联网数据服务平台中数据管理的设计、选型和验收。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T35295-2017信息技术大数据术语3术语和定义下列术语和定义适用于本文件。3.1集群cluster一组相互独立的、通过高速网络互联的计算机或服务器。3.2RFID过车数据RFIDpassingdata车辆经过RFID读写器时，RFID读写器从经过车辆的电子牌中读取的数据信息。3.3结构化数据structureddata一种数据表示形式，按此种形式，由数据元素汇聚而成的每个记录的结构都是一致的并且可以使用关系模型予以有效描述[来源：GB/T35295-2017，2.2.13]3.4非结构化数据unstructureddata不具有预定义模型或未以预定义方式组织的数据。[来源：GB/T35295-2017，2.1.25]3.5分布式计算distributedcomputing一种覆盖存储层和处理层的、用于实现多类型程序设计算法模型的计算模式。注：分布式计算结果通常加载到分析环境。MapReduce[来源：GB/T35295-2017，2.1.22]DB50/T1177—202124缩略语下列缩略语适用于本文件。API:应用程序编程接口（ApplicationProgrammingInterface）CPU:中央处理器（CentralProcessingUnit）GPU:图形处理器（GraphicsProcessingUnit）JDBC：Java数据库连接（JavaDataBaseConnectivity）LLRP：底层读写器协议（LowLevelReaderProtocol）RFID：射频识别（RadioFrequencyIDentification）SQL：结构化查询语言(StructuredQueryLanguage)5数据采集5.1概述数据采集是通过数据采集接口以主动采集数据方式或采集源定时推送数据方式获取原始数据。5.2原始数据原始数据分为以下三类数据：a)业务数据：包括读写器、摄像头、道闸设备等获取的数据信息；b)管理数据：包括支撑平台信息、故障信息、告警信息和网络信息等；c)其他数据：包括公共信息、政府信息等第三方数据。5.3业务过程数据采集的业务过程包括：a)静态数据采集：相关政府部门将公共信息、政府信息等第三方数据传输至数据服务平台；b)动态数据采集:1）读写器、摄像头、道闸设备等将采集到的业务数据传输至数据服务平台；2）读写器管理系统、摄像头管理系统等将采集到的故障信息、告警信息等管理数据传输至数据服务平台。5.4功能要求数据采集功能要求如下：a)不同物理位置的采集节点应能够形成采集集群，可以进行统一的管理，例如采集数据的汇总、转发、扩容；b)应支持负载均衡，可平滑扩展；c)应支持不同类型规格的RFID读写器；d)RFID读写器应支持时间同步功能；e)RFID读写器应支持LLRP及其扩展协议；f)宜提供线性扩展功能。6数据预处理DB50/T1177—202136.1概述数据预处理是对输入的原始数据进行解密、去重、清洗（校正、补齐）、转换等操作。6.2功能要求数据预处理模块功能要求如下：a)应提供数据抽取、解密、去重、清洗、转换和加载处理功能；b)应提供按照需求将存放在分布式文件系统、数据库中的文件或数据进行抽取的功能；c)应提供对清洗后的数据按照分析模块的要求进行转换操作（如列转换、行转换、表转换等）的功能。7数据存储7.1概述数据存储是将来源不同的数据分别存入特定的数据库中以供抽取使用。7.2功能要求数据存储模块功能要求如下：a)应提供数据上传、数据下载、目录查看、目录创建、目录删除、权限修改等操作的功能；b)应提供标准、开放的数据访问API对数据进行操作的功能；c)应提供对相应权限用户进行授权的功能；d)应提供数据加载工具或者功能，满足系统和传统关系型数据库、其他文件系统之间交换数据和文件；e)应提供专门区域存储第三方数据，以实现物理隔离；f)应具备关键节点（部件）高可用性设计与要求的能力；g)应具备存储RFID过车数据至少一年的能力；h)应具备存储图片的原始数据至少三个月、图片的结构化数据至少一年的能力；i)应具备存储视频流数据至少一个月的能力；j)宜提供数据自动备份和手动备份功能；k)宜提供数据批量更新、删除等多种数据管理功能；l)宜提供流式的实时数据入库和实时查询功能。8数据交换8.1概述数据交换主要通过数据交换平台，快速稳定的将其他系统或部门的异地、异构数据库的数据整合、交换，完成数据集中整合，形成相关的数据库来支撑智能交通数据的挖掘及分析。8.2功能要求数据交换模块功能要求如下：a)应提供一个平台级的数据集成框架，可以实现从一个系统采集数据，对数据进行加工处理，将需要的数据提交给另一个系统使用；DB50/T1177—20214b)应简单易用，适合业务人员安装、配置、部署、监控、管理；c)应支持跨地域、跨部门、跨层级的数据交换技术支撑体系的快速建设。为参与交换的组织机构及其人员、交换设施、交换资源、交换模式、交换流程、交换安全等交换要素提供运行、管理的技术支撑；d)应支持完全松耦合的数据交换架构；e)应支持多种数据抽取和数据处理模式；f)应支持跨网络的管理和数据交换，平台整体架构支持跨网络数据转发。对于交换节点间不可直接连通的情况，可通过某个中间节点做路由连通，可通过节点的管理代理功能，实现节点的跨网管理和数据交换；g)应实现平台管理中心对跨地域不同部门的交换设施、交换流程的远程配置与部署功能；h)应支持不同协议格式数据的交互；i)应支持数据质量控制：支持数据过滤、数据格式转换等功能；j)应支持分布式数据库、关系数据库和文本文件等数据源；k)应支持类SQL编程接口；l)第三方数据交换时应遵守最小化原则（即在最小的范围内交换最少的数据）。9数据处理9.1概述数据处理是基于平台需求，对进行过预处理的数据进行统计、融合或逻辑运算，形成二次处理后的扩展数据。9.2功能要求数据处理模块功能要求如下：a)应支持CPU、内存、GPU等异构资源调度和配置；b)应支持计算框架的水平扩展；c)应支持任务优先级调度：能够定义不同优先级的任务，使得后启动的高优先级任务可以获取运行中的低优先级任务释放的资源；d)应支持对全局资源的集中管理；e)应支持静态资源分配策略和动态资源分配策略；f)应提供匹配组织的层次结构，支持多层次的队列资源管理功能；g)应支持资源管理、作业调度和数据加载及各种分布式计算框架调度；h)应支持结构化和非结构化数据处理；i)应支持数据压缩与解压；j)应支持历史数据查询；k)宜具备支持按照任务间依赖关系自动调度任务，提高处理系统的自动化程度的能力；l)宜具备支持根据作业需求动态分配计算资源，自动管理回收资源的能力；m)宜具备支持自动完成作业调度；n)宜具备对复杂任务的调度的能力。10数据分析DB50/T1177—2021510.1概述数据分析负责将原始数据及处理过的数据，加工成后续决策、管理等工作需要的数据，包括：实时路况信息、疑似违章信息、区间测速信息等。10.2功能要求数据分析模块功能要求如下：a）应实现低延迟，能够满足城市交通临界值监测；b）应实现分布式，各处理组件应是分布式的，而且处理延迟低；c）应支持事务拓扑，保证消息不丢失，且严格有序；d）应保证每个消息至少能得到一次完整处