高速公路数据采集技术规范

TXX/TXXXXX—2024高速公路数据采集技术规范本文件规定了高速公路数据采集技术的术语与定义、缩略语、架构、方式与频率、采集内容、采集流程、反馈和处理及数据安全等内容。本文件适用于高速公路结构化、半结构化、非结构化等各类信息资源数据的采集。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239信息安全技术—网络安全等级保护基本要求GB/T35273信息安全技术个人信息安全规范GB/T39786信息安全技术信息系统密码应用基本要求GB/T43697数据安全技术数据分类分级规则3术语和定义下列术语和定义适用于本文件。3.1结构化数据关系模型数据，即以关系数据库表形式管理的数据。3.2半结构化数据非关系模型的、有基本固定结构模式的数据，例如日志类型文件、XML文档、JSON文档、Email等。3.3非结构化数据没有固定模式的数据，如WORD、PDF、PPT、EXCEL，各种格式的图片、视频等。3.4敏感数据泄漏后可能会给社会、企业或个人带来危害的数据。3.5中间件位于系统软件之上，用于支持分布式应用软件，连接不同软件实体的支撑软件。3.6在网络层以上实现网络互连，是最复杂的网络互连设备，仅用于两个高层协议不同的网络互连。3.7数据提供机构承担数据提供工作的部门或单位（也称为数据来源机构）。3.8信源信息的来源。3.9脱敏TXX/TXXXXX—2024对某些敏感信息通过指定规则进行数据的变形，实现对敏感数据的可靠保护。3.10加密对敏感数据进行加密处理，使外部用户只看到无意义的加密后数据，同时在特定场景下，可以提供解密能力，使具有秘钥的相关方可以获得源数据。4缩略语下列缩略语适用于本文件。FTP：文件传输协议（FileTransferProtocol）ODBC：开放数据库连接（OpenDatabaseConnectivity）REST：表述性状态转移（REpresentationalStateTransfer）SFTP：安全文件传送协议（SSHFileTransferProtocol）VPN：虚拟专用网络（VirtualPrivateNetwork）5架构5.1总体架构数据采集架构，见图1。图1数据采集架构示意图5.2架构功能数据采集架构功能如下：a)数据源：具有从数据提供部门获取数据的能力；b)数据采集：提供可配置化的数据采集功能，包括结构化数据采集、半结构化数据采集、非结构化数据采集的配置化接入能力，实现对各类数据类型的采集：1)结构化数据采集：提供数据库采集、数据接口采集、数据上传采集、物理拷贝采集等采集方式，满足批量、单个、实时、非实时等形式的结构化数据的采集，2)半结构化数据集：提供系统日志采集、文件数据采集等数据采集方式，对半结构化数据进行解析，形成键值对数据，3)非结构化数据集：提供音视频数据采集、文件采集、网页采集等多种数据采集能力；TXX/TXXXXX—2024c)数据存储：1)依据全量获取数据原则获取业务数据原始数据，将数据存放至数据贴源库，2)将数据处理后的数据存储到数据资源库，首先将数据根据不同的数据源存储到对应的基础数据库、业务数据库、场外数据库等操作型数据库中，形成整合之后推送到开放服务库，3)基于标准规范、业务规则，对操作型数据仓库利用数据处理工具进行整理、汇聚，形成各类主题数据库，4)基于数据共享需求，利用数据处理工具进行整理、汇聚，形成各类外部共享数据库。6方式与频率6.1方式6.1.1一般规定在数据采集过程中宜综合考虑数据提供机构的数据源类型、数据量大小、数据采集要求（批量、单次、实时、非实时等）以及数据采集的时效性等因素选择合理的数据采集方式。a)结构化数据宜选择ODBC、网络服务（REST、WebService）、消息的发布/订阅等相关技术进行数据采集；b)半结构化数据宜选择FTP/SFTP协议进行数据采集，或将数据通过在线填报等人工方式转化为结构化数据进行采集；c)非结构化数据宜选择采集数据存放路径，减少数据传输压力、服务器管理压力。6.1.2数据库采集方式数据库采集技术适用于源数据存储在关系型数据库中，宜支持定时、批量、增量的数据库数据采集抽取要求。a)应用场景：1)针对不会经常发生变化，且数据量较大，宜采用增量数据集成方式，2)针对数据会经常发生变化，数据量不大，宜采用全表比对的方式；数据量较大，采用全量推送的方式；b)数据库采集要求：1)源数据存储在MySQL、Oracle、PostgreSQL等主流数据库（含国产数据库），2)源数据库与支撑平台之间保证网络畅通，3)数据种类较多或单表数据量较大，相关数据不存在对外共享的接口。6.1.3数据接口采集方式数据接口采集方式适用于对接业务部门发布的数据共享服务接口，通过解析数据共享服务接口中的数据，转换为数据采集的格式，实现数据的共享与调用。a)采用数据接口对接应用场景：1)通过接口提供数据时，2)实时性要求较高时，3)数据敏感度高，安全性高的数据时；b)数据采集接口要求：1)保证服务器之间的网络通畅，能够访问到接口地址，2)保证获取到接口的相关参数，3)保证获取的接口地址具有相关的权限，访问接口能够返回正确的数据，4)如返回的数据进行加密，需获取解密相关规则，5)单次采集数据量不超过10万。6.1.4文档、日志采集方式文件、日志数据采集时，适用于对CSV、TXT、XLSX、系统日志等文件数据进行采集。TXX/TXXXXX—2024a)应用场景：针对线下数据（不在数据库、接口，通过excle、txt等文档存储的数据），通过指定文件格式进行数据采集，将数据采集存储到数据库中。对于不符合文档格式的可以选择通过SFTP采集到指定的文档服务器中进行存储。b)文档、日志采集要求：1)提供足够的网络带宽，网络畅通，保证数据抽取效率，2)提供服务器访问权限，能够读取文件，3)数据文件所在的服务器需提供FTP服务，供平台从服务器拉取文件，4)相关数据未存储在关系型数据库，5)单次采集的数据量巨大超过千万。6.2频率数据采集频率要求如下：a)在采集频率时宜考虑数据的及时性、重要性以及对采集系统的影响性；b)不宜在业务系统高峰期频繁调用数据；c)针对及时性要求不高的大数据量任务时，优先考虑在服务器资源较为充裕的时间内进行数据更新，且采集频率宜适当延长；d)不宜在同一时间运行大量流程；e)不宜出现间隔过短的调度时间；f)采集频率间隔大于任务执行流程耗时的平均值。7采集内容7.1基础数据基础数据是信息系统运行的基础，用于支撑信息系统运行的各种参数，指多个部门或系统共享、核心、高价值且相对静态的数据。基础数据分为基础设施、运输装备、项目基础等数据集，详见附录A。7.2业务数据业务数据是业务处理过程中或事务处理所产生的数据。业务数据分为ETC发行业务、入口治超业务、联网收费业务、运营单位业务、工程养护业务、路网监控业务、机电运维业务等数据集，详见附录B。8采集流程8.1数据需求调研在数据采集前，对数据提供机构的数据情况（包括数据内容、数据存储方式、数据量大小等）、网络条件、信息化基础设施等信息进行调研，形成调研报告。8.2数据梳理根据数据调研报告及反馈信息梳理数据。按既定数据类型（基础数据、业务数据）区分数据，并将数据整理到数据资源目录表中。8.3采集方案8.3.1根据业务数据库的数据采集需求，结合调研报告，编制采集方案，内容包括但不限于：a)数据采集背景；b)数据采集目的；c)数据采集需求；d)数据采集内容与范围；e)数据采集软硬件环境准备；f)数据采集方式与频率；TXX/TXXXXX—2024g)数据采集技术标准；h)数据采集技术验证；i)数据采集运维与保障。8.3.2数据采集方案获得参与采集各方的审批后实施。8.4采集准备依据数据采集方案开发数据采集软件并部署相应的软硬件。8.5采集调试确认数据采集准备完成后，参与数据采集各方的技术人员宜根据数据采集方案中的技术方案对数据采集环境进行调试，确保能按照约定的频率采集到正确的数据到业务数据库中。8.6采集实施数据采集调试成功后，按照数据采集方案中的数据采集技术方案实施数据采集，如果采集过程中出现问题，参与采集各方宜积极协调解决。8.7数据存储数据存储宜符合第10.3条数据存储规定。9反馈和处理9.1反馈数据支撑平台宜将数据采集的结果向相关人员进行发布，其内容包括但不限于：时间、处理的信息表、提交数据条数、提交处理成功数据条数、未成功处理数据条数、未成功处理数据的内容和未成功的原因等。9.2处理数据提供方可根据数据支撑平台反馈结果查找原因，解决故障并再次对接。10数据安全10.1数据传输安全数据传输安全中宜按如下规定进行，包括但不限于：a)数据网络安全宜符合GB/T22239规定；b)数据网络传输加密宜符合GB/T39786规定；c)数据网络根据业务情况可采用不同的策略，根据以下情形可选择合适网络传输方式1)与业务方数据传输过程中对网络稳定性、安全性与传输速度要求较高，可采取网络专线方式建立网络链接，2)与业务方归属统一单位部门，对网络灵活性要求较高且对安全性具有一定要求，可采取VPN网络加密方式建立网络链接，3)与第三方企业业务部门进行数据传输可通过公共互联网对信源加密方式对建立网络链接；d)建立网络交换机、防火墙、传输端点等安全防护体系；e)利用身份认证、访问权限、端口开放访问控制等措施保障数据访问控制安全；f)建立完善监控巡检机制，对网络、服务器、传输端点等进行全过程监控，定期进行巡检并出具巡检报告；g)定期对相关人员定期开展职业培训，提高人员专业技术和安全防范意识。10.2数据存储安全数据存储安全宜按如下规定进行，包括但不限于：a)数据存储加密宜符合GB/T39786规定；TXX/TXXXXX—2024b)对数据的分级分类划分宜符合GB/T43697规定；c)对个人数据的存储管理宜符合GB/T35273规定；d)建立完善的数据备份机制，保障数据存储安全；e)建立数据链路监控机制，监控数据采集情况，防止数据在采集过程中被非法访问、破坏、篡改、丢失、阻止；f)对数据保护等级较高的数据宜进行相关数据加密、脱敏等存储措施；g)对数据存储位置宜设置身份认证、账户管理、数据库权限控制、访问控制、日志管理等相关策略和管理制度，防止数据泄密、破坏、篡改；h)定期对相关人员定期开展职业培训，提高人员专业技术和安全防范意识。TXX/TXXXXX—2024（资料性）业务数据A.1基础设施-桥梁信息表数据项桥梁信息表数据项见表A.1。表A.1桥梁信息表数据项0是否否否2否2否8否7否7否7否2否否6否2否6否6否否6否6否否否否否否否0否2否2否2否6否2否2否2否否否2否2否2否否否2否TXX/TXXXXX—2024表A.1桥梁信息表数据项续0否否否否否8否8否否2否否否2否2否2否2否2否2否2否2否2否否否2否否否否否A.2基础设施-涵洞信息表数据项涵洞信息表数据项见表A.2。表A.2涵洞信息表数据项02222TXX/TXXXXX—2024表A.2涵洞信息表数据项续277777778A.3基础设施-服务区信息数据项服务区信息数据项见表A.3。表A.3服务区信息数据项0是否否2否否否否否否7否否8否8否0否TXX/TXXXXX—2024（资料性）基础数据B.1ETC发行业务-卡信息状态数据项卡信息状态数据项见表B.1。表B.1卡信息状态数据项是0否0否否否否否0否0否0否否0否0否0否否否0否否否否否0否0否否否否否0否0否0否0否B.2ETC发行业务-用户状态数据项用户状态数据项见表B.2。表B.2用户状态数据项是0否0否0否TXX/TXXXXX—2024表B.2用户状态数据项续否否0否0否否0否否0否0否否0否0否0否否0否0否否否0否0否0否0否B.3ETC发行业务-车辆信息数据项车辆信息数据项见表B.3。表B.3车辆信息数据项是0否否0否0否否否0否0否0否否0否否否0否否否0否0否否0否0否0否TXX/TXXXXX—2024表B.3车辆信息数据项续0否否0否否0否0否0否否0否否否否否否0否0否0否0否B.4入口治超业务-大件运输许可名单信息数据项大件运输许可名单信息数据项见表B.4。表B.4大件运输许可名单信息数据项是否否否否否否否牌否否否否否9否9否9否9否9否9否否否9否否否否TXX/TXXXXX—2024表B.4大件运输许可名单信息数据项续否B.5入口治超业务-入口治超称重流水数据项入口治超称重流水数据项见表B.5。表B.5入口治超称重流水数据项是否否否否否0否否0否0否0否0否0否0否9否0否0否0否0否否0否否否0否0否0否0否0否0否0否0否0否0否0否否否0否否0否否0否TXX/TXXXXX—2024B.6入口治超业务-出口治超称重流水数据项出口治超称重流水数据项见表B.6。表B.6出口治超称重流水数据项是否否否否否0否0否0否否0否否否否否否0否0否0否0否0否0否9否0否否0否0否0否否否0否否0否否B.7联网收费业务-收费站编码数据项收费站