《高速公路数据采集 技术规范》

ICS35.240.60

CCSL70

QHGL

青海省公路学会团体标准

T/XXXXXXX—2024

高速公路数据采集技术规范

征求意见稿

在提交反馈意见时，请将您知道的相关专利连同支持性文件一并附上。

2024-XX-XX发布2024-XX-XX实施

青海省公路学会  发布

TXX/TXXXXX—2024

高速公路数据采集技术规范

1范围

本文件规定了高速公路数据采集技术的术语与定义、缩略语、架构、方式与频率、采集内容、采集

流程、反馈和处理及数据安全等内容。

本文件适用于高速公路结构化、半结构化、非结构化等各类信息资源数据的采集。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T22239信息安全技术—网络安全等级保护基本要求

GB/T35273信息安全技术个人信息安全规范

GB/T39786信息安全技术信息系统密码应用基本要求

GB/T43697数据安全技术数据分类分级规则

3术语和定义

下列术语和定义适用于本文件。

3.1

结构化数据

关系模型数据，即以关系数据库表形式管理的数据。

3.2

半结构化数据

非关系模型的、有基本固定结构模式的数据，例如日志类型文件、XML文档、JSON文档、Email等。

3.3

非结构化数据

没有固定模式的数据，如WORD、PDF、PPT、EXCEL，各种格式的图片、视频等。

3.4

敏感数据

泄漏后可能会给社会、企业或个人带来危害的数据。

3.5

中间件

位于系统软件之上，用于支持分布式应用软件，连接不同软件实体的支撑软件。

3.6

网关

在网络层以上实现网络互连，是最复杂的网络互连设备，仅用于两个高层协议不同的网络互连。

3.7

数据提供机构

承担数据提供工作的部门或单位（也称为数据来源机构）。

3.8

信源

信息的来源。

3.9

脱敏

TXX/TXXXXX—2024

对某些敏感信息通过指定规则进行数据的变形，实现对敏感数据的可靠保护。

3.10

加密

对敏感数据进行加密处理，使外部用户只看到无意义的加密后数据，同时在特定场景下，可以提供

解密能力，使具有秘钥的相关方可以获得源数据。

4缩略语

下列缩略语适用于本文件。

FTP：文件传输协议（FileTransferProtocol）

ODBC：开放数据库连接（OpenDatabaseConnectivity）

REST：表述性状态转移（REpresentationalStateTransfer）

SFTP：安全文件传送协议（SSHFileTransferProtocol）

VPN：虚拟专用网络（VirtualPrivateNetwork）

5架构

5.1总体架构

数据采集架构，见图1。

图1数据采集架构示意图

5.2架构功能

数据采集架构功能如下：

a)数据源：具有从数据提供部门获取数据的能力；

b)数据采集：提供可配置化的数据采集功能，包括结构化数据采集、半结构化数据采集、非结

构化数据采集的配置化接入能力，实现对各类数据类型的采集：

1)结构化数据采集：提供数据库采集、数据接口采集、数据上传采集、物理拷贝采集等采

集方式，满足批量、单个、实时、非实时等形式的结构化数据的采集，

2)半结构化数据集：提供系统日志采集、文件数据采集等数据采集方式，对半结构化数据

进行解析，形成键值对数据，

3)非结构化数据集：提供音视频数据采集、文件采集、网页采集等多种数据采集能力；

TXX/TXXXXX—2024

c)数据存储：

1)依据全量获取数据原则获取业务数据原始数据，将数据存放至数据贴源库，

2)将数据处理后的数据存储到数据资源库，首先将数据根据不同的数据源存储到对应的基

础数据库、业务数据库、场外数据库等操作型数据库中，形成整合之后推送到开放服务

库，

3)基于标准规范、业务规则，对操作型数据仓库利用数据处理工具进行整理、汇聚，形成

各类主题数据库，

4)基于数据共享需求，利用数据处理工具进行整理、汇聚，形成各类外部共享数据库。

6方式与频率

6.1方式

6.1.1一般规定

在数据采集过程中宜综合考虑数据提供机构的数据源类型、数据量大小、数据采集要求（批量、单

次、实时、非实时等）以及数据采集的时效性等因素选择合理的数据采集方式。

a)结构化数据宜选择ODBC、网络服务（REST、WebService）、消息的发布/订阅等相关技术进

行数据采集；

b)半结构化数据宜选择FTP/SFTP协议进行数据采集，或将数据通过在线填报等人工方式转化

为结构化数据进行采集；

c)非结构化数据宜选择采集数据存放路径，减少数据传输压力、服务器管理压力。

6.1.2数据库采集方式

数据库采集技术适用于源数据存储在关系型数据库中，宜支持定时、批量、增量的数据库数据采集

抽取要求。

a)应用场景：

1)针对不会经常发生变化，且数据量较大，宜采用增量数据集成方式，

2)针对数据会经常发生变化，数据量不大，宜采用全表比对的方式；数据量较大，采用全

量推送的方式；

b)数据库采集要求：

1)源数据存储在MySQL、Oracle、PostgreSQL等主流数据库（含国产数据库），

2)源数据库与支撑平台之间保证网络畅通，

3)数据种类较多或单表数据量较大，相关数据不存在对外共享的接口。

6.1.3数据接口采集方式

数据接口采集方式适用于对接业务部门发布的数据共享服务接口，通过解析数据共享服务接口中的

数据，转换为数据采集的格式，实现数据的共享与调用。

a)采用数据接口对接应用场景：

1)通过接口提供数据时，

2)实时性要求较高时，

3)数据敏感度高，安全性高的数据时；

b)数据采集接口要求：

1)保证服务器之间的网络通畅，能够访问到接口地址，

2)保证获取到接口的相关参数，

3)保证获取的接口地址具有相关的权限，访问接口能够返回正确的数据，

4)如返回的数据进行加密，需获取解密相关规则，

5)单次采集数据量不超过10万。

6.1.4文档、日志采集方式

文件、日志数据采集时，适用于对CSV、TXT、XLSX、系统日志等文件数据进行采集。

TXX/TXXXXX—2024

a)应用场景：

针对线下数据（不在数据库、接口，通过excle、txt等文档存储的数据），通过指定文件格

式进行数据采集，将数据采集存储到数据库中。对于不符合文档格式的可以选择通过SFTP采

集到指定的文档服务器中进行存储。

b)文档、日志采集要求：

1)提供足够的网络带宽，网络畅通，保证数据抽取效率，

2)提供服务器访问权限，能够读取文件，

3)数据文件所在的服务器需提供FTP服务，供平台从服务器拉取文件，

4)相关数据未存储在关系型数据库，

5)单次采集的数据量巨大超过千万。

6.2频率

数据采集频率要求如下：

a)在采集频率时宜考虑数据的及时性、重要性以及对采集系统的影响性；

b)不宜在业务系统高峰期频繁调用数据；

c)针对及时性要求不高的大数据量任务时，优先考虑在服务器资源较为充裕的时间内进行数据

更新，且采集频率宜适当延长；

d)不宜在同一时间运行大量流程；

e)不宜出现间隔过短的调度时间；

f)采集频率间隔大于任务执行流程耗时的平均值。

7采集内容

7.1基础数据

基础数据是信息系统运行的基础，用于支撑信息系统运行的各种参数，指多个部门或系统共享、核

心、高价值且相对静态的数据。基础数据分为基础设施、运输装备、项目基础等数据集，详见附录A。

7.2业务数据

业务数据是业务处理过程中或事务处理所产生的数据。业务数据分为ETC发行业务、入口治超业务、

联网收费业务、运营单位业务、工程养护业务、路网监控业务、机电运维业务等数据集，详见附录B。

8采集流程

8.1数据需求调研

在数据采集前，对数据提供机构的数据情况（包括数据内容、数据存储方式、数据量大小等）、网

络条件、信息化基础设施等信息进行调研，形成调研报告。

8.2数据梳理

根据数据调研报告及反馈信息梳理数据。按既定数据类型（基础数据、业务数据）区分数据，并将

数据整理到数据资源目录表中。

8.3采集方案

8.3.1根据业务数据库的数据采集需求，结合调研报告，编制采集方案，内容包括但不限于：

a)数据采集背景；

b)数据采集目的；

c)数据采集需求；

d)数据采集内容与范围；

e)数据采集软硬件环境准备；

f)数据采集方式与频率；

TXX/TXXXXX—2024

g)数据采集技术标准；

h)数据采集技术验证；

i)数据采集运维与保障。

8.3.2数据采集方案获得参与采集各方的审批后实施。

8.4采集准备

依据数据采集方案开发数据采集软件并部署相应的软硬件。

8.5采集调试

确认数据采集准备完成后，参与数据采集各方的技术人员宜根据数据采集方案中的技术方案对数据

采集环境进行调试，确保能按照约定的频率采集到正确的数据到业务数据库中。

8.6采集实施

数据采集调试成功后，按照数据采集方案中的数据采集技术方案实施数据采集，如果采集过程中出

现问题，参与采集各方宜积极协调解决。

8.7数据存储

数据存储宜符合第10.3条数据存储规定。

9反馈和处理

9.1反馈

数据支撑平台宜将数据采集的结果向相关人员进行发布，其内容包括但不限于：时间、处理的信息

表、提交数据条数、提交处理成功数据条数、未成功处理数据条数、未成功处理数据的内容和未成功的

原因等。

9.2处理

数据提供方可根据数据支撑平台反馈结果查找原因，解决故障并再次对接。

10数据安全

10.1数据传输安全

数据传输安全中宜按如下规定进行，包括但不限于：

a)数据网络安全宜符合GB/T22239规定；

b)数据网络传输加密宜符合GB/T39786规定；

c)数据网络根据业务情况可采用不同的策略，根据以下情形可选择合适网络传输方式

1)与业务方数据传输过程中对网络稳定性、安全性与传输速度要求较高，可采取网络专线

方式建立网络链接，

2)与业务方归属统一单位部门，对网络灵活性要求较高且对安全性具有一定要求，可采取

VPN网络加密方式建立网络链接，

3)与第三方企业业务部门进行数据传输可通过公共互联网对信源加密方式对建立网络链接；

d)建立网络交换机、防火墙、传输端点等安全防护体系；

e)利用身份认证、访问权限、端口开放访问控制等措施保障数据访问控制安全；

f)建立完善监控巡检机制，对网络、服务器、传输端点等进行全过程监控，定期进行巡检并出

具巡检报告；

g)定期对相关人员定期开展职业培训，提高人员专业技术和安全防范意识。

10.2数据存储安全

数据存储安全宜按如下规定进行，包括但不限于：

a)数据存储加密宜符合GB/T39786规定；

TXX/TXXXXX—2024

b)对数据的分级分类划分宜符合GB/T43697规定；

c)对个人数据的存储管理宜符合GB/T35273规定；

d)建立完善的数据备份机制，保障数据存储安全；

e)建立数据链路监控机制，监控数据采集情况，防止数据在采集过程中被非法访问、破坏、篡

改、丢失、阻止；

f)对数据保护等级较高的数据宜进行相关数据加密、脱敏等存储措施；

g)对数据存储位置宜设置身份认证、账户管理、数据库权限控制、访问控制、日志管理等相关

策略和管理制度，防止数据泄密、破坏、篡改；

h)定期对相关人员定期开展职业培训，提高人员专业技术和安全防范意识。

TXX/TXXXXX—2024

附录A

（资料性）

业务数据

A.1基础设施-桥梁信息表数据项

桥梁信息表数据项见表A.1。

表A.1桥梁信息表数据项

字段名称字段类型长度是否主键

主键int0是

集团统一编码varchar10否

路线统一编码varchar10否

桥梁名称varchar60否

桥梁类型varchar2否

评定等级varchar2否

评定时间varchar8否

桥梁中心桩号decimal7否

桥梁起点桩号decimal7否

桥梁终点桩号decimal7否

桥梁功能varchar2否

弯斜度decimal11否

桥梁全长decimal6否

跨径分类varchar2否

跨径总长decimal6否

单孔最大跨径decimal6否

跨径组合varchar200否

引道路面宽decimal6否

引道长度decimal6否

桥梁全宽decimal10否

桥梁净宽decimal10否

行车道宽decimal10否

桥面标高decimal11否

桥下净高decimal11否

使用年限分类varchar10否

是否特殊桥梁int0否

主桥上部构造材料varchar2否

主桥上部结构名称varchar2否

桥墩类型varchar2否

墩台最大高度decimal6否

桥台类型varchar2否

墩台防撞设施类型varchar2否

桥面铺装类型varchar2否

伸缩缝类型varchar10否

支座类型varchar10否

防护工程类型varchar2否

设计荷载等级varchar2否

抗震等级varchar2否

跨越地物类型varchar10否

跨越地物桩号varchar50否

通航等级varchar2否

TXX/TXXXXX—2024

表A.1桥梁信息表数据项续

字段名称字段类型长度是否主键

是否互通立交int0否

建设单位varchar100否

设计单位varchar100否

施工单位varchar100否

监理单位varchar100否

修建年度varchar8否

竣工日期varchar8否

总造价(万元)decimal12否

方向代码varchar2否

位置经度decimal18否

位置纬度decimal18否

收费性质varchar2否

桥梁结构类型varchar2否

路线类型varchar2否

桥梁使用状态varchar2否

当前设计荷载等级varchar2否

路线属性varchar2否

排水类型varchar2否

附属设施varchar2否

分隔带类型varchar2否

抗震措施varchar10否

地基地质varchar50否

环境条件varchar2否

桥高decimal11否

跨中截面高decimal11否

桥梁限高decimal11否

桥下通航标准净空decimal11否

A.2基础设施-涵洞信息表数据项

涵洞信息表数据项见表A.2。

表A.2涵洞信息表数据项

字段名称字段类型长度是否主键

主键int0主键

集团统一编码varchar10集团统一编码

涵洞名称varchar60涵洞名称

路段统一编码varchar10路段统一编码

涵洞类型varchar2涵洞类型

中心桩号decimal11中心桩号

涵洞结构材料varchar2涵洞结构材料

涵洞孔数varchar2涵洞孔数

涵洞结构形式varchar2涵洞结构形式

涵洞长度decimal11涵洞长度

涵洞跨径decimal11涵洞跨径

涵洞宽度decimal11涵洞宽度

孔数及净跨varchar100孔数及净跨

涵洞高度decimal11涵洞高度

经度decimal18经度

纬度decimal18纬度

限载吨位varchar20限载吨位

涵底铺砌材料类型varchar32涵底铺砌材料类型

TXX/TXXXXX—2024

表A.2涵洞信息表数据项续

字段名称字段类型长度是否主键

涵洞洞口类型varchar2涵洞洞口类型

涵洞进口净高decimal7涵洞进口净高

涵洞出口净高decimal7涵洞出口净高

涵洞面积decimal7涵洞面积

涵洞身长decimal7涵洞身长

涵洞坡度decimal7涵洞坡度

盖板或管厚decimal7盖板或管厚

涵洞形式varchar32涵洞形式

填土厚度decimal7填土厚度

建成时间varchar8建成时间

A.3基础设施-服务区信息数据项

服务区信息数据项见表A.3。

表A.3服务区信息数据项

字段名称字段类型长度是否主键

主键int0是

集团统一编码varchar10否

服务区名称varchar50否

服务区状态varchar2否

路线编码varchar32否

路线统一编码varchar10否

路段统一编码varchar10否

位置经度decimal11否

位置纬度decimal11否

位置桩号decimal7否

方向说明varchar50否

开始时间varchar8否

结束时间varchar8否

是否结束tinyint0否

TXX/TXXXXX—2024

附录B

（资料性）

基础数据

B.1ETC发行业务-卡信息状态数据项

卡信息状态数据项见表B.1。

表B.1卡信息状态数据项

字段名称字段类型长度是否主键

用户卡编号varchar30是

卡类型int0否

卡品牌int0否

卡型号varchar100否

客服合作机构编号varchar30否

客户编号varchar30否

车辆编号varchar30否

卡启用时间datetime0否

卡到期时间datetime0否

开卡方式int0否

开卡渠道编号varchar20否

开卡时间datetime0否

用户卡状态int0否

用户卡状态变更时间datetime0否

个人或单位银行卡号或账号varchar100否

银行预留手机号varchar100否

银行账户名称text0否

银行卡绑定用户身份证号varchar100否

网点编号varchar20否

银行绑卡请求日期时间格式varchar20否

流水号varchar20否

绑定卡类型int0否

绑定银行账户类型int0否

银行编码varchar20否

渠道类型varchar20否

信息录入网点编号varchar20否

信息录入人工号varchar20否

操作时间datetime0否

数据是否可上传状态int0否

入库时间datetime0否

更新入库datetime0否

B.2ETC发行业务-用户状态数据项

用户状态数据项见表B.2。

表B.2用户状态数据项

字段名称字段类型长度是否主键

客户编号varchar30是

客户类型int0否

客户名称text0否

证件类型int0否

TXX/TXXXXX—2024

表B.2用户状态数据项续

字段名称字段类型长度是否主键

证件号码varchar200否

开户人/指定经办人电号码varchar100否

开户人地址text0否

开户方式int0否

开户渠道编号varchar20否

开户时间datetime0否

部门/分支机构名称varchar50否

指定经办人姓名text0否

指定经办人证件类型int0否

指定经办人证件号varchar100否

单位开户行text0否

单位开户行地址text0否

单位开户行账号text0否

单位纳税人识别号varchar50否

客户状态int0否

客户状态变更时间datetime0否

信息录入网点编号varchar20否

信息录入人工号varchar20否

操作时间datetime0否

数据是否可上传状态int0否

入库时间datetime0否

更新时间datetime0否

B.3ETC发行业务-车辆信息数据项

车辆信息数据项见表B.3。

表B.3车辆信息数据项

字段名称字段类型长度是否主键

车牌号varchar30是

收费车型int0否

所属客户编号varchar30否

机动车所有人名称text0否

机动车所有人证件类型int0否

机动车所有人证件号码varchar200否

所有人联系电话varchar200否

所有人联系地址text0否

指定联系人姓名text0否

录入方式int0否

录入渠道编号varchar20否

录入时间datetime0否

行驶证车辆类型