科技数据管理体系：数据汇交-2201

ICS03.100.20

CCSA02

T/CPPC

团体标准

T/CPPC—××××

科技数据管理体系：数据汇交

ScienceandTechnologyDataManagementSystemStandards:DataCollection

（征求意见稿）

2021-xx-xx发布2021-xx-xx实施

中国生产力促进中心协会发布

T/CPPCXX—2021

前言

本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定

起草。

本文件由广西科技情报研究所提出

本文件由中国生产力促进中心协会归口。

本文件起草单位：广西壮族自治区科学技术情报研究所、北京万方软件有限公司、北海市科技信息

研究所、桂林市科学技术情报研究所、河池市科学技术情报和创新服务所、百色

市科学技术情报研究所

本文件起草人：李家深、唐青青、张娜、董婷梅、陆桂军、陆东亮、李立、韦青松、李莲靖、张天、

潘家新、唐澍、李茜茜、韦昌联、唐磊、张正峰

本文件为首次发布。

II

T/CPPCXX—2021

科技数据管理体系：数据汇交

1范围

本文件规定了科技数据管理体系中对数据汇交的要求。

本文件适用于科技管理、科技统计、科技决策服务等活动。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T30523-2014科技平台资源核心元数据

3术语和定义

下列术语和定义适用于本文件。

3.1

数据汇交datacollection

数据汇交指开展数据采集、生产和加工整理，形成便于使用的数据库或数据集的过程。

4总则

本文件依据《国务院关于加快科技服务业发展的若干意见》，《国家科技服务业统计分类》等文件，

对数据汇交进行了规范，确定了科技数据管理体系中的数据汇交标准。

5数据汇交标准

5.1汇交综述

科技数据管理体系中的数据汇交标准包括：（1）基本流程；（2）数据交换种类；（3）数据交换

方式；（4）流程管理；（5）数据采集质量控制要求；（6）数据质量控制机制；（7）数据采集安全控

制要求等7项内容，具体标准见5.1~5.7。

5.2基本流程

数据汇交流程实现对数据的采集与提取、信息数据转换与标准化、协议转换、信息交换与上传、加

密压缩，并提供内置数据缓存、安全审计、远程监管、远程业务变更等辅助工具。要满足以下基本要求：

（1）确定原始数据汇交源及内容

1

T/CPPCXX—2021

通过分析系统所需的数据，明确数据汇交标准范围及属性，适应多种数据源，如：关系数据库、XML、

CSV、Excel、结构化文本、非结构化文件、数据服务、传感器原始数据等。

（2）确定数据汇交方式

通过分析可能掌握相关数据源类型，根据可操作性、成本导向等原则选定所采用的方式技术。数据

汇交方式分主动与被动、实时与定时、在线与离线，通过分析可能掌握相关数据源类型，根据可操作性、

成本导向等原则选定所采用的方式技术。

（3）汇交相关数据及数据处理

确定采集方式后，需要经过对采集数据的清洗和标准化转换及加载存储到数据库中。通过图形工具、

业务模板快速完成分散机构数据的定时采集，实现数据高质量上报。

（4）汇交管理

采集数据质量管理：对采集原始数据进行质量综合分析、评测、排名、告警，为数据质量提升，帮

助改善数据质量。校验质控：实现数据质量合法性校验+关联性校验，提供各机构数据质量情况总览。

（5）汇交监控

对数据汇交过程、结果、明细、性能、异常进行实时动态监控，帮助及时了解运转情况。

（6）数据存储

汇聚融合：聚合、归类、关联各机构汇总的业务数据，形成上下文完整有效数据。安全保障：提供

严格的安全保障技术，包括加密解密、压缩解压、认证授权、安全审计等。

（7）数据安全

贯穿于数据融合整个过程中，在数据汇交全周期内的安全要求。

（8）标准支撑

遵循《科技数据管理体系：元数据》标准。

5.3数据交换种类

按照数据交换方式分为数据库交换，报文交换及文件交换。

（1）数据库检索数据：事件交换类型为数据库的检索事件实现，根据业务数据映射规则和输入的

检索条件，生成检索SQL脚本，检索出数据并返回。

（2）数据库更新数据：事件交换类型为数据库的更新事件实现，从外部输入待更新数据，解析映

射规则生成更新数据库SQL脚本并在目标系统执行。

（3）报文交换：进行数据交换的各数据提供子系统提供服务接口，通过互相调用接口，通过接口

输入、输出报文的方式进行数据交换。各数据提供应用子系统按照要求只提供一个物理服务接口，数据

交换的报文接口必须遵循报文规范。

（4）文件交换

⚫上传文件

1）将文件上传到文件服务器。

2）对上传文件进行加密处理。

3）将加密后的文件保存到文件服务器目标系统的目录中。

⚫下载文件

1）将需要下载的文件进行权限校验。

2）校验通过的文件进行解密。

3）将解密后的文件输出到目标系统中。

5.4数据交换方式

（1）事件实时触发交换

2

T/CPPCXX—2021

事件触发数据交换是通过页面操作触发的数据交换，在页面操作处理过程中直接调用目标方服务接

口并输入数据。

（2）事件触发处理过程

1）页面触发事件，事件中构造交换数据报文实例然后调用目标系统服务接口输入报文。

2）接收子系统调用数据提供子系统服务输入交换数据报文获取报文中业务对象信息进行后续的业

务处理。

（3）事件触发交换异常处理

1）记录异常信息到日志表中，记录数据交换的报文信息。

2）手动重新启动交换过程，从日志中获取到交换报文重新进行交换流程完成之前出现异常终止的

数据交换。

（4）轮询批量数据交换

轮询批量数据交换是通过调度机制，在设定的时间间隔中执行一次数据交换过程，交换数据为在调

度时间间隔内发生的需交换的批量数据，数据中心通过调用各数据提供系统的服务接口获取交换数据，

通过消息中间件传输数据，再调用目标系统的更新数据服务接口并输入数据实现批量数据同步。

5.5流程管理

数据汇交的流程管理满足以下要求：

（1）数据提交负责人按照汇交方案和数据汇交的格式标准进行各自专业领域的数据加工、整理，

根据时间节点进行汇交；

（2）数据接收方据数据验收质量控制标准及相关管理办法验收上交的数据，对于合格的数据和数

据集提供数据汇交证明，以确保数据的知识产权和使用范围。

5.6数据采集质量控制要求

为满足数据汇总、挖掘与集成应用等数据融合的要求，要对所采集的数据逐一进行质量评价，评价

维度包括：

（1）完整性：按照数据规则要求的数据元素被赋予数值的程度；

（2）准确性：数据准确表示其所描述的真实实体（实际对象）的真实值的程度；

（3）一致性：数据与其他特定上下文中使用的数据无矛盾的程度；

（4）时效性：数据在时间变化中的正确程度；

（5）可访问性：数据能被访问的程度；

（6）可追溯性：数据跟踪和管理的程度。

5.7数据质量控制机制

数据采集者要制定数据控制机制，包括以下基本要求：

（1）数据采集者应制定所采集数据的质量控制目标，明确相关方职责和权限，实施并持续改进，

使数据质量满足应用需求；

（2）明确采集过程中数据质量管理目标，定义数据质量管理的角色和职责，为数据质量管理方法

的建立提供指导；

（3）明确数据质量相关的数据采集方法、技术和设备等；

（4）识别数据采集阶段影响数据质量的关键因素，构建数据质量评价框架；

（5）采用定性评估、定量评估和综合评估等方法，对采集的数据进行评估和监督，持续优化数据

质量。

5.8数据采集安全控制要求

3

T/CPPCXX—2021

（1）数据安全控制

数据采集安全贯穿于数据融合整个过程中，在数据采集过程中，安全要求包括：

1）数据使用符合数据权属部门的要求；

2）数据在整个采集、转化、传输过程中依据授权使用，不被非法冒充、窃取、篡改、抵赖；

3）应符合GB/T22239–2008对大数据应用安全的相关要求；

4）应对数据采集环境、设施和技术采取必要的安全管控措施；

5）明确数据采集取过程中个人信息和重要数据的知悉范围和安全管控措施；

6）采取必要的技术手段和管理措施保证数据采集过程中个人信息和重要数据不被泄露。

（2）定位溯源

能够对采集的数据进行定位溯源，包括以下基本要求：

1）建立数据资源定位溯源技术能力，能准确定位存在信息安全问题的应用或服务的源头，并保存

相关记录，及时上报相关管理部门；

2）启用数据溯源机制，对非溯源数据进行警示；

3）具备出现问题之后可以立即启用溯源的技术手段，确保溯源的及时有效；

4）应能够对数据采集过程进行安全审计。

（3）安全监测

能够对数据采集过程进行安全监测，包括以下基本要求：

1）应能够检测到数据在采集过程中完整性是否受到破坏，并在检测到完整性错误时采取必要的恢

复措施；

2）应可限制网络最大网络流量数及网络连接数，限制恶意攻击流量，确保为高级别访问预留足够

带宽；

3）应采用数字签名等技术，保证数据采集过程中不被篡改；

4）应支持采用传输层加密技术，例如TLS、SSH等；

5）应支持采用国家密码管理局鉴定的专用的加密软硬件保障采集过程中的安全性。

4

T/CPPCXX—2021

参考文献

[1]国务院关于加快科技服务业发展的若干意见

[2]国家科技服务业统计分类

[3]GB/T4754-2017国民经济行业分类

[4]GB/T30523-2014科技平台资源核心元数据

_________________________________

5

T/CPPCXX—2021

目次

前言...............................................................................II

1范围................................................................................1

2规范性引用文件......................................................................1

3术语和定义..........................................................................1

4总则................................................................................1

5数据汇交标准........................................................................1

参考文献..............................................................................5

I

T/CPPCXX—2021

科技数据管理体系：数据汇交

1范围

本文件规定了科技数据管理体系中对数据汇交的要求。

本文件适用于科技管理、科技统计、科技决策服务等活动。

2规范性引用文件

下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，

仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本

文件。

GB/T30523-2014科技平台资源核心元数据

3术语和定义

下列术语和定义适用于本文件。

3.1

数据汇交datacollection

数据汇交指开展数据采集、生产和加工整理，形成便于使用的数据库或数据集的过程。

4总则

本文件依据《国务院关于加快科技服务业发展的若干意见》，《国家科技服务业统计分类》等文件，

对数据汇交进行了规范，确定了科技数据管理体系中的数据汇交标准。

5数据汇交标准

5.1汇交综述

科技数据管理体系中的数据汇交标准包括：（1）基本流程；（2）数据交换种类；（3）数据交换

方式；（4）流程管理；（5）数据采集质量控制要求；（6）数据质量控制机制；（7）数据采集安全控

制要求等7项内容，具体标准见5.1~5.7。

5.2基本流程

数据汇交流程实现对数据的采集与提取、信息数据转换与标准化、协议转换、信息交换与上传、加

密压缩，并提供内置数据缓存、安全审计、远程监管、远程业务变更等辅助工具。要满足以下基本要求：

（1）确定原始数据汇交源及内容

1

T/CPPCXX—2021

通过分析系统所需的数据，明确数据汇交标准范围及属性，适应多种数据源，如：关系数据库、XML、

CSV、Excel、结构化文本、非结构化文件、数据服务、传感器原始数据等。

（2）确定数据汇交方式

通过分析可能掌握相关数据源类型，根据可操作性、成本导向等原则选定所采用的方式技术。数据

汇交方式分主动与被动、实时与定时、在线与离线，通过分析可能掌握相关数据源类型，根据可操作性、

成本导向等原则选定所采用的方式技术。

（3）汇交相关数据及数据处理

确定采集方式后，需要经过对采集数据的清洗和标准化转换及加载存储到数据库中。通过图形工具、

业务模板快速完成分散机构数据的定时采集，实现数据高质量上报。

（4）汇交管理

采集数据质量管理：对采集原始数据进行质量综合分析、评测、排名、告警，为数据质量提升，帮

助改善数据质量。校验质控：实现数据质量合法性校验+关联性校验，提供各机构数据质量情况总览。