T-ZGCMCA 006-2024 国家工业互联网大数据中心体系 应用系统数据资源接入规范

ICS35.240.50CCSL70ZGCMCANationalindustrialinternetbigdatacentersystemapplicationsystemdataresourceintegratingspeciT/ZGCMCA006—2024前言 42规范性引用文件 43术语和定义 44缩略语 55总体要求 56应用系统部署上线 56.1管理要求 56.2职责分工 56.3上线要求 56.4操作流程 67数据接入 77.1接入申请与审批 87.2对接方式 87.3交换频率 87.4数据准备 97.5数据接入 97.6数据入库 97.7异常处理 9参考文献 T/ZGCMCA006—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由中国工业互联网研究院提出。本文件由中国移动通信联合会归口。本文件起草单位：中国工业互联网研究院、江苏金恒信息科技股份有限公司、河北燕大燕软信息系统有限公司、山东华易数据湖信息技术有限公司、北京康吉森自动化技术股份有限公司、苏州思萃工业大数据技术研究所有限公司、山东省工业互联网发展研究中心、首域科技（杭州）有限公司、江苏省工业互联网发展研究中心、辽宁省工业互联网发展研究中心、四川川能智网实业有限公司、浙江宇丰信息技术有限公司、常州微亿制造科技有限公司、中标政联（北京）标准化技术院、中标政联标准化技术服务（北京）有限公司、北京博华信智科技股份有限公司、重庆机电智能制造有限公司、矩质算能（上海）科技有限公司、北京邮电大学、西安电子科技大学、湖南省工业互联网发展研究中心、中科云谷科技有限公司，、北京菱云科技有限公司、驭鉴数字科技（杭州）有限公司、中移数智科技有限公司、北京海天瑞声科技股份有限公司、百城雾联（上海）科技有限公司、青岛兮易信息技术有限公司、北京光辉世联科技有限公司、梯度科技股份有限公司、北京东方国信股份有限公司、北京神州光大科技有限公司、浙江金融职业学院、杭州中晟企业管理有限公司、国家能源集团电子商务有限公司、北京顺鑫福通大数据集团有限公司、北京城建智控科技股份有限公司、联通数据智能有限公司。本文件主要起草人：陈杰浩、杜栋栋、张子纯、李井先、刘文远、王强、郝云瑞、周新辉、冯瑞、周成、黄金、刘素娟、马咸、余德锐、刘二腾、韩锦、李志勇、沈阅、于双、钟钊瑜、杨玉丰、郑成龙、张强、孙东蕾、张栋梁、董松伟、王俊、冉娅梅、任华松、张昉临、林怡静、杨树杰、孔宪光、廖宇桥、曾扬博、郭姜、陈威余、刘文虎、杨华卫、陈红、彭勃、刘文江、张晗、陈冬杰、郝玉峰、张叶、刘倩、徐迎辉、门小棠、王伟华、李航、闻军、周峰、王志、范秋芬、刘成成、周永旺、杨恒、蒋涛、胡海山、汪令宏、徐孝天、彭晶、胡博文、李奕萱。4T/ZGCMCA006—2024国家工业互联网大数据中心体系应用系统数据资源接入规范本文件规定了国家工业互联网大数据中心体系内国家中心、各区域分中心、各行业分中心的应用系统部署上线和数据接入的详细流程。本文件适用于指导国家工业互联网大数据中心体系内国家中心、各区域分中心、各行业分中心的应用系统数据资源接入国家中心大数据湖。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T22239-2019信息安全技术网络安全等级保护基本要求GB/T35274-2023数据安全技术大数据服务安全能力要求GB/T35295-2017信息技术大数据术语3术语和定义下列术语和定义适用于本文件。3.1大数据bigdata具有体量巨大、来源多样、生成极快、且多变等特征并且难以用传统数据体系结构有效处理的包含大量数据集的数据。[来源:GB/T35295-2017,2.1.1]3.2国家工业互联网大数据中心体系nationalindustrialinternetbigdatacentersystem指汇聚、处理和应用全国工业互联网数据的新型基础设施体系，由国家中心、各区域分中心和各行业分中心共同组成。3.3国家中心nationalcenter指位于北京的国家工业互联网大数据中心，与各区域分中心、各行业分中心共同组成国家工业互联网大数据中心体系。3.4区域分中心regionalsubcenter指国家工业互联网大数据中心体系在全国重点省（自治区、直辖市）建设的省级新型基础设施体系。3.5行业分中心industrialsubcenter指国家工业互联网大数据中心体系在重点行业建设的行业级新型基础设施体系。3.65T/ZGCMCA006—2024应用系统applicationsystem指在国家中心、各区域分中心、各行业分中心中正常运行的各类业务应用系统。3.7数坝datachannel指国家中心与各区域分中心、各行业分中心、以及第三方平台开展数据交换和共享服务的载体。3.8资源提供方resourceprovider国家中心、各区域分中心、各行业分中心部署的各类应用系统的主管部门作为资源提供方为大数据中心体系提供数据资源。3.9数据资源dataresource国家中心、各区域分中心、各行业分中心提供数据的各类应用系统中的各项数据库、数据表和数据4缩略语下列缩略语适用于本文件。POC:概念验证测试（ProofOfConcept）REST:表述性状态转移（RepresentationalStateTransfer）5总体要求国家中心、各区域分中心、各行业分中心的应用系统应按照《国家工业互联网大数据中心体系数据交换与共享接口规范》[QB/CAII04-01-2023]要求，实现资源开通、上线运行、数据标准化、数据汇聚等全流程环节、全生命周期管理。围绕以企业为主体的高价值数据，应按照“应连尽连、应汇尽汇”的原则，根据大数据中心体系“1+N”各专题库数据标准与接口规范、以及数据交换与共享接口规范等文件要求汇聚至国家中心“大数据湖”。6应用系统部署上线6.1管理要求国家中心、各区域分中心、各行业分中心的各类应用系统上线前，需要完成资源申请、审核审批、POC测试等步骤，按照部署位置由国家中心、区域分中心或行业分中心分别管理。6.2职责分工各应用系统责任部门应紧密配合云资源管理部门开展应用系统上云部署的具体工作。a)应用系统责任部门。作为资源提供方，负责应用系统建设、使用和管理的归口部门，如各业务部门、分院或工联科技。应用系统责任部门需要确保应用系统的功能、性能和安全测试符合要求，并在系统上线前完成必要的测试和备案工作。b)云资源管理部门。负责国家中心及各分中心的应用系统云资源开通、基础设施状态监测等云资源管理工作的部门。根据应用系统责任部门提交的资源需求进行审批备案，并在审批通过后开通所需的云资源，以支持应用系统的上线和运行。6.3上线要求应用系统在上线前需对安全通讯网络、安全区域边界、安全计算环境进行测试验证，确保满足［GB/T22239-2019］中第四级安全要求，同时完成系统功能测试报告、全链路压力测试报告、漏洞扫描报告、渗透测试报告等相关的功能、性能与安全测试报告，并由应用系统责任部门进行备案。6T/ZGCMCA006—2024云资源管理部门根据应用系统责任部门提交的计算、存储和网络等资源需求进行审批备案，审批通过后开通上线所需云资源。6.4操作流程6.4.1上线流程系统上线流程图如图1所示。注2：流程的输出文件为《系统测试报告》。图1应用系统上线流程图6.4.2下线流程系统下线流程图如图2所示。7T/ZGCMCA006—2024图2应用系统下线流程图7数据接入国家中心、各区域分中心、各行业分中心的应用系统数据资源接入流程，主要包括接入申请、审批反馈、数据汇聚三个主要步骤，如图3所示。国家中心负责对所有接入的数据资源进行审核，数坝作为数据交换传输通道，负责数据的交换传输、清洗加工以及最终的入库。8T/ZGCMCA006—2024图3应用系统数据资源接入国家中心流程图7.1接入申请与审批国家中心、各区域分中心、各行业分中心的应用系统责任部门需按照大数据中心体系数据交换与共享接口规范[QB/CAII04-01-2023]要求，提交资源接入申请，国家中心云资源管理部门对信息审核、确认，完成申请准入或者驳回，应用系统接入审批流程如图4所示。图4应用系统数据接入审批流程国家中心“1+N”专题库数量随资源提供方提供的数据类型动态增加，对于新增的专题库，资源提供方需提供相关数据标准并配合国家中心创建对应的专题库。7.2对接方式可选择库表交换、文件交换或API对接三种方式之一。7.2.1库表交换资源提供方：提供数据库连接信息、表结构、同步方式（全量、增量）等信息。国家中心：建立相关国家中心前置库，并在前置库中创建对应的表结构，表名需加后缀“_来源”标识数据来源。7.2.2文件同步资源提供方：提供文件类型、文件名、存放位置、同步方式（全量、增量）等信息。国家中心前置库：分配接收的文件目录，创建对应的库表结构，表名需加后缀“_来源”标识数据来源。7.2.3API同步资源提供方：双方共同约定数据字段、更新频率等信息，由资源提供方提供符合REST架构的API接口，相关数据传输的安全需求应满足[GB/T35274-2023，6.5]要求。国家中心：建立相关国家中心前置库，并在前置库中创建对应的表结构，表名需加后缀“_来源”标识数据来源。调用资源提供方提供的API接口，将数据导入国家中心前置库。7.3交换频率各资源提供方应以全量/增量更新的方式，按规定的交换频率进行数据汇聚。各类数据的交换频率原则上应不低于1次/天。9T/ZGCMCA006—20247.4数据准备资源提供方获取申请许可后，需准备好待汇聚数据。待汇聚数据由资源提供方与国家中心共同约定数据字段与类型，进行数据标准化预处理，数据字段需要与国家中心“1+N”专题库数据字段匹配。a)数据库交换方式：准备待汇聚数据的数据库表，并确保用于数据交换的数据库用户具备可读权限；b)文件交换方式：按资源申请单约定的文件类型生成待汇聚数据资源文件，同时留存文件备份用于文件数据对账；c)服务调用方式：按汇聚申请单的约定准备好服务接口及其运行方式。7.5数据接入数坝负责将数据源前置库的数据交换传输至国家中心前置库，接入过程主要包括预校验、迁移、对账等步骤，如图5所示。图5数据源前置库数据接入国家中心前置库流程图各模式的预校验项包括：a)各映射数据字段是否与目标表对应，字段类型是否与目标表对应字段兼容，字段是否能够完成映射，目标表要求的业务必填字段是否具备；b)文件的哈希值是否保持一致，文件中各字段是否解析正常；c)接口的签名校验是否成功，接口数据解析是否正常；d)对接入的数据进行严格的安全检查，如病毒扫描、恶意代码检测等，以防止恶意软件和病毒对系统造成损害，确保入库数据的安全性。7.6数据入库数坝使用专门的数据入库工具，通过实时处理、批处理等方式，对国家中心前置库的数据进行校验、融合、清洗、