DB31-T 1240-2026 大数据资源平台共享交换要求

大数据资源平台共享交换要求2026-06-01实施2026-06-01实施上海市市场监督管理局发布前言 1范围 12规范性引用文件 13术语和定义 14缩略语 15共享交换体系 25.1共享交换架构 25.2共享交换方式 26数据归集 36.1基本要求 36.2库表归集 36.3文件归集 46.4服务接口归集 56.5消息队列归集 57数据共享 68平台级联 68.1市区级联 68.2长三角级联 68.3国省级联 69安全保障 69.1平台要求 69.2节点安全 69.3权限控制 79.4过程管控 7参考文献 8工本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件代替DB31/T1240.1—2020《公共数据共享交换工作规范第1部分：平台建设和运行管理要求》、DB31/T1240.2—2020《公共数据共享交换工作规范第2部分：平台接入技术要求》,与DB31/T1240.1—2020、DB31/T1240.2—20——调整了大数据资源平台共享交换架构(见5.1,DB31/T1240.1—2020的第4章);——调整了大数据资源平台共享交换方式(见5.2,DB31/T1240.2—2020的第4章);——调整了数据归集要求(见第6章，DB31/T1240.2—2020的第5章);——增加了平台级联要求(见第7章);——调整了大数据资源平台数据共享要求(见第8章，DB31/T1240.1—2020的第5.4章);——增加了安全保障要求(见第9章);——删除了职责分工要求(见DB31/T1240.1—2020的第6章)。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由上海市数据局提出并组织实施。本文件由上海市数据标准化技术委员会归口。本文件起草单位：上海市大数据中心、云赛智联股份有限公司、上海数据集团有限公司、上海计算机软件技术开发中心、国家管网集团储能技术有限公司。本文件主要起草人：张向飞、潘佳、刘辰昀、陈旭、陈正伟、章建兵、陈磊、丁阳、范倍铭、何怡、连娅、汪瑜、朱启、葛倩倩、朱雪雅。本文件及其所代替文件的历次版本发布情况为：——2020年首次发布为DB31/T1240.1—2020、DB31/T1240.2—2020;——本次为第一次修订。1本文件规定了大数据资源平台的共享交换体系、数据归集、数据共享、平台级联及安全保障要下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本(包括所有的修改单)GB/T21062政务信息资源交换体系GB/T22239—2019信息安全技术网络安全等级保护基本GB/T39477—2020信息安全技术政务信息共享数据GB/T43697数据安全技术数据DB31/T310029长三角数据共享交换大数据资源平台中用于集中存储，管理跨层级、跨地域、跨系统、跨部门、跨业务公共数据的大数据资源平台中利用区块链技术，对公共数据目录的生成、更新FTP:文件传输协议(FileTransferProtocol)2HTTPS:超文本传输安全协议(HypertextTransferProtocolSecure)SFTP:SSH文件传输协议(SecureShellFi5.1.1市大数据资源平台应依托市级数据湖开展数据归集和数据治理分析，并进行统一运营管理5.1.2市大数据资源平台应通过前置交换、平台级5.1.4区大数据资源分平台应对接街镇、区级公共管理和服务机构业务系统，并以市区级联方式5.1.5市大数据资源平台应通过平台级联方式与国家数据共享交换平台、长三角数据共享交换平5.1.6大数据资源平台共享交换架构见图1。国家数据共亨交换平台国家数据共亨交换平台市级大数据资源平台目录链数据共享数据治理与分析数据开发数据质量市级数据湖数据归集区级大数据资源平台市级公共管理和服务机构业务系统长三角数据共享交换平台数据资产管理统一运营管理统一安全监控数据可视化3a)库表交换：依托前置库实现不同数据库，或同一数据库内不同表之间的数据、表结构或元数据的转移与同步，适用于数据量较大且需要下载的公共数据共享场景；b)文件交换：依托前置库在不同设备、系统或用户之间传输、共享或同步文件数据，适用于实时性要求较低，但数据量大的非结构或半结构化数据；c)服务接口交换：通过定制化开发接口的方式提供数据共享服务，适用于业务协同、信息核验等实时性要求高的数据应用场景；d)消息队列交换：以消息队列为载体，开展数据同步，实现消息流在数据提供方和数据使用方之间传递的共享交换方式，适用于高频次、低延迟的实时数据共享交换场景。6数据归集6.1基本要求大数据资源平台应支持下列归集方式：a)定时归集：按照固定的周期性间隔，通过对归集任务自动化调度进行数据归集，可采用每分钟、每小时、每天、每月、每年等归集策略；b)不定时归集：一次性或者临时性归集，常用于初始数据采集，临时数据更新和异常数据修补；c)实时归集：数据产生、传输、处理和存储过程中，实时将分散在不同来源的数据快速收集、整合。大数据资源平台应支持下列两种更新方式：a)全量更新：数据归集时获取全量数据，数据传输量较大，适用于初始化同步，定期全量备份校验或者数据特性不适合进行增量同步等情况；b)增量更新：数据归集时通过日志解析或时间戳等方式每次仅获取一段时间内的增量数据，数据传输量相对较小，效率更高，但具备较高技术复杂度。数据归集过程中，如大数据资源平台检测到或数据使用方反馈异议数据，平台应与数据提供方进行核实处置。6.2库表归集库表数据归集应按下列步骤进行：a)数据提供方按照GB/T36344相关要求和数据产生的业务规则，对数据的规范性、完整性、准确性、一致性、时效性、可访问性等进行质量检查；b)数据提供方通过目录链管理系统，对所需归集的数据进行编目，并发起数据归集任务；c)数据提供方按照业务需求推送数据到前置库；4d)使用对账表形式进行前置库对账，对账信息包括库名、表名、库类型f)数据提供方按数据更新周期持续推送增量数据，大数据资源平台根据规定的数据归集时间进行抽取。如当期无增量数据产生，数据提供方在对应周期的对账表中填报“0”,并a)初始化时，添加数据库归集时间戳字段，字段类型为TimeStamp(精确到秒),命名为：jhpt_update_time;b)初始化时，添加数据库删除标识字段，字段类型为Int(1),命名为jhpt_delete;c)初始化时，库表命名及字段命名长度控制在128位以内，浮点数字段类型长度控制在38e)增量归集过程中，数据提供方将本次推入的数据量同步至对账表，并填写相f)当数据结构发生变更时，数据提供方对原有的数据资源申请下线，并将变更后的数据资按照6.2.1中的a)、b)、c)进行文件数据质量检查、编目及数据推送。大数据资源平台对归集的文件一致性进行对账确认。大数据资源平台通过平台归按照6.2.1中的f)进行增量数据推送。a)初始化时，添加数据库归集时间戳字段，字段类型为TimeStamp(精确到秒),命名为：jhpt_update_time;b)初始化时，添加数据库文件路径字段，字段类型为varchar(200),命名为jhpt_file_path;d)文件内容的字段顺序与编目字段顺序保持一致；g)excel文件首行为表头，不支持多工作表(sheet)采集；h)数据提供方在前置库的数据文件目录中，上传与数据文件同名的对账文件。5前置库在初始化和增量归集非结构化文件过程中应符合下列要求：a)初始化时，添加数据库归集时间戳字段，字段类型为TimeStamp(精确到秒),命名为：jhpt_update_time;b)初始化时，添加数据库文件路径字段，字段类型为varchar(200),命名为jhpt_file_path;c)前置库中具备主键字段，且jhpt_file_path字段的内容为FTP/SFTP的根路径，附件字段与FTP/SFTP服务器上的文件对应，不为空，以‘/’开头；d)前置库数据采用UTF-8编码；e)非结构化数据文件名中不出现“,”“&”“*”“/”等特殊字符。6.4服务接口归集6.4.1归集步骤按照6.2.1中的a)、b)进行数据质量检查及编目。大数据资源平台根据需求进行接口的定制化开发，通过接口的方式进行数据传输，存入市级数据湖，并进行一致性对账确认。按照6.2.1中的f)进行增量数据推送。6.4.2技术要求服务接口应符合下列要求：a)接口协议：服务接口的通信协议使用HTTPS协议；b)接口方法：每个服务接口只含一个接口方法，数据提供方在注册服务接口时标明服务接c)接口参数：服务接口的传入参数在报文消息体中进行传递，不在报文消息头传递；d)接口文档：服务接口接入大数据资源平台时，数据提供方提供服务接口使用说明文档。6.5消息队列归集6.5.1归集步骤按照6.2.1中的a)、b)进行数据质量检查及编目。数据提供方发起数据归集任务，获得消息主题(topic),并调用数据推送接口推送数据。大数据资源平台转发数据推送至消息主题(topic),写入市级数据湖，并进行一致性对账确认。按照6.2.1中的f)进行增量数据推送。6.5.2技术要求消息队列归集应符合下列要求：a)接口请求仅需传入一个消息主题(topic)名称，一个消息主题(topic)对应一个数据目录，数据提供方推送的数据会持续写入对应的消息主题(topic),并同步写入市级数b)接口请求参数datas类型是列表，可传入多条数据，支持批量推送；c)接口请求参数datas项中，若字段为时间戳类型，传入以微秒为单位的16位时间戳；6d)接口请求参数datas项中，各字段的key与消息主题(topic)中字段一致。7数据共享7.1大数据资源平台以库表交换、文件交换、服务接口交换、消息队列交换等方式提供数据共享服务，数据共享应按照本文件5.2、第6章规定执行。7.2大数据资源平台应基于公共数据“三清单”,按照DB31/T1241—2026中4.6、第7章进行数据共享管理。8平台级联8.1市区级联区大数据资源分平台应通过数据库表、文件、服务接口等方式与市大数据资源平台实现级联互通，实现数据目录、数据标签、数据算法、数据服务以及安全机制的协同，形成市区两级标准统一、覆盖广泛、集中可控的共享开放渠道。8.2长三角级联市大数据资源平台应按照DB31/T310029及第5章、第6章要求，通过数据库表、文件、服务接口等方式与长三角数据共享交换平台实现级联对接。8.3国省级联市大数据资源平台应按照GB/T21062及第5章、第6章要求，与国家数据共享交换平台实现级联对接。9安全保障9.1平台基本要求市大数据资源平台共享交换应满足下列要求：a)建立数据质量评估、数据共享应用成效评估、数据安全风险评估等安全保障制度，落实安全管理责任；b)开展数据共享交换过程中的监督管理，定期组织数据共享交换安全检查；c)满足GB/T22239—2019中三级网络安全等级保护要求和GB/T39477—2020中数据共享交换安全要求；d)根据GB/T43697的数据分类分级要求，对共享交换的数据实施相应的安全保护。9.2节点安全要求前置交换节点用于部署前置库，应满足下列安全要求：a)使用防火墙、入侵检测系统等网络安全设备，按照最小化原则设置网络安全访问策略，与其他非必要的系统进行物理隔离和网络隔离；b)安装杀毒软件和防恶意软件，定期进行全盘扫描，及时检测和清除病毒和恶意软件；7c)采用基于角色的访问控制、最小化原则等权限管理措施，确保节点访问权限最小化；d)采用数据加密措施，确保敏感数据的安全性；e)定期进行数据清理，及时清除过期和无用的数据，以减少数据泄漏的风险；f)对节点服务器和操作终端进行安全运维管理，操作可审计、可回溯；g)记录敏感数据的操作日志及网络访问日志，以对安全事件进行溯源分析。9.3权限控制要求大数据资源平台应以最小化原则对数据提供方、数据使用方等进行权限控制，且应满足下列基a)以授权方式共享的，明确用户使用角色、数据使用环境、访问权限等。涉及专库的，数据使用方可按需拥有建表、删除自建表的权限；授权有时效限制，权限过期应重新申请b)以非授权方式共享的，仅允许数据使用方在审核通过的业务场景和调用应用中使用，且不应再代理任何未经授权的其他接口；c)以跨层级数据返回、数据下载方式共享的，应控制返回或下发的数据的使用范围。9.4过程管控要求公共数据共享交换过程应满足