DB4208-T 62-2024 荆门城市大数据共享规范

ICS35.240CCSL70代替DB4208/T62-2017荆门城市大数据共享规范2024-02-01发布2024-03-01实施荆门市市场监督管理局发布 Ⅱ Ⅲ 1 13术语和定义 1 44.1数据共享工作流程 4 4 5 5 5 5 5 5 65.2.3异常信息反馈 9 95.3.1密钥管理 9 95.3.3数据授权管理 9 9附录A(资料性附录)接口调用的返回结果说明 附录B(资料性附录)数据共享技术规范 12 B.2通过页面查询共享数据 13 B.4通过推送调度共享数据 14IIDB4208/T62—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件代替DB4208/T62-2017,与DB4208/T62-2017相比，除文件编号按照新要求更新外，主要技术参数未发生变化。本文件由荆门市电子政务信息中心(荆门市大数据中心)提出。本文件由荆门市行政审批局归口。本文件起草单位：荆门市电子政务信息中心(荆门市大数据中心)。本文件主要起草人：胡玉荣、罗传军、肖立刚、杨金龙、刘波、田原、陆焱、王娅纷、熊士杰、陈永锋、李祥琴、游明坤、赖旭、武永成、董尚燕、张牧、吴际林、刘珊艳、余建国、方靖、庄小林。本文件于2017年5月首次发布。本文件实施应用中的疑问，可咨询荆门市行政审批局，联系电话：(0724)2376309,邮箱：690882384@;对本标准的有关修改意见建议请反馈至荆门市电子政务信息中心(荆门市大数据中心),联系电话：(0724)2376119,邮箱：282685564@DB4208/T62—2024Ⅲ党中央、国务院高度重视大数据发展。国务院《促进大数据发展行动纲要》明确指出要“建立标准规范体系，推进数据采集、政府数据开放、指标口径、分类目录、交换接口、访问接口、数据质量、数据交易、技术产品、安全保密等关键共性标准的制定和实施。”荆门市以国家大数据战略为指导，遵循“务求实效、急用先行”的原则，首次制定五个大数据标准规范。标准规范的制定，对建设荆门城市大数据中心，规范数据处理流程，满足大数据中心建设和管理的需要，促进“智慧荆门”建设具有重要意义。五个标准规范包括荆门城市大数据术语、荆门城市大数据采集规范、荆门城市大数据清洗规范、荆门城市大数据比对规范和荆门城市大数据共享规范。荆门城市大数据术语分为总论、数据采集、数据清洗、数据比对、数据共享和应用服务六大类，规定了荆门城市大数据中心建设领域的术语和定义，其余四个标准规范则规定大数据中心数据采集、清洗、比对和共享的总体框架和技术规范，涉及数据处理的整个流程：首先进行数据采集，然后通过数据整合(包括数据清洗和数据比对),将整合成功的数据装载到公共基础信息库，根据需要提供数据共享。五个标准规范的制定是荆门市电子政务信息中心(荆门市大数据中心)和全市信息行业人员的共同愿望，具有鲜明的地方特色和时代特征，填补了荆门市大数据技术应用领域的一项空白，在湖北省乃至国内具有较高的参考利用价值和指导意义。标准规范在使用过程中还需要不断完善，其中未涉及到的内容遵循相关国家标准。DB4208/T62—2024荆门城市大数据共享规范本文件规定了荆门城市大数据中心数据共享的实施流程和共享方案，并针对各共享方案明确共享技术的处理方法及共享中采取的安全机制。本文件适用于荆门市大数据中心建设过程中数据共享的技术要求和规范。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T5271.17信息技术词汇第17部分：数据库GB/T22239信息安全技术信息系统安全等级保护基本要求GB/T25069信息安全技术术语GB/T25647电子政务术语GB/T29262信息技术面向服务的体系结构(SOA)术语DB42/T461湖北省电子政务信息资源目录编制与管理规范DB4208/T58荆门城市大数据术语3术语和定义GB/T5271.17、GB/T25069、GB/T25647、GB/T29262、DB42/T461和DB420800/T58确立的以及下列术语和定义均适用于本标准。为了便于使用，以下重复列出了上述标准中的某些术语和定义，未标明引用的均出自DB4208/T58。大数据中心bigdatacenter主要用于信息资源的存储和管理，可包括中心汇聚库、部门数据库、公共基础信息库等。使地域上分散的使用不同计算机、不同软件的用户能够读取他人数据并进行各种操作运算和分析的技术。资源目录resourcecatalog按照政务部门分类或其它方式对政务部门的业务所使用的信息资源的排列。2DB4208/T62—2024[DB42/T461-2008,定义3.11]3.4查询query基于规定的条件，从数据库中直接提取数据或导出数据的请求。[GB/T5271.17-2010,定义17.07.08]将某一活动或处理过程的输出与其相对应的安全需求或规范相比较，并证实该输出满足需求或规范的过程。例如：在安全操作系统的开发中，将某一安全策略的实现与相应的规范相比较。[GB/T25069-2010,定义2.3.103]3.6通过调用数据服务接口，获取或引用查询对象相关数据的共享模式。3.7通过调用数据服务接口进行比对，获取验证结果的共享模式。通过大数据中心将指定数据定时推送至数据需求方的共享模式。数据共享模式datasharingmode大数据中心为数据需求方提供数据的方式，包括数据获取、比对验证、页面查询、文件下载、批量数据共享等。3.10具有已分配任务修改权限的用户，进行数据权限分配的过程。3.11密钥keyDB4208/T62—20243一种用于控制密码变换操作(例如加密、解密、密码校验函数计算、签名生成或签名验证)的符号序列。[GB/T25069-2010,定义06]3.12私有密钥/私钥privatekey在某一实体的非对称密钥对中，只应由该实体使用的密钥。[GB/T25069-2010,定义79]3.13公开密钥/公钥publickey在某一实体的非对称密钥中，能够公开的密钥。[GB/T25069-2010,定义3]3.14电子签名electronicsignature数字签名digitalsignature在数据电文中，以电子形式所含、所附用于识别签名人身份并表明签名人认可其中内容的数据。[GB/T25647-2010,定义3.5.8]3.15JSON全称是JavaScriptObjectNotation,即JavaScript对象表示法，它是Web中主要的数据结构和资源呈现方式，采用“名称/值对”的数据书写格式，提供一种具有嵌套数据元素的结构。3.16全称是RepresentationalStateTransfer,即表述性状态转移，是一组架构约束条件和原则。3.17满足REST原则的应用程序或设计。3.18RestfulWebAPI一个使用HTTP协议并遵循REST原则的Web应用程序编程接口。DB4208/T62—202443.19Web服务Webservice一种应用编程接口或Web应用编程接口，通过标准的规约进行定义、并通过标准进行访问和使用。[GB/T29262-2012,定义2.57]4总体架构4.1数据共享工作流程数据共享工作流程如图1所示。数据共享工作流程数据提供方数据需求方大数据中心/中心管理方开始数据采集信息资源目录检索数据是不存在否存在存在不存在数据共享申请数据新增申请告知获取数据数据新增审批数据共享审批—未通过一日志备案提交日志数据库—通过→信息资源目录变更-通过一共享授权授权数据库异常信息反馈一是一是否异常异常信息反馈结束图1数据共享工作流程4.2数据共享流程描述数据需求方发起数据共享申请，中心管理方审批，并对共享过程进行管理，具体流程如下：DB4208/T62—20245a)申请及审批授权：数据需求方通过信息资源目录选择所需要的数据，确定数据共享模式、使用期限等数据需求后进入共享审批流程。若信息资源目录没有所需要的数据，数据需求方可发起数据新增申请，待中心管理方审批通过后，更新信息资源目录，并将数据采集到大数据中心再进行数据共享申请。共享审批通过后，中心管理方对数据需求方进行数据访问授权；b)数据共享：授权完成后，数据需求方依据数据共享模式对应的数据共享方案获取数据；c)异常信息反馈：数据需求方若发现获取的数据有错误或其它异常信息，可将此信息反馈给数据提供方，由数据提供方对此异常信息进行处理；d)日志备案：每次数据共享可由系统进行日志备案，并将此备案提交到日志数据库。5技术规范5.1数据共享方案5.1.1数据共享模式从数据需求的角度数据共享可分为以下几种模式(包含但不限于),具体见表1。表1数据共享模式数据共享模式描述数据获取数据需求方通过业务系统获取共享数据比对验证数据需求方将指定数据和获取的共享数据进行对比，得到相应验证结果页面查询数据需求方在Web页面对指定内容进行查询文件下载数据需求方通过FTP服务器对所需文件、图片等数据进行下载批量数据共享中心管理方根据数据需求方的要求，将指定的数据定时推送至数据需求方的接收数据库中5.1.2数据共享方案根据不同的数据共享模式，中心管理方采取不同的数据共享方案实施数据共享，具体见表2。表2数据共享方案数据共享模式数据共享方案中心管理方数据获取数据服务接口提供数据服务接口规范比对验证页面查询页面查询提供页面访问权限文件下载FTP服务提供FTP访问权限批量数据共享推送调度进行推送调度配置5.2数据共享实施数据需求方通过信息资源目录选择所需要的数据，确定数据共享模式、数据使用期限等数据需求后发出数据共享申请；若信息资源目录没有所需要的数据，数据需求方可提交数据新增申请，中心管理方审批通过后，更新信息资源目录，通过数据采集流程完成数据的采集。数据采集到大数据中心后数据需求方再通过信息资源目录发起数据共享申请。DB4208/T62—20246中心管理方对数据需求方发出的数据共享申请进行审批，审批的结果为通过或不通过。当审批结果为不通过时，可将此信息反馈给数据需求方。审批通过后，中心管理方依据共享申请单所指定的数据共享模式、数据使用期限等数据需求对数据需求方进行数据访问授权。申请及审批授权流程如图2所示。开始信息资源目录检索数据是数据共享申请数据是数据共享申请←一存在否存在数据共享审批——不通过一一不通过——数据新增审批通过数据共享授权告知数据通过数据共享授权告知数据需求方信息资源目录更新采集流程结束图2数据申请及审批流程5.2.2数据共享数据需求方的数据共享申请通过审批后，中心管理方根据数据共享模式对应的数据共享方案实现数据共享。通过数据服务接口共享数据通过数据服务接口共享数据的方式，中心管理方向数据需求方提供数据服务接口，数据需求方通过数据服务接口完成共享数据的获取，具体如图3所示。大数据中心数据视图数据服务数据库接口数据库数据需求方调用接口获取数据图3通过数据服务接口共享数据数据服务接口共享数据的过程分为根据接口协议组装参数、发起HTTP请求并验证和解析查询返回结果，流程如图4所示。DB4208/T62—20247开始根据协议组装参数接口协议验证用户权限校验数字签名校验接口协议验证用户权限校验解析查询返回结果结束图4数据服务接口共享数据流程a)根据接口调用协议组装参数：接口调用协议是用来提供外部业务系统调用数据服务的规范。此协议规定了接口的调用格式(包括输入参数和返回结果),其中输入参数与返回结果统一采用JSON格式。接口调用的参数名、参数个数、数字签名方式等应与接口调用协议保持一致。接口调用协议包含的参数及参数说明见表3;表3接口调用协议参数参数名说明业务操作名数字签名b)发起HTTP请求并验证：HTTP请求可以很方便对资源的所有者、资源的访问期限、资源的过滤条件和访问权限等进行精确的控制。客户端通过HTTP的GET或者POST方法来请求大数据中心的资源。客户端请求资源时，服务端会进行数字签名校验、权限校验以保证请求的一致性与合法性，同时会验证请求是否符合服务端的接口协议，是否包含非法请求参数等；c)解析查询返回结果：服务端验证请求合法后，根据接口调用协议解析JSON参数生成查询数据资源的SQL语句，以JSON格式封装查询结果并返回(格式说明见附录A),流程如图5所示。开始接收请求解析5ON生成查询语句数据源路由返回查询结果结束8图5解析查询流程通过页面查询共享数据通过页面查询共享数据，中心管理方向数据需求方提供相应页面的访问账号，数据需求方通过账号访问相应页面后，可设置不同条件对共享的数据进行查询，具体如图6所示。图6通过页面查询共享数据通过FTP服务共享数据通过FTP服务共享数据的方式，中心管理方向数据需求方提供访问账号，数据需求方通过账号登录FTP服务器下载需要的文件或图片等数据内容，具体如图7所示。访问账号访问账号图7通过FTP服务共享数据通过推送调度共享数据通过推送调度共享数据的方式，中心管理方对数据共享过程进行调度配置，按指定时间将大数据中心数据库中的相关数据定时推送给数据需求方，数据需求方获取数据后，自行解析并处理，具体如图8任务调度任务调度图8通过推送调度共享数据此调度过程分为需求方接收库配置、适配器配置和推送任务调度。a)需求方接收库配置：配置数据需求方的接收数据库基本信息，用于接收从大数据中心推送过来b)适配器配置：配置大数据中心相应数据库中需要迁移表的字段、映射关系和迁移策略，主要的DB4208/T62—20249开始选择数据提供方表信息选择接收库信息选择数据表确认映射关系设置迁移策略保存结束图9适配器配置c)推送任务调度：创建数据推送任务并执行。在任务执行过程中可实时查看数据入库情况。5.2.3异常信息反馈数据需求方在查看及使用数据过程中，如果发现数据有错误或其它异常信息，可将此信息反馈给数据提供方，由数据提供方进行后续处理。5.3数据共享安全机制在数据共享过程中，主要可通过密钥管理、数字签名机制、数据授权管理、访问日志等措施来保证数据的安全，其它安全技术可参照GB/T22239的相关要求。密钥管理用于管理和生成数字密钥，数字密钥生成流程如图10所示。数字密钥分为公钥和私钥并与用户关联，客户端调用数据服务接口时用公钥将请求的参数进行数字签名，同时将公钥作为参数返回给服务端。服务端根据返回的公钥获取私钥进行签名认证。开始公钥私钥结束图10数字密钥生成流程图5.3.2数字签名机制数字签名技术是将摘要信息用发送者的私钥加密，与原文一起传送给接收者。接收者只有用发送者的公钥才能解密被加密的摘要信息，然后用散列算法对收到的原文产生一个摘要信息，与解密的摘要信息对比。如果相同，则说明收到的信息是完整的，在传输过程中没有被修改，否则说明信息被修改过，5.3.3数据授权管理数据授权是用户在访问数据时需要具有的访问权限。通过数据授权可以有效管理不同身份用户的数据访问范围、访问时间等权限，从而保障数据资源的安全。中心管理方可以查看到用户所拥有的已授权数据信息，并且可以对授权信息进行管理，包括授权、修改、收回等。访问日志用于记录数据共享时的访问记录，包括访问方式、访问者、请求参数、访问时间、请求响消息消息消息相等?丨是个丨是个否DB4208/T62—2024(资料性附录)接口调用的返回结果说明A.1接口调用返回结果格式说明接口调用的返回结果宜采用JSON格式，具体为：{"code":statusCode,"msg":message,"data":其中，各部分参数及错误代码解释如下：a)code为必须返回的选项，代表状态代码；b)msg为必须返回的选项，代表信息说明；c)data为可选项，返回正确的结果数据集。A.2接口调用返回结果错误代码说明调用接口出错后，将不会返回结果数据，返回的消息体中是具体的错误代码及错误信息，即JSON结果格式里没有data结点。进行数据调用接口开发时，应在协议层定义“错误代码表”,错误代码定义包括3部分：错误代码、错误消息和说明。参考错误代码见表A.1。表A.1错误代码表错误代码错误消息说明200successful操作成功-10signnotexists数字签名不存在-11illegalsign无效的数字签名-20timestampnotexists时间戳不存在-21illegaltimestamp无效的时间戳-30illegalformat无效的数据返回格式-40llegalservice访问的服务不存在-50illegaluser用户不存在-60llegalsigntype无效的签名方式-70hasnoprivilege用户无访问权限-80systemerror系统错误DB4208/T62—2024(资料性附录)B.1通过数据服务接口共享数据a)描述：中心管理方向数据需求方提供接口的规范和样例，数据需求方按照接口规范获取需要共享的数据内容；b)共享方式：通过Restful、Webservice等方式提供数据访问接口；c)输入要求：输入参数要求见表B.1;表B.1输入参数表参数名说明业务操作名数字签名查询数据的分页，从1开始。默认：1d)输出说明：返回结果为标准数据集合，采用JSON格式返回，其返回格式如下："msg":"successful","data":{"pagelndex":"1",//页数"pageSize":"10","viewCode":"001002","count":"2",//返回记录数"startTime":"20170101000000","rows":"[{"DISPLAY_NAME":"存储数据访问日志表","DB_ID":"4028801a4eaacOfa014eaaccbec30002","TABLE_ID":"4028801a4eafe5f0014eb00d9f3c0429","R":1},{"DISPLAY_NAME":"存储数据仓库所有表数据项的基本信息",DB4208/T62—2024"DB_ID":"4028801a4eaacOfa014eaaccbec30002","TABLE_NAME":"T_DMP_BIZ_DATA_COLUMNS","TABLE_ID":"4028801a4eafe5f0014eb00dbd7004dd","R":2}I}}B.2通过页面查询共享数据a)描述：中心管理方向数据需求方提供相应页面的访问账号，数据需求方通过账号访问相应页面后，设置不同条件对共享数据进行查询；b)共享方式：通过页面，查看被共享的