DB4208T 59-2024《荆门城市大数据采集规范》

代替DB4208/T59-2017荆门城市大数据采集规范2024-02-01发布2024-03-01实施荆门市市场监督管理局发布I前言 Ⅱ 12规范性引用文件 13术语和定义 1 54.1数据采集工作流程 54.2数据采集处理架构 64.2.1数据采集系统 64.2.2消息服务 64.2.3数据交换管理中心 74.2.4任务系统 74.2.5运行与监控 74.3数据采集网络架构 74.3.1数据采集逻辑架构 74.3.2数据采集物理部署 74.4采集过程数据分析 84.4.1数据类型 84.4.2数据质量 84.4.3数据存储 95技术规范 95.1数据采集方案选择 95.1.1数据库接入方式 95.1.2文件接入方式 5.1.3API接人方式 5.1.4网页接入方式 5.1.5流式接入方式 5.1.6消息接入方式 5.2数据采集周期 5.3数据采集更新机制 5.3.1全量抽取 5.3.2增量抽取 5.4数据采集实施 5.4.1数据采集实施流程 5.4.2任务分解 5.4.3数据采集监控 Ⅱ本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些本文件代替DB4208/T59-2017,与DB4208/T59-2017相比，除文件编号按照新本文件由荆门市电子政务信息中心(荆门市大数据中心)提出。本文件由荆门市行政审批局归口。本文件起草单位：荆门市电子政务信息中心(荆门市大数据中心)。本文件实施应用中的疑问，可咨询荆门市行政审批局，联系电话：(0724)2376309,邮箱：690882384@;对本标准的有关修改意见建议请反馈至荆门市电子政务信息中心(荆门市大数据中心),联系电话：(0724)2376119,邮箱：282685564@据交易、技术产品、安全保密等关键共性标准的制定和实施。”享的总体框架和技术规范，涉及数据处理的整个流程：首先进行数据采集，然后通过数据整合(包括数据清洗和数据比对),将整合成功的数据装载到公共基础信息库，根据需要提供数据共享。五个标准规范的制定是荆门市电子政务信息中心(荆门市大数据中心)和全市信息行业人员的共同1荆门城市大数据采集规范凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T5271.17信息技术词汇第17部分：数据库GB/T17532术语工作计算机应用词汇GB/T20520信息安全技术公钥基础设施时间戳GB/T22239信息安全技术信息系统安全等级保护基本要求GB/T29262信息技术面向服务的体系结构(SOA)术语关于数据和数据元素的数据(可能包括其数据描述),以及关于数据拥有权、存取路径、访问权和通过计算机网络将物理上分散的存储资源构成一个虚拟的存储设备，集中管理数据的一种存储方23454总体架构协调签署实施方结束入库6a)主管部门向数据提供方和中心管理方发送数据采集通知，统筹协调数据采集前所涉及工作安中心汇聚库中心汇聚库数据交换管理中心任女并省消息服务运行与坚控數据数据采集指莱集數据采集數据提供方业务数据(数据库、文件，接口，消息等)台MH37前置机1前置库前置库前置库8a)完整性：数据不存在缺失，并保留历史数据等状况；用中应保证数据的一致性，同一指标数据在不同维度和不同颗粒度下应保d)及时性：数据从开始到完成采集的延迟时间短。实时数据的采集，在网络状况良好的情况下，e)保密性：对待采集的数据进行加密，保证数据不被非法用户访问，只被拥有权限的用户访问。9换，始终保持从数据采集系统采集来的最新数据，并采用数据片批次置换机制进行存储。同一属性的表示方式不一致，系统需提供数与大数据中心进行信息交换，数据库接入方链接失败图5数据库接入方式的业务流程1.1.2文件接入方式采用文件形式与数据交换平台进行数据交换的方式。在此方式下，数据提供方将数据保存为xml、xls或xlsx、csv等格式文件，通过FTP或HTTP方式将文件发送给数据交换管理中心。对实时性要求高、数据量大的数据文件，建议尽量选择数据库接入方式，文件接入方式的业务流程见图6所示。文件接入方式适用于满足如下条件的数据采集：a)有数据但没有系统或相关数据没有进入数据库或数据采集周期性较长的情况(如按月、按季、b)数据提供方按照约定方式和格式存储数据。提供的数据文件是格式规范、数据项和数据质量符合要求的高质量数据，并可通过FTP或HTYTP方式上传到数据交换平台指定位置。1)FTP方式：大数据中心提供FTP服务，开放相应端口；2)HTTP方式：大数据中心提供相应的文件交换传输模块，实现基于Web页面的文件上报，可以对上传文件进行检查和控制。文件上传系统应提供文件上传权限管理、数据验证、上传结果查询功能。外提供服务的对接方式，API接入方式的业务流程见图7所示。在此接入方式下，数据提供方需要提供a)信息交换频繁，与数据提供方业务处理紧密联系的应用系统；b)需要直接在线提供数据。有封装规范的RestfulAPI或Webservice调用接口，并提供详细的服务图7API接入方式的业务流程1.1.4网页接入方式利用互联网搜索引擎技术实现对相关网站的网页进行有针对性、行业性、精准性的数据抓取，并按照一定规则和筛选标准进行数据归类，形成数据库文件。网页接入方式的业务流程见图8所示。网页接入方式适用于满足如下条件的数据采集：a)信息化程度高，有专人维护的网站；b)需正确配置网页系统的参数和解析方式。图8网页接入方式的业务流程c)配置连接政务外网的前置机，在前置机上安装交换消息处理软件(消息中间件)。a)数据一次采集：一次性将所有待采集数据(如一个完整的数据表)全部采集到中心汇聚库；据采集，可按每周、每月、每季、每年等时间周期进行数据片采集。a)清空中心汇聚库中目标表的数据；b)将确定的待采集数据的表或视图原封不动的从数据库中抽取出来，并转换成ETL工具可识别的用于抽取自上一轮次抽取后数据库表发生变化的数据。捕获a)在要抽取的表中建立基于插入、修改和删除操作的触发器；b)源表的数据发生变化，相应的触发器将变化的数据写入临时表；c)抽取线程从临时表抽取数据。全表比对进行增量抽取，逐条比较源表和目标表的记录，将新增和修改的记录读取出来。可采用a)在表中增加版本号列来存储数据行变化，每次变化都将版本号列的数据增加1;d)采集完后将参考表对应版本号更新为与源表一致的版本号。a)需要资源提供方打开被采集数a)前置库用户、角色权限等的分配、表空间的划分以及数据库类型的确认工作；b)涉及的元数据进行配置和管理；启动启动业务数据数据库采集方案采集配置采集调度数据采集