DB4208-T 58-2024 荆门城市大数据术语

代替DB4208/T58-20172024-02-01发布2024-03-01实施荆门市市场监督管理局发布I前言 引言 Ⅲ 12规范性引用文件 13术语和定义 1 1 53.3数据清洗 83.4数据比对 93.5数据共享 3.6应用服务 汉语拼音索引 Ⅱ本本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别这些专利的责任。本文件代替DB4208/T58-2017,与DB4208/T58-2017相比，除文件编号按照新要求更新外，主要技术参数未发生变化。本文件由荆门市电子政务信息中心(荆门市大数据中心)提出。本文件由荆门市行政审批局归口。本文件起草单位：荆门市电子政务信息中心(荆门市大数据中心)。本文件主要起草人：胡玉荣、罗传军、肖立刚、杨金龙、刘波、田原、陆焱、王娅纷、熊士杰、陈永锋、李祥琴、游明坤、赖旭、武永成、董尚燕、张牧、吴际林、刘珊艳、余建国、方靖、庄小林。本文件于2017年5月首次发布。本文件实施应用中的疑问，可咨询荆门市行政审批局，联系电话：(0724)2376309,邮箱：690882384@;对本标准的有关修改意见建议请反馈至荆门市电子政务信息中心(荆门市大数据中心),联系电话：(0724)2376119,邮箱：282685564@据交易、技术产品、安全保密等关键共性标准的制定和实施。”享的总体框架和技术规范，涉及数据处理的整个流程：首先进行数据采集，然据清洗和数据比对),将整合成功的数据装载到公共基础信息库，根据需要提供数据共享。五个标准规范的制定是荆门市电子政务信息中心(荆门市大数据中心)和全市信息行业人员的共同1本文件规定了荆门城市大数据中心建设领域的术语和定义。本文件适用于荆门市大数据中心建设，并为荆门市大数据中心建设各项地方标准的编制提供参考。2规范性引用文件下列文件对于本文件的应用是必不可少的。凡是注日期的引用文件，仅注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本(包括所有的修改单)适用于本文件。GB/T5271.17信息技术词汇第17部分：数据库GB/T17532术语工作计算机应用词汇GB/T20520信息安全技术公钥基础设施时间戳规范GB/T25069信息安全技术术语GB/T25647电子政务术语GB/T29262信息技术面向服务的体系结构(SOA)术语DB42/T362电子政务术语DB42/T461湖北省电子政务信息资源目录编制与管理规范3术语和定义461确立的以及下列术语和定义均适用于本文件。为了便于使用，以下重复列出了上述标准中的某些术语和定义。数据仓库datawarehouse一种用以支持管理决策制定过程，面向主题，含盖不同时期的、集成而稳定的数据集合。把信息加以整理归纳，并及时提供给相关的管理决策人员，是数据仓库的根本任务。数据仓库的工作流程一般包括收集数据、过滤数据、存储数据，以及把数据应用于分析、研究等应用程序。[GB/T25647-2010,附录A定义A.1.10]2数据库或数据仓库中存放的基本保持稳定的数据。在时间分布和数量上无限的一系列动态数据集合体，数据记录是流数据的最小组成单位。关于数据和数据元素的数据(可能包括其数据描述),以及关于数据拥有权、存取路径、访问权和数据易变性的数据。也称巨量数据或海量数据，是包含大量数据集的数据，具有数量巨大、来源多样、生成极快、且多变等特征，难以使用传统数据体系结构有效处理。从大量、有时是不完全的、模糊的实际应用数据中提取出隐含在其中的、事先不为人知道的，但又是潜在有用的信息和知识的过程。又称“数据库中的知对于政务部门而言，数据挖掘有助于发现业务发展的趋势、揭示已知的事实、预测未知的结果。[GB/T25647-2010,附录A定义A.1.9]现实世界数据特征的抽象，用于描述一组数据的概念和定义，包括概念模型、逻辑模型、物理模型键值数据库key-valuedatabase3键对应的是一个列式，从这个角度来说，列式数据库通过计算机网络将物理上分散的存储资源构成一个虚拟的存储设备，集中管理数据的一种存储方式。通过计算机网络将物理上分散的多个数据库单元连接在一起，组成逻辑上统一的数据库。4/服务器”模式，客户端以特定的通信协议通过网络与服务器建立连接，提出文件5在数据电文中，以电子形式所含、所附用于识别签名人身份并表明签名人认可其中6介于结构化数据和非结构化数据之间，一般是自描述的，数据结构和内容混合在一起的数据，如全称ExtractTransformationLoad,用来描述从数据源抽取(extract)所需的数据，经过预处理后，按照预先定义的数据仓库模型进行转换(transform),最终加载(load)到数据仓库的过程。7为应用系统提供的，实现消息通信功能的运简称前置库，是数据提供方与数据交换平台之全称ApplicationProgram8使用数字签名技术产生的数据，签名的对象包括了原始文件信息、签名参数、签名时间等信息。TSA(时间戳机构)对此对象进行数字签名产生时间戳，以证明原始文件在签名时间之前已经存在。9在数据集内发现脏数据，并对脏数据进行修补或移除以提高数据对数据文件进行维度唯一性检查，可用于检测一批结构化数据中的某些维度在表范围内是否重复。技术。[DB42/T461-2008,定义3.11]例：对某一订票系统，就特定航班的机票是否有售[GB/T5271.17-2010,定义17.07.08][GB/T25069-2010,定义2.3.103]通过大数据中心将指定数据定时推送至数据需求方的共享模式。大数据中心为数据需求方提供数据的方式，包括数据获取、比对验证、页面查询、文件下载、批量数据共享等。数据授权dataauthorization具有已分配任务修改权限的用户，进行数据权限分配的过程。密钥key一种用于控制密码变换操作(例如加密、解密、密码校验函数计算、签名生成或签名验证)的符号序列。在某一实体的非对称密钥对中，只应由该实体使用的密钥。在某一实体的非对称密钥对中，能够公开的密钥。全称JavaScriptObjectNotation,即JavaScript对象表示法，它是Web中主要的数据结构和资源呈现方式，采用“名称/值对”的数据书写格式，提供一种具有嵌套数据元素的结构。全称RepresentationalStateTransfer,即表述性状态转移，是一组架构约束条件和原则。满足REST原则的应用程序或设计。全称HadoopDistributedFilesSystem,即Hadoop分布式文件系统。它是Hadoop项目的针对谷歌文件系统(GoogleFileSystem,GFS)的开源实现。它具有处理大数据、流数据、可以运行在简称MPP,指将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，简称OLAP,基于数据仓库的海量数据进行联机的复杂查询和多维分析处简称OLTP,通过计算机网络将地理上分散的事务处理设备和事务管理中心网络连接，以便于在任一类多维矩阵，可以让用户从多个角度探索和分析数据集，通常是一次同时考虑多个因素(维度)。Web服务Webservice一种应用编程接口或Web应用编程接口，通过标准的规约进行定义、并通过标准进行访问和使用。汉语拼音索引AB半结构化数据3.2.3比对规则3.4.1比对日志3.4.3部门数据库3.1.21C残缺数据3.3.1查询3.5.3触发器3.2.16D大规模并行处理3.6.6大数据中心3.1.23电子签名3.1.28多维分析3.6.14多维数据模型3.6.12EF法人基础信息3.4.8法人基础信息库3.4.9非结构化数据3.2.2分布式存储3.1.13分布式计算3.1.18分布式数据库3.1.14分布式文件系统3.1.15G公共基础信息库3.1.22公开密钥3.5.12公钥3.5.12规则3.1.25规则库3.1.26HHiveJ计算机集群3.6.2键值数据库3.1.8结构化数据3.2.1静态数据3.1.2决策支持系统3.6.11L拉链表3.4.4联机分析处理3.6.9联机事务处理3.6.10列式数据库3.1.9流式计算3.1.17流数据3.1.3轮询3.2.7MMapReduce………………密钥3.5.10NNoSQL数据库3.1.12P批量数据共享3.5.7Q前置机3.2.11前置数据库3.2.12清洗规则3.3.7全量抽取3.2.18R人口基础信息3.4.6人口基础信息库3.4.7日志数据库3.1.27S社会舆情数据3.2.4时间戳3.2.17数据比对3.4.2数据采集3.2.6数据采集适配器3.2.14数据仓库3.1.1数据重复性检查3.3.11数据抽取3.2.20数据共享3.5.1数据共享模式3.5.8数据获取3.5.5数据集市3.6.1数据交换平台3.2.9数据接入方式3.2.15数据立方体3.6.13数据模型3.1.7数据清洗3.3.8数据实时采集3.2.8数据授权3.5.9数据挖据3.1.6数据完整性3.3.4数据映射3.1.24数据有效性检查3.3.10数据预处理3.3.9数字签名3.1.28私钥3.5.11私有密钥3.5.11T图形数据库