DB34-T 4853.3-2024 农村供水管理系统 第3部分：数据加工

ICS35.02034DB34/T4853.3—2024农村供水管理系统第3部分：数据加工Ruralwatersupplymanagementsystem—Part3：Dataprocessing2024-07-30发布2024-08-30实施安徽省市场监督管理局发布I.DB34/T4853.3—2024本文件按照GB/T1.1—2020《标准化工作导则第1部分：标准化文件的结构和起草规则》的规定起草。本文件是DB34/T4853《农村供水管理系统》的第3部分。DB34/T4853已经发布了以下部分：——第1部分：数据元；——第2部分：数据采集；——第3部分：数据加工；——第4部分：数据存储；——第5部分：应用服务；——第6部分：运行维护。请注意本文件的某些内容可能涉及专利。本文件的发布机构不承担识别专利的责任。本文件由安徽省水利厅提出并归口。本文件起草单位：安徽省（水利部淮河水利委员会）水利科学研究院（安徽省水利工程质量检测中心站）、中水三立数据技术股份有限公司、安徽省农村饮水安全技术中心、安徽农业大学、安徽金海迪尔信息技术有限责任公司、安徽省大禹水利工程科技有限公司。本文件主要起草人：沈超、王跃国、刘怀利、廖丽霞、张成、杜运成、姚建国、李羊第、李家耀、张啸天、郑锐、周婷、刘星宇、姚礼帮、孙靖堂、赵辉、邱丽媛、顾庆玮、李伟、吴霜、张国繁、葛梦DB34/T4853.3—20241农村供水管理系统第3部分：数据加工本文件规定了农村供水管理系统数据的分类、抽取、清洗、标准化转换、入库以及数据安全与记录。本文件适用于农村供水管理系统的数据加工。2规范性引用文件下列文件中的内容通过文中的规范性引用而构成本文件必不可少的条款。其中，注日期的引用文件，仅该日期对应的版本适用于本文件；不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/T20271信息安全技术信息系统通用安全技术要求3术语和定义下列术语和定义适用于本文件。3.1前置数据库predatabase采用主从复制技术实现的原始数据库的镜像数据库，可用于向外界提供相关数据并确保原始数据库数据安全。4流程数据加工流程见图1。不通过不通过2DB34/T4853.3—2024不可修正的不可修正的通过可修正的图1数据加工流程5数据分类5.1待加工数据根据农村供水管理业务应用划分为基础数据、监测数据、业务数据、地理空间数据、外部共享数据五类。5.2应根据数据分类明确对应的数据加工路径、加工规则、加工目标数据库及相应库表信息。5.3采用系统或人工方式将不满足农村供水管理系统业务需求、不符合数据格式要求、元数据或相关资料描述不完整的、数据关系不明确的数据筛除。6数据抽取6.1应通过数据来源的前置库进行抽取。6.2每次数据抽取工作应至少记录抽取标志位、抽取时间、抽取来源、抽取数量、目标库表、抽取完成情况、操作人员；抽取操作中断时可通过抽取标志位、抽取时间确定抽取的数据。6.3数据传输应通过https、TLSP等协议进行安全加密传输。6.4首次抽取应采用全量抽取方式，非首次抽取宜采用增量抽取方式。6.5结构化数据宜采用直接读库方式抽取，半结构化和非结构化数据宜通过数据服务方式抽取。7数据清洗7.1清洗原则7.1.1准确性、完整性：应通过极大值、极小值、负值、空缺值、数据类型错误进行判定。DB34/T4853.3—202437.1.2符合性：结合农村供水管理业务应用规则和逻辑对数据准确性进行判定。7.1.3唯一性：通过主键或标志位检验等策略制定数据唯一性检验和去重规则。7.2清洗操作方法7.2.1根据业务需求将非结构化和半结构化数据（并非全部）转化为结构化数据。7.2.2删除或修改不一致的数据。7.2.3利用相关性分析方法消除冗余数据。7.2.4删除噪声数据。7.2.5删除业务数据中不符合应用规则或有逻辑错误的数据。7.2.6处理空缺值。7.2.7将过滤删除掉的数据存入问题数据库表。7.3结果检验7.3.1对清洗后数据对象的数据类型、数值、长度、格式以及数据内容的表述进行准确性检验。7.3.2应对每个数据字段内容的完整性进行检验。7.3.3应对清洗前后的数据量进行比对。7.3.4系统应建立异常反馈机制，将发现的异常数据及时反馈给原数据提供单位。7.3.5对检验过程中发现的错误数据进行修正。8标准化转换8.1转换规则农村供水管理系统业务数据标准化转换规则见附录A。8.2检验标准化转换后应对数据内容的完整性、准确性和合理性进行检验。9数据入库标准化转换完成后数据应即时入目标数据库。10安全与记录数据加工安全应符合GB/T20271规定。数据加工记录见表1。DB34/T4853.3—20244表1数据加工记录