城市地质调查数据入库管理规范

城市地质调查数据入库管理规范1总则1.1目的与意义为规范城市地质调查数据的入库管理工作，确保多源、异构、海量地质数据的整合、共享与应用，建立统一、标准、高效的城市地质数据管理体系，特制定本规范。城市地质调查数据是城市规划、建设、运营与防灾减灾的重要基础信息资源。通过科学的数据入库管理，能够消除数据孤岛，提升数据质量，保障数据安全，为智慧城市建设和地质大数据分析提供坚实的数据支撑。本规范旨在明确数据入库的流程、技术要求、质量控制标准及安全保密措施，确保入库数据的完整性、准确性、逻辑一致性和现势性。1.2适用范围本规范适用于所有参与城市地质调查项目数据生产、整理、汇交、管理及应用的单位与个人。涵盖基础地质、工程地质、水文地质、环境地质、地质灾害等各类城市地质调查数据的入库活动。包括但不限于原始数据、成果数据、元数据以及相关的文档资料。凡涉及城市地质数据库建设、维护及升级的系统开发与数据操作，均须遵守本规范。1.3基本原则数据入库管理应遵循以下原则：（1）标准化原则：严格遵循国家、行业及地方相关标准，确保数据格式、坐标系统、属性结构的一致性。（2）完整性原则：入库数据应覆盖调查项目的全部内容，包括空间图形数据、属性表数据、附件及元数据，不得遗漏。（3）准确性原则：数据必须真实反映地质客观实际，经过严格的质量检查，确保空间位置精度和属性值的准确无误。（4）安全性原则：在数据传输、处理、存储过程中，必须采取严格的安全防护措施，防止数据泄露、丢失或损坏。（5）可追溯原则：建立数据入库日志，记录数据的来源、处理过程、责任人及时间，确保数据历史可追溯。1.4编制依据本规范依据《地质资料管理条例》、《数字地质图图式图例》、《城市地质调查数据库建设规范》、《地质信息元数据标准》以及相关GIS（地理信息系统）数据交换标准制定，并结合城市地质数据管理的实际需求进行细化。2术语和定义2.1城市地质调查数据在城市区域范围内，通过地质调查、勘探、物探、化探、遥感、监测等手段获取的，反映地质体特征、地质构造、地下水、地质灾害及其他地质现象的各类数据总称。2.2数据入库将经过整理、转换、质检后的城市地质数据，按照预定的数据模型和存储结构，加载到城市地质数据库管理系统中的过程。2.3元数据关于数据的数据，用于描述数据的内容、质量、状况、来源、空间参考系、获取方式等其他特征信息，是实现数据检索、共享和交换的关键。2.4拓扑检查对空间数据的空间关系（如相邻、包含、相连等）进行的逻辑检查，旨在发现并修复空间几何错误，如多边形不闭合、线段自相交、重叠等。2.5数据字典对数据库中所有数据元素（字段名、字段类型、字段长度、值域范围等）的精确定义集合，是数据库设计的重要组成部分，用于规范数据属性结构。3数据分类与编码规则3.1数据分类体系城市地质调查数据种类繁多，为便于管理和应用，需建立科学的分类体系。数据分类采用线分类法，将数据分为大类、中类、小类三个层级。（1）大类：按地质学科性质划分，包括基础地理、基础地质、工程地质、水文地质、环境地质、地球物理、地球化学、遥感地质、地质灾害等。（2）中类：按数据类型或调查手段划分，如工程地质大类下可分为钻孔数据、静探数据、波速测试数据、室内土工试验数据等。（3）小类：按数据具体特征或成果形式划分，如钻孔数据下可细分钻孔基本信息、钻孔地层信息、钻孔取样信息等。3.2数据编码规则入库数据必须赋予唯一标识码（ID）。编码应具有唯一性、稳定性和可扩展性。（1）行政区划码：采用国家统计局发布的最新六位行政区划代码，标识数据所在的城市及区县。（2）专业类别码：使用两位字母或数字标识数据的专业类别，如“GK”代表工程地质，“SW”代表水文地质。（3）项目编号：由项目管理部门统一分配的6位项目识别码。（4）数据实体序号：在同一项目下同类数据的顺序流水号，建议8位，不足前补零。（5）合成规则：数据编码结构为“行政区划码+专业类别码+项目编号+数据实体序号”。例如：110101GK000100012345678。3.3数据分层与命名空间数据在入库时应进行合理的图层划分。图层命名应能直观反映图层内容，采用“专业代码_图层内容_特征类型”的格式。（1）基础地理层：如DLG_POINT（地貌点）、DLG_LINE（水系线）、DLG_POLY（行政区面）。（2）地质要素层：如GK_BORE_POINT（工程钻孔点）、GK_STRATA_POLY（工程地质层面）、GK_FAULT_LINE（断层线）。（3）注记层：单独建立注记图层，字体、大小、颜色需符合标准图式要求。4数据采集与预处理要求4.1数据源整理在入库前，必须对原始数据进行全面整理。（1）纸质资料数字化：对于历史纸质地质报告、图件、钻孔柱状图等，需进行高清扫描、纠偏、去噪，并通过矢量化软件进行数字化提取。数字化精度要求不低于0.1mm（图面）。（2）电子资料标准化：对已有的电子数据（如Access、Excel、CAD、Shapefile等），需进行格式转换和结构清洗。CAD数据需保留图层信息，属性数据需挂接正确。4.2坐标系统转换城市地质调查数据必须统一采用国家大地坐标系（建议CGCS2000），高程系统采用国家85高程基准。（1）对于北京54、西安80或地方独立坐标系的数据，必须提供准确的转换参数（七参数或四参数），进行严格的坐标转换。（2）转换过程中需进行精度检核，选取不少于10个均匀分布的已知点进行比对，转换中误差不得大于图上0.2mm或实地位置精度要求。（3）对于无坐标系或坐标系不明的历史数据，应通过控制点纠正或配准方法纳入统一坐标系，并在元数据中标注其精度等级。4.3属性数据规范化（1）字段映射：依据数据字典，将源数据字段映射到标准数据库字段。对于无法直接对应的字段，需通过计算或人工判读进行赋值。（2）代码标准化：岩土名称、颜色、地质年代、土体状态等描述性字段，必须转换为标准代码值。例如，“粉质粘土”需转换为规范规定的“02”。（3）单位统一：所有物理量单位必须统一，如深度单位统一为“m”，（米），压力单位统一为“kPa”，水位单位统一为“m”。（4）空值处理：对于缺失或无法获取的数据项，应填写NULL值或特定的缺省值（如-9999），禁止留空或随意填写字符。4.4空间数据几何校正（1）几何修复：使用GIS工具检查并修复无效几何，如自相交、短线段、空几何等。（2）接边处理：对于跨图幅的数据，如图幅接边处的地质界线、等高线，必须进行几何接边和属性接边，确保线段连续、属性一致。接边误差应在允许范围内，中误差控制在图上0.1mm以内。5数据质量控制体系5.1质量控制流程数据入库实行“作业员自检、项目经理复检、质检员专检”的三级质检制度。（1）自检：数据整理人员在完成数据预处理后，需进行100%的自查，重点检查数据完整性、逻辑合理性。（2）复检：项目经理对提交的数据进行抽查，抽查比例不低于30%，重点检查技术路线执行情况和重大技术问题。（3）专检：质量管理部门指定专职质检员进行最终检查，采用人机结合的方式，对数据进行全面扫描和验证，出具《数据质量检查报告》。5.2自动化检查内容利用数据质检软件或脚本，对数据进行全自动批量检查，主要检查内容包括：（1）完整性检查：检查图层是否缺失，必填字段是否为空，对象数量是否与清单一致。（2）结构一致性检查：检查图层属性表结构是否与数据字典完全一致，字段类型、长度是否匹配。（3）值域检查：检查字段值是否在定义的枚举值或有效范围内（如地层年代代码是否合法）。（4）唯一性检查：检查关键字段（如钻孔编号）是否存在重复。（5）格式检查：检查日期格式、浮点数格式、文本长度是否符合要求。（6）空间拓扑检查：检查多边形是否闭合、是否存在重叠或空隙、线段是否悬挂、点是否落在多边形内等。5.3人工交互检查内容对于自动化检查难以发现的逻辑错误和语义错误，需进行人工交互检查：（1）逻辑一致性：检查钻孔地层的层序关系（下伏地层底板深度不应小于上覆地层），检查地下水位埋深与地面高程的逻辑关系。（2）空间分布合理性：检查地质界线走向是否符合地质规律，异常点（如特高孔、特低孔）是否进行核实。（3）图数一致性：检查空间图形的属性信息与原始记录表、图面注记是否一致。（4）附件关联性：检查附件文件（如照片、测试报告PDF）链接是否有效，内容是否对应。5.4质量评价与错误处理（1）错误分级：将数据错误分为“错漏”（严重错误）和“建议”（轻微问题）。严重错误必须修正，轻微问题可记录在案但暂不阻碍入库。（2）质量评分：采用扣分制对数据质量进行量化评价，设定合格分数线（如90分）。低于合格分数线的数据严禁入库，需退回整改。（3）整改闭环：对于检查发现的问题，需形成《问题整改清单》，由作业人员逐一修改，并提交复查，直至所有问题清零。6数据入库流程管理6.1入库申请（1）数据准备就绪并通过三级质检后，数据汇交单位需填写《城市地质数据入库申请单》。（2）申请单内容应包括：项目名称、项目负责人、数据类型、数据量（图层/记录数）、坐标系统、质检报告结论、密级等。（3）需附带《数据质量检查报告》和《数据说明文档》，经单位主管签字盖章后提交至数据管理中心。6.2数据格式转换与迁移（1）中间件转换：对于非直接格式的数据（如CAD、MapGIS），需使用专业的ETL工具或中间件进行转换，生成符合数据库要求的导入格式（如GDB、PostgreSQLDump）。（2）批量迁移：利用数据库管理系统提供的批量导入工具（如OracleSQLLoader、PostGISshp2pgsql）进行数据加载。（3）增量更新：对于已有数据的更新，需识别变更部分，采用增量更新的方式，避免全量覆盖造成的效率低下和版本丢失。6.3冲突检测与处理在数据写入数据库前，系统应自动进行冲突检测：（1）空间冲突：检测新增空间要素是否与库内已有要素发生空间位置重叠（如钻孔点重合）。若发现重叠，需根据规则进行合并、覆盖或报警提示。（2）编码冲突：检测新增数据的ID编码是否与库内已有编码重复。如重复，需启动编码重置机制，生成新的唯一编码。（3）版本冲突：若更新已存在的记录，需检查版本号，确保更新操作基于最新的版本，防止并发修改导致的数据丢失。6.4入库验证与确认（1）入库后比对：数据加载完成后，系统应自动对比入库前记录数与入库后记录数，比对关键属性值，确保数据无损传输。（2）索引重建：对于空间数据表，需在入库后重建空间索引，以提升后续查询检索效率。（3）入库确认：验证通过后，系统自动生成《入库成功回执》，并发送给申请方。若验证失败，系统记录错误日志，并回滚事务，恢复数据库到入库前状态。7数据更新与维护机制7.1数据更新模式（1）定期更新：对于周期性产生的监测数据（如地下水水位监测、地面沉降监测），按照固定的时间周期（如每月、每季度）进行批量入库更新。（2）即时更新：对于应急调查、突发地质灾害事件等产生的数据，应在数据产生后24小时内完成入库。（3）工程联动更新：建立与建设工程审批系统的联动机制，获取岩土工程勘察报告数据，经标准化处理后入库，实现“地质随工程更新”。7.2历史数据管理（1）版本管理：数据库应具备版本管理功能，对发生修改的数据实体保留历史版本。每次更新时，自动将旧数据归档到历史库，并记录生效时间和失效时间。（2）全生命周期追溯：通过版本号和时间戳，可以追溯任意地质要素（如钻孔）在不同时期的状态，支持历史回溯和演变分析。7.3数据维护操作（1）数据清洗：定期对数据库中的垃圾数据、冗余数据进行清洗，释放存储空间。（2）碎片整理：定期对数据库表和索引进行碎片整理，优化存储结构，提升访问性能。（3）统计分析：定期统计各类数据的增长量、覆盖范围、更新频率，形成《数据资源现状报告》，为决策提供支持。8安全保密与权限管理8.1数据分级分类根据数据的敏感程度和潜在影响，将城市地质调查数据划分为公开、内部、秘密、机密四个等级。（1）公开数据：可无条件向社会公众发布的基础性、概貌性数据。（2）内部数据：仅限地质行业内部共享使用的数据。（3）秘密数据：涉及具体工程参数、场地条件，可能影响工程安全的数据。（4）机密数据：涉及国家军事设施、关键基础设施周边的地质数据，严格保密。8.2用户权限管理（1）角色定义：系统采用基于角色的访问控制（RBAC）模型。定义系统管理员、数据录入员、数据审核员、普通用户、访客等角色。（2）权限分配：系统管理员：拥有系统配置、用户管理、数据备份等全部权限。数据录入员：拥有数据上传、编辑、删除自己提交数据的权限。数据审核员：拥有数据质检、入库审批、发布管理的权限。普通用户：拥有查询、浏览、下载公开数据和授权数据的权限。（3）最小权限原则：用户仅被授予完成其工作所需的最小权限，严禁越权操作。8.3安全审计与日志（1）操作日志：系统自动记录所有用户的登录、登出、查询、下载、修改、删除等操作。日志内容包括用户ID、操作时间、IP地址、操作类型、操作对象、操作结果。（2）安全审计：安全管理员定期（至少每季度）对操作日志进行审计，分析是否存在异常访问行为（如非工作时间大量下载数据），及时发现并处置安全隐患。8.4数据传输与存储加密（1）传输加密：数据在网络传输过程中，必须采用SSL/TLS等加密协议，防止被窃听或篡改。（2）存储加密：对于秘密级以上的数据，在数据库存储时应采用字段级或文件级加密存储，密钥管理应符合国家密码管理规范。9归档与备份管理9.1数据备份策略（1）备份类型：实行全量备份和增量备份相结合的策略。全量备份：每周日凌晨对整个数据库进行一次完整备份。增量备份：每日夜间对当日发生变更的数据进行备份。（2）备份介质：备份文件应存储在异地磁带库、专用磁盘阵列或云存储中，实行“本地+异地”双重备份。（3）备份验证：每月进行一次备份恢复演练，验证备份文件的完整性和可用性，确保在灾难发生时能够成功恢复。9.2数据归档（1）归档条件：对于项目已验收、数据不再频繁变动的数据集，应转入归档库。（2）归档流程：由数据管理中心定期扫描数据库，将符合归档条件的数据迁移至离线或近线存储设备，并在元数据中更新存储位置信息。（3）归档介质：采用不可擦写的光盘或磁带作为长期归档介质，保存期限应满足地质资料汇交管理要求（通常为永久或30年以上）。9.3灾难恢复（1）应急预案：制定详细的数据库灾难恢复预案，明确灾难恢复等级（RTO、RPO目标）、恢复流程、责任人及联系方式。（2）恢复演练：每年至少组织一次灾难恢复演练，检验应急预案的有效性和团队的反应速度。10附则10.1解释权本规范由城市地质调查数据管理中心负责解释。在执行过程中，如遇国家或行业标准调整，应按新标准执行，并及时修订本规范。10.2施行日期本规范自发布之日起正式施行。原有的相关数据入库管理规定若与本规范不一致，以本规范为准。10.3附录管理本规范的附录包括《数据字典表》、《元数据标准模版》、《数据质量检查记录表》、《数据入库申请单》等，是本规范不可分割的一部分，具有同等效力。附录表格格式应严格遵循本规范第1.4条引用的相关国家标准制作。以下为数据质量检查关键控制点示例表，作为执行层面的具体指导：检查大类检查项检查内容描述严重等级检查方式处理建议空间数据几何有效性检查是否存在自相交、空几何、短线段等无效几何严重自动修复或删除空间数据坐标范围检查坐标值是否落在项目工作区范围内严重自动核实并纠正空间数据拓扑关系检查多边形闭合、重叠，线段连接性严重自动修正拓扑错误空间数据分层正确性检查数据是否放入了正确的图层严重人工移动至正确图层属性数据表结构一致性检查字段名、类型、长度与字典是否一致严重自动调整表结构属性数据非空约束检查必填字段（如钻孔编号）是否存在空值严重自动补充数据属性数据值域一致性检查岩土名称、年代代码等是否在枚举范围内严重自动修正代码值属性数据逻辑一致性检查地层底板深度是否大于顶板深度严重自动/人工核实原始记录属性数据字符规范检查是否存在非法字符、半角全角混用轻微自动批量替换元数据完整性检查元数据必填项是否齐全严重自动补充元数据元数据准确性检查元数据中空间范围、数据量是否与实体一致轻微人工更新元数据附件关联有效性检查附件路径链接是否有效，文件是否存在轻微自动修复链接或补传文件附件格式规范检查附件格式是否符合要求（如仅限PDF/JPG）轻微自动转换格式以下为常见城市地质数据分层及属性结构概览表，用于指导数据预处理：序号图层名称几何类型关键属性字段列表备注1GK_BORE_POINTPointBORE_ID（钻孔编号）,HOLE_DEPTH（孔深）,COORD_X（X坐标）,COORD_Y（Y坐标）,GROUND_ELEV（地面高程）,START_DATE（开工日期）核心基础数据2GK_STRATA_POLYPolygonSTRATA_ID（层面编号）,LITH_CO