水利大数据应用技术指南(试行)

水利大数据应用技术指南(试行)1总则1.1编制目的为规范水利大数据技术应用，统一技术标准，提升水利大数据开发利用水平，发挥大数据在水利治理现代化的支撑作用，制定本指南。本指南明确水利大数据全生命周期各环节的技术要求、应用规范和指标体系，为各级水利单位开展水利大数据项目建设、应用开发、运行管理提供技术遵循。1.2适用范围本指南适用于各级水行政主管部门、直属水利事业单位、水利工程运营单位开展的水利大数据采集、存储、分析、业务应用、共享开放、安全保障等全流程技术活动，指导水利大数据应用系统的设计、开发、验收和运维。1.3编制依据依据《中华人民共和国数据安全法》《中华人民共和国网络安全法》《政务数据共享开放条例》《水利大数据战略行动方案（2021-2025年）》《水利信息化标准体系（2021）》《水利数据分类分级指南》等法律法规、政策文件和行业标准制定。2术语与定义2.1水利大数据指水利全领域生产、采集、汇聚的，具有多源、异构、时空关联、海量增长特征的，支撑水利业务感知、分析、决策、服务的各类数据集合，涵盖水文水资源、水旱灾害、水工程、河湖管理、水土保持、水政监管等12大类业务数据。2.2湖仓一体架构指融合数据仓库与数据湖优势，统一存储管理结构化、非结构化数据，支撑混合计算负载的大数据存储管理架构，适用于水利多源异构数据的统一管理。2.3多源数据融合指将不同来源、不同格式、不同精度的水利数据，按照统一时空基准和业务规则进行关联、整合，形成一致可用数据集的技术过程。3水利大数据采集与预处理技术3.1数据采集技术要求水利大数据按来源分为感知监测数据、业务系统数据、跨部门共享数据、地理遥感数据、人工移动采集数据五类，各类采集技术要求如下：3.1.1感知监测网数据采集对水文站、雨量站、水位站、地下水监测井、水库大坝安全监测点、闸坝监控点、取水口计量点等物联网感知节点，采用低功耗广域物联网（LPWAN）、5G、工业以太网等传输技术，按SL/T427《水情信息编码》《水利物联网通信规约》实现自动采集传输。采集频率要求：核心水工程安全监测数据采集频率不低于1次/10秒，水情雨情监测数据不低于1次/5分钟，地下水监测数据不低于1次/日，取水计量数据不低于1次/小时。技术指标：核心监测数据采集完整率≥96%，一般监测数据≥93%，采集传输延迟≤15分钟，异常数据自动重传率100%。3.1.2业务系统数据采集各级水利业务管理系统产生的结构化业务数据，采用API接口对接、增量同步、全量抽取等ETL技术完成采集汇聚，核心业务数据（水情、工情）实时同步，一般业务数据每日增量同步，每季度完成全量对账同步，数据同步准确率≥99%。3.1.3外部共享与遥感数据采集跨部门共享数据（气象预报、国土空间、地形地貌、社会经济等）依托国家政务数据共享交换平台、省级政务共享平台获取，采用批量下载、接口调用两种方式，按月度更新批量数据，实时调用动态数据。遥感数据（高分系列、哨兵系列、Landsat系列卫星影像、无人机航测影像）按应用需求定期获取，全国水土流失、河湖普查年度更新，重点流域动态监测月度更新，遥感数据地面分辨率满足业务要求：河湖“四乱”识别不低于1米，水土流失监测不低于10米。3.1.4人工移动采集数据水政巡查、工程巡检、隐患排查等人工采集数据，通过移动端APP实现采集，支持离线缓存、在线同步，采集数据自动绑定时间戳、空间坐标、采集人员信息，数据上传成功率≥98%。3.2数据预处理技术要求3.2.1数据清洗针对采集的原始数据开展清洗处理：（1）缺值处理：对缺测时长≤24小时的连续监测数据，采用相邻时间线性插值法补全；缺测时长＞24小时标记为缺测，不得插值补全用于核心分析；（2）异常值处理：采用3σ原则、箱线图法结合业务规则识别异常值，如水位流量偏离历史关系线±20%以上判定为异常，可修正的异常结合业务规则修正，无法修正的予以剔除并标记；（3）去重处理：基于“站点编码+时间戳+数据项”唯一标识完成重复数据去重，去重率100%。3.2.2数据标准化转换统一数据基准：空间坐标统一转换为CGCS2000国家大地坐标系，高程统一采用1985国家高程基准，时间统一采用UTC+8北京时间，计量单位统一采用国家法定计量单位，降水量为毫米（mm）、流量为立方米每秒（m³/s）、库容为亿立方米（10⁸m³）、埋深为米（m）。数据编码统一符合SL477《水利数据元目录》、SL701《水工程编码规程》要求，确保编码唯一可关联。3.2.3多源数据融合按照统一时空框架完成多源数据融合：结构化数据按“时间-空间-业务对象”三维关联，非结构化数据（影像、视频、文本）提取特征向量后挂接到对应时空实体，融合后数据匹配准确率≥95%，预处理后整体数据准确率≥98%。4水利大数据存储与管理技术4.1存储架构技术要求采用国产化信创适配的湖仓一体存储架构，满足多源异构数据存储需求：（1）结构化业务数据、监测数据存储于列式数据仓库，优先选用国产自主可控关系型/列式数据库，支持分布式扩展；（2）非结构化数据（遥感影像、视频、音频、文档）存储于数据湖对象存储层，支持分布式扩展和多协议访问；（3）时空数据构建四叉树、R树时空索引，满足时空范围查询效率要求。采用分层存储策略降低存储成本：（1）热数据：近1年核心业务数据、实时监测数据，存储于SSD固态存储，单条查询响应延迟≤100ms；（2）温数据：1-5年历史业务数据，存储于SAS磁盘阵列，单条查询响应延迟≤1s；（3）冷数据：5年以上归档历史数据，存储于蓝光磁带库，数据调出响应延迟≤24h。存储容量预留不低于20%的扩展空间，满足未来3年数据增长需求。4.2数据管理技术要求4.2.1元数据与血缘管理建立统一元数据目录，全量采集所有数据集的名称、来源、采集时间、精度、权属、更新频率等信息，支持按业务、时间、空间多维度检索。构建全链路数据血缘，记录数据从采集、预处理、分析到输出的全流程流转关系，支持数据质量问题溯源。4.2.2数据质量管理建立水利数据质量规则库，覆盖完整性、准确性、一致性、时效性四类质量指标，按月度开展数据质量抽检，年度开展全量质量评估，四项质量指标总体合格率≥95%，不合格数据自动触发告警和补采流程。4.2.3版本管理数据更新过程中保留历史版本，所有版本存储期限不少于5年，满足业务回溯、审计需求，版本切换时间≤1分钟，不影响正常业务访问。5水利大数据分析挖掘技术5.1基础分析技术要求基础分析满足日常业务查询、统计、展示需求：（1）统计分析：支持多维度趋势分析、对比分析、结构占比分析，自动生成固定格式业务报表，统计误差≤0.1%；（2）时空分析：支持空间叠加、缓冲区、流域连通性、水文单元统计分析，满足洪水淹没分析、超采区统计等业务需求；（3）空间插值：采用克里金插值、反距离加权插值方法生成面状降水、地下水埋深、土壤墒情分布栅格，插值误差≤10%。5.2高级分析挖掘技术要求5.2.1机器学习预测预报针对水文预报、水工程安全预测等场景，采用LSTM长短期记忆网络、XGBoost、随机森林等算法开展预测，精度指标要求：短期洪水预报（0-72h）确定性系数DC≥0.8，中长期径流预报（1-30d）DC≥0.6，大坝渗流预测误差≤8%。5.2.2深度学习智能识别针对遥感影像解译、视频监控识别等场景，采用卷积神经网络（CNN）、YOLO等算法开展目标识别，精度指标：河湖“四乱”问题遥感识别准确率≥85%，非法采砂视频识别准确率≥90%，生产建设项目扰动识别准确率≥88%。5.2.3大模型智能应用基于通用大语言模型，结合水利专业知识、业务规则微调训练水利专业大模型，支撑智能咨询、业务报告自动生成、风险研判辅助决策，专业问题回答准确率≥80%，报告生成时间≤5分钟。5.2.4模型耦合仿真将大数据分析结果与水文水动力、水资源调度、洪水演进等传统机理模型耦合，用大数据优化模型参数，提高模拟精度，耦合后洪水演进模拟误差≤10%，水资源配置误差≤5%。6重点业务场景应用技术要求6.1水旱灾害防御大数据应用整合降水、水情、工情、气象预报、地形地貌、社会经济、险情台账数据，构建水旱灾害防御大数据集。技术要求：（1）洪水预报动态修正：基于实时水情雨情自动修正预报结果，修正后预报精度提升≥5%；（2）洪水风险快速评估：1小时内完成不同量级洪水的淹没范围、影响人口、资产估算，评估误差≤15%；（3）干旱动态监测预警：结合土壤墒情、遥感植被指数、地下水埋深数据，每6小时更新一次干旱等级和范围，预警准确率≥90%；（4）预警信息发布：预警信息从生成到推送延迟≤10分钟，覆盖所有相关责任主体。6.2水资源管理与调度大数据应用整合取水计量、用水户、地下水埋深、水资源公报、水库蓄水、降水径流数据，构建水资源大数据集。技术要求：（1）用水总量自动统计：自动生成区域年度、月度用水总量，统计误差≤5%；（2）地下水超采动态监控：每月更新超采区地下水埋深变化，超采态势研判准确率≥95%；（3）水资源优化调度：基于多目标优化算法生成调度方案，区域缺水率较传统调度降低≥10%，生态补水效果评估精度≥85%；（4）水资源承载能力评估：自动完成区域水资源承载能力等级划分，评估结果准确率≥90%。6.3水工程安全运行大数据应用整合水工程档案、安全监测、水情雨情、巡查巡检数据，构建水工程安全大数据集。技术要求：（1）监测异常自动识别：基于机器学习自动识别异常监测数据，识别准确率≥90%，误报率≤10%；（2）安全风险预警：提前24小时预警大坝渗流、边坡变形等异常风险，预警准确率≥85%；（3）隐患自动排查：结合无人机遥感、监测数据自动识别隐患位置和等级，排查效率较人工提升≥60%。6.4河湖管理大数据应用整合河湖岸线保护规划、遥感影像、视频监控、“四乱”问题台账数据，构建河湖管理大数据集。技术要求：（1）“四乱”问题自动发现：基于深度学习自动识别月度遥感影像中的“四乱”问题，漏报率≤10%，发现问题自动推送至属地河长；（2）水域岸线动态变化监测：每季度自动统计河湖水域面积、岸线开发利用变化，监测精度≥90%；（3）河湖健康自动评估：自动提取评估指标，生成年度河湖健康评估报告，指标计算准确率≥95%。6.5水土保持大数据应用整合水土流失监测点、遥感影像、生产建设项目、治理项目数据，构建水土保持大数据集。技术要求：（1）水土流失动态监测：年度更新全国水土流失面积和强度，监测精度≥85%；（2）生产建设项目监管：自动识别未批先建、超范围扰动等违法违规行为，识别准确率≥90%；（3）治理效益评估：自动评估水土流失治理项目的减沙、增绿效益，评估误差≤10%。6.6农村饮水安全大数据应用整合集中供水工程监测数据、水质检测数据、用户用水数据，构建农村饮水安全大数据集。技术要求：（1）水质异常实时预警：常规指标超标后10分钟内触发预警，预警准确率≥95%；（2）供水保障程度评估：自动生成区域年度供水保证率，评估误差≤3%；（3）水费计收自动化：自动生成用户用水量和水费账单，账单准确率≥99%。7安全与共享技术要求7.1数据安全技术要求按照《水利数据分类分级指南》将数据分为公开、内部、敏感、核心四级，实施分级保护：（1）加密技术：静态数据采用AES-256算法加密存储，传输数据采用HTTPS/TLS1.3及以上协议加密传输；（2）访问控制：采用基于角色的访问控制（RBAC）模型，落实最小权限原则，核心数据访问需双人授权，操作日志全量留存，日志存储期限不少于6个月，支持溯源；（3）数据脱敏：对外共享的敏感数据需完成脱敏处理，个人信息全脱敏，敏感位置数据按要求泛化处理；（4）容灾备份：核心数据采用三地三副本存储策略，异地备份容量100%覆盖核心数据，恢复时间目标（RTO）≤4小时，恢复点目标（RPO）≤15分钟，每年开展至少1次灾备演练。7.2数据共享技术要求依托全国水利大数据共享交换平台开展跨层级、跨区域数据共享，对内共享按权限开放数据，支持数据下载、接口调用两种方式；对外共享需履行数据安全审批程序，明确数据使用范围和用途，禁止核心敏感数据违规对外共享，共享接口配置流量控制、访问鉴权机制，防范非法爬取数据。8运行维护技术要求8.1日常运维每日监