智慧水利平台数据质控细则

智慧水利平台数据质控细则一、总则数据质控是智慧水利平台发挥“四预”（预报、预警、预演、预案）功能的基石，无质量保障的数据将直接导致调度指令失效甚至引发工程安全事故。本细则旨在建立从传感器采集到平台应用的全链路数据质量管控标准。1.1适用范围本细则适用于智慧水利平台所属的水文、水资源、水环境、工情、视频等各类感知设备的数据采集、传输、入库、处理及应用全过程的质量控制。各级数据中心、分中心及前端站点运维单位必须遵照执行。1.2职责划分1.前端运维单位：负责感知设备的物理校验、现场比测、清洁维护及边缘网关的初始数据过滤。每日09:00前提交前一日《设备运行工况日报表》。2.平台数据中心：负责传输链路监控、入库数据合法性校验、异常数据清洗与特征值计算。值班人员7×24小时响应数据告警，15分钟内完成初步定位。3.业务应用部门：负责数据可用性评估，反馈数据质量缺陷，参与质控规则与阈值的动态修订。二、数据质控架构与流程平台数据质控采用“边缘侧预处理—传输链路校验—中心端深清洗”的三级架构，通过PDCA（计划-执行-检查-改进）闭环实现数据质量持续迭代。2.1质控层级划分1.边缘侧预处理（一级）：在遥测终端（RTU）内执行。利用设备算力进行简单的滑动平均滤波与死区过滤，剔除明显的电平跳变。2.传输链路校验（二级）：在物联网接入网关执行。校验报文完整性、时间戳合法性与防重放攻击。3.中心端深清洗（三级）：在数据中台执行。基于水文物理规律进行多源交叉比对、阈值检查与逻辑推理。2.2闭环管理流程•规则制定：业务部门与水文专家每年汛前联合修订一次质控规则库，明确各站点的动态阈值区间。•执行监控：系统自动执行质控脚本，记录每条数据的质控标识码（0:未处理，1:通过，2:可疑，3:剔除）。•检查评估：每月3日前生成上月《数据质量月度评估报告》，通报各分中心数据完整率与优良率。•改进迭代：对误报率超5%的质控规则，由数据中心发起规则优化工单，5个工作日内完成算法调优与回归测试。三、采集端数据质控传感器是数据质量的源头，物理层面的校准与维护决定了原始数据的置信度上限。前端运维必须遵循严格的工程规范，杜绝“带病运行”。3.1传感器校准与维护规程1.压力式水位计：汛期每月1次、非汛期每季度1次进行现场人工比测。利用水准仪测量水面高程，与探头输出值比对。◦动作机理：压力式探头依靠测量静水压强换算水位，泥沙淤积探头表面会改变受压面积，导致系统性负偏。◦判定标准：人工观测值与自动测报值差值|Δ◦异常处置：若|Δ2.翻斗式雨量计：汛期每月1次、非汛期每两月1次进行注水测试。◦测试方法：使用标准量杯以10mm/◦判定标准：动作次数应为10±◦异常处置：超差则现场调节翻斗定位螺钉。严禁雷雨大风天气开盖作业（开盖会破坏设备防雷屏蔽，可能引入直击雷损坏主板），雷雨期间改为远程逻辑诊断，雨后24小时内补做注水测试。3.2边缘节点过滤逻辑RTU必须配置死区过滤与滑动平均算法，过滤机械震动引起的脉冲噪声。•死区过滤：水位变化幅度≤0.01•滑动平均：连续采集5次（间隔100ms），去掉最大值与最小值后取算术平均作为单次上报值。严禁将未经处理的瞬时单次采样值直接上报平台，以免网络传输丢包重传引起的重复计数污染历史序列。四、传输与入库质控传输链路决定了数据是否“按时、按量”到达，入库校验则是拦截非法数据的最后闸门。此环节重点防范网络抖动引起的丢包与重发乱序。4.1报文合法性校验物联网接入网关收到数据后，必须在1秒内完成以下校验：1.CRC校验：校验报文完整性。校验失败的报文直接丢弃，并向前端设备发送重传指令。2.时间戳防重放：解析报文中的时间戳Tdat◦判定标准：若|T◦异常处置：拒绝入库并记录至“非法接入日志”。严禁将时间倒流或超前超长的报文写入时序数据库，这会破坏时序索引导致查询引擎崩溃。3.设备鉴权：校验设备Token与MAC地址绑定关系。发现异地登录鉴权（IP网段突变），10分钟内冻结该设备接入权限。4.2防重与插补机制•防重机制：以“设备ID+时间戳”作为联合主键建立Redis缓存。若5分钟内收到相同主键报文，保留数值最新者，丢弃旧者。•缺失插补：若某水位站连续3个采样周期（如设定5分钟/次，即15分钟）未上报数据，平台自动触发站点掉线告警。◦分层处理：优先在界面置灰该站点数据并弹窗提示“设备离线”；若无备用通道，对缺失时段的数据打上“缺失插补”标签，采用线性插值法填补（仅限展示用，不进入模型运算库）；严禁使用历史同期数据直接覆盖缺失段，掩盖设备故障会导致防洪预报模型输入项产生伪物理过程。五、平台端数据清洗与治理平台端清洗负责剔除逻辑谬误与填补缺失，是将“生数据”转化为“可用数据”的核心环节。此环节的规则设定必须依据水动力学规律与工程常识，不能依赖纯统计学方法。5.1多维阈值检查5.1.1水位数据阈值检查1.物理极值检查：水位值H必须满足Hdead<H<◦为什么这么做：超出物理极值的数据通常源于传感器漂移或受雷击损坏，直接接入会触发系统级别的防洪告警，造成不必要的响应动员。◦出问题怎么办：判定为3级错误，数据直接剔除并标记为异常。系统生成《设备疑似硬件故障工单》派发给前端运维。同时保留原始数据进入“疑罪从库”冷存储，供事后追溯。2.率变检查：相邻两个采样周期水位变化率ΔH/Δ◦参数推算：对于山区性河流，Vmax可按推算取2.0m/◦分层判定：若超限但ΔH<0.55.1.2流量与流速数据检查•流速相关性校验：对于ADCP（声学多普勒流速剖面仪）测流数据，表层流速与底层流速应具有连续性。若相邻测层流速差|Δ•处置逻辑：优先使用底层未受干扰单元的流速推算断面流量；严禁直接剔除受扰数据导致断面流量为零（流量为零会触发下游断面的干旱预警误报），应挂起该时段流量数据并标注“测流受阻估算中”。5.2空间一致性交叉比对利用相邻水系或同一断面上、下游测站的水力学关系进行互校。1.传播时间校验：上游站A涨水洪峰出现时间TA，下游站B涨水洪峰出现时间TB。设两站间距L，洪水波传播速度C，理论传播时间2.一致性判定：若(TB−TA3.风险演化叙事：下游站雷达水位计被洪水冲歪基座->雷达测距变短->上报水位异常偏高->平台模型计算淹没范围扩大->误发撤退指令->造成社会资源浪费。通过空间一致性比对，可切断此风险演化路径，将下游站数据降级为参考级并派发线下巡检。六、质量评估与考核机制建立量化指标体系是驱动各节点运维人员履职的硬约束，无考核的质控终将流于形式。考核数据每月5日前在平台门户公示。6.1核心质量指标1.数据完整率：R◦Nact◦考核标准：汛期Rc≥952.数据准确率：R◦采用抽样人工比测法。每月抽取不少于10%的站点进行现场实测比对，Npas◦考核标准：Ra3.系统响应延时：从前端RTU产生数据到平台入库可查的平均时间差。◦考核标准：Tdel6.2奖惩措施•对月度完整率与准确率双达标的运维单位，按合同条款支付全额运维费，并在季度通报中表扬。•完整率连续两月低于80%的，扣减当月运维费10%，约谈项目负责人，限期15天整改。整改不合格则启动更换运维单位程序。七、异常处置与应急响应面对台风暴雨等极端工况下的数据异常，必须建立分级响应机制，保障防汛决策不中断。此环节强调人在回路（Human-in-the-loop）的兜底作用。7.1分级响应标准与处置1.一级响应（一般异常）◦判定标准：单站点数据跳变、单链路中断持续时间≤2◦启动权限：数据中心值班员自主处置。◦处置原则：值班员在15分钟内完成日志记录，电话通知前端运维人员。运维人员在4小时内到达现场排查。平台端对异常数据插补并打标。2.二级响应（严重异常）◦判定标准：某区域（如某流域/某县）超过30%站点同时掉线；或水库大坝渗压计数据突跳且持续超阈值；或核心防洪站点数据中断>2◦启动权限：数据中心主任审核，平台运维总监批准。◦处置原则：10分钟内组建由网络、硬件、业务专家组成的应急小组。若确认前端损毁无法恢复，立即启动备用通讯链路（如北斗卫星短报文），并指派防汛抢险队伍携带便携式测流设备赴现场人工测报。数据中断期间，每30分钟由人工录入一次实测数据，严禁平台长时间挂空。3.三级响应（系统级灾难）◦判定标准：云平台主数据中心宕机超30分钟，或核心数据库被勒索软件加密锁定。◦启动权限：水利局分管副局长及以上领导指挥。◦处置原则：立即切换至异地灾备中心。若灾备亦失效，停止所有对外数据发布服务，转为内部断网排查。各分中心转为单机离线模式运行，采用电话/传真方式上报水情数据。严禁在未查明入侵路径前盲目重启主系统，以免破坏数字证据并触发二次感染。八、附则与工具表单为确保本细则可落地执行，规范日常操作，统一数据核查与应急处置流程，特制定以下标准表单。各执行单位可直接复制打印使用。8.1表1：智慧水利站点数据质控日检查表站点名称站点编码检查日期检查人检查项标准要求实际情况记录是否正常异常处置说明供电系统蓄电池电压≥[]是[]否通讯链路报文丢包率≤[]是[]否水位比测$\Deltah\leq0.03m$雨量注水误差≤[]是[]否探头状态无泥沙淤积/水草缠绕[]是[]否死区过滤RTU变化阈值设置正确[]是[]否8.2表2：数据异常应急处置SOP清单1.告警接收（0-5分钟）：值班员通过平台大屏或短信接收告警，记录告警时间、站点ID、异常类型。2.初步研判（5-15分钟）：登录时序数据库查看历史趋势，判断是否为阈值规则误判。若判定为误判，调整规则权重并解除告警。3.故障派单（15-30分钟）：确认物理故障，在工单系统创建《前端设备抢修单》，推送给区域运维负责人。4.数据降级与插补（30-60分钟）：通知业务部门该站点数据降级为“参考级”。启用线性插值或相邻站插补模型补齐展示数