农业污染源普查数据质量控制方法与空间规则实践

农业污染源普查数据质量控制方法与空间规则实践科技、

创新农业农村部环境保护科研监测所01

农业污染源普查简介03填报与审核阶段质控02质控工作总体概述04入库阶段质控目

录05

总结PART

01农业污染源普查简介

农业污染源普查内容：普查标准时点：

2017年12月31日五大专业：种植业、畜禽养殖业、水产养殖业、秸秆、地膜内容：生产活动水平调查、原位监测、相关成果分析四级管理某省市、市、区县

普查

作

时可限追：溯

生产活动水平调查：

2018年9月－－2018年7月15日原位监测调查：

2018年5月－－

2019年9月31日

全

国的普查员：某省市、市、

县四级：调查员、审核员承担调查任务的普查县：

种植业2886个、畜禽1746个、秸秆121个、地膜321个、水产100个参与人员：

54791位五个专业、覆盖全国、两类调查农业污染源普查简介全流程、全要素1PART

02质控工作总体概述&日分享各个领域高质量专业的解决方案，内容包括某省市、乡村振兴、智慧城管、智慧园区、智慧公安、智慧水务（水利）、智慧林草、社会综合治理、智慧旅游、智慧工地、智慧环卫、智慧医院、智慧环保、智慧安监等领域，结合数字孪生、人工智能、物联网、大数据、云计算等技术，分享行业售前方案、设计方案、技术方案和项目信息等。日分享各个智慧领域国家和地方标准规范，国家和地方政策指导文件，让各个智慧方案有据可依，内容包括中的各个行业的政策和规范，内容在不断的收集和完善中。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。星球优惠券（扫第五个码）扫描69元价格优惠加入，1W+方案任意下载，资源不断的丰富完善中......找方标准信质控工作总体概述原始数据省质控数据结果库

入库阶段质控

审核阶段质控填报阶段质控

填报阶段

审核阶段

入库阶段农业污染源普查流程2

PART

03填报与审核阶段质控填报阶段质控——全过程留痕APP直接获取填报时位置GPS位置，不允，并且将信息直接以水印的形式标识在现场的照片上（系统也将储存）。填报环节全过程痕迹追溯——空间信息位置留痕32017年行政区划代

码、统一填写表头某省市、市、县）数据专业规范内置共计20余条专业校验规范，根据专业规则对填写的数据进行数据规范校验不通过，不允种植业、秸秆、地膜

水产、畜禽字典表数据字典表填报阶段质控——机械校验机械校验通过采集端内置的字典表，以及专业规则进行强制校验3审核阶段质控——空间校验空间校验通过可视化手段，将坐标落在县域内，用于快速定位偏移数据。3审核阶段质控——

可视化校验可视化校验通过数据规律，利用可视化的方法，对数据进行横向校验。直方图可用于发现单位填写错误的异常聚类分析从数据离散性上发现异常散点图从数据的规律上发现异常3专题退回数量退回数量占比畜禽67601条98.89%地膜13728条36.39%秸秆581条3.98%水产1586条5.34%种植业121432条37.30%审核阶段质控审核阶段质控4-6月各专业退回数量3PART

04入库阶段质控入库阶段质控——方法介绍利用gis的手段，将数据制图，从图中发现潜藏

的数据问题通过新的规则和阈值范围，对各专业数据进行

补充校验通过异常值检测算法，从统计学角度去发现异

常数据竞争型神经网络与GIS相结合，通过空间分布

规律寻找异常数据竞争型神经网络+GIS制图分析补充校验算法检测4&日分享各个领域高质量专业的解决方案，内容包括某省市、乡村振兴、智慧城管、智慧园区、智慧公安、智慧水务（水利）、智慧林草、社会综合治理、智慧旅游、智慧工地、智慧环卫、智慧医院、智慧环保、智慧安监等领域，结合数字孪生、人工智能、物联网、大数据、云计算等技术，分享行业售前方案、设计方案、技术方案和项目信息等。日分享各个智慧领域国家和地方标准规范，国家和地方政策指导文件，让各个智慧方案有据可依，内容包括中的各个行业的政策和规范，内容在不断的收集和完善中。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。）会员可下载所有资料，并每日上新（注：所有资料均通过互联网等公开渠道获取，个人学习使用，请勿用于商业用途）。星球优惠券（扫第五个码）扫描69元价格优惠加入，1W+方案任意下载，资源不断的丰富完善中......找方标准信系统异常值算法介绍-3σ原则3σ准则又称为拉依达准则，它是先假设一组检测数据只含有随机误差，对其进行计算处理得到标准偏差，按一定概率确定一个区间，认为凡超过这个区间的误差，就不属于随机误差而是粗大误差，含有该误差的数据应予以剔除。数据分布区间数值分布在(μ-

σ,μ+σ)中的概率为0.6827数值分布在(μ-2σ,μ+2σ)中的概率为0.9545数值分布在(μ-3σ,μ+3σ)中的概率为0.9973--

μ（平均数）、

σ（标准差）适用范围及局限1、仅局限于对正态或近似正态分布的样本数据处理；2、

μ、σ对异常值的耐抗性小，异常数据本身会对其造成影响；3、为保证检测结果的准确性，数据量必须充足。算法检测——检测方法介绍4绘制步骤及数据分布区间1、找出一组数据的中位数和上下四分位数(Q3和Q1)2、连接两个四分位数画出箱子，并计算四分位距IQR=Q3-Q1

3、计算上下界：

内限（Q3+1.5IQR，Q1-1.5IQR）-外限（Q3+3IQR，Q1-3IQR）总结与适用范围1、四分位对仅用于显示数据位置，对异常数据耐抗性高2、多达25%的数据可以变得任意远而不会很大地扰动四分位数

3、为保证检测结果的准确性，数据量不能太小4、在异常值方面具有一定的优越性系统异常值算法介绍-箱形图箱形图(英文:Box

plot)，是一种用作显示一组数据分散情况资料的统计图。因型状如箱子而得名，

常见于品质管理。其最大的优点就是不受异常值的影响，可以以一种相对稳定的方式描述数据的离散分布情况。算法检测——检测方法介绍4系统异常值算法介绍-kmeans以空间中k个点为形心进行聚类，对最靠近他们的对象归类。通过迭代的方法，逐次更新各簇的形心的值，直至得到最好的聚类结果绘制步骤及数据分布区间1、选取若干个数作为初始中心点。2、在第k次迭代中，对任意一个样本，求其到c个形心的欧氏距离，将该样本归类到距离最小的形心所在的簇。3、利用均值等方法更新该簇的形心值，直到当形心更新稳定或误差平方和最小时，则迭代结束。4、利用欧式距离计算离群点。总结与适用范围1、以簇的形式进行区分，对异常数据耐抗性较高2、如果异常值单独成簇，则该方法效果不理想3、为保证检测结果的准确性，数据量不能太小算法检测——检测方法介绍4竞争型神经网络+GIS——方法介绍将每个缓冲区内，中心

点与进行对比。如果与均不相同，则可能为异常数据。将聚类点落在地图上，

并获取每个点位

位的情况。学习，聚类

缓冲区分析

竞争性神经网络计算异常数据竞争型神经网络与GIS相结合结合空间分布规律寻找异常。4

投入字段播种面积、单产、机械收获面积、人工收获面积聚类将字段在神经元内进行学习，聚类缓冲区范围选定1千米异常判定条件选定缓冲区内，同类别点比例小于40%，算为异常检测专业秸秆，分品种使用竞争性神经网络对数据进行聚类，通过缓冲区分析法，计算每个类别在缓冲区内所占比例，获取异常值。竞争型神经网络+GIS——方法介绍4竞争型神经网络+GIS——方法介绍投入字段播种面积、单产、机械收获面积、人工收获面积4聚类将字段在神经元内进行学习，聚类竞争型神经网络+GIS——方法介绍4玉米单产聚类结果图玉米单产聚类结果图异常值竞争型神经网络+GIS——方法介绍缓冲区分析

+异常判断对每一个数据点绘制1KM的缓冲区，并将每个缓冲区内，同类型点比例小于40%，算为异常。4异常检测成果展示作物总数异常数比例玉米872399511.4%早稻123231725.7%中稻和一

季晚稻509390917.8%大豆145315110.3%小麦43872455.5%竞争型神经网络+GIS——成果展示4跨省邻县分析对具有相似地理条件和生产模式某省市邻近县，进行比较，分析具体数据的合理性。绘制方法1、寻找相邻区县a.在中国地图中某省市界。b某省市界上绘制一千米的缓冲区。c某省市界与县界进行缓冲区分析，某省市的县。d.某省市某省市一面继续做缓冲区分析，找出

其相邻某省市的区县。2、计算指标平均值求出相邻区县数据指标的平均值，并将其输出为

excel或绘制在地图上。制图分析某省市邻县分析4能根据已采集的区域

样本值，模拟出未采

集的区域情况，能很

好的展示数据的区域

分布规律能很好的展示行政区的统计数据（或平均数据），适用于行政区之间的数据统计与对比展示能很好地将不同指标的对

比情况进行展示，叠加地图，能让人某省市内数据对比情况下，也能查看某省市间的对比情况。制图分析——专业图分析专业图分析以专业的角度制图，从专业规律上发现数据变化或潜在的异常。散点图准确，能准确反应每

个数据点的绘制指标，

使用者也能根据颜色，

对数据的分布情况有

大致的了解。空间插值图

行政区划图饼状图/柱状图4小麦

单产

空间插值图（反距年离地权膜重使小法用麦）回单收产对行比政图区划图某省市麦级人）工、机械收获留茬高度对比图入库阶段质控4PART

05总

结填报阶段

审核阶段

入库阶段空间信息位置留痕+机械校验

空间校验+可视化校验

补充校验+算法校验+空间分析+制图分析总结全流程质控空间信息技术支撑空间信息技术为数据质控提供了强有力的支撑5感耐心聆听

THANKS科技、

创新农业农村部环境保护科研监测所&日分享各个领域高质量专业的解决方案，内容包括某省市、乡村振兴、智慧城管、智慧园区、智慧公安、智慧水务（水利）、智慧林草、社会综合治理、智慧旅游、智慧工地、智慧环卫、智慧医院、智慧环保、智慧安监等领域，结合数字孪生、人工智能、物联网、大数据、云计算等技术，分享行业售前方案、设计方案、技术方案和项