智慧渔业 课件 第5章 渔业大数据技术

渔业大数据技术第5章2党的十八大以来，习近平总书记多次强调要发展数字经济，提出“推动实施国家大数据战略，加快完善数字基础设施，推进数据资源整合和开放共享，保障数据安全，加快建设数字中国”。首次提出“数字乡村”概念。

党的二十大提出的“农业强国”，为人工智能在乡村振兴领域的应用与发展提供了更加广阔的空间。有专家指出，数字乡村的建设，不仅体现在乡村数字基础设施的加强，更体现在人工智能的渗透与应用等方面，为我国智慧农业、乡村数字化治理及文化教育等领域注入了科技活力，也为乡村的可持续发展提供了强大动力。“十四五”规划和2035年远景目标纲要对“建设数字中国”已作出重要部署。中共中央、国务院印发《数字中国建设整体布局规划》，进一步为加快建设数字中国提供了顶层设计和战略指引。数字中国建设3数字经济规模稳居世界第二互联网普及率提升至74.4%

5G基站总量318.9万个，占全球60%以上数据产量全球占比10.5%网络基础设施全球规模最大数字中国建设取得的成就“数字乡村”“农业强国”

以无人农场为例，大数据技术的支撑下，在劳动力不进入农场的情况下，采用物联网、人工智能等新一代信息技术，通过智能装备等远程控制、全程自动控制或机器人自主控制，完成所有农场生产作业，实现了精准化、精细化管理。渔业大数据技术与系统1本章主要内容渔业大数据的创新应用渔业大数据应用案例234渔业大数据概述5第一节渔业大数据概述一、

渔业大数据定义大数据(bigdata)：是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。渔业大数据：是渔业规划、计划、生产、销售、管理、科研等所有环节（包括影响这些环节的所有因素，如地理、气象、水文、环保、政策、市场等等）所产生的所有数据的集合，以及对这些数据的获取、分类、存储、管理、挖掘并提供快捷、有价值服务的各项技术及其应用的总称。

6第一节渔业大数据概述二、

渔业大数据特征数据量大（volume）多样性（variety）价值密度低（value）高速性（velocity）准确性（veracity）复杂度高（complexity）7第一节渔业大数据概述二、

渔业大数据特征特征原因数据量大在渔业生产、管理、科研、流通、经营、消费等各类相关行为中会产生，如养殖过程中养殖池的水体溶氧量、酸碱度、水质、养分、氨氮、含氧、喂养、生长期、上市周期等相关数据；随着物联网和互联网的发展，该类数据量级也在迅速增长

多样性在渔业规划、计划、生产、销售、管理、科研等所有环节（包括影响这些环节所有因素，如地理、气象、水文、环保、政策、市场等）会产生网络日志、音频、视频、图片、地理位置信息等多类型的数据价值密度低渔业大数据由结构化数据和非结构化构成，在非结构化数据中存在着大量无价值数据，造成渔业大数据的价值密度低高速性随着互联网以及物联网在渔业上的广泛应用，各种渔业信息传感设施装备与网络结合，实现了各类数据的实时采集准确性渔业各类传感设施装备的发展时间较短，精确度有限复杂度高寻找多类型数据的相关性，需要花费大量人力物力，造成渔业大数据处理的复杂性8第一节渔业大数据概述三、

渔业大数据的类型与价值渔业大数据的来源数据库渔业资源、渔业环境、市场、人力资源等方面数据库多种信息渠道通过互联网、微信、移动终端等多种信息渠道获取的碎片化的各类渔业信息信息系统将地理信息系统、遥感信息处理系统和全球卫星定位系统技术、应用于渔业时产生的数据智能化专家系统智能化的专家系统在水产养殖中产业的数据，如池塘理化参数监制、自动投饵、饲料配制、鱼病诊断数据等9渔业大数据分类01按照领域划分以渔业领域为主体，涵盖了养殖业、捕捞业、加工业，可以扩展至苗种、饲料、渔业机械、渔业环境和渔业运输等02按照地域划分不仅包括全球的数据，还包括国内各省（市、县）数据，从而对各地域渔业大数据信息进行更精准地研究03按照企业划分包含经济主体的基本信息、投资者信息、生产信息、坐标信息、人事信息等04按照学科专业领域划分气象数据、水环境数据、生物基因数据、市场经济数据等10渔业大数据的作用与价值对渔业从业人员对渔业科研人员对政府机构对自然环境11四、

渔业大数据的应用（一）产前规划–

水产养殖露天养殖模式为主，“看天吃饭”例：我国最大的虾夷扇贝养殖地——长山群岛曾出现扇贝大面积死亡的现象。通过3S技术与实地调查获取温度、水深、透明度、叶绿素a浓度、养殖密度、当地航道、渔港分布等相关数据，建立模型并分析养殖适宜性指数后，国家海洋监测中心发现，养殖基地存在养殖密度与养殖适宜度不匹配的问题，即小长山岛养殖密度过大导致扇贝大面积死亡，而大长山岛养殖密度仍可作提升。12四、

渔业大数据的应用（一）产前规划–

捕捞3S技术、传感节点和无线通信网络对水生物种资源的有关数据进行采集获知不同区域的叶绿素浓度、海面高度、水温等与水生生物生长、繁殖、迁徙相关的重要信息对大数据的深度分析，预测营养、洋流等情况进一步分析得出当前的渔业资源分布，提供渔场预报、渔情分析13四、

渔业大数据的应用（二）产中管理–

水产养殖–

集约化养殖模式的大数据应用养殖环境监测与预测预警病害诊治与预警养殖对象异常行为检测与分析养殖对象生物量估算水产养殖大数据生产管理平台构建14四、

渔业大数据的应用（二）产中管理–

水产养殖–

水质分析和预警15

行为分析通常需要采集大量的视频图像数据，通过对其位置的提取和运动轨迹的跟踪，得到行为活动特征，再通过机器学习、相似度度量等方法构建分类器，从而识别其行为特征。

当前在研究中已经运用的有：（1）通过对水产动物游泳速度、加速度、曲率、临近特征等行为特征参数的检测，为温度、溶解氧等水质参数、寄生虫、疾病等的监控与预警提供重要的方法和手段；（2）对摄食前后的鱼群行为进行监测，分析其饥饿程度与行为。四、

渔业大数据的应用（二）产中管理–

水产养殖–

行为分析16四、

渔业大数据的应用政府常通过3S技术获取指定区域的捕鱼活动情况，并与渔民报告相对比，更加精确地分析、判断当前的渔业捕捞强度，为相关政策的制定提供数据依据，防止过度捕捞等情况的发生。例如：（1）通过夜光遥感技术获取灯光渔船的数量与捕捞强度，为趋光性鱼类的捕捞量作预测与规划；（2）通过北斗船位数据获取航速与航向差等数据，以此确定拖网渔船捕捞状态，计算累计捕捞时间，从而获得某区域一段时间的捕捞强度，结合船位追溯渔船、渔场、渔港，从而掌握水产品的来源与累计捕捞时间，最终实现水产品的溯源。（二）产中管理–

捕捞17四、

渔业大数据的应用（三）产后应用产品的风味、新鲜度、重量有较大差异。通常从品种、感官品质、新鲜度、重量等指标进行衡量。机器视觉技术的应用发展迅速，研究人员通过对鱼瞳孔和腮的颜色、鱼骨面积、虾类的轮廓完整度和颜色等信息的获取，建立了多维度的品质分级模型。构建电子商务平台或借力于淘宝、京东等业务成熟的平台，并通过自建或第三方的冷链物流开展零售、众筹、团购甚至是期货交易等经营模式。产品质量溯源则为消费者提供了保障产品分级01销售及运输02安全追溯0318第二节渔业大数据技术与系统一、

渔业大数据的获取与传输（一）渔业大数据的获取技术1.传感器技术传感器技术是通过各类感知功能的元件将环境变量转变为数字信号的技术，主要测量温度、盐度、PH值、溶解氧等指标常用的传感器有：温度传感器、位移传感器、温湿度传感器、环境监测传感器、水质传感器、超声波测距传感器等采集到的数据信息通过有线网络或者无线网络传输到采集节点192.视频采集技术203.卫星遥感技术

遥感是使用照相机或卫星通过测量其反射，或发射辐射来检测和监测给定事物或区域的物理特征的过程。

卫星遥感技术能够实现对地表信息长时间、大范围、高精度的同步监测,可用于渔场分布、渔业环境监测。21可用于发现和开发主要渔业，并提供有关鱼类在水体中分布的信息。捕鱼船队在很大程度上依靠遥感信息来知道将船队导向何处。在水产养殖中，遥感技术可用于水深测量。遥感技术使用能够检测事物或人发出的求救信号的传感器。遥感技术还可用于预测渔业市场，通过拍摄的图像显示渔场上存在的鱼的数量，用于确定鱼的可用性或缺乏。卫星遥感技术在水产养殖中的使用

224.

人工调查

现场调查可借助于相关的仪器和设备（船舶），通过设备进行实地测量，记录测量数据或将测量数据传入相应的数据库中，还可以通过实验室采集实验数据；社会调查与统计采集方式包括来源于社会各行业、各部门的相关法律文档、行业规范、技术标准和条文条例等的文本资料，也包括来源于国家和军队等部门和机构拥有的不同领域的大量统计资料，还可以通过人工扫描印在纸上或聚酯薄膜地图上的数据，通过数字化仪产生数据。22235.RFID射频数据可通过无线电讯号识别特定目标并读写相关数据,而无需识别系统与特定目标之间建立机械或光学接触。RFID系统工作原理图246.互联网数据的获取通过网络爬虫和网络服务接口获取互联网庞大数据数量网络爬虫01主要内容有水产养殖技术、市场价格信息、病害风险预警和水产相关知识等数据，如中国水产网、中国水产养殖网和中国水产门户网等水产行业网站02政府、非营利组织和企业信息公开网站向全社会提供的数据资源服务，能够促进数据资源的深度挖掘利用，如渔业与水产科学数据分中心。公共数据资源服务03257.业务信息系统业务信息系统产业管理系统专业数据库传统数据源主要是指政府的渔业产业管理系统、统计年鉴和企业的生产管理系统主要有水产行业数据库和文献数据库等指水产业信息化程度较低的阶段数据的主要来源，如纸质文献，水产养殖专家、水产养殖企业和养殖户的手工记录268.水下声呐技术声呐技术是利用声波在水中的传播和反射特性，通过电声转换和信息处理进行导航和测距的技术。探鱼仪是一种可用于发现鱼群的动向、鱼群所在地点、范围的声呐系统，利用它可以大大提高捕鱼的产量和效率助鱼声呐设备可用于计数、诱鱼、捕鱼、或者跟踪尾随某条鱼等海水养殖场已利用声学屏障防止鲨鱼的入侵，以及阻止龙虾鱼类的外逃。27（二）渔业大数据的传输技术网络传输系统结构图28（二）渔业大数据的传输技术按照距离可以分为养殖场内的近距离传输和远距离接入互联网传输两种方式。29（三）数据预处理数据变换数据清洗数据归约数据集成数据脱敏30二、渔业大数据的存储与管理（一）渔业大数据的存储⎯概述

渔业大数据是利用大数据的理念和相关技术架构，结合数学模型把渔业信息化产生的大量数据加以处理和分析，并将有用的结果以直观的形式呈现给需求者，来解决渔业领域出现的问题。常用的数据存储模型分为无格式的文件数据存储和有格式的文件数据存储。

31渔业大数据存储影响因素容量延迟并发访问安全问题成本问题32渔业大数据存储技术水产养殖环境数据特点：高维时空，且有实时处理要求，适用于有极高读写性能的内存数据库存储。对于水产动物视频图像和互联网水产舆情等非结构化数据，关系模型不适用，NoSQL技术通过列表、集合、哈希表等概念对数据进行建模，既增强了数据库系统的扩展性和效率，又保证了数据库的一致性。33（二）渔业大数据管理技术目前，水产养殖大数据主流的管理技术有：MapReduce编程模型与Hadoop架构。Hadoop是典型的大数据批处理架构，由HDFS负责存储整合好的海量数据，并通过MapReduce将计算逻辑分配到各数据节点进行数据计算和价值发现，但对流式数据的处理不够重视。未来研究的方向：通过实现LambdaArchitecture的方式将实时计算平台与离线批处理机制结合在一起，使水产养殖大数据处理框架既具备流式数据功能，又提供历史数据挖掘的能力。34三、渔业大数据的挖掘与分析（一）渔业大数据分析分类

数据分析（DataAnalysis）通过统计分析方法，对收集来的大量数据进行分析，提取有用信息，将它们加以汇总和理解并消化，以求最大化地开发数据的功能，发挥数据的作用，从而进行研究、概括和总结等。基本分析方法以基础的统计分析为，包括对比分析、趋势分析、差异显著性检验、分组分析法、结构分析、因素分析、交叉分析、综合评价分析和漏斗图分析等高级分析方法以建模理论为主数据挖掘以数据仓库、机器学习等复合技术为主35（二）渔业大数据挖掘

数据挖掘又称为知识发现，是指按照既定的业务目标从大量的、不完全的、有噪声的、随机的实际应用数据中提取隐含的、有潜在应用价值的，能够被人理解的知识和模式的高级处理过程。

在渔业上常用的数据挖掘技术方法有人工神经网络、决策树、聚类、统计等。数据挖掘人工智能数据库技术模式识别机器学习统计学可视化36四、渔业大数据的可视化（一）渔业大数据的可视化概述

渔业数据可视化是将获取的渔业领域的各类数据按照业务需要进行整合、分类与可视化展现，实现对渔业各要素的长期、实时、稳定连续监测和数据分析，提升海洋渔业资源的全局把控、管理和协调能力。科学可视化中的东亚边缘海区域环境预报气象模型

（资料来源：国家海洋科学数据中心大连分中心）37信息可视化中的大菱鲆日常生长记录图

可视分析学中的渔业知识图谱片段38（二）渔业大数据可视化方法1.时间数据可视化（阶梯图、折线图、拟合曲线等）2.比例数据可视化（饼图、环形图、堆叠柱状图、矩形树图等）3.关系数据可视化（散点图、散点图矩阵、气泡图、茎叶图、直方图、密度图等）4.文本数据可视化（树状图、节点连接的网络图、力导向图、叠式图和WordTree等；地理热力图、ThemeRiver、SparkClouds、TextFlow和基于矩阵视图的情感分析可视化等）5.空间数据可视化（地图、多媒体信息、动态地图、三维仿真地图以及虚拟现实等）39（三）渔业大数据可视化工具1.

入门级工具

Excel，SPSS，

GraphPad

Prism，Echarts，Tableau2.

高级分析工具

40捕捞强度是指单位时间内渔船对某一单位面积水域所投入的捕捞生产能力某年浙江省帆张网捕捞强度空间分布(单位：h/km2)（四）渔业大数据可视化应用捕捞强度分布可视化41

鱼类疾病防治知识图谱可视化（四）渔业大数据可视化应用42第三节渔业大数据的创新应用一、渔业数字育种（一）育种数字化网络

构建整个生产育种的数字化物联网系统，对亲本繁育、产卵、苗种孵化、幼苗养殖等整个过程进行水质监测、生物监测、胚胎监测、作业流程监测。

整个苗种繁育数字化网络主要包括：（1）孵化环境实时监测（2）水温智能调控（3）水质预警（4）苗种培育水质监测及数据分析（5）设备智能控制43（二）繁育过程数字化管理亲本养殖管理：亲本池塘管理

亲本选育

亲本养殖过程管理催产和受精管理（建立性腺发育预测模型

、催产打针

、建立排卵预测模型

、取卵受精）

胚胎发育管理仔鱼养殖管理试苗管理苗种养殖过程管理与监控44（三）胚胎发育预测模型胚胎发育至原肠中期，建立胚胎的图像模式识别模型，识别是否发育成功，并对发育成功胚胎和没有成功发育成功胚胎进行分类和计数，从而预测苗种繁殖的数量和质量。图像采集原肠中期胚胎图像特征提取提炼产生胚芽、胚芽良好和没有产生胚芽的胚胎特征获得训练模型进行YOLO-4目标检测的特征训练，获得稳定的训练模型训练库测试库利用模型进行识别和分类没有胚芽有不完美胚芽有完美胚芽对每类进行计数，根据完美胚芽的数量和比例确定苗种繁殖的成功与否，繁殖质量预测分析45二、渔业生产环境监测（一）渔业生产环境监测网络结构渔业生产环境监测物联网结构图

46（一）渔业生产环境监测网络结构水质和环境感知利用水产物联网的水域环境信息实现对水产养殖现场实时在线的全方位信息采集和监控：水质信息采集：水温、pH、氨氮、溶解氧、浊度、盐度和亚硝基氮等生物信息采集：生物生长、体长、体重、体高、病菌、摄食量等养殖区域环境信息采集：环境温度、气象、水文等作业和生物监控：现场作业视频监控、水下生物视频监控等养殖现场水质监测

47视频监控网络48数据汇集展示和分析49三、渔业精细化生产与管理50三、渔业精细化生产与管理（一）养殖设备智能化控制系统智能鱼塘养殖增氧控制系统51（二）手持式移动生产管理系统养殖生产任务管理

任务列表52池塘管理手持端池塘管理

53养殖过程任务管理巡塘任务管理

54养殖场全景管理

苗种管理成品捕捞

养殖管理放养前准备：清塘、消毒、放养前水质、水位管理

养殖过程管理：放苗管理

水质监控

水位管理

科学投喂

科学投药

日常管理

（三）生产运营管理系统55（三）生产运营管理系统系统主界面56（三）生产运营管理系统池塘管理57计划任务排程看板

（三）生产运营管理系统生产计划管理58四、水产品质量检测与追溯（一）水产品质量检验苗种品质检验体长、体重、体表是否光滑、有无附着物、活力强弱、是否能微逆水流游动、身长、体色、是否健壮丰满、个体间差异度是否明显、肢体是否完整、有无损伤。对其进行抗离水试验、抗应激性实验等进行检查苗种的品质，并对各个方面的检查结果进行录入。微生物检验对苗种体内是否含有致病菌、如白斑病毒，桃拉病毒和IHHNV病毒等根据CCP苗种选育决策程序表进行检验其含量是否超标。并对其结果进行录入。养苗水体检验在放苗前先检查水体情况，对水体的微生物、PH值、氨氮值等水质指标的数值、池塘重金属含量、对养殖池塘的基本环境是否漏水检查，未达到放养要求的，需进行处理使之满足放养要求方可放养。苗种检验（不达标准的苗种不得放养）59（一）水产品质量检验育苗病害防治药品使用隔离制度池塘水质检验饵料控制检验用药指标检验病害控制检验重点检查三个方面养殖过程质量检验

60（一）水产品质量检验养殖成品检验品质检验：体长、体重、活力等

成品药残检验

成品微生物和病毒检验

成品重金属含量检验

61（二）水产品质量追溯系统溯源信息查询公众、生产企业、监管用户通过各种平台对水产品从养殖、加工、运输、配送到销售各个阶段全链条关键信息进行溯源查询。关键点溯源通过PC端、APP、小程序等方式对水产品产业链全过程质量关键点进行溯源。主要是水产品的苗种质量、药残、成品质量、储藏环境、加工检验、产品品质、质量控制等关键点数据的溯源。问题溯源分析某个阶段出现品质量问题的溯源的结果，通过溯源该环节的时间、当时的该阶段的时长、环境监测数据、该阶段负责人、检验数据等形成该阶段的问题溯源分析报告。水产品质量追溯62全过程溯源分析原料溯源分析养殖溯源分析加工溯源分析冷藏冷库溯源分析物流溯源分析水产品质量追溯63第四节渔业大数据应用案例一、陆基循环水养殖精准投饲工厂化循环水养殖车间概况图

64一、陆基循环水养殖精准投饲（一）分析方法技术路线图

65一、陆基循环水养殖精准投饲（一）分析方法单轮投喂过程中动能随时间的变化趋势图66一、陆基循环水养殖精准投饲（一）分析方法

定制循环神经网络模型

67（二）鱼群摄食欲望评估效果不同摄食欲望水平下的分级结果

一、陆基循环水养殖精准投饲68（二）鱼群摄食欲望评估效果

不同摄食欲望水平下的动能变化趋势图一、陆基循环水养殖精准投饲69二、基于Argo剖面数据分析的金枪鱼远洋捕捞金枪鱼&远洋捕捞70二、基于Argo剖面数据分析的金枪鱼远洋捕捞（一）统一时空数据分析平台

在已有的热带印度洋金枪鱼延绳钓渔获数据和Argo数据基础之上，完善多层次空间信息网格系统；

经过信息提取、数值计算和数据挖掘，建立延绳钓金枪鱼生产信息和Argo产品资料的空间数据集；

统一时空口径分析，通过将延绳钓数据和计算得到的次表层关键环境特征参数综合覆盖至目标研究区域的空间网格上，构建延绳钓金枪鱼单位捕捞努力量渔获率（CPUE）与次表层环境变量和温跃层特征参数的空间数据库。71（二）基于栅格数据结构的空间数据存储和数据挖掘

二、基于Argo剖面数据分析的金枪鱼远洋捕捞

采用AKina插值方法，将离散不规则的Argo数据在垂直方向插值到规则的节点上，以便环境因子值的深度提取。

在AKina插值基础上，提取次表层关键环境因子深度值和温跃层特征参数值，继而采用Kriging插值方法进行网格化计算。

对印度洋金枪鱼延绳钓渔获数据、海洋次表层中尺度环境数据和温跃层特征数据进行挖掘和分析、数据库建设。

72（三）空间统计分析方法

二、基于Argo剖面数据分析的金枪鱼远洋捕捞73（四）热带印度洋大眼金枪鱼垂直分布空间分析1.

高渔获率10℃和16℃等温线深度10~16℃是印度洋大眼金枪鱼高渔获率分布的水温段，因此本案例绘制了10℃、16℃等温线，用以分析大眼金枪鱼高渔获率垂直分布的上界深度和下界深度分布特征

二、基于Argo剖面数据分析的金枪鱼远洋捕捞74（四）热带印度洋大眼金枪鱼垂直分布空间分析2.

高渔获率12℃和13℃等温线深度

档案放流、声学遥测和延绳钓调查研究结果表明，12~13℃是影响大眼金枪鱼垂直分布的关键水温区间，也是高渔获率水温分布区间，