CN120108046B 基于多任务主动学习框架的鱼类投喂方法和装置 （广东海洋大学）

(12)发明专利(22)申请日2025.05.08(43)申请公布日2025.06.06地址524088广东省湛江市麻章区海大路1号室(湛江)(72)发明人张莹杨仁友周天宇揭磊平王超李镇涛王瑜杰公司16197GO6V40/20(2022.01)GO6V20/70(2022.01)A01K61/10(2017.01)A01K61/80(2017.01)(56)对比文件基于多任务主动学习框架的鱼类投喂方法标注完后会放入标记样本池中，根据标注后的初始样本对多任务学习模型进行初始训练，得到初始模型：多任务学习模型包括：特征共享网络、摄食强度分类网络、残饵计数网络，摄食强度分类网络和残饵计数网络分别连接特征共享网络通过多任务推理网络将初始模型在未标记样本池中通过进行样本推理，标记样木池中每张图像样禾的提食强度分类不硒定度分数和残饵计数回归不确定度分数，并通过加权的方式计算总不确定度分数，选择总的不确定分数最高的前p张将实时获取鱼群摄食行为视频输入到最终的多任务学习模型预测鱼群本发明公开一种基于多任务主动学习框架贝叶斯推理来分别计算摄食强度分类任务和残算总的不确定度分数选择主动学习过程中的待仅能够以更少的训练样本来达到与完全监督学够纠正人工标注中的错误，以达到数据标注成本21.一种基于多任务主动学习框架的鱼类投喂方法，其特征在于，包括：步骤S1、构建鱼群摄食行为数据集和多任务主动学习框架；其中；构建鱼群摄食行为数据集包括：步骤11、利用构建的实验环境获取鱼群摄食行为视频；其中，实验环境包括：循环水养殖系统、视频采集系统和数据传输系统；步骤12、根据鱼群摄食行为视频，得到鱼群摄食图像；其中，采取每5s抽取一帧的方式步骤13、对鱼群摄食图像进行裁剪，将鱼群摄食图像中的无关背景裁剪掉，裁剪图像的分辨率为1024×1024,接着对裁剪后的鱼群摄食图像进行缩放，最终缩放的图像分辨率大小为512×512;步骤14、将裁剪和缩放后的鱼群摄食图像作为鱼群摄食行为数据集；其中，将鱼群摄食行为数据集按照7:1:2的比例分为训练集、验证集和测试集；所述多任务主动学习框架包括：标注专家、未标记样本池PU、标记样本池PL、多任务学习模型和多任务推理网络；步骤S2、在未标记样本池中随机选择m张图像样本作为初始样本，并由标注专家进行标注，标注完后会放入标记样本池中，根据标注后的初始样本对多任务学习模型进行初始训练，得到初始模型；多任务学习模型包括：特征共享网络、摄食强度分类网络、残饵计数网络，摄食强度分类网络和残饵计数网络分别连接特征共享网络；步骤S3、通过多任务推理网络将初始模型在未标记样本池中通过进行样本推理，分别计算未标记样本池中每张图像样本的摄食强度分类不确定度分数和残饵计数回归不确定度分数，并通过加权的方式计算总不确定度分数，选择总的不确定分数最高的前p张图像样本作为待标记样本，并继续进行专家标注，标注完之后放入标记样本池中，在初始模型的基础上进行迭代训练模型，直到达到评价指标的阈值或者达到最大的迭代次数，得到最终的多任务学习模型；步骤S4、将实时获取鱼群摄食行为视频输入到最终的多任务学习模型预测鱼群摄食强度和残饵数量，同时输出应用对应的投喂策略。2.如权利要求1所述的基于多任务主动学习框架的鱼类投喂方法，其特征在于，未标记样本池PU包含：所有初始的鱼群摄食行为图像样本和在多任务学习模型每次迭代训练后剩余下来的鱼群摄食行为图像样本；标记样本池PL用于存储已经经过专家标注的鱼群摄食行为图像样本数据集和在多任务学习模型训练过程中通过不断迭代更新的标注样本。3.如权利要求2所述的基于多任务主动学习框架的鱼类投喂方法，其特征在于，步骤S3中，通过未标记样本选择的查询策略函数确定迭代过程中待标记样本；其中，查询策略函数包括：分类查询策略和回归查询策略，分类查询策略使用类别信息熵计算每张图像的摄食强度分类不确定度；回归查询策略使用近似贝叶斯推理网络计算每张样本图像的残饵计数回归不确定度；根据加权求和的方式确定每张图像的总不确定度分数，根据总不确定度分数确定迭代过程中待标记样本。4.如权利要求3所述的基于多任务主动学习框架的鱼类投喂方法，其特征在于，多任务3推理网络包括：近似贝叶斯网络和当前轮次训练得到的多任务学习模型；近似贝叶斯网络放置在当前轮次训练得到的多任务学习模型中残饵计数网络后；近似贝叶斯推理网络包含5.一种实现权利要求1所述的基于多任务主动学习框架的鱼类投喂方法的基于多任务第一处理模块，用于构建鱼群摄食行为数据集和多任务主动学习框架；其中；所述多任务主动学习框架包括：标注专家、未标记样本池PU、标记样本池PL、多任务学习模型和多任务推理网络；第二处理模块，用于在未标记样本池中随机选择m张图像样本作为初始样本，并由标注专家进行标注，标注完后会放入标记样本池中，根据标注后的初始样本对多任务学习模型饵计数网络，摄食强度分类网络和残饵计数网络分别连接特征共享网络；第三处理模块，用于通过多任务推理网络将初始模型在未标记样本池中通过进行样本推理，分别计算未标记样本池中每张图像样本的摄食强度分类不确定度分数和残饵计数回归不确定度分数，并通过加权的方式计算总不确定度分数，选择总的不确定分数最高的前p张图像样本作为待标记样本，并继续进行专家标注，标注完之后放入标记样本池中，在初始模型的基础上进行迭代训练模型，直到达到评价指标的阈值或者达到最大的迭代次数，得到最终的多任务学习模型；第四处理模块，用于将实时获取鱼群摄食行为视频输入到最终的多任务学习模型预测鱼群摄食强度和残饵数量，同时输出应用对应的投喂策略。6.如权利要求5所述的基于多任务主动学习框架的鱼类投喂装置，其特征在于，未标记样本池PU包含：所有初始的鱼群摄食行为图像样本和在多任务学习模型每次迭代训练后剩余下来的鱼群摄食行为图像样本；标记样本池PL用于存储已经经过专家标注的鱼群摄食行为图像样本数据集和在多任务学习模型训练过程中通过不断迭代更新的标注样本。7.如权利要求6所述的基于多任务主动学习框架的鱼类投喂装置，其特征在于，第三处理装置通过未标记样本选择的查询策略函数确定迭代过程中待标记样本；其中，查询策略函数包括：分类查询策略和回归查询策略，分类查询策略使用类别信息熵计算每张图像的摄食强度分类不确定度；回归查询策略使用近似贝叶斯推理网络计算每张样本图像的残饵计数回归不确定度；根据加权求和的方式确定每张图像的总不确定度分数，根据总不确定度分数确定迭代过程中待标记样本。8.如权利要求7所述的基于多任务主动学习框架的鱼类投喂装置，其特征在于，多任务推理网络包括：近似贝叶斯网络和当前轮次训练得到的多任务学习模型；近似贝叶斯网络放置在当前轮次训练得到的多任务学习模型中残饵计数网络后；近似贝叶斯推理网络包含4基于多任务主动学习框架的鱼类投喂方法和装置技术领域[0001]本发明属于渔业养殖技术领域，尤其涉及一种基于多任务主动学习框架的鱼类投喂方法和装置。背景技术[0002]海洋牧场作为一种创新的养殖模式，旨在通过在海洋环境中实施规模化与集约化养殖策略，以满足市场对水产品的不断增长需求，并减轻对野生渔业资源的过度依赖。其高效运营依赖于尖端的智能投喂技术，该技术融合了传感器监测、计算机视觉识别和人工智能算法等多种先进手段，以实现对养殖环境的实时监控和对鱼类状态的精确管理。[0003]尽管基于人工智能的养殖投喂方法在科学性和准确性方面具有显著优势，并在规模化养殖需求等领域展现了卓越的性能，但其应用同时也伴随着一系列技术挑战。首先，模型训练的成本高昂，不仅需要对大量的图像数据进行摄食强度的分类标注，还需对残饵位置进行精确标注，这一过程涉及大量的数据预处理和人工介入，从而大幅提升了模型的训练成本。其次，由于不同摄食场景下的摄食强度分类特征可能不够明显，以及残饵高度密集导致的定位困难，分类过程中容易出现标注误差，如残饵位置的多标、少标或错标问题，这些问题都会直接影响训练模型的准确性和泛化能力。发明内容[0004]本发明要解决的技术问题是，提供一种基于多任务主动学习框架的鱼类投喂方法和装置。[0005]为实现上述目的，本发明采用如下的技术方案：[0007]步骤S1、构建鱼群摄食行为数据集和多任务主动学习框学习框架包括：标注专家、未标记样本池PU、标记样本池PL、多任务学习模型[0008]步骤S2、在未标记样本池中随机选择m张图像样本作为初始样本，并由标注专家进行标注，标注完后会放入标记样本池中，根据标注后的初始样本对多任务学习模型进行初网络，摄食强度分类网络和残饵计数网络分别连接特征共享网络；[0009]步骤S3、通过多任务推理网络将初始模型在未标记样本池中通过进行样本推理，分别计算未标记样本池中每张图像样本的摄食强度分类不确定度分数和残饵计数回归不确定度分数，并通过加权的方式计算总不确定度分数，选择总的不确定分数最高的前p张图像样本作为待标记样本，并继续进行专家标注，标注完之后放入标记样本池中，在初始模型的基础上进行迭代训练模型，直到达到评价指标的阈值或者达到最大的迭代次数，得到最终的多任务学习模型；[0010]步骤S4、将实时获取鱼群摄食行为视频输入到最终的多任务学习模型预测鱼群摄5食强度和残饵数量，同时输出应用对应的投喂策略。[0011]作为优选，未标记样本池PU包含：所有初始的鱼群摄食行为图像样本和在多任务学习模型每次迭代训练后剩余下来的鱼群摄食行为图像样本；标记样本池PL用于存储已经经过专家标注的鱼群摄食行为图像样本数据集和在多任务学习模型训练过程中通过不断迭代更新的标注样本。[0012]作为优选，步骤S3中，通过未标记样本选择的查询策略函数确定迭代过程中待标记样本；其中，查询策略函数包括：分类查询策略和回归查询策略，分类查询策略使用类别信息熵计算每张图像的摄食强度分类不确定度；回归查询策略使用近似贝叶斯推理网络计算每张样本图像的残饵计数回归不确定度；根据加权求和的方式确定每张图像的总不确定度分数，根据总不确定度分数确定迭代过程中待标记样本。[0013]作为优选，多任务推理网络包括：近似贝叶斯网络和当前轮次训练得到的多任务学习模型；近似贝叶斯网络放置在当前轮次训练得到的多任务学习模型中残饵计数网络[0014]本发明还提供一种基于多任务主动学习框架的鱼类投喂装置，包括：[0015]第一处理模块，用于构建鱼群摄食行为数据集和多任务主动学习框架；其中；所述多任务主动学习框架包括：标注专家、未标记样本池PU、标记样本池PL、多任务学习模型和多任务推理网络；[0016]第二处理模块，用于在未标记样本池中随机选择m张图像样本作为初始样本，并由标注专家进行标注，标注完后会放入标记样本池中，根据标注后的初始样本对多任务学习模型进行初始训练，得到初始模型；多任务学习模型包括：特征共享网络、摄食强度分类网络、残饵计数网络，摄食强度分类网络和残饵计数网络分别连接特征共享网络；[0017]第三处理模块，用于通过多任务推理网络将初始模型在未标记样本池中通过进行样本推理，分别计算未标记样本池中每张图像样本的摄食强度分类不确定度分数和残饵计数回归不确定度分数，并通过加权的方式计算总不确定度分数，选择总的不确定分数最高的前p张图像样本作为待标记样本，并继续进行专家标注，标注完之后放入标记样本池中，在初始模型的基础上进行迭代训练模型，直到达到评价指标的阈值或者达到最大的迭代次[0018]第四处理模块，用于将实时获取鱼群摄食行为视频输入到最终的多任务学习模型预测鱼群摄食强度和残饵数量，同时输出应用对应的投喂策略。[0019]作为优选，未标记样本池PU包含：所有初始的鱼群摄食行为图像样本和在多任务学习模型每次迭代训练后剩余下来的鱼群摄食行为图像样本；标记样本池PL用于存储已经经过专家标注的鱼群摄食行为图像样本数据集和在多任务学习模型训练过程中通过不断迭代更新的标注样本。[0020]作为优选，第三处理装置通过未标记样本选择的查询策略函数确定迭代过程中待标记样本；其中，查询策略函数包括：分类查询策略和回归查询策略，分类查询策略使用类别信息熵计算每张图像的摄食强度分类不确定度；回归查询策略使用近似贝叶斯推理网络6计算每张样本图像的残饵计数回归不确定度；根据加权求和的方式确定每张图像的总不确定度分数，根据总不确定度分数确定迭代过程中待标记样本。[0021]作为优选，多任务推理网络包括：近似贝叶斯网络和当前轮次训练得到的多任务学习模型；近似贝叶斯网络放置在当前轮次训练得到的多任务学习模型中残饵计数网络[0022]本发明在多任务学习模型的基础上，融合主动学习框架，并结合信息熵和近似贝叶斯推理来选择待标记样本中关于摄食强度分类任务和残饵计数任务的不确定度分数，不仅能够以更少的训练样本来达到与完全监督学习近似的性能，同时使模型在交互过程中往往能够纠正人工标注中的错误，以达到数据标注成本的降低以及提升模型识别准确性的效果，为解决鱼类精准投喂方法提供了可行的技术方案。附图说明[0023]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。[0024]图1为本发明实施例基于多任务主动学习框架的鱼类投喂方法流程图；[0025]图2为本发明实施例多任务主动学习框架的示意图；[0026]图3为摄食强度分类网络的结构示意图；[0027]图4为残饵计数网络的结构示意图；[0028]图5为近似贝叶斯推理网络的结构示意图。具体实施方式[0029]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0030]为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。[0031]实施例1:[0032]如图1、2所示，本发明实施例提供一种基于多任务主动学习框架的鱼类投喂方法，包括：[0033]步骤S1、构建鱼群摄食行为数据集和多任务主动学习框架；其中；所述多任务主动学习框架包括：标注专家、未标记样本池PU、标记样本池PL、多任务学习模型网络；将鱼群摄食行为数据集划分为训练集和测试集；对测试集进行标注摄食强度分类标签和残饵位置标签，对训练集没有进行标注摄食强度分类标签和残饵位置标签；将训练集存入未标记样本池PU中；7[0034]步骤S2、在未标记样本池中随机选择m张图像样本作为初始样本，并由标注专家进行标注，标注内容包括摄食强度类别和残饵数量，标注完后会放入标记样本池中，根据标注后的初始样本对多任务学习模型进行初始训练，得到初始模型；[0035]步骤S3、通过多任务推理网络将初始模型在未标记样本池中进行样本推理，分别计算未标记样本池中每张图像样本的摄食强度分类不确定度分数和残饵计数回归不确定度分数，并通过加权的方式计算总不确定度分数，选择总的不确定分数最高的前p张图像样本作为待标记样本，并继续进行专家标注，标注完之后放入标记样本池中，在初始模型的基础上进行迭代训练模型，直到达到评价指标的阈值或者达到最大的迭代次数，得到最终的多任务学习模型；其中，评价指标的阈值为：分类精度Accuracy>90%,平均绝对误差<20,均方根误差<25;[0036]步骤S4、将实时获取鱼群摄食行为视频输入到最终的多任务学习模型预测鱼群摄食强度和残饵数量，同时输出应用对应的投喂策略。[0037]作为本发明实施例的一种实施方式，步骤S1中，构建鱼群摄食行为数据集包括：[0038]步骤11、利用构建的实验环境获取鱼群摄食行为视频；其中，实验环境包括：循环水养殖系统、视频采集系统和数据传输系统；[0039]步骤12、根据鱼群摄食行为视频，得到鱼群摄食图像；其中，采取每5s抽取一帧的方式进行图像筛选，得到鱼群摄食图像；[0040]步骤13、对鱼群摄食图像进行裁剪，将鱼群摄食图像中的无关背景裁剪掉，裁剪图像的分辨率为1024×1024,接着对裁剪后的鱼群摄食图像进行缩放，最终缩放的图像分辨率大小为512×512;[0041]步骤14、将裁剪和缩放后的鱼群摄食图像作为鱼群摄食行为数据集；其中，将鱼群摄食行为数据集按照7:1:2的比例分为训练集、验证集和测试集。记样本池PL和多任务学习模型M。通过未标记数据流、标记数据流以及人为干预进行串联，经过每次主动学习算法的样本选择与专家标注后才能进行下一轮的训练。[0043]标注专家(Oracle):使用labelme软件对测试集进行标注，图像标签内容包含两部分：摄食强度分类标签和残饵位置标签。[0044]摄食图像强度分为两类标签——“Active”和“NotActive”,如表1所示，标注的分类标签以txt格式保存。[0045]标注分类标准：首先由两位富有经验的专家进行图像的摄食强度分类评估，若评估结果相同，则确定该图像的标签，若不同，则会邀请第三位专家进行标注评估，直到每位标注专家分类评估的结果达到一致。大部分鱼群探出水面主动寻找饵料，在水中游动大部分鱼群在水底，游动的积极性不高，只摄食旁边的饵料8[0050]标记样本池PL用于存储已经经过专家标注的鱼群摄食行为图像样本数据集和在行两次下采样，并通过平均池化操作输出每张图的摄食强度类别(ActiveorNot和σ2分别表示分类损失和回归损失服从各自分布的方差，log(1+σ1)+log(1+o₂)是正则化9策略CCnt,分类查询策略使用类别信息熵计算每张图像的摄食强度分类不确定度Ucls;回归查询策略使用近似贝叶斯推理网络计算每张样本图像的残饵计数回归不确定度Ucnt;根习模型；近似贝叶斯网络放置在当前轮次训练得到的多任务学习模型中残饵计数网络后；并且第—Dropout层和第二Dropout层的神经元删除比例分别为0.3和0.15。张未标记池中的图像数据I,其通过多任务模型输出的每个类别的信息熵为：0066]Ucls表示分类不确定度，P(y=0|1)和p(y=1|1)分别表示图像属于摄食强输入：多任务模型M,未标记样本池P,标记样本池PL=Ø,分类查询策略Ccs和回归查询策略CCnt,主动选择次数N,未标记数据集Dn={x₁,x₂…,xn3,评价指标E,测试集T。输出：经过若干次迭代训练的模型M。放入未标记池，从未标记样本池中选取m个样本作为初始样本，更新未标记池;//对选取的样本进行专家标注，标注内容包括摄食强度类别Y和残饵数量ycnt并放入标记池，更新标记池3:M₀=M(Pb);/使用标记池中的标记数据训练模型，得到初始模型M₀从未标记样本池中分别根据分类查询策略和回归查询策略计算未标记样本池中每张图像的分类不确定度和回归不确定度，并根据加权求和的方式确定每张图像的总不确定度分数6:对每张图像的总不确定度分数进行排序，选择前张最大总不确定度分数的图像样本作为待标记样本，更新未标记池7:Sk={s},Pk=Pk-1USk,其张图像样本进行专家标注，并放入标记池P中，更新标记样本池8:Me=Mk_(Pk);//使用标记池中的数据训练更新模型9:ifE(T,Mk)reachesδdo10:MN=Mk,Break;//模型达到阈值，算法结束池子中饵料的数量较少，不能够满足鱼群的摄食需求；食需求，大部分鱼只吃附近的鱼饵，不会主动去寻找饵料，此时，短期内停止投喂；11段时间内停止投喂；[0081]实施例2:[0082]本发明实施例还提供一种基于多任务主动学习框架的鱼类投喂装置，包括：[0083]第一处理模块，用于构建鱼群摄食行为数据集和多任务主动学习框架；其中；所述多任务主动学习框架包括：标注专家、未标记样本池PU、标记样本池PL、多任务学习模型和多任务推理网络；[0084]第二处理模块，用于在未标记样本池中随机选择m张图像样本作为初始样本，并由标注专家进行标注，标注完后会放入标记样本池中，根据标注后的初始样本对多任务学习模型进行初始训练，得到初始模型；多任务学习模型包括：特征共享网络、摄食强度分类网络、残饵计数网络，摄食强度分类网络和残饵计数网络分别连接特征共享网络；[0085]第三处理模块，用于通过多任务推理网络将初始模型在未标记样本池中通过进行样本推理，分别计