CN120220142A 基于多源异构图像融合的设施作物果实检测方法及装置

心公司11002GO6V2GO6V10/774(2022.01)GO6N基于多源异构图像融合的设施作物果实检本发明提供一种基于多源异构图像融合的融合图像与融合特征输入到生成对抗网络进行结果。通过本申请，解决在背景复杂、存在遮挡的21.一种基于多源异构图像融合的设施作物果实检测方法，其特征在于，包括：获取待检测设施作物果实的多源异构图像，所述多源异构图像包括可见光图像以及红外图像；将所述多源异构图像进行图像融合，得到真实融合图像；分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征；将所述真实融合图像与所述融合特征输入到生成对抗网络中进行生成，得到待检测设施作物果实的重建图像；针对所述重建图像进行果实检测，得到待检测设施作物果实的检测结果。2.根据权利要求1所述的基于多源异构图像融合的设施作物果实检测方法，其特征在于，在所述获取待检测设施作物果实的多源异构图像之后，所述方法还包括：在所述多源异构图像的果实标注框中，确定待检测设施作物果实的果实坐标；根据所述果实坐标的边界值构建果实特征区域；在所述多源异构图像中确定出包括所述果实特征区域的像素范围；裁剪掉所述多源异构图像中除所述像素范围之外的图像区域。3.根据权利要求1所述的基于多源异构图像融合的设施作物果实检测方法，其特征在于，所述分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光调用卷积神经网络分别提取所述可见光图像的可见光图像特征、以及所述红外图像的红外图像特征；根据预设的可见光特征权重以及红外特征权重，分别对所述可见光图像特征以及所述红外图像特征进行加权，并将加权得到的图像特征进行求和，得到融合特征，其中，所述可见光特征权重以及所述红外特征权重的取值之和为1。4.根据权利要求1所述的基于多源异构图像融合的设施作物果实检测方法，其特征在于，所述将所述真实融合图像与所述融合特征输入到生成对抗网络中进行生成，得到待检调用生成对抗网络中的生成器对所述融合特征进行生成，得到生成图像；调用生成对抗网络中的判别器对所述生成图像以及所述真实融合图像进行判别；当所述判别器将所述生成图像识别为所述真实融合图像时，将所述生成图像作为待检测设施作物果实的重建图像。5.根据权利要求1所述的基于多源异构图像融合的设施作物果实检测方法，其特征在构建真实融合图像样本；调用生成对抗网络的生成器对随机噪声向量进行生成，得到第一生成融合图像；将所述第一生成融合图像以及所述真实融合图像样本输入到生成对抗网络的判别器中，得到对应的第一生成判别结果以及真实判别结果；根据所述第一生成判别结果以及所述真实判别结果构建第一损失函数，并通过所述第一损失函数在生成对抗网络进行第一反向传播，以更新所述判别器的参数，其中，在第一反向传播时，所述生成器的参数固定不变；3调用所述生成器对随机噪声向量进行生成，得到第二生成融合图像；将所述第二生成融合图像输入到参数更新后的判别器中，得到对应的第二生成判别结根据所述第二生成判别结果构建第二损失函数，并通过所述第二损失函数在生成对抗网络进行第二反向传播，以更新所述生成器的参数，其中，在第二反向传播时，所述参数更新后的判别器的参数固定不变。6.根据权利要求1所述的基于多源异构图像融合的设施作物果实检测方法，其特征在于，所述针对所述重建图像进行果实检测，得到待检测设施作物果实的检测调用YOLOv11模型对所述重建图像进行果实检测，得到待检测设施作物果实的检测结获取设施作物果实的重建图像样本，所述重建图像样本中携带有标注的果实区域标针对所述重建图像样本进行尺度缩放，得到多尺度图像样本；将所述重建图像样本以及所述多尺度图像样本输入到YOLOv11模型进行正向传播，得到果实预测区域；根据所述果实区域标签以及所述果实预测区域构建交叉熵损失函数；通过所述交叉熵损失函数在YOLOv11模型中进行反向传播，以更新YOLOv11模型的参7.一种基于多源异构图像融合的设施作物果实检测装置，其特征在于，包括：获取模块，用于获取待检测设施作物果实的多源异构图像，所述多源异构图像包括可见光图像以及红外图像；融合模块，用于将所述多源异构图像进行图像融合，得到真实融合图像；提取模块，用于分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征；重建模块，用于将所述真实融合图像与所述融合特征输入到生成对抗网络中进行生成，得到待检测设施作物果实的重建图像；检测模块，用于针对所述重建图像进行果实检测，得到待检测设施作物果实的检测结8.一种电子设备，包括存储器、处理器及存储在所述存储器上并在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述基于多源异构图像融合的设施作物果实检测方法。9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多源异构图像融合的设施作物果实检测方法。10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于多源异构图像融合的设施作物果实检测方法。4基于多源异构图像融合的设施作物果实检测方法及装置技术领域[0001]本发明涉及图像检测技术领域，尤其涉及一种基于多源异构图像融合的设施作物果实检测方法及装置。背景技术[0002]在农业智能化发展进程中，设施作物的果实检测作为精准农业的关键环节，对于产量预估、生长态势监测等方面具有举足轻重的作用。现有研究大多借助基于YOLOv8改进的目标检测网络直接对设施作物的可见光图像进行果实检测。虽然在相对简单的环境下，能够实现对设施作物果实的有效识别。然而，实际设施作物的植株生长环境可能极为复杂，可见光图像的背景中可能存在大量干扰因素，如杂草、种植设备支架等，同时，部分作物果实颜色与叶片颜色相近，并且部分果实会被叶片和设施作物的枝干遮挡。在这些背景复杂、存在遮挡的干扰因素条件下，基于可见光图像的设施作物果实检测的准确率和召回率低下，难以满足精准农业对设施作物果实检测高精度、高可靠性的需求。发明内容[0003]本发明提供一种基于多源异构图像融合的设施作物果实检测方法及装置，用以解决在背景复杂、存在遮挡的干扰因素条件下设施作物果实检测的准确率和召回率低下的缺[0004]本发明提供一种基于多源异构图像融合的设施作物果实检测方法，包括：获取待检测设施作物果实的多源异构图像，所述多源异构图像包括可见光图像以及红外图像；将所述多源异构图像进行图像融合，得到真实融合图像；分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征；将所述真实融合图像与所述融合特征输入到生成对抗网络中进行生成，得到待检测设施作物果实的重建图像；针对所述重建图像进行果实检测，得到待检测设施作物果实的检测结果。[0005]在一些实施例中，在所述获取待检测设施作物果实的多源异构图像之后，所述方在所述多源异构图像的果实标注框中，确定待检测设施作物果实的果实坐标；根据所述果实坐标的边界值构建果实特征区域；在所述多源异构图像中确定出包括所述果实特征区域的像素范围；裁剪掉所述多源异构图像中除所述像素范围之外的图像区域。[0006]在一些实施例中，所述分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征，包括：调用卷积神经网络分别提取所述可见光图像的可见光图像特征、以及所述红外图5像的红外图像特征；根据预设的可见光特征权重以及红外特征权重，分别对所述可见光图像特征以及所述红外图像特征进行加权，并将加权得到的图像特征进行求和，得到融合特征，其中，所述可见光特征权重以及所述红外特征权重的取值之和为1。[0007]在一些实施例中，所述将所述真实融合图像与所述融合特征输入到生成对抗网络调用生成对抗网络中的生成器对所述融合特征进行生成，得到生成图像；调用生成对抗网络中的判别器对所述生成图像以及所述真实融合图像进行判别；当所述判别器将所述生成图像识别为所述真实融合图像时，将所述生成图像作为待检测设施作物果实的重建图像。构建真实融合图像样本；调用生成对抗网络的生成器对随机噪声向量进行生成，得到第一生成融合图像；将所述第一生成融合图像以及所述真实融合图像样本输入到生成对抗网络的判别器中，得到对应的第一生成判别结果以及真实判别结果；根据所述第一生成判别结果以及所述真实判别结果构建第一损失函数，并通过所述第一损失函数在生成对抗网络进行第一反向传播，以更新所述判别器的参数，其中，在第一反向传播时，所述生成器的参数固定不变；调用所述生成器对随机噪声向量进行生成，得到第二生成融合图像；将所述第二生成融合图像输入到参数更新后的判别器中，得到对应的第二生成判别结果；根据所述第二生成判别结果构建第二损失函数，并通过所述第二损失函数在生成对抗网络进行第二反向传播，以更新所述生成器的参数，其中，在第二反向传播时，所述参数更新后的判别器的参数固定不变。[0009]在一些实施例中，所述针对所述重建图像进行果实检测，得到待检测设施作物果调用YOLOv11模型对所述重建图像进行果实检测，得到待检测设施作物果实的检测结果；获取设施作物果实的重建图像样本，所述重建图像样本中携带有标注的果实区域针对所述重建图像样本进行尺度缩放，得到多尺度图像样本；将所述重建图像样本以及所述多尺度图像样本输入到YOLOv11模型进行正向传根据所述果实区域标签以及所述果实预测区域构建交叉熵损失函数；通过所述交叉熵损失函数在YOLOv11模型中进行反向传播，以更新YOLOv11模型的[0010]本发明还提供一种基于多源异构图像融合的设施作物果实检测装置，包括：获取模块，用于获取待检测设施作物果实的多源异构图像，所述多源异构图像包6括可见光图像以及红外图像；融合模块，用于将所述多源异构图像进行图像融合，得到真实融合图像；提取模块，用于分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征；重建模块，用于将所述真实融合图像与所述融合特征输入到生成对抗网络中进行生成，得到待检测设施作物果实的重建图像；检测模块，用于针对所述重建图像进行果实检测，得到待检测设施作物果实的检测结果。[0011]本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述基于多源异构图像融合的设施作物果实检测方法。[0012]本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于多源异构图像融合的设施作物果实检测方法。[0013]本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于多源异构图像融合的设施作物果实检测方法。[0014]本发明提供的基于多源异构图像融合的设施作物果实检测方法及装置，针对待检测设施作物果实的可见光图像和红外图像两种异构图像，分别进行图像融合和特征融合，并借助生成对抗网络来实现可见光图像和红外图像的融合重建，确保图像重建的准确性，更符合实际检测要求。而可见光图像能够捕获反射光信息，具备较高的纹理细节分辨能力，而红外图像捕获热辐射信息，能够在一定程度上消除叶片对果实的遮挡影响，最终利用重建图像进行果实检测，能够在背景复杂、存在遮挡的干扰因素条件下实现设施作物果实的准确检测。附图说明[0015]为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图逐一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0016]图1是本发明提供的基于多源异构图像融合的设施作物果实检测方法的流程示意[0017]图2是本发明提供的基于多源异构图像融合的设施作物果实检测方法的框架原理[0018]图3是本发明提供的生成对抗网络的模型架构示意图。[0019]图4是本发明提供的基于多源异构图像融合的设施作物果实检测装置的结构示意[0020]图5是本发明提供的电子设备的结构示意图。7具体实施方式[0021]为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。[0022]下面结合附图来描述本发明的基于多源异构图像融合的设施作物果实检测方法及装置。图1是本发明提供的基于多源异构图像融合的设施作物果实检测方法的流程示意[0023]步骤101、获取待检测设施作物果实的多源异构图像。[0024]如图2所示，在多源数据采集和预处理中，先进行多源数据采集再执行预处理。在待检测设施作物种植的过程中，可以在种植区域固定位置安设图像传感器。例如数码相机或者红外摄像头等，然后利用图像传感器采集待检测设施作物生长过程中的果实图像数据作为多源数据，设施作物一般为农业作物，如番茄等。采集的多源数据为多源异构图像，具体包括可见光图像和红外图像。直接采集得到的多源异构图像一般需要进行预处理。预处理过程包括图像清洗和图像标注。图像清洗是删除掉一些分辨率不满足要求或者光线因素影响大的图像，比如一些不存在待检测设施作物果实的图像也需要清洗掉。而图像标注则是对图像中的果实位置进行标记。经过图像清洗后的多源异构图像，可以通过人工标注的方式预先标注其中的果实位置，通过果实标注框(例如矩形框)的方式框出图像中的果实区域。[0025]在一些实施例中，如图2所示，在获取待检测设施作物果实的多源异构图像之后，接下来则是执行果实特征区域精准构建，具体分为提取果实坐标、构建果实特征区域以及特征区域裁剪三部分，下面具体说明。[0026]首先是提取果实坐标，在多源异构图像的果实标注框中，确定待检测设施作物果实的果实坐标。由于经过图像清洗后的多源异构图像，已通过人工标注的方式框出果实区域，因此可在多源异构图像的果实标注框中，利用LabelImg等标注工具直接提取并记录待检测设施作物果实的果实坐标。[0027]为确保将更多果实包含在果实特征区域内，这里在构建果实特征区域时，根据果实坐标的边界值构建果实特征区域。通过从所有的果实坐标中提取出边界值，记作Xmax、Xmin、Ymax、Ymin。这个边界值表示设施作物果实在x轴水平方向上的最大坐标值和最小坐标值以及在y轴竖直方向上的最大坐标值和最小坐标值。如此根据边界值就可以构建出果实特征区域，定义果实特征区域的长度为L=Xmax-Xmin,宽度为H=ymax-Ymin。[0028]最后是特征区域裁剪，首先需要在多源异构图像中确定出包括果实特征区域的像素范围。由于多源异构图像中可能存在多个设施作物(果实),因此果实特征区域可能有多个，因此这里从多源异构图像中确定出果实的像素范围，这个像素范围必须确保包含所有的果实特征区域，这个像素范围可以是矩形区域范围。由于在像素范围之外的图像区域不存在设施作物，无需执行目标检测。因此，接下来裁剪掉多源异构图像中除像素范围之外的图像区域，只保留包含果实特征区域的像素范围。[0029]需要说明的是，多源异构图像包括可见光图像以及红外图像，这两种异构图像在8清洗和预处理时都按照上述方式做相同的处理，即分别执行提取果实坐标、构建果实特征区域以及特征区域裁剪这三部分过程。[0030]本发明实施例，在执行果实检测之前，针对获取的多源异构图像进行清洗和预处理，能够有效提高图像数据的质量，并且通过果实特征区域的标注和非果实特征区域的裁剪处理，不仅能够聚焦图像信息，使得后续图像重建和果实检测更加准确，也能够减少图像中与果实特征无关的信息，缩小图像尺寸，减少后续检测模型的计算量。[0031]步骤102、将多源异构图像进行图像融合，得到真实融合图像。[0032]多源异构图像经过清洗和预处理后，再将多源异构图像包括的可见光图像以及红外图像进行融合，得到真实融合图像。融合方式是像素级融合，将需要进行融合的两个像素进行逐像素相加，也可以采用基于多尺度变换等图像融合算法或者利用深度学习模型来实现。[0033]步骤103、分别对可见光图像以及红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征。[0034]图像融合的目的在于将两个图像的特征信息进行叠加，因此本发明实施例在特征维度上利用生成对抗网络(GenerativeAdversarialNetworks,GAN)来实现图像重建。首先分别对可见光图像以及红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征。提取方式可以采用Transformer等图像编码器或者卷积神经网络等深度学习模型来实现。可见光图像特征具体是提取图像中的纹理、颜色、形状等视觉特征信息，记作Fvis,用于表征待检测设施作物果实的红外图像特征具体为待检测设施作物果实的热辐射特征信息，记作Fir。最终融合得到的特征则能够同时表达出这两者特征的信息。[0035]如图2所示，在基于GAN的多源图像融合的过程中，先分别提取可见光图像特征以及提取红外图像特征，然后执行特征的加权融合，以用于最后的图像重建。[0036]具体来说，首先调用卷积神经网络分别提取可见光图像的可见光图像特征、以及红外图像的红外图像特征。也就是说两个特征的提取方式都可以采用卷积神经网络来实现。接下来执行加权融合，将根据预设的可见光特征权重以及红外特征权重，分别对可见光图像特征以及红外图像特征进行加权，并将加权得到的图像特征进行求和，得到融合特征，Ffusion=x*Fvis+(1-α)上述公式(1)中，α表示预设的可见光特征权重，1—α表示预设的红外特征权重，*表示乘积运算。这里，可见光特征权重以及红外特征权重的取值之和为1,这两个权重可通过实验验证或者先验知识来预设，取值为0到1之间。[0037]本发明实施例，通过实验验证的权重分配结果来实现可见光图像特征和红外图像特征的加权融合，能够确保融合得到的特征能够更好地表达出视觉特征信息和热辐射特征信息。[0038]步骤104、将真实融合图像与融合特征输入到生成对抗网络中进行生成，得到待检测设施作物果实的重建图像。[0039]在最后的图像重建阶段，将真实融合图像与融合特征输入到生成对抗网络中进行9生成，得到待检测设施作物果实的重建图像。生成对抗网络包括生成器G以及判别器D,生成器能够根据输入的融合特征Ffusion来重构图像，生成器G通过一系列反卷积操作或转置卷积操作，将低维的融合特征映射回高维的图像空间，逐步恢复图像的细节和结构，生成重建图像。同时，判别器D通过对生成的重建图像进行判断，比较重建图像与输入的真实融合图[0040]下面具体说明生成对抗网络中进行生成的过程，首先调用生成对抗网络中的生成器对融合特征进行生成，得到生成图像。如图3所示，这里的生成对抗网络具体为深度卷积生成对抗网络，生成器G是一个五层的卷积神经网络，其中第一层和第二层使用5×5的卷积核conv作为滤波器，第三层和第四层使用3×3的卷积核conv作为滤波器，最后一层使用1×1的卷积核conv作为滤波器，每层中的步长设置为1,且在卷积中没有填充操作。前四层采用了批量归一化BatchNorm,可以使模型更稳定并帮助梯度有效地反向传播到每一层。对于激[0041]通过生成器G中的5层卷积神经网络能够将融合特征Ffusion映射回高维的图像空[0042]接下来再调用生成对抗网络中的判别器D对生成图像以及真实融合图像进行判别。判别器D用于判断生成图像与真实融合图像的差距，并进行评分，其判断过程具体是进行分类，评分则用于确定生成图像与真实融合图像属于同一类。如图3所示，判别器D也是一个五层的神经网络，从第一层到第四层中是卷积神经网络，使用3×3的卷积核作为滤波器，并将步长设置为2,且在卷积中没有填充操作，激活函数都为LeakyRelu函数。其中，在第二层和第四层采用了批量归一化BatchNorm,最后一层是线性层Linear,用于进行分类，输出最终的判别结果。[0043]在判别器D输出判别结果后，当判别结果表征生成图像和真实融合图像不是同一类时，也即生成图像和真实融合图像的差距很大，需要将判别结果反馈到生成器G中进行重新生成，使得生成器G输出的生成图像越来越逼近真实融合图像。[0044]而当判别器D将生成图像识别为真实融合图像时，将生成图像作为待检测设施作物果实的重建图像。这里也就是说，生成器G输出的生成图像已经逼近真实融合图像，导致判别器D无法进行辨别，而将生成图像识别为真实融合图像并归属于同一类，说明图像重建完成，此时就可以将生成器G输出的生成图像作为待检测设施作物果实的重建图像。[0045]本发明实施例，将真实融合图像作为图像重建的目标，利用生成对抗网络来执行图像重建，可以在复杂背景或部分遮挡的情况下，生成同时包含热辐射信息和纹理细节的重建图像，实现了可见光图像和红外图像的特征信息融合，在增强目标信息和抑制干扰信息方面具有明显优势。[0046]下面说明生成对抗网络的训练过程。在本发明实施例中，生成对抗网络的训练过程分为两阶段，两阶段采用交替训练的方式来进行。第一阶段固定生成器G的参数，只训练[0047]首先构建真实融合图像样本，例如可以用上述步骤102中得到的真实融合图像中随机采样一部分图像作为真实融合图像样本，记作Xreal。[0048]在第一阶段训练过程中，调用生成对抗网络的生成器G对随机噪声向量进行生成，得到第一生成融合图像。随机噪声向量z一般服从高斯分布或者均匀分布，随机噪声向量输入到生成器中，通过生成器G的五层卷积神经网络的映射处理，得到对应的第一生成融合图[0049]然后将第一生成融合图像以及真实融合图像样本输入到生成对抗网络的判别器中，得到对应的第一生成判别结果以及真实判别结果。判别器D能够针对第一生成融合图像Xfake1,输出对应的第一生成判别结果D(Xfake1),而针对真实融合图像样本，输出对应的真实判别结果D(Xreal)。[0050]接下来根据第一生成判别结果D(Xfake1)以及真实判别结果D(Xreal)构建第一损失函数Lp,公式表示如下：Lp=-log(D(Xreal))-log(1-D最后通过第一损失函数Lp在生成对抗网络进行第一反向传播，以更新判别器D的参数，也就是说在反向传播时，生成器G的参数固定不变，只训练判别器D的参数。反向传播时通过反向传播算法计算第一损失函数Lp关于判别器的参数θp的梯度，然后使用Adam优化器来更新判别器的参数，使得判别器D能够更好地区分真实图像和生成图像，其更新公式表第一损失函数。[0051]在第二阶段，仍然是调用生成器G对随机噪声向量z进行生成，得到第二生成融合图像，记作Xfake2=G(Z),然后直接将第二生成融合图像Xfake2输入到参数更新后的判别器D中，得到对应的第二生成判别结果，记作D(Xfake2)。[0052]接下来根据第二生成判别结果D(Xfake2)构建第二损失函数LG,公式表示如下：最后通过第二损失函数在生成对抗网络进行第二反向传播，以更新生成器的参数。这里，通过反向传播算法计算第二损失函数LG关于生成器G的参数θG的梯度，然后使用Adam优化器来更新生成器G的参数，使得生成器G生成的图像能够更好地贴近真实融合图像样本，其更新公式为：代表第二损失函数。[0053]在训练过程中的每次迭代时，重复上述两个阶段的过程，交替训练判别器和生成器，通过第一损失函数LD和第二损失函数LG更新对应的参数。直到生成器生成的图像质量达到满意的效果、或者判别器和生成器达到平衡状态(也即第一损失函数Lp和第二损失函11[0054]本发明实施例，通过两阶段交替的训练过程来训练生成对抗网络，使得生成器生成的图像能够更加接近于真实融合图像，实现可见光图像和红外图像的特征信息的有效保留，确保在复杂背景与遮挡条件下实现对设施作物果实的有效检测。[0055]步骤105、针对所述重建图像进行果实检测，得到待检测设施作物果实的检测结[0056]最后针对生成对抗网络生成的重建图像执行果实检测，这里可以采用YOL0目标检测网络等模型来检测待检测设施作物果实，最终模型能够在多源异构图像中标注出待检测设施作物果实的真实区域或者果实轮廓，作为待检测设施作物果实的检测结果。[0057]如图2所示，在作物果实检测阶段，本发明实施例构建了基于YOLOv11的作物果实检测模型，通过YOLOv11模型对重建图像进行果实检测，得到待检测设施作物果实的检测结[0058]由于YOLOv11模型是针对重建图像来执行果实检测，因此本发明实施例在执行果[0059]首先获取设施作物果实的重建图像样本，这里可以执行上述步骤101和步骤102,通过步骤101获取可见光图像以及红外图像，然后执行步骤102得到对应的真实融合图像，作为重建图像样本，即涵盖了不同生长阶段(绿果期、转色期、成熟期强光、阴天弱光)、不同遮挡程度(部分被枝叶遮挡、完全暴露)的设施作物果实的图像样本。[0060]这里，重建图像样本中携带有标注的果实区域标签，类似地，这里也通过人工标注的方式针对每个重建图像样本进行果实区域标注，将每个果实区域用矩形框标注出来，这些矩形框就是重建图像样本中携带的果实区域标签。[0061]为了使YOLOv11模型能够检测出各种不同大小的设施作物果实，这里在训练YOLOv11模型时采用多尺度训练策略，针对重建图像样本进行尺度缩放，得到多尺度图像样本。这里通过将重建图像样本分别执行0.5倍和2倍的尺寸缩放，得到不同尺寸大小的图像。[0062]然后将重建图像样本以及多尺度图像样本输入到YOLOv11目标检测模型进行正向传播，得到果实预测区域。正向传播过程中通过执行特征提取，预测分类等过程，能够对样本图像中的设施作物果实进行识别，确定出果实预测区域。然后将果实预测区域与果实区域标签进行比较，根据果实区域标签以及果实预测区域构建交叉熵损失函数，来标注模型预测和真实标签之间的差异。[0063]最后通过交叉熵损失函数在YOLOv11模型中进行反向传播，以更新YOLOv11模参数。反向传播过程中计算模型的梯度，优化梯度来更新模型的参数。训练之前将70%重建图像样本作为训练集，剩下的作为测试集，训练过程中执行迭代，当某次迭代后的迭代轮次达到预设的轮次总数或者交叉熵损失函数开始收敛时，停止迭代，结束训练过程。训练后的YOLOv11模型即可用于直接对步骤104得到的重建图像进行果实检测，得到待检测设施作物果实的检测结果。[0064]由此，本发明实施例通过设施作物果实的真实融合图像来训练YOLOv11模型，使得模型同时具有针对可见光图像的纹理细节分辨能力以及针对红外图像穿透遮挡获取热辐射信息的特性，有效解决复杂背景与遮挡条件下的果实检测难题，弥补传统单一图像检测的不足。并且，通过多尺度训练策略也使得模型能够针对不同尺度的设施作物果实具有检测能力，实现了对设施作物果实的准确且有效的检测。[0065]下面对本发明提供的基于多源异构图像融合的设施作物果实检测装置进行描述，下文描述的基于多源异构图像融合的设施作物果实检测装置与上文描述的基于多源异构图像融合的设施作物果实检测方法可相互对应参照。[0066]如图4所示，基于多源异构图像融合的设施作物果实检测装置，具体包括：获取模取待检测设施作物果实的多源异构图像，所述多源异构图像包括可见光图像以及红外图像；融合模块402,用于将所述多源异构图像进行图像融合，得到真实融合图像；提取模块403,用于分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征；重建模块404,用于将所述真实融合图像与所述融合特征输入到生成对抗网络中进行生成，得到待检测设施作物果实的重建图像；检测模块405,用于针对所述重建图像进行果实检测，得到待检测设施作物果实的检测[0067]需要说明的是，这里基于多源异构图像融合的设施作物果实检测装置与上文中基于多源异构图像融合的设施作物果实检测方法的有益效果可相互对应，因此这里不再赘述基于多源异构图像融合的设施作物果实检测装置的有益效果。[0068]图5示例了一种电子设备的实体结构示意图，如图5所示，该电子设备可以包括：处理器(processor)510、通信接口(CommunicationsInterface)520、存储通信总线540,其中，处理器510,通信接口520,存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行基于多源异构图像融合的设施作物果实检测方法，该方法包括：获取待检测设施作物果实的多源异构图像，所述多源异构图像包括可见光图像以及红外图像；将所述多源异构图像进行图像融合，得到真实融合图像；分别对所述可见光图像以及所述红外图像进行特征提取，并将提取得到的可见光图像特征与红外图像特征进行融合，得到融合特征；将所述真实融合图像与所述融合特征输入到生成对抗网络中进行生成，得到待检测设施作物果实的重建图像；针对所述重建图像进行果实检测，得到待检测设施作物果实的检测结果。[0069]此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施可以存储程序代码的介质。[0070]另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于多源异构图像融合的设施作物果实检测方法，该方法包括：获取待检测设施作物果实的多源异构图像，所述多源异构图像包括可见光图像以及红外图像；将所述多源异构图像进行图像融合，得到真实融合图像；分别对所述可见光图像以及所述红外