CN119516539A 基于图像实例分割的菇蕾检测方法、系统、介质及装置 （上海恒泽辅汇智能科技有限公司）

自由贸易试验区临港新片区东征村基于图像实例分割的菇蕾检测方法、系统、本申请提供基于图像实例分割的菇蕾检测2通过预先配置的图像采集设备采集食用菌的基于图像实例分割算法对采集到的食用菌的生长环境图像进行图像实例基于重建得到的目标点云生成有向三维框，以计算出目标框的朝向根据接收到的所述菇蕾的3D位置坐标和位姿形态信息生成相应采用MaskR_CNN模型作为实例分割的基础模型架构，将标注好的菇蕾在每个训练周期结束后使用验证集对模型进行评估，并计算使用测试集对优化后的模型进行最终测试，评估模型在真实场将采集到的包含菇蕾的RGB图像转换为HSV或Lab颜色空间；根据事先对菇蕾颜选择适用于图像分割的深度学习模型架构，将经过初步阈值分割后将训练好的模型应用于新的菇蕾图像数据集，并根据实际应在深度学习模型中嵌入光照不变性特征提取模块，以自动识将经过直方图均衡化处理后的图像数据作为输入，送入添加了光照不3视角成像技术从不同角度获取菇蕾的图像；通过三维重建方法获取菇蕾的完整形态信息，6.根据权利要求1所述的基于图像实例分割的食用菌菇蕾检测方法，其特征在于，所使用点云分割算法从整个点云中识别出代表菇蕾的点云区域，并将拟合生成包围目标点云的最小有向三维框，并确定所述最小有向三维框的朝向和坐对初始拟合的最小有向三维框进行优化，以使其匹对采集到的原始图像数据、经分割处理的结果以及三维重建后的数据实例分割模块，连接所述图像采集模块，用于基于图像实例深度信息提取模块，连接所述实例分割模块，用于根据实例分割结果三维重建模块，连接所述实例分割模块和深度信息提取模块，用于控制模块，连接所述目标框生成模块，用于根据接收到的所述45用菌的生长环境图像进行图像实例分割，包括对采集到的菇蕾图像的背景进行减除操作，用菌的生长环境图像进行图像实例分割，包括对采集到的菇蕾图像进行光照归一化处理，[0014]为实现上述目的及其他相关目的，本申请的第四方面提6所述计算机程序产品中包括计算机程序代码，当所述计算机程序代码在计算机上运行时，使得所述计算机实现所述基于图像实例分割的食[0017]图1显示为本申请一实施例中的一种基于图像实例分割的食用菌菇蕾检测方法的[0019]图3显示为本申请一实施例中利用颜色空间转换对背景进行减除操作的流程示意[0020]图4显示为本申请一实施例中光照条件不稳定而进行光照归一化处理的流程示意[0022]图6显示为本申请一实施例中的一种基于图像实例分割的食用菌菇蕾检测系统的78[0038]MaskR_CNN模型是一种基于卷积神经网络的强大模型常适合菇蕾这种形态多样且需要精确分割的对象。将标注好的菇蕾图像数据集分为训练9[0049]可选的深度学习模型架构例如U_Net分割模型，该模型具备对图像特征进行深度[0057]选择合适的深度学习模型架构（例如常见的适用于图像分割的卷积神经网络模条件模拟的图像数据下模型的分割效果，根据评估结果进一步优化模型结构或调整超参[0063]由于菇蕾常常密集生长存在相互遮挡情况，单一视角图适的图像分割模型（如MaskR_CNN等把带有遮挡标注的图像数据输入模型进行训练。置、轮廓边界等信息，将每个菇蕾作为独立的实例区分开来，并生成相应的分割掩码（mask这个掩码以二值图像或者标记矩阵等形式准确地标注出了哪些像素属于特定的菇有与该图像对应的深度图数据。深度图是一种以图像形式表示场景中各物体距离相机等成像设备远近信息的数据，通常每个像素点的灰度值或颜色值等代表着对应位置在真实场景中的深度数值。深度图的获取可以通过诸如深度相机直接拍摄，或者利用多视图立体匹配等算法基于多幅普通图像来生成。框生成模块提供的3D位置坐标以及形态信息转化为机械臂[0090]如图6所示，展示了本发明实施例中的一种基于图像实例分割的食用菌菇蕾检测[0091]图像采集模块601用于通过预先配置的图像采集设备采集食用菌的生长环境图[0094]三维重建模块604连接实例分割模块602和深度信息提取模块603，用于利用菇蕾[0097]优选地，本申请实施例中的食用菌菇蕾检测采集系统600还包括数据管理模块示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(SRAM，StaticRandomAccessMemory)、同步静态随机存取存储器(SSRAM，SynchronousStatic[0104]本发明实施例中的存储器702用于存储各种类别的数据以支持计算机装置700的用于实现各种基础业务以及处理基于硬件的任务。应用程序7022可以包含各种应用程序，明实施例提供的XX方法可以包含在应用程[0105]上述本发明实施例揭示的方法可以应用于处理器701中，或者由处理器701实步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理[0106]在示例性实施例中，计算机装置700可以被一个或多个应用专算设备上运行的应用和计算设备都可以是部件。一个或多个部件可驻留在进程和/或执行在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备（可以是个