CN113763381B 一种融合图像全局信息的对象检测方法及系统 （北京工业大学）

一种融合图像全局信息的对象检测方法及本发明提供一种融合图像全局信息的对象多层特征提取网络进行特征提取得到待测图像结果以及与预设检测分支层对应的中层融合特征优化后的深层融合特征结果融合至中层融合和浅层的融合特征融合至检测分支层对应的特征以用于花粉检测，有效提高了花粉检测的精2将获取到的待测图像输入至训练好的多层特征提取网络进行特征提取得到所述待测将所述多层特征结果进行双通路特征融合得到多层融合特征结果将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果融合至所述中将所述目标特征融合结果输入至训练好的花粉检测模块中，得到所特征结果包括特征图P6m2，所述预设检测分支层对应的中层融合特征结果包括特征图P4m2所述将所述多层特征结果进行双通路特征融合得到多层融合特征将所述浅层融合特征结果中的特征图P3m1输入至预设的并联自注意力模块进行特征优化得到特征图P3out，将所述深层融合特征结果中的特征图P6m2输入至所述并联自注意力模所述将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果融合至所所述将所述目标特征融合结果输入至训练好的花粉检测模块中，得到所3将所述目标特征融合结果输入至训练好的花粉检测模块的位置位置检测结果；将所述目标特征融合结果输入至训练好的花粉检测模块的类型检测单元过程为采用smoothL1loss损失函数进特征提取模块，用于将获取到的待测图像输入至训练好及与所述样本图像对应的样本特征结果进行训练得到的，所述多层特征提取网络为是第一融合模块，用于将所述多层特征结果进行双通路特征融合得到多层融合特征结第二融合模块，用于将特征优化后的浅层融合特征结果检测模块，用于将所述目标特征融合结果输入至训练好的花粉特征结果包括特征图P6m2，所述预设检测分支层对应的中层融合特征结果包括特征图P4m2所述将所述多层特征结果进行双通路特征融合得到多层融合特征将所述浅层融合特征结果中的特征图P3m1输入至预设的并联自注意力模块进行特征优化得到特征图P3out，将所述深层融合特征结果中的特征图P6m2输入至所述并联自注意力模所述将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果融合至所46.一种电子设备，包括存储器、处理器及存储在程序被处理器执行时实现如权利要求1至4任一项所述融合图像全局信息的对象检测方法5[0003]目前的自动检测方法主要是将应用在自然图像中效果良好的检测方法应用到花[0006]将获取到的待测图像输入至训练好的多层特征提取网络进行特征提取得到所述[0008]将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果融合至所[0011]将所述多层特征结果通过上采样融合通路进行特征融合得到所述浅层融合特征6[0013]将所述浅层融合特征结果中的最浅层融合特征输入至预设的并联自注意力模块深层融合特征输入至所述并联自注意力模块进行特征优化得到所述特征优化后的深层融[0015]所述将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果融合[0016]将特征优化后的浅层融合特征结果与所述第一中层融合特征结果进行融合得到7算机程序被处理器执行时实现如上述任一种所述融合图像全局信息的对象检测方法的步合特征融合至与检测分支对应的特征中，再利用与检测分支对应的融合特征进行花粉检[0032]图2是本发明一实施例提供的融合图像全局信息的对象检测方法的技术路线示意[0036]如图1所示，本发明实施例提供一种融合图像全局信息的对象检测方法，包括步8[0041]将所述多层特征结果通过上采样融合通路进行特征融合得到所述浅层融合特征[0046]将所述浅层融合特征结果中的最浅层融合特征输入至预设的并联自注意力模块深层融合特征输入至所述并联自注意力模块进行特征优化得到所述特征优化后的深层融[0048]将特征优化后的浅层融合特征结果与所述第一中层融合特征结果进行融合得到[0049]在本发明实施例中，在得到步骤S2的浅层融合特征结果需要对最浅层的融合特征和最深层的融合特征使用并联的空间和通道自注意力模块进行采用smoothL1loss损失函数进9分支有可能导致抱团在一起的多颗花粉粒被当做单颗花粉粒，从而影响花粉数量的计算，[0067]本发明实施例使用多层特征融合的目的是将卷积神经网络中包含了更多结构纹[0068]双通路特征融合：本发明实施例使用了一个从深到浅的融合通路(上采样融合通[0073]在从浅到深的融合通路中，P3m1会先经过下采样操作变形成和P4m1同一尺寸的特[0077]此时的P3m1和P6m2都融合了浅层特征的空间信息和深层特征的抽象语义信息。由[0078]自注意力模块特征优化：P3m1和P6m2会分别通过并联的空间自注意力模块和通道表示P6m2特征图的第i和第j个像素点，N表示P6m2特征图像素点的总数量，exp()表示的计算过程。和分别表示P6m2特征图的第b和第g个通道，C表示特征图通道总[0091]在训练过程中，为了提高较难分类花粉颗粒的分类准确率。本专利使用focal合图像全局信息的对象检测系统与上文描述的融合图像全局信息的对象检测方法可相互[0102]特征提取模块1，用于将获取到的待测图像输入至训练好的多层特征提取网络进图像以及与所述样本图像对应的样本特征结果进行[0103]第一融合模块2，用于将所述多层特征结果进行双通路特征融合得到多层融合特[0104]第二融合模块3，用于将特征优化后的浅层融合特征结果和特征优化后的深层融[0107]将所述多层特征结果通过上采样融合通路进行特征融合得到所述浅层融合特征[0109]将所述浅层融合特征结果中的最浅层融合特征输入至预设的并联自注意力模块深层融合特征输入至所述并联自注意力模块进行特征优化得到所述特征优化后的深层融[0112]将特征优化后的浅层融合特征结果与所述第一中层融合特征结果进行融合得到[0118]本案实施例的融合图像全局信息的对象检测系统的工作原理与上述实施例的融及与所述样本图像对应的样本特征结果进行训[0121]将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果融合至所[0123]此外，上述的存储器430中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以[0126]将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果融合至所[0130]将特征优化后的浅层融合特征结果和特征优化后的深层融合特征结果