CN114549536B 一种基于注意力机制的微生物菌落分割方法 （杭州电子科技大学）

AU2020103901A4,2021.02.11一种基于注意力机制的微生物菌落分割方法本发明公开了一种基于注意力机制的微生2所述步骤3注意力机制模块CSA首先对输入维度为C×H×W的特征图像分别进行水平平将1*1卷积结果维度变换为1×C×H或上述公式中:、Q:表示特征图Qh和Qw的第i个位置，、K;表示特征图Kh和Kw的第j个位置；而sij和tij则表示在注意力图中第i个位置对第j个位步骤4:通过加载预训练的网络模型参数对卷积神经网络进行步骤5:每一次训练结束后，使用验证集对网络模型步骤6:在测试集上对最优模型进行测试，并将菌落语义分割结3标记图片是通过不同的颜色对不同微生物菌落数，并将获得的输出向量Oi经过Softmax函数得到某一个像素点与其他所有像素的相关性权重向量Wi；接着按照向量Wi中的权重值与对应位置的像素相乘并累加便是网络对于每一个像素点预测的最终结果yi；得到的分类结果yi和当前正确的标签值y'i分别作为IOU最大的模型参数得到训练后的卷积神经网络的最结果X'。步长为1的卷积层将特征图通道维数变为菌落种类数；由此可以得到最终的菌落分割效果4[0001]本发明属于注意力机制(AttentionMechanism)与卷积神经网络(Convolutional[0006]本发明目的在于提供一种基于注意力机制的微法无法在获取好的菌落分类结果的同时实现复杂菌落边界的5[0017]进一步的，所述步骤3注意力机制模块CSA首先对输入维度为C×H×W的特征图像分别进行水平平均池化和垂直平均池化，得到维度分别为C×H×1和C×1×W的中间特征1×1卷积核会使中间特征图的维度变为C'×H×1或C'×1×W，C'为降低维度后的通道数；[0024]进一步的，所述步骤4将注意力机制模块CSA嵌入到主体网络的各个卷积模块中点与其他所有像素的相关性权重向量Wi；接着按照向量Wi中的权重值与对应位置的像素相乘并累加便是网络对于每一个像素点预测的最终结果yi；得到的分类结果yi和当前正确的6数达到一定次数停止训练；最后加载IOU最大的模型参数得到训练后的卷积神经网络的最模块CSA中，使得进一步处理得到的特征图在保留菌落精确位置信息的同时捕获远程依赖注意力机制模块处理的最终结果X'。[0025]进一步的，在经过多次注意力机制模块的处理之后，卷积神经网络还包括一个保持特征图的通道维度不变；之后使用批归一化和ReLU激活函数保证特征数据的准确性；首次采用语义分割的卷积神经网络与注意力机制相结合的方式对微生物菌落进行分割与[0034]如图1所示，本发明的一种基于注意力机制的微生物菌落分割方法包括如下具体7网络常用的全局平均池化不同，本发明提出的注意力机制模块CSA首先对输入维度为C×H程的计算公式分别是：发明设计的CSA模块获取的注意力图可以得到原始输入特征图在水平方向或者垂直方向上8[0044]步骤4：通过加载预训练的网络模型参数对本发明所设计的卷积神经网络进行参量Wi中的权重值与对应位置的像素相乘并累加便是网络对于每一个像素点预测的最终结求得参数的梯度。再通过随机梯度下降(SGD)优化器更新和计算影响模型训练和模型输出最后加载IOU最大的模型参数得到训练后的卷积神经网络的最[0046]步骤6：利用本发明提出的深度卷积神经网络模型在测试集上对最优模型进行测菌落。该过程如图4所示。将一张未经处理的菌落图像输入到本发明提出的卷积神经网络发明提出的注意力机制模块CSA中，使得进一步处理得到的特征图在保留菌落精确位