CN115249228B 胸部x射线图像识别方法、装置、计算机设备和存储介质 （长沙理工大学）

本申请涉及一种胸部X射线图像识别方法、取若干带标识的胸部X射线图像，并得到训练样本；构建胸部X射线图像识别网络；该网络包括FCU模块用于将局部特征与全局特征进行融合；2获取若干带标识的胸部X射线图像，并对所述胸部X射线图像进构建胸部X射线图像识别网络；所述胸部X射线图像识别网络卷积层构成的反残差结构提取输入特征的局部特征；所述Transformer分支用于提取输入的局部特征与Transformer分支的全局特征进行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并将根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射线图将卷积分支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差将所述第一标准化局部特征输入到第一个ConvTransBlock模块的卷积分支的第一个将所述第一深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第一个反将所述第二卷积特征和所述初始局部特征进行加和，将得到的结果输入到第一个将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合将Transformer分支输入特征输入到第一个ConvTransBlock模块的Transformer分支将所述Transformer分支输入特征与所述全局注意力特征进行加和后进行归一化处理，将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多层感将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支3将所述第三卷积特征和所述全局融合特征进行加和后输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的深度卷积层中，并将得到的结果进行归一化处理，将所述第二深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第二个反根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络得到将所述训练样本输入到Stem模块的卷积层进行特征提取，并将提取将所述初始局部特征和经过Project模块和归一化处理后的初始局部特征分别输入到卷特征提取网络的卷积分支和Transformer分支中，得到第一个ConvTransBlock模块的卷将第一局部特征和第一全局特征分别作为第二个ConvTransBlock模块的卷积分支和输出的第N_1局部特征和第N_1全局特征分别输入到第N个ConvTransBlock模块的卷积分支将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合将所述第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支的点卷积层中进行通道维度对齐，并将得到的通道维度对齐的特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支中的下将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样融合分支将所述第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样分支中的4将所述上采样结果输入到第一个ConvTransBlock模块的FCU模块的点卷积层中，并将得到的通道维度对齐的特征；输入到第一个ConvTransBlock模块的FCU模块的上采样分支将所述第一预测分类结果和所述第二预测分类结果进行加和，得到样本预测分类结训练样本确定模块，用于获取若干带标识的胸部X大值池化操作提取训练样本的初始局部特征；所述特征提取网络包括若干个连续的双分支的FCU模块；所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer胸部X射线图像识别网络训练模块，用于根据所述训练样本的标识和将所述训练样本胸部X射线图像的类别确定模块，用于将待测胸部X射线图像输入到训练好的胸部X射支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个所述第一标准化局部特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差5一深度卷积特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第将得到的结果输入到第一个ConvTransBlock模块的卷积分支的第二个反残差模块的第一个点卷积层中，得到第三卷积特征；将所述第一深度卷积特征输入到第一个分支输入特征输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制和后进行归一化处理，将得到的归一化结果输入到第一个ConvTransBlock模块的特征和所述全局融合特征进行加和后输入到第一个ConvTransBlock模块的卷积分支的第8.一种计算机设备，包括存储器和处理器，所述存储器理器执行时实现权利要求1至6中任一项所述方法6[0002]胸腔被喻为人体健康与疾病的镜子，因为它包含了人体格和微弱的放射剂量占所有放射影像诊断的40％以上。这体现了X射线胸片的在医学领域[0003]胸部X射线图像具有类别间相似度高且类别内变异性低，这增加了网络模型识别积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；所述Transformer块用于将卷积分支的局部特征与Transformer分支的全局特征进行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行[0008]根据所述训练样本的标识和将所述训练样本输入到所述胸部X射线图像识别网络7[0009]将待测胸部X射线图像输入到训练好的胸部X射线图像识别网络中，得到胸部X射和最大值池化操作提取训练样本的初始局部特征；所述特征提取网络包括若干个连续的双分支的FCU模块；所述卷积分支用于采用由卷积层构成的反残差结构提取输入特征的局行融合；所述分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer[0013]胸部X射线图像识别网络训练模块，用于根据所述训练样本的标识和将所述训练征的局部特征；Transformer分支用于全局特征；FCU模块用于将卷积分支的局部特征与8[0026]具体的，胸部X射线图像包括细菌性肺炎(Pneu_Bacteria)、病毒性肺炎(Pneu_的反残差结构提取输入特征的局部特征；Transformer分支用于提取输入特征的复杂空间变换和长距离特征的依赖性，得到全局特征；FCU模块用于将卷积分支的局部特征与[0031]分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支根据卷积网络和transformer结构各自提取图像特征的特点，改进提出一种新的并联网络一致该模块采用FCU结构进行信息交互。针对transformer结构往往参数量大且收敛速度块、若干个连续的ConvTransBlock模块和分类网络；ConvTransBlock模块包括卷积分支、Transformer分支以及桥接双分支的FCU模块；卷积分支用于提取输入特征的局部特征；Transformer分支用于全局特征；FCU模块用于将卷积分支的局部特征与Transformer分支9初始局部特征和经过Project模块和归一化处理后的初始局部特征分别输入到卷特征提取网络的卷积分支和Transformer分支中，得到第一个ConvTransBlock模块的卷积分支输入第一全局特征分别作为第二个ConvTransBlock模块的卷积分支和Transformer分支的输入第N_1全局特征分别输入到第N个ConvTransBlock模块的卷积分支和Transformer分支，得于将给定的输入特征图像被分割成固定大小的小块后，通过patchembedding操作展开成特征图经过patchembedding变为196*1的特征向量，经过classembedding加入class_块的卷积分支和Transformer分支分别由多个卷积层和Transformer块组成，分别可以最大限度地保留局部特征和全局表示。FCU作为一个桥接模块将卷积分支的局部编码通过将类别编号添加至输入维度来嵌入，由于卷积分支中已包含位置信息，个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个点卷积层中进行特征提到的结果进行归一化处理，得到第一深度卷积特征；将第一深度卷积特征输入到第一个特征；将第二卷积特征和初始局部特征进行加和，将得到的结果输入到第一个特征；将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分化处理后输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制中，得到全局注意力特征；将Transformer分支输入特征与全局注意力特征进行加和后进行归一化处理，将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多卷积(DepthwiseConvolution,DW卷积)用于[0043]Transformer分支用于提取复杂的空间变换和长距离特征依赖性，从而获得全局[0044]Transformer分支由两部分均运用LayerNorm进行归一化，给定的输入特征图像被分割成固定大小的小块后展开成的码局部特征和空间位置信息，因此该分支中的transformer结构不再需要位置编码[0045]FCU模块的作用在于消除给定卷积分支中的特性映射和Transformer分支中的[0046]此外LayerNorm和BatchNormalization分别用于transformer分支和卷积分支中括：将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支的点卷积层中进行通道维度对齐，并将得到的通道维度对齐的特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支中的下采样模块进行下采样；将得到的下采括：将第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样分支中的上采而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或积分支用于采用由卷积层构成的反残差结构提取输入特征的局部特征；Transformer分支卷积分支的局部特征与Transformer分支的全局特征进行融合；分类网络用于根据最后一个ConvTransBlock模块的卷积分支和Transformer分支的输出特征分别进行图像识别，并[0056]胸部X射线图像识别网络训练模块，用于根据训练样本的标识和将训练样本输入到胸部X射线图像识别网络得到的样本预测分类结果，对胸部X射线图像识别网络进行训特征分别输入到卷特征提取网络的卷积分支和Transformer分支中，得到第一个ConvTransBlock模块的卷积分支输入特征和Transformer分支输入特征；将卷积分支输入特征和Transformer分支输入特征输入到第一个ConvTransBlock模块中，得到第一局部特的卷积分支和Transformer分支的输入进行特征提取，依此类推，将得到的第N_1个ConvTransBlock模块输出的第N_1局部特征和第N_1全局特征分别输入到第N个射线图像识别网络训练模块，还用于将所述卷积分支输入特征输入到第一个ConvTransBlock模块的卷积分支的第一个反残差模块的第一个点卷积层中进行特征提取，的结果进行归一化处理，得到第一深度卷积特征；将第一深度卷积特征输入到第一个特征；将第二卷积特征和初始局部特征进行加和，将得到的结果输入到第一个特征；将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样融合分化处理后输入到第一个ConvTransBlock模块的Transformer分支的多头注意力机制中，得到全局注意力特征；将Transformer分支输入特征与全局注意力特征进行加和后进行归一化处理，将得到的归一化结果输入到第一个ConvTransBlock模块的Transformer分支的多像识别网络训练模块，还用于将第一深度卷积特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支的点卷积层中进行通道维度对齐，并将得到的通道维度对齐的特征输入到第一个ConvTransBlock模块的FCU模块的下采样分支中的下采样模块进行下采样；像识别网络训练模块，还用于将第一全局特征输入到第一个ConvTransBlock模块的FCU模块的上采样分支中的上采样模块中，得到上采样结果；将上采样结果输入到第一个一个ConvTransBlock模块的FCU模块的上采样分支的下采样模块中进行下采样；将得到的[0063]在其中一个实施例中，胸部X射线图像识别网络训练模块中预设的损失函数为两[0064]关于胸部X射线图像识别装置的具体限定可以参见上文中对于胸部X射线图像识实现一种胸部X射线图像识别方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨机程序被处理器执行时实现上述实施例中方法包括非易失性和/