CN118043858B 基于卷积神经网络的图像处理方法和系统 （Exo成像公司）

2024.03.15PCT/SG2021/0506232021.10.14WO2023/063874EN2023.04.20提供了一种基于卷积神经网络(CNN)的图像入图像分别使用CNN的多个卷积层执行多个特征多个卷积层的多个输出特征图产生输入图像的于由卷积层接收的输入特征图和多个加权坐标于修改多个坐标图中的每一个的坐标信息以产生多个加权坐标图。还提供了一种相应的基于2基于所述输入图像，使用所述CNN的多个卷积层执行多个特征提取操作以产生多个输基于所述多个坐标图和所述相应的空间注意力图，由所述相应的基于所述相应的输入特征图和所述多个加权坐标图，由所述相应的卷基于所述相应的卷积层接收的所述相应的输入特征图执行第一卷积基于所述相应的卷积的特征图应用激活函数来产生所述相应的空4.根据权利要求2或权利要求3所述的方法，其中，由所述5.根据权利要求2至4中任一项所述的方法，其6.根据权利要求1至5中任一项所述的方法，其中，逐通道地连接所述相应的卷积层接收的所述相应的输入特征图和所述多个加权坐标基于所述相应的连接的特征图执行第二卷积操作，以产生所述相应的所述CNN包括预测子网络，所述预测子网络包括所述CNN的所述多个卷积基于所述输入图像使用所述预测子网络产生一组预使用所述预测子网络的所述至少一个卷积层执行所述多个特征提取操作中的至少一3述多个第一编码器块的每个第一编码器块对应于所述多个第一解码器块的一个相应的第基于所述相应的第一编码器块接收的相应的输入特征图，由所述多基于所述相应的输入特征图和对应于所述相应的第一解码器块的所述相应的第一编对于所述多个第一编码器块中的相应的第一编码器块，产生所述相应及对于所述多个第一解码器块中的相应的第一解码器块，产生所述相应基于所述相应的输入特征图和所述解码器块接收的对应于所述相应的第一解码器块基于所述相应的解码器块提取的所述提取的多尺度特征产生所述相应的上采样特征所述预测子网络的所述多个第一编码器块中的每一个包括所述CNN的所述多个卷积层由所述多个第一编码器块中的所述相应的第一编码器块产生所述相应的下采样特征使用所述相应的第一编码器块中的所述至少一个卷积层来执行所述多个特征提取操所述预测子网络的所述多个第一解码器块中的每一个包括所述CNN的所述多个卷积层由所述多个第一解码器块的所述相应的第一解码器块产生所述相应的上采样特征图使用所述相应的第一解码器块的所述至少一个卷积层来执行所述多个特征提取操作4所述预测子网络的所述多个第一编码器块中的每一个的每个卷积层是所述CNN的所述所述预测子网络的所述多个第一解码器块中的每一个的每个卷积层是所述CNN的所述所述预测子网络的所述多个第一解码器块中的每一个被配置所述CNN还包括细化子网络，所述细化子网络包括所述CNN的所所述方法还包括基于融合的特征图使用所述细化子网络产生一组使用细化子网络的所述至少一个卷积层执行所述多个特征提取操作中的至少一个特15.根据权利要求14所述的方法，还包括连接所述一组预测的特征图以产生所述融合基于所述相应的输入特征图和所述相应的第二解码器块接收的对应于所述相应的第对于所述多个细化块中的每一个细化块，基于所述相应的细化征图和对应于所述相应的细化块的所述多个第二解码器块中的相应的第二解码器块产生对于所述多个第二编码器块中的每一个第二编码器块，产生所述相应5基于所述相应的第二编码器块提取的所述提取的第一多尺度特征，对于所述多个第二解码器块中的每一个第二解码器块，产生所述相应基于所述相应的输入特征图和所述相应的第二解码器块接收的对应于所述相应的第基于所述相应的解码器块提取的所述提取的多尺度特征，产生对应于所述相应的细化块的所述多个第二编码器块中的每一个包括所述CNN的所述多使用所述相应的细化块的所述相应的第二编码器块，由所述多个使用所述相应的第二编码器块的所述至少一个卷积层执行所述多个特征提取操作中对应于所述相应的细化块的所述多个第二解码器块中的每一个包括所述CNN的所述多使用所述相应的细化块的所述相应的第二解码器块，由所述多个使用所述相应的第二解码器块的所述至少一个卷积层执行所述多个特征提取操作中所述细化块的所述多个第二编码器块中的每一个的每个卷积层是所述CNN的所述多个所述细化块的所述多个第二解码器块中的每一个的每个卷积层是所述CNN的所述多个22.根据权利要求16至21中任一项所述的方法，其中，对于所述多个细化块中的每一所述细化块的所述多个第二解码器块中的每一个被配置接收所述输入图像包括接收多个输入图像，所述多个输入图像中的每一个是标记图6使用所述CNN的所述多个卷积层执行所述多个特征提取操作以产生所述多个输出特征基于所述多个卷积层的所述多个输出特征图，产生对应于所述输入至少一个处理器，所述处理器通信地耦接到所述存储器并算机程序产品包括可以由至少一个处理器执行根据权利要求1至28中任一项所述的使用至少一个处理器基于卷积神经网络CNN进行图像处理的方31.一种使用卷积神经网络CNN分割超执行根据权利要求1至24中任一项所述的使用至少一个处理器基于卷积神经网络CNN所述输出图像具有分割的所述组织结构，并且是使用所述CNN对所述输入图像进行推至少一个处理器，所述处理器通信地耦接到所述存储器并算机程序产品包括可以由至少一个处理器执行根据权利要求31或32所述的使用卷积神经网络CNN分割超声图像中的组织结构的方7[0002]卷积神经网络(CNN)是本领域中众所周知的一类人工神经网络，并且已经应用于并且获得令人满意的预测结果可能是困难的像中准确分割软组织结构仍然是一项具有挑3基于CNN的图像处理的传统方法和系统相关联的一个或更多个问题，特别是增强或改进与基于CNN的图像处理(例如但不限于图像分割)相关联的预测能力(例如预测结果的准确[0006]根据本发明的第一方面，提供了一种使用至少一个处理器的基于CNN的图像处理8[0008]基于输入图像分别使用CNN的多个卷积层执行多个特征提取操作，以分别产生多上述第一方面的基于CNN的图像处理方法的可执上述第四方面的使用CNN分割超声图像中上述第四方面的使用CNN分割超声图像中的组织结构的方法的可执[0024]图3描绘了根据本发明各种实施例的示例性计算机系统的示意性框图，该示例性9[0029]图8A和8B描绘了根据本发明各种示例实施例的原始坐标卷积(CoordConv)(图[0030]图9A和9B描绘了根据本发明各种示例实施例的传统的级联的细化模块和并行的[0032]图11描绘了示出根据本发明各种示例实施例的超声图像的每个子集中的体积和[0034]图13A到图13L示出了根据本发明各种示例实施例的使用示例CNN对TRX甲状腺图[0035]图14A到图14L示出了根据本发明各种示例实施例的使用示例CNN对SAG甲状腺图[0036]图15A和图15B分别示出了根据本发明各种示例实施例的示例CNN和其他现有技术[0038]本发明的各种实施例提供了一种基于卷积神经网络(CNN)的图像处理的方法和系各种预测应用的各种领域，但是在各种预测应用中使用CNN可能不总是提供令人满意的预或至少改进与基于CNN的图像处理的传统方法和系统相关联的一个或更多个问题，特别是[0039]图1描绘了根据本发明各种实施例的使用至少一个处理器的基于CNN的图像处理特征提取操作，不仅相关的卷积操作可以访问坐标信息(通过使用坐标图(额外的坐标通要部分因此可以在特征提取操作中受到更多关注)，从而导致卷积层的相关卷积操作有利以被称为注意力坐标引导的卷积(AC_Conv)，并且这种具有注意力坐标引导的卷积层可以[0047]在各种实施例中，预测子网络具有包括一组编码器块和一组解码器解码器块产生的多个上采样特征图来产生多个预测的基于输入特征图和解码器块接收的对应于解码器块的编码器块产生的下采样特征图提取[0050]在各种实施例中，预测子网络的多个编码器块中的每一个包括CNN的多个卷积层并且上述使用预测子网络的解码器块产生上采样特征图包括使用解码器块的至少一个卷[0051]在各种实施例中，预测子网络的多个编码器块中的每一个的每个卷积层是CNN的个包括CNN的多个卷积层中的至少一个卷积层，并且上述使用细化块的编码器块产生下采样特征图包括使用编码器块的至少一个卷积层执行多个特征提取操作中的至少一个特征个包括CNN的多个卷积层中的至少一个卷积层，并且上述使用细化块的解码器块产生上采样特征图包括使用解码器块的至少一个卷积层执行多个特征提取操作中的至少一个特征[0060]在各种实施例中，细化块的多个编码器块中的每一个的每个卷积层是CNN的多个[0068]图2描绘了根据本发明各种实施例的基于CNN的图像处理的系统200的示意框图，[0069]本领域技术人员将理解，至少一个处理器204可以被配置为通过至少一个处理器图2所示，系统200可以包括被配置为接收输入图像的输入图像接收模块(或者输入图像接收电路)206；被配置为基于输入图像分别使用CNN的多个卷积层执行多个特征提取操作以分别产生多个输出特征图的特征提取模块个卷积层的多个输出特征图来产生输入图像的范围的情况下，一个或更多个模块可以根据需要或适当以对应于根据各种实施例的如上文所述的图像处理的方法100的各种步骤或操作，因此为取模块208和/或输出图像产生模块210，其分别对应于根据各种实施例的如本文所述的图实施例中使用的存储器或计算机可读存储介质可以是易失性存储器，例如DRAM(动态随机存取存储器)或非易失性存储器，例如PROM(可编程只读存储器)、EPROM(可擦除PROM)、软件的处理器，例如任何种类的计算机程序，[0078]本公开的某些部分以计算机存储器内数据操作的算法和功能或符号表示的形式似电子设备的动作和过程，其将计算机系统内表示为物理量的数据操作和转换成计算机系块206、特征提取模块208和/或输出图像产生模块210)可以是由计算机处理器可执行的计[0082]此外，本文描述的计算机程序/模块或方法的一个或更多个步骤可以并行地执行计算机可读存储介质)中的计算机程序产品，该计算机程序产品包括可以由一个或更多个系统例如图2所示的用于图像处理的系统200，所述计算机程序或模块由系统200的至少一计算机可读存储介质)中的计算机程序产品，该计算机程序产品包括可以由一个或更多个计算机处理器执行的指令，以根据各种实施例执行上述在超声图像中分割组织结构的方[0086]在各种实施例中，用于图像处理的系统200可以由包括至少一个处理器和存储器在计算机系统300内执行的计算机程序，并指示计算机系统300(特别是其中的一个或更多印机310的多个输出设备。计算机模块302可以通过合适的收发器设备314连接到计算机网短语是指其中的任何单个项目或其中两个或更多个项输入图像可能相对有噪声和/或关注的结构通常在输入图像中具有相似位置和/或形状的像中软组织结构的预测_细化注意力网络(其为CNN)，其在本文中可被称为ACU2E_Net或简位置的一般对象不同，超声图像中的组织结构(例如解剖结构)具有相似的位置和形状模[0094]因此，为克服这些挑战，各种示例实施例提供上述基于注意力的预测_细化架构基于注意力的预测_细化架构有利地利用了超声图像中存在的解剖位置和形状约束，以减或(b)具有MH_RRM的预测_细化架构通过将集成策略和预测_细化策略集成在一起来提高分[0096]图4A和4B一起描绘了根据本发明各种示例实施例的示例CNN400的示例网络架同样如上所述，示例CNN400包括：预测模块或块(ACU2_Net)410(图4A)和MH_RRM450(图4B)。在各种示例实施例中，预测模块410可以基于Qin等人“U2_Net:GoingDeeperwithnestedU_structureforsalientobjectdetection，PatternRecognition”，106:各种目的)中公开的U2_Net来配置，通过层替换U2_Net中的每个普通卷积层来形成注意力坐标引导的U2_Net(其可以称为ACU2_模块450可以被配置为具有三个并行布置的细化头或块(是用于产生具有不同空间分辨率术语AC_CBR表示AC_conv+BatchNorm+ReL例实施例的示例CNN400的预测模块410和细化模块450的示例详细的配置。表1中的空白单需要或适合于各种目的而变化或修改，例如但不限于ACU2_Net的编码器_解码器结构的期的期望的数量)、产生的细化的特征图的期望的不同空间分辨率等级(和/或不同空间分辨[0098]Qin参考文献公开了用于显著对象检测(SOD)的深度网络架构(称为U2_Net)。U2_22_Net或者ACU2_Net410的网络架构被配置为直接逐级提取多[0101]局部和全局上下文信息对于显著对象检测和其他分割任务都很重要。在现代CNN输出特征图仅包含局部特征，因为1×1或3×3滤波器的感受野太小而无法捕捉全局信息。在具有原始分辨率的输入特征图上进行多次扩张卷积(尤其是在早期阶段)需要太多的计[0103](i)输入卷积层，该输入卷积层将输入特征图x(H×W×Cin)转换为的中间图F1(x).这是用于局部特征提取[0104](ii)高度为L的类似U_Net的对称编码器_解码器结构，其将中间特征图F1(x)作(RSU)720(图7B)。原始残差块700中的操作可以概括为H(X)=F2(F1(X))+X,其中,的、单流卷积，并用通过权重层变换的局部特征替[0107]在各种示例实施例中，AC_RSU块可以基于(例如，与上述块720相同或相似)上述两级嵌套的U型结构，图4A描绘了根据各种示耦接或连接到解码器级430的特征图融合模块的上采样特征图和来自其对称或对应编码器级的下采样特征图6、De_7的七个预测的特征图(例如，侧输出(sideoutput)显著性概率输出图)然后再通过1×1卷积层和sigmoid函数生成融合的特征图(例如最终显著性概率图)Net的配置允许具有深度架构，该深度架构具有丰富的多尺度特征和码器结构包括一组编码器块(例如，En_1到En_7[0118]各种示例实施例注意到医学图像中像甲状腺这样的软组织结构似乎具有可预测(CoordConv)来解决坐标变换问题(参见Liu等人，“AnintriguingfailingofconvolutionneuralnetworksandtheCoordConvsolution”,InNIPS,9605_9616,i806和Mj808分别表示行和列坐乎是恒定的，因此直接将它们与不同层中的特征图Min连接起来可能会降低网络的泛化能Conv)850。图8B描绘了根据本发明的各种示例实施例的AC_Conv850的示意框图。AC_以及基于由卷积层850接收的输入特征图854产生空间注意力图860，用于修改多个坐标图产生空间注意力图860包括基于由卷积层850接收的输入特征图854执行第一卷积操作862以产生卷积的特征图；以及基于卷积的特征图应用激活函数864来产生空间注意力图860。866执行第二卷积操作868以产生卷积层850的输出特征[0122]类似空间注意力的操作扮演两个角色：i)作为同步层以减小Min和{Mi,Mj}之间的比，AC_RSU能够从不同的感受野提取纹理和几何特征。在各种示例实施例中，预测模块ACU2_Net410和细化E模块450中的三个子网络ACU[0124]为了进一步提高精度，许多传统的预测_细化模型已经被设计为通过级联的子网个深度模型的直接集成需要大量计算和时间成本。为了解决与传统技术相关联的这些问各种实施例在上文中描述的多个细化块)被设置为三个如图4B所示。如上置为基于融合的特征图444产生具有不同空间分辨率等级的细化的特征图。在各种示例实[0129]图9B示出了具有上述并行的细化模块的示例CNN400的预测_细化架构的语义工作侧输出S(i)(i＝{1,2,3,4,5,6,7})以及来自预测模块410的一个融合的输出Sfuse444一起，的底行示出了具有手动标记的甲状腺叶覆盖1010的样本TRX(左)和SA[0139]关于超声扫描收集，从12个不同的成像中心进行甲状腺超声检查的700名年龄在intorectifiers:Surpassinghuman_levelperformanceonimagenetclassification”,InProceedingsoftheIEEEinternationalconferenceon器2920x4.3GHzCPU(128GBRAM)和NVIDIAGTX参见Popovic等人，“Statisticalvalidationmetricforaccuracyassessmentin[0144]其中，P和G分别表示预测的分割掩膜扫描(h×w×c)和真实的掩膜扫描(h×w×μ[0147]示例CNN(ACU2E_Net)400与11个现有技术(SOTA)模型比较，11个现有技术(SOTA)模型包括U_Net(Ronneberger等人，“U_net:Convolutionalnetworksforbiomedical见Xiao等人，“WeightedRes_UNetforhigh_qualityretinavesselsegmenSparsePhotoacousticTomographyArtifactRemoval”,IEEEJBHI,24(2):568_576,见Zhou等人，“Unet++:Anestedu_netarchitectureformedicalimageDeeperwithnestedU_structureforsalientobjectdetection”,Pattern的沙漏网络(例如，参见Newell等人，“Stackedhourglassnetworksforhumanposeestimation”,InECCV,483_499,2016)、SRM(例如，参见Wang等人，“Astagewiserefinementmodelfordetectingsalientobjectsinimages”,InICCV,40194028,2017)、C_U_Net(例如，参见Tang等人，“Quantizeddenselyconnectedu_netsforefficientlandmarklocalization”,InECCV,339_354,2018)、R3_Net(Deng等人,2018)和BASNet(Qin等人，“Basnet:Boundary_awaresalientobjectdetection”,InCVPR,7479_7489,2019)。术分割模型的定量评估或比较。表3的顶部包括与经典的U_Net及其变体(如AttentionU_察到，示例CNN400在TRX和SAG图像上都产生最高的DICE系数。此外，与第二好的模型(BASNet)和像R3_Net这样的其他细化模块设计相比，并行的细化模块450将Dice系数分别[0149]图13A到13L以及14A到14L示出了TRX和SAG甲状腺图像上的样本分割结果。特别实结果(虚白线)和分割结果(全白线)的定性比较，并且图14A到图14L描绘了在具有异质(heterogeneous)甲状腺的采样SAG切片上不32_Net和堆叠的沙漏网络(StackedHourglassNet)都无法分割甲状腺的左上方的细长区域。图14A到图14L示出了包含几个复杂结节的异质SAG视图顶部曲线(ACU2E_Net)优于正在比较的其他11个现有技术模型。因此，可以看出，示例CNN400在TRX和SAG测试集上都以较大优势[0151]为了验证根据各种示例实施例的AC_Conv的有效性，通过用以下变体替换适配的U2_Net中的普通卷积(普通Conv)(LeCun等人，“Gradient_basedlearningappliedtodocumentrecognition”,ProceedingsofIEEE,86(11):2278_2324,1998)来进行消融研SE_Conv通过其挤压和激励块对通道的相互依赖性进行显式建模，CBAM_Conv(Woo等人，其通道和空间注意力块对特征图进行了细化，CoordConv(刘等人，“AnintriguingfailingofconvolutionneuralnetworksandtheCoordConvsolution”,InNIPS,96016描绘了示出在不同卷积块和细化架构上进行的消融研究的表格(表4)。在表4中，Ref7是ACU2_Net_Ref7的缩写。实验在TRX甲状腺测试集上进行。TRX测试集上的结果在表4的顶部进一步证明了联合感知几何和空间信息的组合策略比单独的基于空间注意力(CBAM)或者基于坐标(CoordConv)的方法更有效。力的预测_细化网络(ACU2E_Net)400。特别地，ACU2E_Net建立在(a)注意力坐标卷积(AC_conv)850和(b)并行的多头细化模块(MH_RRM)450的基础上，注意力坐标卷积850充分利用了超声图像中甲状腺的几何信息，并行的多头细化模块450通过将集成策略与残差细化方[0154]彻底的消融研究以及与上文描述的现有技术模型的比较证明了示例CNN400的有