CN116797554B 图像处理方法以及装置 （阿里巴巴达摩院(杭州)科技有限公司）

本说明书实施例提供图像处理方法以及装像处理任务携带目标待检测分区对应的多个目得图像处理模型输出的目标待检测分区对应的目标图像的局部图像特征和全局图像特征确定2接收图像处理任务，其中，所述图像处理任务携带目标待检测分将所述多个目标图像输入图像处理模型的特征提取层，获得各部全局融合块用于接收所述各图像特征信息中的目标图像特征信息或前一个局部全局融获取待处理图像特征信息，所述待处理图像特征信息包括目标图像特征信息或第t-1所述将所述多个目标图像输入所述特征提取层，获得各目标图像对应的图像特征信3.根据权利要求1所述的方法，所述特征融合层包括m个顺次连接的局部全局融合块，所述将各图像特征信息输入所述特征融合层，获得各目标图像对应的图像融合信息，3所述将所述待处理图像特征信息输入至所述局部特征提取子层，将所述待处理图像特征信息输入至所述卷积处理单元，提取对所述初始局部特征信息进行特征映射，获得所述待处理图像5.根据权利要求1-3任一项所述的方法，所述全局特征提取子层包括编解码图像处理所述将所述待处理图像特征信息输入至所述全局特征提取子层，对所述待处理图像特征信息进行特征映射，获得所述待处理图像特将所述目标待处理图像特征信息输入至所述编解码图像处理单元获取训练样本对和所述训练样本对的引导信息，其中，所述将所述训练样本对和所述引导信息输入至初始图像处理模型，获得根据所述样本预测结果和所述样本结果，计算得到所述初始图像根据所述目标注意力信息和所述引导信息，计算得到所述根据所述第一损失值和所述第二损失值调整所述初始图像处理模将所述训练样本对和所述引导信息输入至初始图像处理模型，获得将所述目标拼接信息输入所述特征提取层，获得所述特征提取层输出的特征提取信将所述特征提取信息输入所述特征融合层，获得所述特征融合4接收CT图像处理任务，其中，所述CT图像处理任务携带目标待检测将所述多个CT图像输入CT图像处理模型的特征提取层，获得各C部全局融合块用于接收所述各图像特征信息中的目标图像特征信息或前一个局部全局融获取待处理图像特征信息，所述待处理图像特征信息包括目标图像特征信息或第t-1获取训练样本对和所述训练样本对的引导信息，其中，所述将所述目标拼接信息输入至初始图像处理模型的特征提取层，获根据所述样本预测结果和所述样本结果，计算得到所述初始图像根据所述目标注意力信息和所述引导信息，计算得到所述根据所述第一损失值和所述第二损失值调整所述初始图像处理模5将所述多个目标图像输入图像处理模型的特征提取层，获得各部全局融合块用于接收所述各图像特征信息中的目标图像特征信息或前一个局部全局融所述存储器用于存储计算机可执行指令，所述处理器用于执行所述计算机可执行指理器执行时实现权利要求1至10任意一项所述方法6CT图像处理模型基于各CT图像的局部图像特征和全局图像特7对应的多个目标图像，图像处理任务用于检测目标待检测分区内是否存在异常待检测对8[0050]在本说明书一个或多个实施例中使用的术语是仅仅出于述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收灵敏度极高的探测器一同围绕人体的某一部位作一个接一个的断面扫描，具有扫描时间9[0058]RECIST(responseevaluationcriteriai[0064]在计算机断层扫描(CT)中预测淋巴结(LN)转移对于食管癌分期治疗计划的制定深度学习在各种医学影像计算机辅助诊断(CAD)任务中取得显著成功，目前提出了将深度[0076]用户通过客户端100可与服务端200进行交互以接收其它客户端100发送的数据，量级应用程序)或云应用等，客户端100可以基于服务端200提供的相应服务的软件开发工具包(SDK，SoftwareDevelopmentKit)，如基于实时通信(RTC，RealTime[0079]服务端200可以包括提供各种服务的服务器，例如为多个客户端提供通信服务的解为待检测分区内存在异常待检测对象的概率[0095]参见图3，图3示出了本说明书一个实施例提出的第2图像特征信息......依次类推，直到将第n-1图像特征信息输入至第n全卷积块[0115]通过将多个目标图像输入至特征提取层中的1个或多个全卷积块，可以获取多个[0117]S3004：将各图像特征信息输入特征融合层，获得各目标图像对应的图像融合信[0136]通过将各图像特征信息输入至特征融合层中的1个或多个局部全局融合块，可以障局部特征信息的精确度，用于后续的特征处理以获得对目标待检测分区检测结果的预[0144]将局部特征信息和全局特征信息输入至融合层，获得第t局部全局特征融合层对[0145]具体地，待处理图像特征信息包括目标图像特征信息或第t-1图像融合信息，其部全局特征融合层600可以包括局部特征提取子层6002、全局特征提取子层6004以及融合征信息X分别输入至局部特征提取子层6002和全局特征提取子层6004，通过局部特征提取子层6002提取待处理图像特征信息X的局部特征信息；通过全局特征提取子层6004提取待处理图像特征信息X的全局特征信息，然后将局部特征信息和全局特征信息输入至融合层[0166]具体地，全局特征提取子层800可以包括第二卷积核8002和编解码图像处理单元图像处理单元8004中的编码器和解码器，提取目标待处理图像特征信息中的全局特征信[0170]在本说明书一个或多个实施例中，将局部特征信息和全局特征信息输入至融合[0172]对初始图像融合信息进行特征映射，获得第t局部全局特征融合层对应的图像融信息和全局特征信息进行拼接，得到初始图像融合信息，第三卷积核9004接收拼接单元个目标图像处理为图像特征信息，通过特征融合层将图像特征信息处理为图像融合信息，结果可以理解为初始图像处理模型根据输入的训练样本对和引导信息输出的训练样本存息。特征融合信息可以理解为特征融合层根据输入的特征提取信息进行局部特征信息提意力特征图可以理解为特征融合层中的各个局部全局融合块在对特征信息进行处理的过[0203]实际应用中，获得特征融合层输出的特征融合信息和至少一个注意力特征图之[0209]实际应用中可以根据样本预测结果和样本结果进行比对，通过交叉熵计算等方对目标待检测分区中待检测对象的注意力位置信息与模型实际应该关注的位置信息进行[0214]具体地，预设停止条件可以是第一损失值以及第二损失[0219]参见图10，图10示出了本说明书一个实施例提供的一种CT图像处理方法的流程型的第一损失值，通过初始图像处理模型输出的中间产物目标注意力信息与引导信息比[0235]参见图12，图12示出了本说明书一个实施例提供的一种局融合块2和局部全局融合块3，每个局部全局融合块中包括至少一个局部全局特征融合全局特征融合层1中的局部特征提取子层和全局特征提取子层，根据局部特征提取子层中局部全局融合信息输入至局部全局特征融合层2，按照上述相同的方式获得局部全局融合出层对图像融合信息进行softmax(归一化)处理，获得图像处理模型输出的目标待检测纵内发生淋巴结转移的训练样本对应的样本标签为1，目标待检测纵隔淋巴站内未发生淋巴(短径≥5mm)进行自动检测和分割，将这些自动分割得到的淋巴结掩码作为注意力先验的[0256]将构建好的训练样本对和训练样本对分别对应的引导信息作为图像处理模型的[0257]获取初始图像处理模型通过3个局部全局融合块对图像特征信息进行处理的过程型的第一损失值，通过初始图像处理模型输出的中间产物目标注意力信息与引导信息比[0261]参见图15，图15示出了本说明书一个实施例提供的一种食管癌检测方法的流程样本对和样本对的引导信息。据此能够构建得到食管癌LN转移分类的数据量更大的数据域-全局变压器块，将掩码引导的边际损失中的阈值τ设置为0.8，可以得到更好的验证性结构，LMViT+Lmask是根据本说明书实施例提供的图像检测模型的训练方法训练得到的图[0305]将局部特征信息和全局特征信息输入至融合层，获得第t局部全局特征融合层对[0316]对初始图像融合信息进行特征映射，获得第t局部全局特征融合层对应的图像融[0335]图17示出了本说明书一个实施例提供的一种计算设备的结构框图。该计算设备1700的部件包括但不限于存储器1710和处理器1720。处理器1720与存储器1710通过总线个或多个网络1760通信。这些网络的示例包括公用交换电话网(PSTN，PublicSwitchedTelephoneNetwork)、局域网(LAN，LocalAreaNetwork)、广域网(WAN，WideArea备1740可以包括有线或无线的任何类型的网络接口(例如，网络接口卡(NIC，NetworkAreaNetworks)无线接口、全球微波互联接入(Wi-MAX，WorldInteroperabilityfor[0341]本说明书一实施例还提供一种计算机可读存储介质，其存储有计算机可执行指[0345]上述对本说明书特定实施例进行了描述。其它实施例在所附权利要求书的范围[0346]所述计算机指令包括计算机程序代码，所述计算机程序代