CN115018775B 图像检测方法、装置、设备和存储介质 （阿里巴巴达摩院(北京)科技有限公司）

部位图像中存在第一目标病灶类型及对应于第模型对目标身体部位图像进行第二图像分类分2从所述检测图像中提取出对应于目标身体部位的目标身通过第一图像检测模型对所述目标身体部位图像进行第一图像分类通过第二图像检测模型提取所述目标身体部位图像对应的第三特征对所述特征向量与所述目标数量的参考向量进行交叉注意力处理，参考向量为预先存储有所述第一目标病灶类型下包含的不同病灶类型在所述目标身体部述参考向量为前一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加和根据所述第三特征图组中的最后一个目标特征图对应的交叉注意力处理结果和自注类型是指除所述第三目标病灶类型外的病灶类块以及所述第一编码模块和所述第一解码模块之所述通过第一图像检测模型对所述目标身体通过所述第一编码模块提取所述目标身体部位图像对应的第一特通过所述跳接层将所述第一特征图组输入到所述第一通过所述第一解码模块获取所述目标身体部位图像对应的第二特将所述第二特征图组输入到所述第一分类分割子模型，以通过所述第体部位图像中是否存在第一目标病灶类型及对应于所述第一目标病灶类型的病所述通过第二图像检测模型提取所述目标身体部位图像对应的第三特3通过所述第二特征提取子模型提取所述目标身体部位图像通过所述池化模块对所述目标特征图进行池化处理，以将所述目所述对所述特征向量与所述目标数量的参考向量进行交叉注意力处理通过所述注意力模块对所述目标数量的参考向量与所述目标数量的特征向量进行交分别对所述目标数量的特征向量叠加上对应的位置嵌入向叠加的位置嵌入向量用于表征所述任一特征向量在所述目标数量的特征向量中对应的位通过所述注意力模块对所述目标数量的参考向量与所述目标数量的叠加上各自对应所述通过所述第二特征提取子模型提取所述目标身体部位图像对应的第三特征图组，通过所述第二编码模块提取所述目标身体部位图像通过所述跳接层将所述第四特征图组输入到所述第二通过所述第二解码模块获取所述目标身体部位图像确定所述第四特征图组中包含的部分特征图和所述第五特征图组中包含的部分特征分别通过多个第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处根据所述多个第一图像检测模型各自的输出结果，确定所述目标身存在第一目标病灶类型及对应于第一目标病灶类型分别通过多个第二图像检测模型输出所述目标身体部位图像中存在的第二目标病灶4根据所述多个第二图像检测模型各自的输出结果，确定所述目标身体部第一检测模块，用于通过第一图像检测模型对所述目标身体部第二检测模块，用于通过第二图像检测模型提取所述目的子类别。接收用户设备通过调用图像检测服务触发的请求，所述请求中从所述检测图像中提取出对应于目标身体部位的目标身通过第一图像检测模型对所述目标身体部位图像进行第一图像分类通过第二图像检测模型提取所述目标身体部位图像对应的第三特征对所述特征向量与所述目标数量的参考向量进行交叉注意力处理，参考向量为预先存储有所述第一目标病灶类型下包含的不同病灶类型在所述目标身体部5述参考向量为前一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加和根据所述第三特征图组中的最后一个目标特征图对应的交叉注意力处理结果和自注将标记有所述第二目标病灶类型及病灶区域的检测图像反馈至所从所述检测图像中提取出对应于目标身体部位的目标身通过第一图像检测模型对所述目标身体部位图像进行第一图像分类通过第二图像检测模型提取所述目标身体部位图像对应的第三特征对所述特征向量与所述目标数量的参考向量进行交叉注意力处理，参考向量为预先存储有所述第一目标病灶类型下包含的不同病灶类型在所述目标身体部述参考向量为前一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加和根据所述第三特征图组中的最后一个目标特征图对应的交叉注意力处理结果和自注6[0003]针对胰腺癌等胰腺相关疾病，目前往往是通过对病患进行电子计算机断层扫描确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区域，所述第二目标病灶类型是所述第一目标病灶类型的子类别。7机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如第一方面所述的图确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶以确定目标身体部位图像中是否存在第一目标病灶类型及对应于第一病灶类型的病灶区8[0046]胰腺癌的一线诊断成像方案是使用增强CT，需向用户(本文中的用户是指需要进[0048]在实际生活中，胰腺相关疾病除了包括胰腺导管腺癌(Pancreaticductaladenocarcinoma，简称PDAC)这种恶性胰腺癌症外，还包括诸如原始神经外胚层肿瘤9SCN)、粘液性囊性肿瘤(MucinousCysticNeoplasm，简称MCN)、胰腺实性假乳头状瘤(Solid-PseudopapillaryTumorofpancreas，简称SPT)、慢性胰腺炎(chronic位的特定疾病的检测，而是提供一种适用于很多身体部位的多种病灶类型的图像检测方中所呈现出的病灶特征的学习，实现对图像中可能包含的病灶类别和病灶区域的精确检[0056]102、通过第一图像检测模型对所述目标身体部位图像进行第一图像分类分割处[0057]103、通过第二图像检测模型对所述目标身体部位图像进行第二图像分类分割处病灶类型是所述第一目标病灶类型的子类别。提供进行PDAC和非PDAC类型的亚型(子类别)的分[0069]实际应用中，上述两个分类分割任务可以通过分别训练两个图像检测模型来完样本子集中包含从这100个样本图像中采样出的80个样本图像(每个目标图像检测模型对应的训练样本子集是不同的)，剩下的20个样本图像则作为相应目标图像检测模型的测试集使用。[0085]通过多个第二图像检测模型确定目标身体部位图像中存在的第二病灶类型及病意了结合本发明实施例提供的检测方案实施的是否存在第一目标病灶类型及对应于所述第一目标病灶类个卷积块对应的尺度是不同的，用以提取出相应尺度的特征图，比如图中示意的5x8x5，模块与第一解码模块中相同尺度对应的卷积块之间的有向连接线表示的是相同尺度的卷[0097]基于图3中示意的第一特征提取子模型的结构，当将目标身体部位图像输入第一最后一个卷积块的输出会输入到第一解码模块，由第一解码模块依次通过6个卷积块逐层块中的一个卷积块在对前一个卷积块输入的某个尺度i的特征图进行上采样得到尺度j的特征图后，需要通过跳接层将第一编码模块中提取出的尺度j的特征图与该特征图进行拼[0098]第一编码模块提取出的多个尺度的特征图实际上是浅层特征，构成第一特征图最大池化层：globalpooling)以及与每个池化层连接的全连接层(FC)，还包括特征融合[0100]最终，经过压缩处理后的多个尺度的特征图输入特征融合层，进行特征融合(拼接)，并基于融合后的特征图确定目标身体部位图像中是否存在对应于第一目标病灶类型元被训练为用于存储第一目标病灶类型下包含的不同病灶类型在目标身体部位中对应的[0106]根据最后一个目标特征图对应的交叉注意力处理结果和自注意力处理结果的加模型也包括第二编码模块、第二解码模块以及第二编码模块和第二解码模块之间的跳接[0111]确定第四特征图组中包含的部分特征图和第五特征图组中包含的部分特征图构此，通过注意力模块对目标数量的参考向量与目标数量的特征向量进行交叉注意力处理，叠加的位置嵌入向量用于表征所述任一特征向量在目标数量的特征向量中对应的位置信[0114]通过注意力模块对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌[0115]位置嵌入向量的引入，本质上是引入了疾病在目标身体[0117]在图4中，左侧分支对应于第二特征提取子模型，中间的分支对应于位置嵌入模与第二解码模块中相同尺度对应的卷积块之间的有向连接线表示的是相同尺度的卷积块[0119]与上文中介绍第一特征提取子模型的工作过程一致，基于图4中示意的第二特征的卷积和下采样处理，可以依次得到尺度由大到小的6个尺度的特征图，构成第四特征图应平均池化处理(AdaptiveAveragePooling)，在图4中，假设该目标数量为5x8x5＝200任一特征向量上叠加的位置嵌入向量用于表征所述任一特征向量在所述目标数量的特征[0128]为便于描述和理解，将图中示意的第三特征图组中4个特征图经过池化处理后的对目标数量的记忆向量的自注意处理表示为：self-attention(M0)＝M01,第一个注意力单元对目标数量的记忆向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量C1的[0129]记自注意处理结果与交叉注意力处理结果的加和为：M0[0130]第二个注意力单元对此时的目标数量的参考向量M1的自注意处理表示为：self-attention(M1)＝M11,第二个注意力单元对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量C2的自注意处理表示为：cross-attention(C2+P2,M1)=为：self-attention(M2)＝M21,第三个注意力单元对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向量的特征向量C3的自注意处理表示为：cross-attention(C3+M31,第四个注意力单元对目标数量的参考向量与目标数量的叠加上各自对应的位置嵌入向如通过图4中示意的响应(response)模块对M4对应的200个320维的向量进行某种池化处忆单元被设计为用以学习全局上下文信息和位置信息，例如胰腺肿瘤在胰腺内的相对位发工具包(SoftwareDevelopmentKit，简称SDK)、应用程序接口(Application确定所述目标身体部位图像中存在第一目标病灶类型及对应于第一目标病灶类型的病灶图像分类分割处理，以确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区灶类型中包括：按所述目标身体部位对应的疾病严重程度依次划分出的第三目标病灶类[0149]可选地，所述第一图像检测模型包括第一特征提取子模型和第一分类分割子模述目标身体部位图像中是否存在第一目标病灶类型及对应于所述第一目标病灶类型的病被训练为用于存储所述第一目标病灶类型下包含的不同病灶类型在所述目标身体部位中所述目标特征图是所述多个尺度的特征图中的第一个时，所述参考向量为所述记忆向量，量上叠加的位置嵌入向量用于表征所述任一特征向量在所述目标数量的特征向量中对应模型各自的输出结果，确定所述目标身体部位图像中存在的第二目标病灶类型及病灶区[0155]