CN113486990B 内窥镜图像分类模型的训练方法、图像分类方法和装置 （北京字节跳动网络技术有限公司）

训练数据集对所述内窥镜图像分类模型进行训数收敛，以获得训练完成的内窥镜图像分类模21.一种基于多专家决策的内窥镜图像分类模型的训练方法，其中所述内窥镜图像分类模型包括由多个专家子网络构成的教师网络和与所述专家子网络具有相同结构的学生获取训练数据集，所述训练数据集包括多个内窥基于所述训练数据集对所述内窥镜图像分类模型进行其中，所述目标损失函数是至少基于所述多个专家子其中，基于所述训练数据集对所述内窥镜图像分类其中，所述目标损失函数是所述教师网络的损失函数和所述学生所述教师网络的损失函数的权重值和所述学生网络的损失函数的权重值之和为1，并其中，所述教师网络的损失函数包括：基于所述内所述学生网络的损失函数包括：基于所述学生网络的学生络输出结果与所述多个专家子网络所生成的多个专家子网络输出结果将所述训练数据集中的图像样本输入到所述共享子网络中以基于所提取的浅层特征表示，利用所述多个专家子网基于所述多个专家子网络输出结果，生成所述内窥镜图像分类模型的最终输出结果；基于至少所述多个专家子网络输出结果和所述最终输出3将所述多个专家子网络输出结果进行融合，以作为所述其中，所述训练好的内窥镜图像分类模型是基于根据权利要求1-5中任一项所述的内其中，所述训练好的内窥镜图像分类模型基于根据权利要求1-5中任一项所述的内窥处理部件，用于基于训练好的内窥镜图像分类其中，所述训练好的内窥镜图像分类模型是基于根据权利要求1-5中任一项所述的内处理部件，用于基于训练好的内窥镜图像分类其中，所述训练好的内窥镜图像分类模型基于根据权利要求1-5中任一项所述的内窥类模型包括由多个专家子网络构成的教师网络和与所述专家子网络具有相同结构的学生其中，所述目标损失函数是至少基于所述多个专家子4其中，基于所述训练数据集对所述内窥镜图像分类其中，所述目标损失函数是所述教师网络的损失函数和所述学生所述教师网络的损失函数的权重值和所述学生网络的损失函数的权重值之和为1，并其中，所述教师网络的损失函数包括：基于所述内所述学生网络的损失函数包括：基于所述学生网络的学生络输出结果与所述多个专家子网络所生成的多个专家子网络输出结果5[0002]结直肠癌是世界上发病率第3和死亡率第4的癌症，而95%以上的结直肠癌是由结[0008]本公开的实施例提供了一种基于多专家决策的内窥镜图像分类6训练数据集呈现长尾分布；以及基于所述训练数据集对所述内窥镜图像分类模型进行训子网络中以提取浅层特征表示;基于所提取的浅层特征表示，利用所述多个专家子网络生7所述学生网络的学生网络输出结果与所述多个专家子网络所生成的多个专家子网络输出好的内窥镜图像分类模型是基于根据如上所述的内窥镜图像分类模型的训练方法所获得[0027]根据本公开的实施例的内窥镜图像分类模型的训练方法结合实际情况提出了一8[0029]图1示出了本公开实施例中内窥镜图像分类模型训练及内窥镜图像分类方法的应[0035]图5C示出了根据本公开又一个实施例的以Transformer作为特征提取器的内窥镜[0036]图6A示出了用于训练根据本公开一个实施例的内窥镜图像分类模型的方法的流[0038]图7A示出了根据本公开一个实施例的融合了知识蒸馏的内窥镜图像分类模型[0039]图7B示出了根据本公开另一个实施例的融合了知识蒸馏的内窥镜图像分类模型[0040]图7C示出了根据本公开又一个实施例的融合了知识蒸馏的内窥镜图像分类模型[0041]图8示出了用于训练根据本公开一个实施例的融合了知识蒸馏的内窥镜图像分类[0047]本说明书中使用的术语是考虑到关于本公开的功能而在本领域中当前广泛使用9[0048]虽然本申请对根据本申请的实施例的系统中的某些模块做出了任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性[0050]关于消化道疾病的诊断，通常基于内窥镜等诊断工具获取消化道内部的病灶影训练易形成对尾部数据的过拟合而对头部数[0052]图1示出了本公开实施例的内窥镜图像分类模型训练方法及内窥镜图像分类方法络，包括但不限于局域网（LocalAreaNetwork，LAN）、城域网（Metropolitan或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言（HyperText和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层（SecureSocketLayer，SSL）、传输层安全（TransportLayerSecurity，TLS）、虚拟专用网络据通信技术取代或者补充上述数据通信技术。140可以包括显示设备，如液晶显示器（LiquidCrystalDisplay，LCD）、阴极射线管开实施例中内窥镜图像分类模型训练方法或基于训练好的内窥镜图像分类模型进行内窥[0058]处理器110通过调用存储器120存储的程序指令，处理器110用于按照获得的程序指令执行本公开实施例中任一种内窥镜图像分类模型训练方法或基于训练好的内窥镜图施例中内窥镜图像分类方法也可以由终端设备200执行，例如终端设备200可以从服务器100侧获得训练好的融合了知识蒸馏的内窥镜图像分类模型，从而基于该融合了知识蒸馏[0068]Transformer：Transformer在谷歌公司的一篇论文《AttentionisAllYou型的Transformer包括多头注意力（Multi-headAttention）模块和多层感知机（MLP，残差连接来联通每个模块，层归一化模块用于对Transformer学习过程中由于多词条嵌入[0070]图2示出了ViT的一个示例性框图。类似于在将Transformer应用于文本时使用的D，这里称其为图块嵌入（PatchEmbedding就得到了一个N×D的嵌入序列（embedding息。接下来便可以将加入了位置信息以后的序列输入到Transformer编码器中进行特征提[0073]根据本公开的一个实施例可以利用VisionTransformer来作为主干网络将这一部分网络结构称为主干网络。窄带光模式采用窄带滤光器代替传统的宽带滤光器，对不同波长的光进行限定，仅留下于普通的卷积神经网络。它们通常使用一个现成的卷积神经网络，如ResNet，VGG，[0082]应当理解，如果要针对其他分布不均衡的消化道病灶内窥镜这里也可以采用任何其他分布不均衡的消化道病灶的内窥镜影像来构建数据集并对根据[0085]如图5A所示，根据本公开一个实施例的内窥镜图像分类模型500A包括n个专家子包括一个用于提取特征表示的特征提取器和一个图2的VisionTransformer作为特征提取器时，首先基于线性映射模块和位置编码器将输[0088]例如，这里的分类器可以是一个多头归一化分类器（multi-headnormalized以进行类似功能的其他结构。例如，这里的特征提取器还可以是深度残差网络（Deep以通过最大化不同专家输出的分类预测值之间的KL散度来最大化[0096]例如，当内窥镜图像分类模型500A的每个专家子网络中的特征提取器是如图2所器块作为深层特征提取器，以提取具有特异性的深层特征，如图5C中的内窥镜分类模型[0097]图6A示出了用于训练根据本公开一个实施例的内窥镜图像分类模型的方法600的流程图。例如，这里该内窥镜图像分类模型是如上参考图5A所示的内窥镜图像分类模型[0099]这里的训练数据集可以是模仿真实情况中息肉类型呈现长尾分布的情况所准备多专家决策内窥镜图像分类模型500A的最终输出的分类预测值与真实的标签之间的交叉熵损失最小化以及不同专家子网络输出的分类预测值之间的KL散度最大化来作为这里训图像分类模型500B具有比内窥镜图像分类模型50表示深层特征提取器。器的权重参数，为第i个专家子网络针对输入的图像样本进行分类计算得出的[0124]目标函数中的第二部分是多个专家子网络的输出的分类预测概率之间的负的KL[0134]基于上述总的损失函数可以对本公开实施例的内窥镜图像分类模型进行参数调窥镜图像分类模型能够适应于数据分布并且可以同时提[0137]图7A示出了根据本公开另一个实施例的融合了知识蒸馏的内窥镜图像分类模型7B示出了根据本公开另一个实施例的融合了知识蒸馏的内窥镜图像分类模型700B的示意型500B的多个专家子网络。教师网络703B和学生网络705B都连接到一个共享子网络701B，并基于该共享子网络701B提取的浅层特征表示进行进一步层特征提取器也可以是其他用于提取图像特[0145]图7C示出了以Transformer作为特征提取器的一个示例性的融合了知识蒸馏的内[0146]图8示出了用于训练根据本公开一个实施例的融合了知识蒸馏的内窥镜图像分类[0148]例如，这里的融合了知识蒸馏的内窥镜图像分类模型可以是图7A所示的模型700B来进行分类训练的情况下，可以首先经过一个共享子网络提取该图像像本的浅层特[0156]这里的就是前面参考图6B所描述的基于多个专家子网络的输出结果融合后失函数，就是前面参考图6B所描述的多个专家子网络输出结果的散度损失函预测概率。表示学生网络输出的分类预测概率与教师网络输出的最终的分类预测概率之间的交叉熵损失函数。是教师网络中每个专家子网络输出的[0164]基于上述总的损失函数可以对本公开实施例的融合了知识蒸馏的内窥镜图像分该待识别的内窥镜图像输入到训练好的融合了知识蒸馏的内窥镜图像分类模型中的共享的内窥镜图像输入到训练好的融合了知识蒸馏的[0172]基于上述实施例，参阅图10所示，为本公开实施例中一种内窥镜图像分类系统1000的结构示意图。该内窥镜图像分类系统1000至少包括图像获取部件1001、处理部件部件1002和输出部件1003可以为与内镜影像图像以及所述多个内窥镜影像图像的标注标签，其中所述训练数据集呈现长尾分到所述内窥镜图像分类模型的目标损失函数收敛，以获得训练完成的内窥镜图像分类模整子部件1103_4基于所述损失值调整所述所述学生网络的学生网络输出结果与所述多个专家子网络所生成的多个专家子网络输出处理器即为服务器100中的处理器110，该电子设备中的存储器即为服务器100中的存储器施例的存储介质的示意图1200。如图12所示，所述计算机可读存储介质1200上存储有计算机可执行指令1201。当所述计算机可执行指令1201由处理器运行时，可以执行参图描述的根据本公开实施例的融合了知识蒸馏的内窥镜图像分类模型的训练方法和内窥镜图像分类方法。所述计算机可读存储介质包括但不限于例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器算机设备执行根据本公开实施例的融合了知识蒸馏的内窥镜图像分类模型的训练方法和[0193]此外，虽然本公开对根据本公开的实施例的系统中的某些单元[0194]本领域普通技术人员可以理解上述方