CN113706526B 内窥镜图像特征学习模型、分类模型的训练方法和装置 （北京字节跳动网络技术有限公司）

WO2020088288A1,2020.0有待识别对象的内窥镜图像和一个或多个不具基于所述第一训练数据集对所述内窥镜图像特窥镜图像特征学习模型包括多个对比学习子模所述第一训练数据集中的同一内窥镜图像的不2获取第一训练数据集，所述第一训练数据集包括将所述第一训练数据集输入到所述内窥镜图像特征学选取L个内窥镜图像，对所述L个内窥镜图像进行图像增强得到L个第一增强型内窥镜图像和L个第二增强型内窥镜图像，并将所述L个第一增强型内窥镜图像和所述L个第二增强型内窥镜图像输入到所述内窥镜图像特征学习模型，以对所述L个内窥镜图像进行不同尺度生成与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i尺度的第二特征表第二特征表示中一一对应的两个特征表示作为一对正例，其余2L-2个特征表示作为负例，所述M个对比学习子模块中的任意一个对比学习子模块i其中，所述第一编码器的输出端连接到所述第一映射器述L个第二增强型内窥镜图像输入到所述内窥镜将所述L个内窥镜图像中的每一个进行第一图像增强，得对应的L个第一增强型内窥镜图像，并输入到所述内窥镜图像特征学习模型中第一个对比将所述L个内窥镜图像中的每一个进行第二图像增强，得对应的L个第二增强型内窥镜图像，并输入到所述内窥镜图像特征学习模型中第一个对比5.根据权利要求2所述的方法，其中，所第一全局映射器，所述对比学习子模块i中的第一编码器的输出端连接到所述对比学习子3全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全利用对比学习子模块i中所包括的第一编码器增强型内窥镜图像相对应的L个第i尺度的第一特征表示和与所述L个第二增强型内窥镜图基于对比学习子模块i中包括的所述第一全局映射器和所述第二全局映射器，分别对得到与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第其中，所述任意一个对比学习子模块i中的第一编码器和第二编码器在不同尺度上对所接收的输入进行特征提取，使得任一个对比学习子模块i中的第一编码器和第二编码器所提取的第i尺度的特征表示与其余M-1个对比学习子模块中的第一编码器和第二编码器6.根据权利要求1至5中任一项所述的方法基于所述M个对比学习子模块中的每一个对比学习子模块其中，所述联合对比损失函数是基于所述M个对比学习子模块中的每一对比学习子模获取第一训练数据集，所述第一训练数据集包括将所述第一训练数据集输入到所述内窥镜图像特征学图像增强得到L个第一增强型内窥镜图像和L个第二增强型内窥镜图像，并将所述L个第一增强型内窥镜图像和所述L个第二增强型内窥镜图像输入到所述内窥镜图像特征学习模生成与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征4表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i尺度的第二特征表第二特征表示中一一对应的两个特征表示作为一对正例，其余2L-2个特征表示作为负例，生成与所述L个第一增强型内窥镜图像相对应的L个局部映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个局部映射后的第i尺度的第二特征表(LXS)个第i尺度的局部特征表示中一一对应的两个局部特征表示作为一对正例，其余将所述全局对比损失值与所述局部对比损失值相加，以得到对比学习子模块i的对比所述M个对比学习子模块中的任意一个对比学习子模块i其中，所述第一编码器的输出端连接到所述第一映射器所述L个第二增强型内窥镜图像输入到所述内窥镜图将所述L个内窥镜图像中的每一个进行第一图像增强，得对应的L个第一增强型内窥镜图像，并输入到所述内窥镜图像特征学习模型中第一个对比将所述L个内窥镜图像中的每一个进行第二图像增强，得对应的L个第二增强型内窥镜图像，并输入到所述内窥镜图像特征学习模型中第一个对比第一全局映射器和第一局部映射器，所述对比学习子模块i中的第一编码器的输出端同时5连接到所述对比学习子模块i中的第一全局映射器的输入端和第一局部映射器的输入端；所述对比学习子模块i中的第二映射器模块包括第二全局映射器和第二局部映射器，所述对比学习子模块i中的第二编码器的输出端同时连接到所述对比学习子模块i中的第二全像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i尺度的第二特征表示以及生成与所述L个第一增强型内窥镜图像相对应的L个局部映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图利用所述对比学习子模块i中所包括的第一编码第一增强型内窥镜图像相对应的L个第i尺度的第一特征表示和与所述L个第二增强型内窥基于所述对比学习子模块i中包括的所述第一全局映射器和所述第二全局映射器，分别对所述L个第i尺度的第一特征表示和所述L个第i尺度的第二特征表示进行全局映射处理，以得到与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i尺度的第二特征基于所述对比学习子模块i中包括的所述第一局部映射器和所述第二局部映射器，分得到与所述L个第一增强型内窥镜图像相对应的L个局部映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个局部映射后的其中，所述任意一个对比学习子模块i中的第一编码器和第二编码器在不同尺度上对所接收的输入进行特征提取，使得任一个对比学习子模块i中的第一编码器和第二编码器所提取的第i尺度的特征表示与其余M-1个对比学习子模块中的第一编码器和第二编码器基于所述M个对比学习子模块中的每一个对比学习子模块其中，所述联合对比损失函数是基于所述M个对比学习子模块中的每一对比学习子模6个具有待识别对象的内窥镜图像和一个或多个不具有待输入部件，用于将所述第一训练数据集输入到所述内窥其中，所述进行无监督的对比学习包括在每次迭代时选取L个内窥镜图像，对所述L个内窥镜图像进行图像增强得到L个第一增强型内窥镜图像和L个第二增强型内窥镜图像，并将所述L个第一增强型内窥镜图像和所述L个第二增强型内窥镜图像输入到所述内窥镜图像特征学习模型，以对所述L个内窥镜图像进行不同尺度生成与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i尺度的第二特征表第二特征表示中一一对应的两个特征表示作为一对正例，其余2L-2个特征表示作为负例，个具有待识别对象的内窥镜图像和一个或多个不具有待输入部件，用于将所述第一训练数据集输入到所述内窥所述L个第一增强型内窥镜图像和所述L个第二增强型内窥镜图像输入到所述内窥镜图像生成与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i尺度的第二特征表第二特征表示中一一对应的两个特征表示作为一对正例，其余2L-2个特征表示作为负例，生成与所述L个第一增强型内窥镜图像相对应的L个局部映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个局部映射后的第i尺度的第二特征表7(LXS)个第i尺度的局部特征表示中一一对应的两个局部特征表示作为一对正例，其余将所述全局对比损失值与所述局部对比损失值相加，以得到对比学习子模块i的对比获取第二训练数据集，所述第二训练数据集包括将所述第二训练数据集输入到内窥镜图像分类模型中进其中，所述内窥镜图像分类模型包括依次连接的述特征提取模块是根据权利要求1-17中任一项所述的基于多尺度对比学习的内窥镜图像特征学习模型的训练方法所获得的内窥镜图像特征学习模型中的M个第一编码器或M个第其中，所述内窥镜图像分类模型包括依次连接的述特征提取模块是根据权利要求1-17中任一项所述的基于多尺度对比学习的内窥镜图像特征学习模型的训练方法所获得的内窥镜图像特征学习模型中的M个第一编码器或M个第8其中，所述训练好的内窥镜图像特征学习模型是9[0005]近年来，使用基于对比学习的自监督学习来进行预训练的工作取得了巨大的发需要关注实例上繁琐的细节，只需要在抽象语义级别的特征空间上学会对数据的区分即[0008]本公开的实施例提供了一种基于多尺度对比学习的内窥镜图像特征学习模型的图像特征学习模型进行无监督的对比学习，以获得训练完成的内窥镜图像特征学习模型，中的M个第一编码器依次连接，所述M个对比学习子模块中的M个第二编码器依次连接，其。一一对应的L个第一增强型内窥镜图像，并输入到所述内窥镜图像特征学习模型中第一个所述M个对比学习子模块中的每一对比学习子模块i的输出的对比损图像特征学习模型进行无监督的对比学习包括：基于所述M个对比学习子模块中的任意一一增强型内窥镜图像相对应的L个第i尺度的第一特征表示和与所述L个第二增强型内窥镜L个第一增强型内窥镜图像相对应的映射后的第i尺度的特征表示和与所述L个第二增强型内窥镜图像相对应的映射后的第i尺度的特征表其中，所述任意一个对比学习子模块i中的第一编码器和第二编码器在不同尺度上对所接收的输入进行特征提取，使得任一个对比学习子模块i中的第一编码器和第二编码器所提模块包括第一全局映射器，所述对比学习子模块i中的第一编码器的输出端连接到所述对包括第二全局映射器，所述对比学习子模块i中的第二编码器的输出端连接到所述对比学个第i尺度的第一特征表示和所述L个第i尺度的第二特征表示进行全局映射处理，以得到与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i相对应的映射后的第i尺度的特征表示和与所述L个第二增强型内窥镜图像相对应的映射型内窥镜图像相对应的所述L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的所述L个全局映射后的第i尺度的第二特征表示中一一对应的两模块包括第一全局映射器和第一局部映射器，所述对比学习子模块i中的第一编码器的输出端同时连接到所述对比学习子模块i中的第一全局映射器的输入端和第一局部映射器的输入端；所述对比学习子模块i中的第二映射器模块包括第二全局映射器和第二局部映射个第i尺度的第一特征表示和所述L个第i尺度的第二特征表示进行全局映射处理，以得到与所述L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全局映射后的第i尺度的第二特征表示；以及基于所述对比学习子模块i中包括的所述第一局部映射器和所述第二局部映射器，分别对与所述L个第一增强型内窥镜图像相对应的L个局部映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个局部映射后的第射器是两层的全连接模块，所述第一局部映射器和所述第二局部映射器是两层1x1的卷积相对应的映射后的特征表示和与所述L个第二增强型内窥镜图像相对应的映射后的特征表的所述L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的所述L个全局映射后的第i尺度的第二特征表示中一一对应的两个特征表示作为一对将与所述L个第一增强型内窥镜图像相对应的所述L个局部映射后的第i尺度的第一特征表像相对应的所述L个局部映射后的第i尺度的第二特征表示中的每一个划分为与所述第一第i尺度的局部特征表示中一一对应的两个局部特征表示作为一对正例，其余[0025]本公开的实施例还提供了还提供了一种基于多尺度对比学习的内窥镜图像特征述第一训练数据集包括一个或多个具有待识别对象的内窥镜图像和一个或多个不具有待[0026]本公开的实施例还提供了还提供了一种内窥镜图像分中所述特征提取模块是根据前面所述的基于多尺度对比学习的内窥镜图像特征学习模型[0028]本公开的实施例还提供了还提供了一种内窥镜图像分类模型的到内窥镜图像分类模型中进行训练，直到所述内窥镜图像分类模型的目标损失函数收敛，窥镜图像特征学习模型的训练方法所获得的内窥镜图像特征学习模型中的M个第一编码器所述训练好的内窥镜图像特征学习模型是基于上述内窥镜图像分类模型的训练方法所获练好的内窥镜图像特征学习模型是基于根据上述内窥镜图像分类模型的训练方法所获得[0034]图1示出了本公开实施例中内窥镜图像特征学习模型训练及内窥镜图像分类方法[0041]图7A示出了根据本公开实施例的基于对比学习的内窥镜图像特征学习模型700A[0042]图7B示出了模型70[0044]图8示出了用于训练根据本公开一个实施例的基于多尺度对比学习的内窥镜图像[0045]图9示出了图8中步骤S803中的基于所述第一训练数据集对所述内窥镜图像特征[0046]图10说明如何基于局部映射后的特征来计算对比学习子模块i的局部对比损失[0054]本说明书中使用的术语是考虑到关于本公开的功能而在本领域中当前广泛使用[0055]虽然本申请对根据本申请的实施例的系统中的某些模块做出了任何数量的不同模块可以被使用并运行在用户终端和/或服务器上。所述模块仅是说明性度上对输入的内窥镜影像进行特征提取，并在不同尺度的特征表示的基础上进行对比学[0059]图1示出了本公开实施例中内窥镜图像特征学习模型训练及内窥镜图像分类方法络，包括但不限于局域网（LocalAreaNetwork，LAN）、城域网（Metropolitan或者虚拟专用网络的任何组合。在一些实施例中，使用包括超文本标记语言（HyperText和/或格式来代表通过网络交换的数据。此外还可以使用诸如安全套接字层（SecureSocketLayer，SSL）、传输层安全（TransportLayerSecurity，TLS）、虚拟专用网络据通信技术取代或者补充上述数据通信技术。140可以包括显示设备，如液晶显示器（LiquidCrystalDisplay，LCD）、阴极射线管[0065]处理器110通过调用存储器120存储的程序指令，处理器110用于按照获得的程序施例中的方法也可以由终端设备200执行，例如终端设备200可以从服务器100侧获得训练以函数go(•)代表进一步将特征表示hi映射成另外一个空间里的向量。这样，经过赘述。[0081]为了更好地学习内窥镜影像的特征，本公开提出了一种新的多尺度对比学习模器块在传统的Transformer编码器块的基础上增加了一个池化层，用于将输入图像特征池度ViT与输入元素的结构无关，因此还进一步需要利用位置编码器在每个方块向量中添加如图3所示的m个（m×)Transformer编码器块）用以进行特征提取。每个VisionD，这里称其为图块嵌入（PatchEmbedding就得到了一个N×D的嵌入序列（embedding下来便可以将加入了位置信息以后的序列输入到Transformer[0088]如图5所示，示出了多尺度VisionTransformer的编码器块中多头池化注意力[0089]对于输入特征序列长度为N的D维输入张量（其中H和W分别为长和宽方向上的像素数量和普通的transformer编码器池化，以获得更小尺度的特征。例如，如图5所示，中间张量、和经过池化后变为Q输出特征是把原始输入特征进行池化以后的特征和进一步经过注意力模块进行池化和注多尺度VisionTransformer可以将输入图像的特征池化为更小的尺度。在不同尺度上的特征表示。这些多尺度ViT所提取的特征可以接入下游任务模块进行进一像特征学习模型的训练方法进一步基于多尺度ViT所提取的特征进[0095]图7A示出了根据本公开实施例的基于对比学习的内窥镜图像特征学习模型700A[0096]如图7A所示，根据本公开实施例的内窥镜图像特征学习模型700A的结构和图2所器。在多尺度ViT中，每个多尺度VisionTransformer编码器块由交替的多头池化注意力[0098]应当理解，多尺度Transformer的结构及其进行提取特征的技术在本领域是公知个分支结构完全相同，并且分别基于同一原始图像的不同增强版本进行完全相同的处理，子模块700A_1-700A_M。每个对比学习子模块包括两个分支中的一对结构相同的第一编码器和第二编码器及分别与一对编码器连接的一对结构相同的第一映射器模块和第二映射多尺度特征提取的编码器不限于此，还可以包括其他能够实现相同功能的架构，例如[0102]例如，这里的线性映射器模块可以是图2所示的传统的基于SimCLR的对比学习网[0112]图8示出了用于训练根据本公开一个实施例的基于多尺度对比学习的内窥镜图像具有待识别对象的内窥镜图像和一个或多个何其他消化道内窥镜影像来构建数据集并对根据本公开实施例的内窥镜图像特征学习模镜图像，并输入到所述内窥镜图像特征学习模型中第一个对比学习子模块的第一编码器；对应的L个第二增强型内窥镜图像，并输入到所述内窥镜图像特征学习模型中第一个对比窥镜图像的一个不同尺度的特征表示，并基于所提取的不同尺度的特征表示进行对比学[0128]由于本公开实施例的内窥镜图像特征学习模型的训练方法是基于多个尺度的图是基于所述M个对比学习子模块中的每一对比学习子模块i的输出的对比[0133]下面参考图9，来对步骤S803中的基于所述第一训练数据集对所述内窥镜图像特[0134]如图9所示，步骤S803中的基于所述第一训练数据集对所述内窥镜图像特征学习模型进行无监督的对比学习包括以下子步骤S901-S905。这些步骤是以一次迭代过程为例其中所包括的第一编码器和第二编码器，分别提取与所述L个第一增强型内窥镜图像相对应的L个第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个第i尺度会进入到第二个对比学习子模块2中的第一编码器，该第一编码器进一步缩小尺个第i尺度的第一特征表示和所述L个第i尺度的第二特征表示进行映射处理，以得到与所述L个第一增强型内窥镜图像相对应的映射后的第i尺度的特征表示和与所述L个第二增强[0141]与图2所示的传统的基于SimCLR的对比学习网络架构类似，根据本公开实施例的[0143]在这种情况下，这里的第一映射器模块和第二映射器模块可以仅包括全局映射示和L个第i尺度的第二特征表示进行映射处理，以得到与L个第一增强型内窥镜图像相对应的L个全局映射后的第i尺度的第一特征表示和与L个第二增强型内窥镜图像相对应的L的第一特征表示和所述L个第i尺度的第二特征表示进行局部映射，以得到与所述L个第一增强型内窥镜图像相对应的L个局部映射后的第i尺度的第一特征表示和与所述L个第二增[0149]在步骤S905，基于与所述L个第一增强型内窥镜图像相对应的映射后的特征表示[0152]例如，将与所述L个第一增强型内窥镜图像相对应的所述L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的所述L个全局映射后的第i[0156]此时，每一个对比损失子模块i的损失函数可以是局部对比损失函数与全局对比[0162]下面结合图10具体说明如何基于局部映射后的特征来计算对比学习子模块i的局[0163]在步骤S1001，将与所述L个第一增强型内窥镜图像相对应的所述L个局部映射后的第i尺度的第一特征表示中的每一个划分为第一S个第i尺度的局部特征表示，以得到第考虑当前区域像素跟周边区域的关系，也并不会将周边区域的特征与当前区域的特征融型内窥镜图像相对应的所述L个局部映射后的第i尺度的第二特征表示中的每一个划分为尺度的局部特征表示中一一对应的两个局部特征表示作为一对正例，其余(2x(LXS)-2）以是所述内窥镜图像分类模型的最终输出结果与图像样本的标注标签而确定的焦点损失[0189]在步骤S1203中，将所述待识别的内窥镜图像输入到训练好的内窥镜图像分类模[0190]基于上述实施例，参阅图13所示，为本公开实施例中一种内窥镜图像分类系统1300的结构示意图。该内窥镜图像分类系统1300至少包括图像获取部件1301、处理部件部件1302和输出部件1303可以为与内入部件1403用于将所述第一训练数据集输入到所述内窥镜图像特征学习模型。训练部件1405用于基于所述第一训练数据集对所述内窥镜图像特征学习模型进行无监督的对比学比学习子模块的每一个用于提取所述第一训练数据集中的同一内窥镜图像的不同尺度的。镜图像一一对应的L个第一增强型内窥镜图像，并输入到所述内窥镜图像特征学习模型中第一个对比学习子模块的第一编码器；以及将所述L个内窥镜图像中的每一个进行第二图[0198]例如，其中所述训练部件1405基于所述M个对比学习子模块中的每一个对比学习[0201]所述特征提取子部件1405_1基于所述M个对比学习子模块中的任意一个对比学习窥镜图像相对应的L个第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应损失值计算部件1405_5基于与所述L个第一增强型内窥镜图像相对应的映射后的第i尺度尺度上对所接收的输入进行特征提取，使得任一个对比学习子模块i中的第一编码器和第[0203]例如，所述映射子部件1405_3基于所述对比学习子模块i中包括的所述第一全局全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全[0205]例如，所述损失值计算子部件1405_5将与所述L个第一增强型内窥镜图像相对应的所述L个全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的所述L个全局映射后的第i尺度的第二特征表示中一一对应的两个特征表示作为一对[0206]例如，所述映射子部件1405_3基于所述对比学习子模块i中包括的所述第一全局全局映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个全部映射后的第i尺度的第一特征表示和与所述L个第二增强型内窥镜图像相对应的L个局部述第一局部映射器和所述第二局部映射器是[0208]例如，所述损失值计算子部件1405_5将与所述L个第一增强型内窥镜图像相对