CN115115856B 图像编码器的训练方法、装置、设备及介质 （腾讯科技（深圳）有限公司）

GB202106397D0,2021US2021334994A1,2021.1像分别进行数据增强，得到第一图像和第二图2将所述第一样本组织图像进行数据增强，得到第一图像；将所述第将所述第一样本组织图像进行数据增强，得到第二图像；将所述第将所述第一特征向量确定为用于对比学习的对比向量，将所述第二特征向将不同的所述第一样本组织图像的多个第一特征向量进行聚类，得到基于所述第二特征向量和所述多个第一特征向量中的正样本向量，生成第一子函数；基于所述第一群组损失函数，训练所述第一图像编码器和所述第将所述第一图像输入所述第一图像编码器，得到第一中间特征向将所述第二图像输入所述第二图像编码器，得到第二中间特征向将所述第二特征向量确定为用于对比学习的对比向量，将所述第一特征向将不同的所述第一样本组织图像的多个第二特征向量进行聚类，得到基于所述第一特征向量和所述多个第二特征向量中的正样本向量，生成第三子函数；基于所述第二群组损失函数，训练所述第一图像编码器和所述第3将所述第一样本组织图像进行数据增强，得到第三图像；将所述第将所述第一图像输入所述第一图像编码器，得到第四特征向量，将所述多张第二样本组织图像输入第三图像编码器，得到所述基于所述第三特征向量和所述第四特征向量，生成用于表征所基于所述第一权重损失函数，训练所述第一图像编码器和所述第三通过对所述多个图像特征向量进行聚类，从所述多张组织图像中确定出多张关键图基于所述多张关键图像的图像特征向量，从数据库查询得到多个将所述多个目标图像包内的多个目标组织图像所属的全视野病理将所述多个第一类簇的多个聚类中心分别确定为所述多张关键图像的多个图像特征针对所述多个第一类簇中的目标第一类簇，基于所述目标第一类所述将所述多个第一类簇的多个聚类中心分别确定为所述多张关键图像的多个图像针对所述多个第一类簇中的目标第一类簇，将所述目标第一类对应的多个聚类中心确定为所述关键图像的4根据所述候选图像包具有的诊断类别数量，筛选所述多个候选图针对所述多个候选图像包中的第一候选图像包，基于所述第一候10.根据权利要求5至7任一所述的方法，其特征在于，所述根据所述候选图像包的属根据所述多张候选组织图像与所述关键图像的相似度针对所述多个候选图像包中的第一候选图像包，将所述第一候将所述多个候选图像包的前m个候选组织图像的m个余弦相似度的平均将包含的所述至少一个候选组织图像的余弦相似度的平均值大于所述第一平均值的确定模块，用于将所述第一特征向量确定为用于对比学习聚类模块，用于将不同的所述第一样本组织图像的第5征向量中除与所述第二特征向量之间的相似值最大的特征向量之生成模块，用于基于所述第二特征向量和所述多个第训练模块，用于基于所述第一群组损失函数，训练所获取模块，用于获取全视野病理切片，以及将所述全视野病理切聚类模块，用于通过对所述多个图像特征向量进行聚查询模块，用于基于所述多张关键图像的图像特征向量，筛选模块，用于根据所述候选图像包的属性筛选所述多确定模块，用于将所述多个目标图像包内的多个目标组织图像所属的全视野病理切所述的图像编码器的训练方法，或，权利要求5至11任一所述的全视野病理切片的搜索方计算机程序由处理器加载并执行以实现如权利要求1至4任一所述的图像编码器的训练方6分锚图像与负样本之间的不同特征(常简称为拉近锚图像与正样本，拉远锚图像与负样7一8[0049]确定模块，用于将多个目标图像包内的多个目标组织图像所属的全视野病理切9算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，[0054]通过进一步区分相关技术中认定的正样本，在正样本中进一步区分出正样本的与正样本，进而能更好地训练图像编码器，训练得到的图像编码器能更好的学习锚图像和正样本之间的共同特征。向的移动浏览等。通常一张WSI的数据量大小在几百个兆字节(MB)甚至几个吉字节(GB)之聚类得到的正样本类簇211和正样本类簇212，负样本包括聚类得到的负样本类簇213和负聚类中心与锚图像210之间的距离为L2，负样本类簇213的聚类中心与锚图像210之间的距聚类中心与锚图像之间的相似度赋予每个类簇权重，根据类簇权重拉远锚图像与负样本，图2示出的距离L3和距离L4即为加权之后的距离，相关技术中认为所有的负样本与锚图像通过第一图像编码器304得到第一特征向量306，在同时输入多张第一样本组织图像301的情况下，多个第一特征向量将被区分出多个第一特征向量中的正样本向量307和多个第一图像303通过第二图像编码器305得到第二特征向量309；基于多个第一特征向量中的正样[0103]图4示出了一个示例性实施例提供的图像编码器的训练方法的流程图，以该方法[0131]结合参考图5，其示出了不同的第一样本组织图像的第一特征向量的多个第一聚[0133]在一个实施例中，将S个第一聚类中心中与第二特征向量距离最近的第一聚类中[0135]在一个实施例中，将S个第一聚类中心中除s"+之外的特征向量作为负样本向量样本三元组训练图像编码器，在下述将介绍同通过第一图像编码器304得到第一特征向量306，在同时输入多张第一样本组织图像301的情况下，多个第一特征向量将被区分出多个第一特征向量中的正样本向量307和多个第一图像303通过第二图像编码器305得到第二特征向量309；基于多个第一特征向量中的正样[0162]结合参考图5，其示出了不同的第一样本组织图像的第二特征向量的多个第二聚[0164]在一个实施例中，将S个第二聚类中心中与第一特征向量距离最近的第二聚类中[0166]在一个实施例中，将S个第二聚类中心中除之外的特征向量作为负样本向表示更新前的第三图像编码器的参数，θ表示第一图像编码器和第二图像编码器共享的参且构建得到的完整的群组损失函数相比于第一群组损失函数或第二群组损失函数将更加编码器805，生成第三特征向量808；第一样本组织图像802通过数据增强，得到第一图像[0192]图9示出了一个示例性实施例提供的图像编码器的训练方法的流程图，以该方法[0206]结合参考图10，负样本的子容器内存放有多张第二样本组织图像的多个特征向用以判断潜在的错误的负样本。最后得到在存储队列内每个特征向量的权重计算[0213]在另一个实施例中，在第一样本组织图像属于第n训练批次的第一样本组织图像k)内属于第j类的特征集合。代表属于第j类的第n训练批次的多个第三特征向量则将适当拉近更新后的负样本图像与图像X的距离，平衡了图像编码器逐渐提升的拉远效[0226]结合参考图10，第六子函数可表示为其中，表示第i个负样本特征向量(即第二样本组织图像的特征向量)的权重，表示第i个负样本特征向量，负样本容器内共包括K个负样本特征向量，gp2表示锚图像的特征向量到的图像编码器能更好的区分锚图像和负样本之[0255]结合参考图10，第八子函数可表示为其中，p(k)表示第i个负样本特征向量(即第二样本组织图像的特征向量)的权重，表示第i个负样本特征向量，负样本容器内共包括K个负样本特征向量，gq1表示锚图像的特征向量的权重损失函数相比于第一权重损失函数或第二权重损失像Xq通过编码器h得到第二中间特征向量hq，第一中间特征向量hq通过第二MLP得到第二特[0277]多个第二样本组织图像输入编码器f并通过入栈操作放入存储队列，在存储队列[0278]基于Q个聚类中心和第四特征向量gp2构建用于表征负样本和锚[0279]基于Q个聚类中心和第五特征向量gp1构建用于表征负样本和锚[0282]可以理解的是，基于权重损失函数与基于群组损失函数[0283]在图13所示的训练架构中，权重损失函数和群组损失函[0284]L=L[0285]其中，公式(11)左边的L为最终的损失函数，Lweightedwcz为权重损失函数，申请一个示例性实施例提供的全视野病理切片的搜索方法的流程图，以该方法应用于图1[0295]通过上述图7所示的方法实施例训练得到的第一图像编码器(或第二图像编码[0296]通过上述图9所示的方法实施例训练得到的第三图像编码器，生成多张组织图像i张关键Bag={B1,B2,…,B,…,BX},其中第i个候选图像包Bi=fba,bz…,bj,…,bir},核心小图。然后将这些核心小图的特征积累为WSI的全局表征，接着采用支持向量机候选图像包的不确定性越高，第i个候选图像包内的候选组织图像在诊断类别维度的分布发生概率计算得到的；dj代表在第i个候选包内第j个候选组织图像与第i张关键图像之间j+1)/2用于保证取值范围在0到1之间。i个候选图像包内的第j个候选组织图像。公式(13)的分母代表第i个候选图像包具有的总值阈值的候选图像包，多个候选图像包即可筛选出多个目标图像包，表示为Bi和k分别代表第i个候选图像包和多个候选图均余弦相似度小于η的候选图像包，然后可以获得多个目标图像包，多个目标图像包表示[0332]需要说明的是，上述1405_1和1405_2可以单独执行筛选量1505聚类为K1个类别，对应得到K1个聚类中心，图15示出了其中一个聚类中心对应的小[0340]_将经过两重聚类得到的K1*K2个聚类中心对应的小图，作为具有表征性的小图[0343]在一个可选的实施例中，上述图像编码器的训练思想还可应用于其他图像的领量指多个第一特征向量中除与第二特征向量之间的相似值最大的特征向量之外的特征向[0349]在另一个可选的实施例中，上述图像编码器的训练思想还可应用于地理图像领量指多个第一特征向量中除与第二特征向量之间的相似值最大的特征向量之外的特征向[0360]聚类模块1604，用于将不同的第一样本组织图像的多个特征向量中除与第一特征向量之间的相似值最大的特征向量之得到第一中间特征向量；将第一中间特征向量输入第三多层感知机MLP，得到第四特征向[0390]图18是本申请一个示例性实施例提供的全视野病理切片类簇，基于目标第一类簇对应的多张组织图像在各自所属的全视野病理切片的位置特征，图像对应的m个余弦相似度；将多个候选图像包的前m个候选组织图像的m个余弦相似度的备1900可以是图2中图像编码器的训练设备21，也可以是图2中图像编码器的使用设备22。存取存储器(RandomAccessMemory，RAM)1902和只读存储器(Read_OnlyMemory，ROM)1903的系统存储器1904，以及连接系统存储器1904和中央处理单元1901的系统总线1905。所述计算机设备1900还包括帮助计算机设备内的各个器件之间传输信息的基本输入/输出[0405]所述基本输入/输出系统1906包括有用于显示信息的显示器1908和用于用户输入连接到系统总线1905的输入输出控制器1910连接到中央处理单元1901。所述基本输入/输[0406]所述大容量存储设备1907通过连接到系统总线1905的大容量存储控制器(未示出)连接到中央处理单元1901。所述大容量存储设备1907及其相关联的计算