CN119399523A 一种基于先验知识增强掩码与对齐建模的医学图像分类方法 （重庆邮电大学）

一种基于先验知识增强掩码与对齐建模的一种基于先验知识增强掩码与对齐建模的医学2S2：根据预处理好的图像文本对数据集对视觉编码器和文本编码器进行重建预训练，2.根据权利要求1所述的一种基于先验知识增强掩码与对齐建模的医学图像分类方3.根据权利要求2所述的一种基于先验知识增强掩码与对齐建模的医学图像分类方4.根据权利要求2所述的一种基于先验知识增强掩码与对齐建模的医学图像分类方5.根据权利要求2所述的一种基于先验知识增强掩码与对齐建模的医学图像分类方36.根据权利要求1所述的一种基于先验知识增强掩码与对齐建模的医学图像分类方采用视觉编码器和文本编码器分别对图像和文本进行处理，得到全局拼接全局视觉特征和全局文本特征，将拼接特征输入到线性层根据医学知识库构建知识图，采用图注意网络对知识图进行处理融合医疗实体知识表示与聚合特征，得到最终融合特征；对定义每个簇的聚类中心特征，根据每个簇的聚类中心特征根据全局视觉特征和全局文本特征属于不同簇的概率以及最终融合特征的软聚类标7.根据权利要求6所述的一种基于先验知识增强掩码与对齐建模的医学图像分类方8.根据权利要求6所述的一种基于先验知识增强掩码与对齐建模的医学图像分类方属于第k个簇的软聚类标签，pv,i(k)表示第i个样本的全局图像特征属于第k个簇的概率，4[0003]当前的MedVLP方法主要分为两类：报告监督的跨模态对齐预训练和基于重建的训练由于传统的对比学习会引入假阴性问题，其中每张X光图像被强制与一个特定的报告[0008]S2：根据预处理好的图像文本对数据集对视觉编码器和文本编码器进行初步训5随机选择75％的图像Patch块进行掩码，得到未被掩码的Patch块集合和被掩码的Patch块6[0032]根据全局视觉特征和全局文本特征属于不同簇的概率以及最终融合特征的软聚t,i型能够更好地泛化到各种下游医学图像识别任务上，提高下游医学图像识别任务的准确7[0045]获取图像文本对数据集，例如医学CXR图像文本对的数据集；对数据集进行预处理好的图像文本对数据集。[0046]S2：根据预处理好的图像文本对数据集对视觉编码器和文本编码器进行初步训p[0050]将低分辨率图像划分为N个大小为P×P的图像Patch块，随机选择75％的图像pPatch块进行掩码，得到未被掩码的Patch块集合和被掩码的Patch块集合Nu为未掩码Patch块的个数，Nm为被掩码Patch块的个数即低分辨掩码块的个数。对未被掩码的Patch块进行Flatten操作和线性投习的[MASK]向量恢复到Np的原始大小后，将视觉特征Fv输入视觉解码器DI，利用被掩码设置向量AER"p,所有元素都等于0，表示对所有Patch都平等对待。如果检测到疾病名8[0063]从低分辨率图像中提取特征往往会导致严重的信息丢失，特别是在小的病变区Ih=(ln1,Ih,2,计算高分辨’[0069]图像重建过程的总体优化目标定义为低分辨率和高分辨率图像的重建损失之和度，对70％的R进行屏蔽，得到掩码部分未掩码部分从而鼓励视觉编码器提取更多信息表示用于文本重建。[0073]在掩码的相应位置插入[MASK]以保持R的原始大小，然后通过投影文本令牌并添9[0075]使用多模态融合模块(包含一个多头交叉注意力块和一个多层感知器)融合视觉特征Fv和文本特征Ft得到融合特征Ff。采用文本编码器和文本标记分类器对融合特征进行[0086]采用视觉编码器和文本编码器分别对图像和文本进行处理，得到全局视觉特征v[0092]对于给定的一对x射线图像和报告，传统的对比学习方法将同一批中的其他对视疗实体知识表示K(K作为多头注意力机制的key与value)与聚合特征Q(Q作为多头注意力机和全局文本特征属于不同簇的概率，具体的：预先定义了C个可训练的聚类中心特征R=[0104]根据全局视觉特征和全局文本特征属于不同簇的概率以及最终融合特征的软聚