CN115410032B 基于自监督学习的octa图像分类结构训练方法 （北京工业大学）

基于自监督学习的OCTA图像分类结构训练本公开实施例涉及一种基于自监督学习的信息的B_scanOCTA图像序列对模型进行自监督学习，直至重建的B_scanOCTA图像序列与给定的B_scanOCTA图像序列之间的重构误差、重建OCTA特征图像与融合OCTA特征图像的重构误差满足预设条件；将给定的带标签信息的en_faceOCTA图像对自监督学习后的模型中的二维随机明对基于人体视网膜en_faceOCTA图像的疾病2A10、基于预先给定的无标签信息的B_scanOCTA图像序列对预先建立的督学习，直至重建的B_scanOCTA图像序列与给定的B_scanOCTA图像序列之间的重构误其中，针对每一用户的B_scanOCTA图像序列，预先建立的模型对输入的预处理的B_A11、对预先给定的无标签信息的B_scanOCTA图像序列中A12、基于建立的模型中的三维随机掩码特征编码器提取预处理后的B_sc器输出重建的B_scanOCTA图像序列中每个像素点的真实值，ylhw,pre为三维解码器输出的重建B_scanOCTA图像序列中每原B_scanOCTA图像序列为重建B_scanOCTA图像序列所属的预处理后的B_scanOCTAA20、将给定的带标签信息的en_faceOCTA图像对自监督学习后的模型中的二维随机2.根据权利要求1所述的训练方法，其特征在于，针对每一用三维自编码器，用于对输入的非掩码部分提取血管特征，输出二维的融3;二维随机掩码特征组合处理单元包括：依次连接的二维随机获取重建OCTA特征图像与融合OCTA特征图像之间tmse表示重构误差的大小，Ht表示融合OC6.根据权利要求1至5任一所述的训练方法，其特征A20包括：将给定的带标签信息的en_faceOCTA图像直接输入到二维随机掩码特征编二维随机掩码特征编码模块提取en_faceOCTA图像的特征，4针对待分类的OCTA图像，将待分类的OCTA图像输入训练后的二所述二维随机掩码特征组合处理单元为经由上述权利要求1至6任一所述的基于自监述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上权利要求1至7任一项所述的基于自监督学习的OCTA图像分类结构训练方法的步骤，以及执行如上权利要求8所述的基于自监督学习的OCTA5[0002]当前，光学相干断层成像血管造影术(OpticalCoherenceTomography之外还有大量的OCTA图像数据中包含着疾病的潜在特征但是却因为没有疾病分类的标注[0011]A20、将给定的带标签信息的en_faceOCTA图像对自监督学习后的模型中的二维[0013]A11、对预先给定的无标签信息的B_scanOCTA图像序列中每一张图像进行预处6[0016]第一随机掩码单元，用于将预处理后的B_scanOCTA图像序列的整体按照长度75解码器输出重建的B_scanOCTA图像序列；scanOCTA图像序列的高度，W表示原B_scanOCTA图像序列的宽度，ylhw,true为原B_scanOCTA图像序列中每个像素点的真实值，ylhw,pre为三维解码器输出的重建B_scanOCTA图像[0027]原B_scanOCTA图像序列为重建B_scanOCTA图像序列所属的预处理后的B_scan[0029]二维随机掩码特征组合处理单元包括：依次连接的二维随机掩码特征编码模块、7[0040]A20包括：将给定的带标签信息的en_faceOCTA图像直接输入到二维随机掩码特[0049]所述二维随机掩码特征组合处理单元为经由上述第一方面任一所述的基于自监行上述第二方面任一所述的基于自监督学习的OCTA图像分类方8[0055]2)本发明实施例的方法中考虑到由同一只眼睛拍摄多次得到多张B_scanOCTA图[0067]图6为本发明的所描述的基于自监督学习的OCTA图像分类结构训练过程的示意面)OCTA图像序列输入模型，采用自监督的方式进行预训练并提取出包含en_face(即平面图像)OCTA图像特征的结果；然后将带有肾病标签的en_faceOCTA图像输入至模型中微调[0072]图6和图7分别为本申请一个实施例中的基于自监督学习的OCTA图像分类结构训9[0075]A20、将给定的带标签信息的en_faceOCTA图像对自监督学习后的模型中的二维[0077]本实施例的方法中考虑到由同一只眼睛拍摄多次得到多张B_scanOCTA图像构成的三维图像序列和单张en_faceOCTA图像之间的关系，用自监督学习技术对B_scanOCTA[0079]A11、对预先给定的无标签信息的B_scanOCTA图像序列中每一张图像进行预处解码器输出重建的B_scanOCTA图像序列；[0086]A20包括：将给定的带标签信息的en_faceOCTA图像直接输入到二维随机掩码特[0090]为更好的理解上述实施例一的方法，以下结合图1(a)至图6对上述方法进行详细[0093]B_scanOCTA图像序列中的每张图像均是不含有患者肾病的信息，也就是无标签[0094]三维形式的B_scanOCTA图像序列经过三维随机掩码特征编码模块提取三维信息[0095]为了提高二维形式的融合OCTA特征图像对三维形式的B_scanOCTA图像序列的表结果与B_scanOCTA图像序列形状大小保持一致，该结果称为重建的B_scanOCTA图像序列。重建B_scanOCTA图像序列与原B_scanOCTA图像序列之间的差异使用重构误差来衡二维随机掩码特征编码模块作为分类模型，该模型可用于en_faceOCTA图像的分类分析。使用带有标签的en_faceOCTA图像输入二维随机掩码特征编码模块进行权重参数微调训有监督的方式进行训练，最终获得肾病的分类结果。该处分类器可包括：全连接层和[0099]本方法的自监督学习阶段输入为不含有用户肾病标签信息的人体视网膜的B_scanOCTA图像序列。B_scanOCTA图像序列中单张B_scanOCTA图像通过对用户的人体视[0100]在每张B_scanOCTA图像上都包含有视网膜从浅层到深层的各种分层信息。图1[0101]对每名用户的原始B_scanOCTA图像序列中的每张B_scanOCTA图像预处理的操[0102]对用户的原始B_scanOCTA图像序列以拍摄时间为顺序从0[0109]将预处理后的B_scanOCTA图像序列作为自监督学习阶段的输入数据。采用三维[0110]第一随机掩码单元，用于将预处理后的B_scanOCTA图像序列整体按照长度75像示的是B_scanOCTA图像序列通过三维随机掩码特征编码器输出融合OCTA特征图像的流程[0115]经过三维随机掩码特征编码器提取特征后，B_scanOCTA图像序列中的血管结构[0116]为了使二维形式的融合OCTA特征图像能够更准确的表征三维形式的B_scanOCTA[0118]对于重建B_scanOCTA图像序列与原B_scanOCTA图像序列(即预处理后的B_scanOCTA图像序列)之间的重构误差应用MSE(平像序列中每个像素点的真实值，ylhw，pre为三维解码器输出的重建B_scan[0122]将上一步中得到的融合OCTA特征图像通过随机裁剪的方式缩放到长224像素，宽224像素的大小。之后对缩放得到的图像输入模型中的二维随机掩码特征组合处理单元中块。图5(a)表示的是融合OCTA特征图像通过二维自编码器输出的融合OCTA特征块的示意图。其中二维自编码器所使用的自注意力编码块与上述提及的自注意力编码块形式一致，[0126]然后将融合OCTA特征块与第二随机掩码单元输出的掩码部分按顺序输入二维解通过二维解码器输出重建OCTA特征图像[0128]对于重建OCTA特征图像与融合OCTA特征图像之间的重构误差应用MSE(平均平方督学习过程。上述步骤中使用的所有图像数据都是不带有患者肾病信息的无标签图像数[0133]接下来将带有患者肾病分类标签信息的en_faceOCTA图像作为微调阶段的输入维随机掩码特征组合处理单元中的二维随机掩码特征编码模块提取特征之后继续输入到[0140]所述二维随机掩码特征组合处理单元为