CN114926892B 一种基于深度学习的眼底图像匹配方法、系统和可读介质 （中国人民大学）

号行训练获得同时实现关键点检测和特征提取的配眼底图像对应的将关键点坐标集合和关键点2将眼底图像输入深度神经网络模型进行训练获得同时实现关键点检测和特征提取的所述编码器网络负责提取眼底图像特征，所述两个解码器网络包括关键点检测解码器采用渐进式关键点扩增技术进行关键点的提取，其要求在眼底图像中检测到的关键点特征与变换图中的关键点特征之间满足最优的KNN匹将待测眼底图像输入同时实现关键点检测和特征提取的深度神经网所述关键点概率图的生成方法为：通过对所述关键点检测解码器中的根据所述关键点概率图和描述特征图获得关键点坐标集合和关将两张待匹配眼底图像对应的所述关键点坐标集合和关键点特征根据所述匹配集计算仿射变换的参数，实现图像配准，根据所3.如权利要求1或2所述的眼底图像匹配方法4.如权利要求1或2所述的眼底图像匹配方法，其特征在于，所5.一种基于深度学习的眼底图像匹配系统，模型训练模块，用于将眼底图像输入深度神经网络模型进行训练获3模型输出模块，用于将待测眼底图像输入同时实现关键点检特征集合提取模块，用于根据关键点概率图和描述特征获6.一种存储一个或多个程序的计算机可读存4[0002]眼底图像匹配(retinalimagematching)技术旨在根据图像内容自动判断两张而在基于眼底图像的身份验证(retinalimagebasedidentityverification)任务中，[0004]针对上述问题，本发明的目的是提供了一种基于深度学习的眼底图像匹配方法、征提取的深度神经网络模型，深度神经网络模型包括一个编码器网络和两个解码器网络；5求在眼底图像中检测到的关键点特征与变换图中的关键点特征之间满足最优的K[0012]进一步，特征描述解码器根据关键点检测解码器得到的关键6[0026]图2是本发明一实施例中神经网络模型的结构图，每个特征图下的数字代表了这[0028]图4是本发明一实施例中渐进式关键点扩增技术关键点筛选示意图，空心点表示[0030]为了解决现有技术中很难同时在图像配准和身份验证等多个任务中取得高性能[0033]S1将眼底图像输入深度眼底图像模型进行训练获得训练[0037]在关键点检测解码器网络中，由于眼底图像中很多关键的特征模式是比较低层7键点集合在描述特征图对应像素位置上采样即得对应的描述子[0043]本实施例中通过半监督训练方式解决了眼底医疗图像标注少无法进行深度模型[0044]关键点检测解码器采用渐进式关键点扩增技术(ProgressiveKeypoint示为I'=H(I),令I′与I经过相同的编码-关键点检测解码器得到与其对应的概率映射图geo为H-1(P')与P之间的DICE损失。但仍有利于匹配的关键点，PKE的目标就是保留这些关键点并且使这些关键点进一步指导的关键点也应在变换图中出现；第二阶段是基于内容的筛选，如图4中倒数第二个叉号所示，要求在眼底图像中检测到的关键点特征与变换图中的关键点特征之间满足最优的KNN8[0052]对关键点集合和子特征集合之间采用KNN匹配策略进行匹配，执行平方复杂度的[0055]本实施例中提出了用于训练关键点检测模型的PKE技术，以半监督方式渐进扩增图像由PapageorgiouHospital医院和AristotleUniversityofThessaloniki大学共同构建)上进行测试，测试方案遵循GLAMpoints(GreedilyLearnedAccurateMatchpoints)的测试方案以及FIRE的测试方案。前者是基于查询关键点和关联关键点之间的距[0058]身份识别任务采用了最常用的等错误率(EER)指标，即错误接受率和错误拒绝率1行与第2行的性能对比说明采用PKE技术可以大幅度提高本发明在配准任务和识别任务上9[0062]与其他图像匹配方法的性能对比如表2所示，实验结果表明实施例一中方法的各[0066]基于相同的发明构思，本实施例公开了一种基于深度学现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0076]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图