CN119399134A 基于双路径频域交叉注意力融合的视网膜图像质量评估方法 （湖南中医药大学）

基于双路径频域交叉注意力融合的视网膜具体公开了一种基于双路径频域交叉注意力融自适应直方图均衡算法对BGR图像质量进行预处图像输入双路径频域DenseNet121网络，通过频域注意机制算法对RGB图像和CLAHE图像特征进结果，本发明保留了重要的视网膜图像结构细2机制算法对RGB图像和CLAHE图像特征进步骤S4，通过双交叉注意力算法对提取的特征进行细化，获取BG2.根据权利要求1所述的一种基于双路径频域交叉注意力融合的视网膜图像质量评估个DenseNet121网络独立运行且各个DenseNet121网络的运算模块之后均设有频域注意机3.根据权利要求2所述的一种基于双路径频域交叉注意力融合的视网膜图像质量评估4.根据权利要求3所述的一种基于双路径频域交叉注意力融合的视网膜图像质量评估步骤S222，将clip_limit定义为每个小块的平均像素数除以直35.根据权利要求4所述的一种基于双路径频域交叉注意力融合的视网膜图像质量评估6.根据权利要求1至4任一所述的一种基于双路径频域交叉注意力融合的视网膜图像步骤S32，使用fftshift操作将FFT结果的低频部分47.根据权利要求6所述的一种基于双路径频域交叉注意力融合的视网膜图像质量评估步骤S44，通过计算值特征与之前获得的注意力权重之间的加权和来生成最终的输出O＝bmm(A,V)5[0002]确定视网膜眼底图像质量是否足以进行医学诊断的过程称为视网膜图像质量评[0003]对于眼科医生来说，采集时间和诊断评估时间之间的不连续性可能会产生问[0005]尽管深度学习为高级图像质量评估提供了显着的优势，但它也遇到了显着的挑明人有鉴于此，提供了一种基于双路径频域交叉注意力融合的视网膜图像质量评估方法，[0006]本发明的目的在于解决传统的深度学习模型在视网膜图像质量评估中难以区分6机制算法对BGR图像和LAB图像特征进个DenseNet121网络独立运行且各个DenseNet121网络的运算模块之后均设有频域注意机[0027]步骤S223，每个bink的多余部分被去除并均匀分布以满足对比约束，表达式如7[0036]步骤S226，在补丁之间应用双线性插值以平滑补丁边缘并确保图像的整体均匀[0053]步骤S36，通过逆fftshift运算评估f(x8[0068]步骤S44，通过计算值特征与之前获得的注意力权重之间的加权和来生成最终的[0078]1、本发明中的双路径DenseNet121架构的实现利用原始RGB和显着提高了视网膜图像质量评估(RIQA)。仅仅依赖RGB图像的传统方法常常会因照明和对妙但关键缺陷的敏感性。这种方法通过突出显示低质量图像中普遍存在的高频细节的丢9这种增强的敏感性大大提高了模型对质量水平之间细[0080]3、本发明引入了交叉注意模块，可以协同从RGB和CLAHE预处理路径中提取的特[0088]图7示出了EyeQ和RIQA_RFMiD数据集的分布图，其中(a)为EyeQ训练数据集分布CLAHE模块、(c)为DenseNet121模块、(d)为DFC_DenseNet121(RGB)模块、(e)为DFC_[0094]一种采用双路径频域交叉注意力融合网络的视网膜图像质量评估方法视网膜图注意机制算法对RGB图像和CLAHE图[0100]用于视网膜图像质量评估的双路径频域交叉注意力融合网络，即双路径频域略的特定频率特征，特别是在受模糊或低对比度等问题影响的图像中效果更为明显；在行更精确的质量评估。在显示清晰视网膜结构、最佳照明和对比度的高质量眼底图像中，提取阶段提供更详细和更重要的信息来提高自动图像质量评估系统识别高质量图像并确[0109]步骤S222，然后将clip_limit定义为每个小块的平均像素数除以直方图箱的数我们将注意力权重的实部和虚部重新组合成复频域信号[0149]为了更有效地利用原始视网膜眼底图像的照明特征以及对比度限制自适应直方将其放置在平均值之前池(avgpool)层用于最佳特征融合。这种方法使模型能够有效地合了它们的独特性和互补特征。此功能对于增强模型对图像质量细微变化的敏感性至关重[0159]步骤S44，通过计算值特征与之前获得的注意力权重之间的加权和来生成最终的助于更深入地理解和解释该层在模型决策过[0180]EyeQ数据集对视网膜图像质量评估(RIQA)领域做出了重大贡献，并利用了来自EyePACS数据集的约30,000张新注释图像。该数据集专门设计用于提高RIQA系统在各种成[0191]RIQA_RFMiD数据集基于RFMiD数据集对眼底图像质量类别进行注释，有助于开发[0192]本实施例的模型框架基于DenseNet架构，它利用扩展的ImageNet_1k数据集上的实现都是在具有24GB内存的高性能NVIDIAGeForceRTX3090GPU上使用PyTorch框架进行[0202]全面评估DFC_Net模型的分类能力，使用EyeQ和RIQA_RFMiD数据集进行了广泛的[0208]为了评估使用成对RGB和CLAHE增强图像作为眼底视网膜图像质量评估任务输入[0217]频率域注意力机制(FDAM)总体上优于通道注意力(SE)和通道空间注意力(CBAM意力(SE)和通道空间注意力(CBAM)取得了更好的平衡，即模型能够兼顾准确率和召回率，空间域中的通道和空间注意力机制。而频率域注意力机制(FDAM)首先将图像转换到频域，等因素引起的质量下降更加敏感的捕获。相比之下，通道注意力(SE)和通道空间注意力[0218]使用EyeQ和RIQA_RFMiD数据集进行了一系列实验，以研究DFC_Net中各个模块的平均池化层之前引入了上下文注意模块(CAM)。这一调整进一步将EyeQ数据集上的F1和卡上，准确率提高了1.32召回率提高了1.16F1分数提高了1.20卡帕系数提高了[0219]使用Grad_CAM生成注意力图有两个主要目的：(1)阐明模型分类的复杂决策过程左侧和下方的关键点。相反，DFC_Net模型充分覆盖了RGB图像中左侧的亮点，并检测了了视网膜图像质量评估(RIQA)。仅仅依赖RGB图像的传统方法常常会因照明和对比度的变[0226]DFC_Net模型中包含频域注意力机制(FDAM)，缓解了传统深度学习模型的典型局[0227]DFC_Net模型还引入了交叉注意模块，可以协同从RGB和CLAHE预处理路径中提取[0228]DFC_Net模型在大规模公共EyeQ数据集和RIQA_RFMiD私有数据集上实现的定量增[0229]虽然DFC_Net模