CN119495419A 基于多模态深度学习的膝关节炎早期诊断系统及其方法 （四川大学华西医院）

基于多模态深度学习的膝关节炎早期诊断及基于多模态深度学习的膝关节炎早期诊断系合卷积神经网络和Transformer架构构建深度学掘模块实现从多模态数据到临床评估表型标签局部图像特征，而Transformer架构则擅长建模2型构建模块以及系统部署模块，其中所述数据收集模块用于采集并预处理包括膝关节X光卷积神经网络和Transformer架构构建深度学习模型，并采用特征自动学习模块和潜在关收集诊断数据以反馈至所述数据收集模块进临床评估数据的多模态数据集，然后利用Pydicom工具包对所述膝关节X光影像数据进行DICOM文件解码及格式转换以生成128x128分辨率的标准图像，接着采用MRIcro工具包将所述模型构建模块中的特征自动学习模块采用具有nxm个卷积核的双层卷积神经网络结构从多模态图像数据中提取nxm维度的特征向量，所述潜在关系挖掘模块采用具有h个注所述模型构建模块根据卷积层数k的不同采用两种不同的模型架构，当k＝1时采用混合模型架构将卷积神经网络的输出作为Transformer的输入，当k>1时则单独使用Transformer架构并将特征自动学习模块的输出结果输入至多头注意力机制进行进一8.基于权利要求1_7任一项所述基于多模态深度学习的膝关节炎早期诊断系统的方3系统通过以下步骤展示诊断依据：首先计算并筛选出重要性权重最高的前10个图像特征，4[0006]本发明提出了基于多模态深度学习的膝关节炎早期诊断系统，包括数据收集模过结合卷积神经网络和Transformer架构构建深度学习模型，并采用特征自动学习模块和释性方法用于理解模型预测依据，所述系统部署模块负责部署诊断系统并提供在线服务，且持续收集诊断数据以反馈至所述数据收集模块进行[0007]优选地，所述数据收集模块首先从医院数据库中获取包含膝关节X光影像数据、MRIcro工具包将所述MRI影像数据转换为NIfTI格式并设置感兴趣区域mask用于保留关键5=1时采用混合模型架构将卷积神经网络的输出作为Transformer的输入，当k>1时则单独使用Transformer架构并将特征自动学习模块的输出结果输入至多头注意力机制进行进一6块3则负责部署诊断系统并提供在线服务。优选地,系统部署模块3还具有持续收集诊断数采用Pydicom工具包处理X光影像,该工具包首先对DICOM格式文件进行解码,接着将图像统一转换为128×128像素的标准分辨率。本发明的一个优选实施例中,选择128×128的分辨率是因为该尺寸既能保留足够的诊断信息,又可以有效控制计算复杂度。接着使用7[0028]在本发明的一个优选实施例中，本发明的模型构建模块2包含特征自动学习子模关系挖掘子模块22则采用具有h个注意力头的Transformer架构(优选地,h＝8),通过设置构策略。具体而言,当k＝1时采用混合模型架构,将卷积神经网络的输出特征直接输入Transformer进行进一步处理。而当k>1时,则完全依靠Transformer架构进行特征提取与关系建模。本发明通过大量实验验证,这种自适应的架构选择策略能够在不同场景下都取这样可以避免出现零值影响后续处理。然后对卷积层特征图进行反向传播运算,得到各个特征图的重要性权重。接着将权重与软标记相乘生成注意力图,最后将注意力图与原始特进行参数优化。损失函数包含交叉熵损失项和L2正则化项,其中正则化系数优选设置为证集性能连续5个epoch不再提升时将学习率降低为原[0032]在本发明的一个优选实施例中，系统部署模块3包含诊断子模块31和预测子模块建议进行进一步检查。预测子模块32则基于历史数据分析疾病进展风险,其中高危预警阈[0033]本发明还公开了基于多模态深度学习的膝完整的多模态数据集。然后是模型训练阶段,利用模型构建模块2搭建并优化深度学习模[0034]在本发明的一个优选实施例中的Web界面上传相关影像。系统将自动完成图像预处理,并通过诊断子模块31给出正常/异8互的图标形式呈现。当用户将鼠标悬停在某个特征图标上时,该图标的颜色会加深(优选还会展示0到1之间的置信度分数和基于Grad_C[0036]本发明实施例中,数据收集模块1在处理膝关节X光影像时,除了将分辨率统一调CLAHE(ContrastLimitedAdaptiveHistogramEqualization)算法,其中对比度限制阈[0037]对于MRI数据的预处理,本发明采用MRIcro工具包设置ROImask时,具体步骤如(OsteoarthritisInitiative)数据[0038]特征自动学习子模块21中的双层卷积神经网络,其具体参数配置为:第一层卷积层使用64个3×3的卷积核,步长为1,填充为1,后接ReLU激活函数和2×2最大池化层(步长通过线性投影映射到512维的特征空间,然后经过8个注意力头进行多头自注意力计算。每初始化卷积神经网络部分,然后采用两阶段训练方式。第一阶段固定卷积层参数,仅训练优选地,每个epoch结束后在验证集上计算AUC指标,当连续5个epoch验证集AUC不再提升[0041]在可解释性方法实现上,本发明对传统Grad_CAM方法进行了改进:首先在计算类别激活图时,不仅考虑最后一层卷积特征图,还融合了倒数第二层和倒数第三层的特征图准确率明显下降时(比如连续10例同类型病例的平均准确率低于0.8),系统会[00