CN119399126A 多模态信息融合结合人工智能的食管鳞癌检测方法及系统 （苏州大学附属第一医院）

多模态信息融合结合人工智能的食管鳞癌本发明提供多模态信息融合结合人工智能的食管鳞癌检测方法及系统，涉及检测技术领模态影像信息对应的融合特征图输入到预训练的食管鳞癌检测模型中对融合特征图进行病灶性分类和分期预测，输出分类结果和可视化热2采集食管组织的多模态影像信息，所述多模态影像信息包括内窥镜图将融合特征图输入到预训练的食管鳞癌检测模型中，所述食管鳞癌的YOLOv5网络结构，利用所述食管鳞癌检测模型对融合特征图进行病灶区域检测和分割，基于分类结果和可视化热图从原始多模态影像信息中提取病灶利用预训练的深度学习模型对所述多模态影像信息进行特征提取，得到多个特征向将所述相同维度的特征向量输入至多模态融合网络中，所述多模在所述多模态融合网络的每一层后保留该层的输出，并在最对融合特征图进行归一化处理，将像素值分布调整至0到1的范围内融合特征图调整为预设尺寸；将预处理后的融合特征图输入改进的YOLOv5网络的主干网3在每个特征金字塔网络层级上应用空间注意力模块和通道注后的融合特征图输入至无锚点检测头中，所述无锚点检测头输出每个网格点的预测结果；对每个类别独立进行非极大值抑制处理，合并所有类别的非极大值采用软投票法和堆叠集成两种策略进行模型融合，其中软投票使用Grad_CAM算法为深度学习模型生成类激活热图，计算最后一个将Grad_CAM和SHAP热图进行加权融合，得到综合热图，使用喷火对二维病灶检测结果进行深度估计，得到深度图，所述深度估计采用计算每个点的局部曲率，基于所述局部曲率确定自适4计算每个叶子节点的局部统计特征，定义自适应Z_score阈值，使基于局部曲率自适应确定近邻数，计算自适应空间权重和法向基于点云数据构建自适应八叉树，在所述自适应八叉树的每个叶采用多网格法求解所述泊松方程，在高曲率区域使用局部细化策略；使用改进的计算每个顶点的平均曲率，当平均曲率大于第二预设阈值时7.多模态信息融合结合人工智能的食管鳞癌检测系统，用于实现前述权利要求1_6中第一单元，用于采集食管组织的多模态影像信息，所述多模第二单元，用于将融合特征图输入到预训练的食管鳞癌检测第三单元，用于基于分类结果和可视化热图从原始多模5其中，所述处理器被配置为调用所述存储器存储的指令，以执行序指令被处理器执行时实现权利要求1至6678持向量机使用RBF核函数，随机森林设置树的数量为100，XGBoost使用树模型作为基学习[0038]计算每个叶子节点的局部统计特征，定义自适应Z_score阈值，使用改进的Z_9应八叉树结构对三维点云数据进行空间划分和降噪处理；使用改进的泊松表面重建算法，[0062]图1为本发明实施例多模态信息融合结合人工智能的食管鳞癌检测方法的流程示[0063]图2为本发明实施例多模态信息融合结合人工智能的食管鳞癌检测系统的结构示[0066]图1为本发明实施例多模态信息融合结合人工智能的食管鳞癌检测方法的流程示[0068]S102.将融合特征图输入到预训练的食管[0069]S103.基于分类结果和可视化热图从原始多模态影像信息中提取病灶区域信息；[0075]示例性地，对多模态影像信息进行特征提取。采用预训练的深度学习模型，如头自注意力模块和跨模态transformer结构。多头自注意力模块首先对每个特征向量进行[0092]注意力增强后的特征图被输入到无锚点检测头中。无锚点检测头采用全卷积结持向量机使用RBF核函数，随机森林设置树的数量为100，XGBoost使用树模型作为基学习[0112]构建多个基分类器。支持向量机使用RBF核函数，通过网格搜索确定最佳的C和策略，当验证集损失连续5个epoch没有改善时停止训练。使用Adam优化器，学习率设为[0128]计算每个叶子节点的局部统计特征，定义自适应Z_score阈值，使用改进的Z_最大池化生成通道描述符，多尺度特征融合模块使用1x1卷积和上采样操作融合不同尺度用深度平滑L1损失和梯度一致性损失的加权[0137]对去噪后的点云数据进行自适应双边滤波平滑。基于局部曲率自适应确定近邻[0155]图2为本发明实施例多模态信息融合结合人工智能的食管鳞癌