CN119205794B 一种结肠镜下结肠息肉大小检测方法及系统 （杭州电子科技大学）

一种结肠镜下结肠息肉大小检测方法及系统本发明公开了一种结肠镜下结肠息肉大小检测模型和DepthAnything深度估计模型，不仅2步骤2：使用结肠镜深度估计数据集训练了DepthAnything深度步骤3：联合使用步骤1训练好的YOLOv5结肠息肉检测模型和步骤2结肠镜深度估计数据集包括有标注的虚拟图片数据集和无标注的使用所有真实图像训练DepthAnything光照调整模型，真实图像的灰度图lgrayE与其深度图Dteacher在通道维度的拼接结果为将Refin的边长双线性插值降采样四倍变为RefaowneR28*8*来作为模型输入，模型预测一个对真实图像的灰度图的修正再双线性插值上采样四倍得到损失函数为：ps"(20)训练完成后使用训练好的DepthAnything光照调整模型步骤2.4：同时使用虚拟图片和真实图片数据集训练第二DepthAnything深度估计模3ne-Deus)'(21)将预处理后的图片输入YOLOv5结肠息肉检测模型，得到图片中结肠息肉边界框矩阵所述结肠息肉检测数据集由大量的结肠镜检查视频帧构成，这些视频帧4.根据权利要求2或3所述的一种结肠镜下结肠息肉大小4第一训练模块，使用结肠息肉的数据集训练YOLOv5目标检测检测模块，联合使用训练好的YOLOv5结肠息肉检测模型和训练好的Student模型检测结肠镜深度估计数据集包括有标注的虚拟图片数据集和无标注的使用所有真实图像训练DepthAnything光照调整模型，真实图像的灰度图lgrayER1x336x336与其深度图Dteacher在通道维度的拼接结果为将Refin的边长像的灰度图的修正再双线性插值上采样四倍得到RefreR损失函数为：步骤2.4：同时使用虚拟图片和真实图片数据集训练第二DepthAnything深度估计模5将预处理后的图片输入YOLOv5结肠息肉检测模型，得到图片中结肠息肉边界框矩阵6[0004]为了解决这些问题，近年来的研究开始探索自动化的方法来辅助息肉大小的检方法及系统。本发明结合了YOLOv5结肠息肉检测模型和基于DepthAnything的深度估计模7类型的结肠息肉，同时经过了专业标注以标记息肉的存在和位置。标注格式为是边界框中心相对于图像左上角的偏移量，(w,h)分别是边界框宽度和高度相对于图像宽和高的比例值。[0013]首先加载YOLOv5提供的预训练权重练集训练，模型把特征图用棋盘网格分为s2个区块，每个区块关联模型输出中的B个区块左上角x和y方向上的偏移量，tw,于平衡每个输出特征图的权重；表示第k个特征图的第i个区PP分别代表真实框的宽和高。os)(3)8[0024]本发明使用结肠镜深度估计数据集训练了DepthAnything深度估计模型，并同时[0026]结肠镜深度估计数据集包括一个有标注的虚拟图片数据集和无标注的真实图片与镜头畸变系数DistrealER4。首先准备具有已知尺寸和角点数量的黑白棋盘LXL像素。[0030]在有标注的虚拟图片数据集上训练DepthAnything深度估计模型，将该模型称为rea)'(5)[0033]本发明使用了传统的针孔像机模型，相机位于世界坐标系的原点并看向Z轴负方X=(x,y,z)，并通过(u,v,1)'~k(x,y,z)"映射到像素坐标(u,v)。[0034]首先使用镜头标定得到的参数为输入帧去除畸变，并将处理后的图像缩放到(LXL)大小，再使用训练好的Teacher模型预测其深度图Dteacher，然后使用以下公式将[0038]PPS(X)=Att(X)X[LD(X9[0040]其中peR3为内窥镜的共位光的坐标，deR2为光照方向，ueR为光照的角衰减系[0041]训练DepthAnything光照调整模型，真实图像的灰度图与其深度图ps)'(9)[0043]训练完成后使用训练好的DepthAnything光照调整模型来预测真实图像的灰度图l[0045]同时使用虚拟图片和真实图片数据集训练DepthAnything深度估计模型，将该模ss)2(11)[0051]本发明联合使用步骤1训练好的YOLOv5结肠息肉检测模型和步骤2训练好的[0052]对于输入图像帧首先使用框宽度和高度相对于图像宽和高的比例值。[0054]将linput输入Student模型，得到该图片的深度图DsruaentER，使用公式(6)将(x,y,z)三个坐标轴，LXL表示总共有L*L个点。。[0056]基于上述方法步骤的构思，本发明还提供了一种结肠镜下结肠息肉大小检测系[0059]检测模块，联合使用训练好的YOLOv5结肠息肉检测模型和训练好的Student模型[0070]本实施例采用的是hyper_kvasir胃肠镜公开数据集，其中包含110,079张图像和[0072]最后再将图片用灰度值128填充至正方形，再使用双线性插值方法缩放到640×[0075]首先加载YOLOv5提供的预训练权重rue;wes)(15)[0092]结肠镜深度估计数据集包括一个有标注的虚拟图片数据集和无标注的真实图片的应用提供高精度的配准数据。该数据集整合了22段经过多模态2D_3D配准技术处理的结与对应的相机位姿标注。C3VD数据集也提供了镜头内参矩阵kimER3与镜头畸变系数。并使用镜头内参矩阵与镜头畸变系数对图片进行鱼眼镜头矫正。输入图片除以255来缩放去除畸变的输入图片和虚拟图片的深度真值被双线性插值统一缩放到336x336像素。[0097]将C3VD数据集中的15段视频划为训练集，7段视频划为验证集。在训练集上训练DepthAnything深度估计模型，将该模型称为Teacher模型。模型输入图像维度为pea)'(16)[0101]本实施例使用了传统的针孔像机模型，相机位于世界坐标系的原点并看向Z轴负X=(x,y,z)，并通过(u,v,1)'~k(x,y,z)"映射到像素坐标(u,v)。[0102]首先使用镜头标定得到的参数为输入帧去除畸变，并将处理后的图像缩放到v,1)"[0107]其中peR3为内窥镜的共位光的坐标为(0,0)，deR2为光照方向为Z轴负方向，ueR为光照的角衰减系数为1。[0108]使用所有真实图像训练DepthAnything光照调整模型，真实图像的灰度图长双线性插值降采样四倍变为来作为模型输入，模型预测一个[0110]训练完成后使用训练好的DepthAnything光照调整模型来预测真实图像的灰度图l[0113]同时使用C3VD数据集的训练集和真实图片数据集训练DepthAnything深度估计模ss)2(22)[0120]本发明联合使用步骤1训练好的YOLOv5结肠息肉检测模型和步骤2训练好的[0121]对于输入