CN114663431B 基于强化学习和注意力的胰腺肿瘤图像分割方法及系统 （浙江大学）

WO2020119679A1,2020.06.18US2021383171A1,2021.1MehrdadNoorietal.AttentionHierarchicalAttention3DUNet基于强化学习和注意力的胰腺肿瘤图像分本发明公开了一种基于强化学习和注意力像沿着z轴切分为2D图像，利用强化学习网络从切分后的ROI区域图像中选取两个参考层，在切带有交叉注意力特征融合模块的二维精分割模22.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特3.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特4.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特5.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特3像中的像素点个数，yi和分别是像素点j的真实标签和预测标签，t=0,1,2分别代表背6.根据权利要求1所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特7.根据权利要求6所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特8.根据权利要求4所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特层的2D图像，对于参考层和分割层-c的交互过程以及参考层和分割层xezc的交互将参考层和分割层经过下采样和多次卷积操作后分别得交叉注意力特征融合模块首先利用两个线性映4:v'=AV+f'(FR-)其中，f()为线性映射函数。9.根据权利要求5所述的一种基于强化学习和注意力的胰腺肿瘤图像分割方法，其特所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并所述三维粗分割模型模块用于获取获取胰腺感兴趣ROI区所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个参考所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并选择5[0005]1.随着卷积神经网络的在图是三维神经网络把所有的切片看做同等重要，在分割时会引入大量的无效信息和干扰信粗分割得到目标区域的感兴趣区域ROI（regionofinterest然后再用一个精分割网络67选参考层将参考层与分割层输入到二维精分割模型[0025]将参考层和分割层zc经过下采样和多次卷积操作后分别得到高维度特征[0030]cat()为沿通道方向的拼接操作；8[0035]v'=AV+f'(FX-)[0040]另一方面，本发明还提供了一种基于强化学习和注意力的胰腺肿瘤图像分割系[0041]所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处[0043]所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个[0044]所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并[0046]1.利用强化学习网络从三维图像中选[0047]2.利用交叉注意力机制学习不相邻2D[0048]3.使用全自动化分割方法模拟临床[0049]图1为本发明提供的一种基于强化学习和注意力的胰腺肿瘤图像分割方法流程9[0054]图6为本发明提供的一种基于强化学习和注意力的胰腺肿瘤图像分割系统示意腺CT图像，记为。勾画CT图像胰腺肿瘤分割的标签，记为的CT图像胰腺肿瘤分割标签。织或器官密度大小的一种计量单位，通常称亨氏单位(hounsfieldunit，HU)，空气为-分别是像素点j的真实标签和预测标签，t=0,1,2分别代表背景，胰腺或胰腺肿瘤；函数I3DCT图像xn上对数据进行截断，生成一个长方体的矩形框，截断后CT图像记为获取的3D,戏表示对应第k层的2D图像标签，其中KRor为截断后的最小层和分割层x-c的交互过程一致：[0071]将参考层和分割层经过下采样和多次卷积操作后分别得到高维度特征[0072]交叉注意力特征融合模块首先利用两个线性映射函数g()和，将输入特征由三[0076]cat()为沿通道方向的拼接操作。化学习的过程进行说明:预测结果的集合B'与真实的标签Y的Diceloss第a层和第b层，将参考层与分割层输入到模型中完成二维精分割模型训[0110]所述胰腺肿瘤分割训练集构建模块用于采集胰腺癌患者胰腺CT图像并进行预处[0112]所述强化学习网络模块用于从三维粗分割模型模块切分后的2D图像中选取两个[0113]所述二维精分割模型模块用于将训练集的数据和标签沿着z轴切分为2D图像，并[0115]本实例使用公开数据集医学马拉松数据集（TheMedicalSegmentati