CN110503654A 一种基于生成对抗网络的医学图像分割方法、系统及电子设备 （中国科学院深圳先进技术研究院）

一种基于生成对抗网络的医学图像分割方本申请涉及一种基于生成对抗网络的医学器如何对不同类别的高质量图像的像素级特征进行提取，并利用胶囊模型进行结构化特征表2步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到步骤b1：通过其他医学图像的像素级标注样本步骤b2：将所述待分割图像的图像级标注样过所述胶囊网络模块输出待分割图像的图像步骤b3：区域定位网络利用卷积层的特征提取生步骤b4：根据所述重建图像和区域定位特征图执行自扩5.根据权利要求1至4任一项所述的基于生成对3步骤d1：通过级联Cascade模块提取所述分割预测样本中标注错误的像素以及置信度步骤d2：通过Capsule网络模块将提取到的关键像素以及对应的groundtruth进行处步骤d3：所述参数优化模块利用Capsule网络模块产生的误差对生成器与判别器的网6.一种基于生成对抗网络的医学图像分割系统通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样本训所述生成对抗网络包括生成器和判别器，所述生成器对其将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判别器将图像级标注的待分割医学图像输入训练好的生成对抗预训练模块：用于通过其他医学图像的像素级标注样本对胶囊网络模块进行预训练，得到无语义标签样本，通过所述无语义标签样本对待分割图像的图像级标注样本进行处胶囊网络模块：用于将所述待分割图像的图4样本生成模块：用于根据所述重建图像和区域定位特10.根据权利要求6至9任一项所述的基于生成对抗网络的医学图像分割系统，其特征级联Cascade模块：用于提取所述分割预测样本中标注错误的像素以及置信度低于设参数优化模块：用于利用Capsule网络模块产生的误差对生成器与判别器的网络参数所述存储器存储有可被所述一个处理器执行的指令，所步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级标注5步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到6[0002]随着医学影像技术的蓬勃发展，医学影像在临床医疗中有着广泛和深入的[0005]生成式对抗网络(GAN,GenerativeAdversarialNetworks)是一种深度学习模7[0009]步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级[0010]步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样[0012]步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输[0016]步骤b2：将所述待分割图像的图像级标注样本输入完成预训练后的胶囊网络模[0021]本申请实施例采取的技术方案还包括：在所述步骤d中，所述判别器包括级联8[0022]步骤d1：通过级联Cascade模块提取所述分割预测样本中标注错误的像素以及置[0024]步骤d3：所述参数优化模块利用Capsule网络模块产生的误差对生成器与判别器s和Op分别表示生成器和判别器的输出，当输入来自真实标注样本{If,Lf}和分割预测[0029]通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级标注样[0031]将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输入到判9非线性激活函数提取分类的概率值，确定待分割图像的图像级标注样本的分割区域与背[0040]本申请实施例采取的技术方案还包括：所述判别器包括级联Cascade模块、[0041]级联Cascade模块：用于提取所述分割预测样本中标注错误的像素以及置信度低[0043]参数优化模块：用于利用Capsule网络模块产生的误差对生成器与判别器的网络s和Op分别表示生成器和判别器的输出，当输入来自真实标注样本{If,Lf}和分割预测[0050]步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级[0051]步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样[0053]步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输[0062]图7是本申请实施例提供的基于生成对抗网络的医学图像分割方法的硬件设备结脊髓型颈椎病(cervicalspondyloticmyelopathy,CSM)的医学图像分割为例进行详细阐本申请实施例的基于生成对抗网络的医学图像为：采集少量的全标注CSM图像样本{If,Lf,Tf}的共500张DTI样本(diffusiontensor后分别获取到CSM图像和其他医学图像的DTI样本，在DTI样本上确定感兴趣分割区域[0074]步骤202中，获取像素级别的无语义标注的目的在于区分数据的有效分割区域和样本分割区域边缘像素的方向和位置信息，采用矢量的非线性激活函数提取分类的概率[0081]解码层：解码层即为网络最后的全连接层，包含Relu函数和Sigmoid函数，接受b表示括号内元素的二元交叉熵损失函数。[0089]步骤500：样本生成模块根据胶囊网络输出的重建图像和区域定位网络输出的区域定位特征图执行自扩散算法，确定区域像素点分割线，得到较为粗糙的分割预测样本活值越大的区域运用随机漫步(RandomWalk)思想，通过随机漫步的自扩散算法扩散像素区域边界区域的锐化程度，并利用级联模式提取出图像中难以正确分类的关键区域像素，[0100]级联Cascade模块：用于负责提取分割预测样本的关键像素；在图像分割的过程[0101]Capsule网络模块负责将提取到的关键像素以及对应的groundtruth进行处理，进行卷积，提取出分割预测样本{If,Lf*}中的低级特征；其中卷积层的激活函数[0113]公式(7)中，bij为常量，bij的数值通过上次迭代的bij的值与Vj和tii的积求和得ij的更新方式为：[0116]参数优化模块：利用Capsule网络模块产生的误差对生成器与判别器的网络参数[0128]请参阅图6，是本申请实施例的基于生成对抗网络的医学图像分割系统的结构示[0129]样本采集模块：用于分别采集其他医学图像的像素级标注样本以及CSM图像级标集少量的全标注CSM图像样本{If,Lf,Tf}的共500张DTI样本(diffusiontensorimaging，[0132]1、对其他医学图像的像素级标注样本进行处理，将其变成无语义的分割图像标算边缘损失并输出CSM图像级标注样本的重建图像。本申请利用胶囊网络模块实例化像素[0139]解码层：解码层即为网络最后的全连接层，包含Relu函数和Sigmoid函数，接受b表示括号内元素的二元交叉熵损失函数。域定位特征图执行自扩散算法，确定区域像素点分割线，得到较为粗糙的分割预测样本纳什均衡，判别器无法区分图像是来自于生成器生成的分割预测样本{If,Lf*}还[0155]级联Cascade模块：用于负责提取分割预测样本的关键像素；在图像分割的过程[0156]Capsule网络模块负责将提取到的关键像素进行处理，并产生误差；具体的，[0158]2、高维特征提取；通过构建PrimaryCaps层，将提取的低级特征作输入到低级特征向量ui作为PrimaryCaps层的输入，与权重矩阵Wij相乘得到预测向量ii,其中：[0170]3、判别器将DigitCaps层输出的高级特征向量V放入解码层中，通过若干全连接[0171]参数优化模块：用于利用Capsule网络模块产生的误差对生成器与判别器的网络[0182]将图像级标注的待分割CSM图像输入训练好的生成对抗网络，通过生成对抗网络[0183]图7是本申请实施例提供的基于生成对抗网络的医学图像分割方法的硬件设备结[0189]步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级[0190]步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样[0192]步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输[0196]步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级[0197]步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级的像素级标注样本，并基于所述像素级标注样本生成所述待分割医学图像的分割预测样[0199]步骤d：将所述生成器生成的分割预测样本和待分割图像的真实标注样本一起输[0202]步骤a：分别采集其他医学图像的像素级标注样本以及待分割医学图像的图像级[0203]步骤b：通过所述其他医学图像的像素级标注样本以及待分割医学图像的图像级的像素级标注样本，并基于所述像素级标注