CN114255289B 用于将磁共振图像转换成伪计算机断层摄影术图像的方法和系统 （通 用电气精准医疗有限责任公司）

FangLiu,HyungseokJang,RichardKijowski,TylerBradshaw,AlanB.McMillan.DeepLearningMRImaginAttenuationCorrectionforPEDinankGupta*,MichelleKim,KarenA.VinebergandJamesM.Balter.GenerationTreatmentPlanningandPRESEARCH.2019,1-8.用于将磁共振图像转换成伪计算机断层摄供了用于将磁共振(MR)图像转换成伪计算机断对于准确密度信息(尤其是在表现出具有高动态范围的骨的稀疏区域中)的益处可以在仅MR工作2其中，使用所述伪CT图像的整个图像回归损失、所述骨掩模的2.根据权利要求1所述的方法，其中使用所述MR图像中包括骨的感兴趣区域的聚焦损5.根据权利要求1所述的方法，其中所述多任务神经网络包括被配置有多个输出层的其中，使用所述伪CT图像的整个图像回归损失、所述骨掩模的7.根据权利要求6所述的磁共振成像MRI系统8.根据权利要求6所述的磁共振成像MRI系统，所9.根据权利要求6所述的磁共振成像MRI系统，所3其中，使用所述伪CT图像的整个图像回归损失、所述骨掩模的11.根据权利要求10所述的非暂态计算机可读介质，其中使用所述MR图像中包括骨的14.根据权利要求10所述的非暂态计算机可读介质，其中所述多任务神经网络包括被配置有多个输出层的U-Net卷积神经网络，其中所述多个输出层中的一个输出层输出所述其中，使用所述伪CT图像的整个图像回归损失、所述骨掩模的4[0002]体内的电子密度信息对于放射治疗计划中的准确剂量计算以及对于在正电子发密度信息(尤其是在表现出高动态范围的骨的稀疏区域中)的益处可以在仅MR工作流中获[0007]图2是示出根据本公开的实施方案的用于使用深度多任务神经网络将MR图像转换[0008]图3是示出根据本公开的实施方案的用于将MR图像转换成伪CT图像的多任务神经[0009]图4是示出根据本公开的实施方案的可在图2的图像处理系统中使用的深度多任[0010]图5是示出根据本公开的实施方案的用于训练深度多任务神经网络以从具有聚焦感兴趣区域准确性的MR图像生成伪CT图像的示例性方法[0011]图6是示出根据本公开的实施方案的用于使用深度多任务神经网络从MR图像生成[0012]图7示出了示出与输入MR图像和地面实况CT图像相比根据不同技术生成的示例性5[0013]图8示出了示出针对多个病例的伪CT和CT图像的软组织和骨区域的归一化柱状图[0014]图9示出了示出多个情况下不同骨密度阈值处的伪CT骨区域的Dice系数的曲线图密度信息对于放射治疗(RT)计划中的准确剂量计算以及对于在正电子发射断层摄影术算和PET/MR衰减校正的密度图。使用MRI替换CT的一种方法可以包括将MR图像映射到对应模型生成pCT图像的方法例如由于骨区域的大动态范围和空间稀疏度而趋于偏向训练来自理系统(诸如图2所描绘的图像处理系统)可包括被配置为生成具有准确骨值分配的pCT图一化。一种用于在训练之后实现此类多任务神经网络的方法(诸如图6所描绘的方法)可以包括从MR图像生成伪CT图像，并且用也由多任务神经网络生成的骨HU图像更新伪CT图像。线圈单元14是表面线圈，其是通常被放置在受检者16的感兴趣的解剖结构附近的局部线6[0018]MRI装置10还包括梯度线圈单元13，该梯度线圈单元在成像空间18中形成梯度磁相位编码方向上施加梯度场，以对来自由RF脉冲激发的切片的磁共振信号进行相位编码。以与MRI装置10断开并且用另一个RF线圈单元替换，RF体线圈单元15固定地附接并连接到RF线圈单元14和/或RF体线圈单元15的特定用途取决于成像应用。[0021]当以接收模式操作时，T/R开关20可以选择性地将RF体线圈单元15电连接到数据7被配置为以仅传输模式或传输-接收模式操作。局部RF线圈单元14的线圈可以被配置为以[0022]RF驱动器单元22包括栅极调制器(未示出)、RF功率放大器(未示出)和RF振荡器[0023]梯度线圈驱动器单元23基于来自控制器单元25的控制信号测器相位将来自RF驱动器单元22的RF振荡器的输出用作参考信号来检测从RF线圈单元14接收并由前置放大器放大的磁共振信号，并将相位检测的模拟磁共振信号输出到模拟/数[0025]MRI装置10包括用于在其上放置受检者16的检查床26。通过基于来自控制器单元在被计算机执行时使装置的各个部分执行与预定扫描对应的操作。记录介质可包括例如还基于从操作控制台单元32接收的操作信号来控制数据处理单元31和显示单元33以获得成像协议和成像序列执行区域的数据被输出到控数据获取单元24输出的磁共振信号施加各种图像处理操作来生成光8或者从存储由医学成像系统生成的图像的存储设备接收图像。医学图像处理系统200可包[0031]图像处理系统202包括处理器204，该处理器被配置为执行存储在非暂态存储器中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的能够远程访问[0032]非暂态存储器206可存储深度多任务神经网络模块208、训练模块210和医学图像务神经网络，该一个或多个深度多任务神经网络包括多个参数(包括权重、偏差、激活函数)，以及用于实现一个或多个深度多任务神经网络以接收MR图像并且将MR图像映射到输208可存储用于实现多任务神经网络(诸如图4所示的CNN架构400的多任务卷积神经网络且还可包括与存储在其中的一个或多个多任务神经网络有关的各种数任务神经网络模块208中的深度神经网络中的一个或多个深度神经网络的指令。训练模块210可包括指令，该指令在由处理器204执行时使图像处理系统202进行在下面详细讨论的于用于每个任务的一个或多个损失函数的复合损失函数；和/或训练例程以用于调整深度练模块210包括用于从医学图像数据212智能地选择训练数据集的指令。在一些实施方案图像来生成训练数据集的指令。在一些实施方案中，训练模块210不设置在图像处理系统[0035]在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组206的一个或多个方面可以包括以云计算配置进行配置的能够远程访问的9[0037]显示设备214可以包括利用几乎任何类型技术的一个或多个显示设备。在一些实[0039]转到图3，示出了用于将MR图像310转换成伪CT或pCT图像330的转换过程300的第该多任务神经网络继而输出对应于输入MR图像310的伪CT图像330、骨掩模340和骨HU图像[0040]因此，多任务神经网络320将MR图像310映射到其对应的与地面实况CT图像(未示，误差e可被视为包括不同类别之间的分类误差和每个类别内的图像值估计误差两者。网络的总体目标是通过最小化地面实况CT图像与pCT图像330之间的误差e来将MR图像310映射并且通过优化多任务神经网络320以同时减少两个误差，可以针对相关任务中的每个相关既不考虑图像中每个类别的区域体积之间的不平衡，也不能够按需聚焦在图像的区域上。MAE可适于通过对与图像的其余部分相比对区域损失进行正向加权来包括空间聚焦的能[0052]是整个图像的体积。在第一类别的体积N-k远小于第二类别的体积Nk'的类别不平的平均绝对误差MAE-k相当于第二类别的平均绝对误差MAEk'。该结果可被视为由第一类别[0058]为了生成骨掩模X骨，多任务神经网络的辅助任务是从图像的其余部分分割骨区[0066]其中损失系数权重w1、w2和w3可根据对应的任务的重要性凭经验选择或通过对每些层之后可以是瓶颈层中的两个卷积-批归一化-ELU操作块。解码器网络可包括具有两个[0069]如本文进一步所述，本文所述的特定于具体实现的参数(诸如滤波器的数量、U-根据本文公开的一种或多种方法产生的训练数据来学习CNN400的参数。CNN400包括U-特征标测图(和/或复制的特征标测图)，其中每个特征标测图可接收来自外部文件或先前[0072]在一些实施方案中，特征标测图的神经元可通过使用学习权重集(每个学习权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出，其中每个所接收的输[0073]由每个特征标测图执行的转换/映射由箭头指示，其中每种类型的箭头对应于不紧接着先前的特征标测图的特征通道的3×3网格的输出被映射到当前特征标测图的单个[0076]向右指向的虚线箭头指示复制和裁剪特征标测图以与另一个以后出现的特征标[0078]除了图例460内的箭头所指示的操作之外，CNN400还包括在图4中用实心填充矩[0079]在输入图像图块402(在本文也称为输入层)处开始，可输入对应于MR图像的数据输出(地面实况输出)的匹配对馈送到CNN40[0080]如紧接着输入图像图块402右侧的实心黑色向右指向的箭头所指示，执行输入图[0081]如紧接着特征标测图404右侧的实心黑色向右指向的箭头所指示，在特征标测图的单个特征设置为如此确定的最大值。另外，特征标测图406被复制并与来自特征标测图448的输出级联以产生特征标测图450，如紧接着特征标测图406右侧的虚线向右指向的箭[0083]如紧接着特征标测图408右侧的实心黑色向右指向的箭头所指示，在特征标测图行2×2最大池化操作以产生特征标测图414，其中特征标测图414是特征标测图412的空间[0085]如紧接着特征标测图414右侧的实心黑色向右指向的箭头所指示，在特征标测图大池化操作以产生特征标测图420，其中特征标测图420是特征标测图419的空间分辨率的[0087]如紧接着特征标测图420右侧的实心黑色向右指向的箭头所指示，在特征标测图大池化操作以产生特征标测图426，其中特征标测图426是特征标测图424的空间分辨率的[0089]如紧接着特征标测图426右侧的实心黑色向右指向的箭头所指示，在特征标测图426上执行3×3卷积以产生特征标测图428。如紧接着特征标测图428右侧的实心黑色向右采样)包括将紧接着先前的特征标测图的单个特征通道中的特征标测图到在当前特征标测图中的四个特征通道之间分布的四个特征(即，来自单个特征通道的输出被当作四个特征通道的输入)。上卷积/解卷积/上采样包括通过去卷积滤波器(在本文也称为去卷积内核)[0091]如紧接着特征标测图432右侧的实心黑色向右指向的箭头所指示，在特征标测图[0092]如图4所指示，在特征标测图434上执行3×3卷积以产生特征标测图436并且在特征标测图436上执行2×2上卷积以产生特征标测图438的一半，而来自特征标测图418的复图442上执行2×2上卷积以产生特征标测图444的第一半部，同时使用来自特征标测图412图406的复制的特征以产生特征标测图450的第二半部。在特征标测图450上执行3×3卷积[0093]如由远离输出层456指向的多个箭头所描绘，可通过执行具有不同激活函数的二对应于包括在骨区域内的HU值并且在骨区[0095]以这种方式，多任务CNN400可使MR图像能够映射到多个输出。图4中所示的CNN值。可将多任务CNN400的基于用于每个任务的损失函数的复合差值/损失反投影8到CNN400以更新卷积层的权重(和偏差)。可使用包括MR图像和对应的地面实况输出的多个训练层可散布在图4所示的层/特征标测图之间，或者可替换所示层/特征标测图中的一者或多[0099]图5是示出根据本公开的实施方案的用于训练深度多任务神经网络(诸如图4所示的CNN400)以从具有聚焦感兴趣区域准确性的MR图像生成伪CT图像的示例性方法500的高实况骨掩模可以包括包含骨的地面实况CT图像的片段。地面实况骨掩模因此包括图像掩HU值图或地面实况骨HU图像包括骨片段内出对应于MR图像，使得可以在多个任务上训练本文所述的多任务神经网络，该多个任务包括生成对应于MR图像的伪CT图像，生成指示伪CT图像内的骨的位置的骨掩模，以及生成指示伪CT图像内的骨HU值的骨HU图像。训练数据集和包括该训练数据集的多个训练数据集可由于多任务神经网络的第一任务是对应于不同类别的整个CT值(HU)范围的整个图像回归，过计算由多任务神经网络输出的骨HU图像与地面实况骨HU图像之间的差值来计算第三损[0115]其中损失系数权重w1、w2和w3可基于对应任务的重要性或通过对每个任务的不确[0116]在540处，方法500基于在535处计算的复合损失来调整多任务神经网络的权重和或偏差确定(或近似)的梯度乘积的负数与预定步长大小相加来更新每个权重和偏差。然[0117]以这种方式，方法500使得多任务神经网络能够被训练以在具有不同电子密度的6是示出根据本公开的实施方案的用于使用深度多任务神经网络从MR图像生成伪CT图像的MRI装置10)并且被配置为从成像系统接收MR图像，方法600可以通过从成像系统检索或接由图片归档和通信系统(PACS))来获练的多任务神经网络包括被配置有多个输出层的U-Net二维卷积神经网络架构，诸如上文参照图4所述的CNN400，其具有根据上文参照图5所述的训练方法500训练的自动编码器-[0121]因此，在615处，方法600从经训练的多任务神经网络接收对应于MR图像的pCT图[0123]图7示出了示出与输入MR图像705和地面实况CT图像710相比根据不同技术生成的像通过使用适于在单对比度MRI中捕获骨信息的ZTE协议在MR扫描期间控制MR装置来获取。地面实况CT图像710包括通过控制CT成像系统以执行患者的CT扫描而获取的患者的CT图相互信息和互相关量度的组合最小化来执行配准。可以具体地针对MR-CT图像训练对来执行此类配准，以进一步改善由本文所述的多任务神经网络执行的来自MR图像的pCT图像回[0125]如上文所提及的，该组图像700还包括根据不同技术生成的示例性伪CT图像。例如，第一伪CT图像720包括使用多任务神经网络从输入MR图像705生成的多任务伪CT图像742描绘了地面实况CT图像710与标在整个骨区域中(诸如在颅骨的枕骨区域中)的更广[0129]作为本文提供的多任务神经网络与标准单任务神经网络的使用之间的定性差异的另一个例示性示例，图8示出了示出针对多个病例的伪CT和CT图像的软组织和骨区域的[0130]每个曲线图示出了经由上文所述的各种技术(包括本文所述的多任务神经网络、单任务神经网络和标准DenseNet神经网络)获取的地面实况CT图像以及伪CT图像的归一化[0131