CN119404226A 处理3d图像的系统和方法、以及渲染3d图像的方法 （云合科技有限公司）

2024.12.19PCT/CN2022/1005012022.06.22WO2023/245505EN2023.12.28个所述二维源图像表示沿三维空间中的轴在不理中的所述至少一个原始图像集中提取的3D网2通过对预处理中的所述至少一个原始图像集中提取的3D网格点进行集其中，所述三维图像可由第一图像查看器读取，所述第一图像基于在所述对应位置处捕捉的所述医学诊断扫描图像再现的所述截面的二维视图的所述像集中的两个相邻二维源图像之间的位置处获取的所述三维3转、平移所述三维图像和/或沿所述轴移动用于分割所述三维图像的截面平面中的至少一2D图像预处理模块，其用于预处理至少一个原3D模型构建引擎，其用于通过对预处理中的所其中，所述三维图像可由第一图像查看器读取，所述第一图像像集中的每一者包含通过计算机断层扫描(CT)、磁共振成像(MRI)、正电子发射断层扫描(PET)和X射线成像中的选定的一种获得用于呈现嵌入基于在所述对应位置处捕捉的所述医学诊断扫描图像再现的所述截面的二视图基本上等于由所述第二图像查看器读取的所述对应的医学45正被操作的实际对象/目标一致，可能需要对从使用各种医学成像系统获得的医学诊断扫使用AR或MR之前准备必要模型所需的时间所述医学诊断扫描图像再现的所述截面的二维视图的所述三维对象的截6所述轴移动用于分割所述三维图像的截面平面中的所述第一图像查看器用于渲染所述三维图像并便于操作共振成像(MRI)、正电子发射断层扫描(PET)和X射线成像中选定的一种获得的多个医学诊7所述医学诊断扫描图像再现的所述截面的二维视图的所述三维对象的截映射所述多个二维源图像和所述三维对象中的所述对应[0038]根据第三方面，所述预处理模块还用于在识别和分割所执行图像优化处理以优化所述至少一个原始[0043]图1为根据本公开实施例的计算机服务器的示意图，该计算机服务器用于实现为[0046]图4A到4D示出了由图3的图像处理流水线执行的选定数量的处理步骤中的示例操[0047]图5示出了在由图2的图像处理流水线中的2D图像预处理模块执行的去噪和平滑像预处理模块生成的插值切片之前和之后的处理模块执行的缩放/调整大小处理之前和之后的人体的一部[0050]图8A和8B示出了在由图2的图像处理流水线中的2D图像预处理模块执行的去噪和8[0051]图9A至9C示出了在图2的图像处理流水线中由使用图9B中隐蔽的2D图像预处理模[0052]图10A至10B示出了医学诊断扫描图像，其示出了在由图2的图像处理流水线中的2D图像预处理模块执行的骨边缘增强处理之[0054]图12示出了由图2的图像处理流水线中的2D图像预处理模块执行的CT/MRI图像映[0055]图13为示出了佩戴根据本公开实施例的头戴式显示器的用户的第一人称视图的[0056]图14为示出了外科手术中佩戴根据本公开实施例的头戴式显示器的用户的第一[0057]图15为示出了在外科手术中佩戴根据本公开实施例的头戴式显示器的用户的第维图像可由第一图像查看器读取，第一图像查看器用于渲染三维图像并便于操作三维图[0060]该系统可以用于处理医学图像以生成3D图像(为了本文的目的，术语3D图像包括9元(MathCo_processingUnit，MathProcessor)、图形处理单元(GraphicsProcessingUnit，GPU)或用于张量或多维阵列计算或操作操作的张量处理单元(TensorProcessing[0062]服务器100可包括诸如磁盘驱动器108等存储设备，磁盘驱动器108可包括固态驱器上或服务器100的ROM中的适当操作3D图像或模型204，3D图像或模型204可以由外科医生或医务人员使用第一图像查看器(例了观察原始2D医学诊断扫描图像的可能性，如同2D扫描图像或原始图像202通过使用第二发射断层扫描(PET)或X射线成像获得的其它类型的医学诊断扫描图像可用作输入。例如，图像可以呈现给外科医生和/或其他观察者，而不需要使用单独的DICOM查看器来读取2D诊断扫描图像可以被称为DICOM系统，DICOM系统包括一组或多组CT/MRI/PET/X射线扫描，一组或多组CT/MRI/PET/X射线扫描可以由医学从业者使用DICOM查看器(第二图像查看器)哪一组图像用于进一步处理。DICOM是用于在相同软件平台中读取和处理不同图像模态的标准格式，DICOM系统可以为DICOM模态工作表(DICOMModalityWorklist)提供稳健的基[0073]一旦提供了RAW图像202，2D图像预处理模块206就可以执行图像优化处理以优化增补图像表示在沿轴捕捉的相应原始图像集中的两个相邻二维源图像之间的位置处获取表示在两个相邻扫描602和604之间的位置处的截面图像的插值切片606，即，在沿着轴的[0081]可选地或另外地，预处理模块206还可以对输入的RAW图像202进行重新采样或重从而在构建的3D模型204中实现更高的分904的隐蔽900提供到图像处理流水线，例如通过接收手动输入210(绘制定制隐蔽)以便可以参考基于手动输入210生成的第一隐蔽来自动生成用于排除或消除同一组原始图像中[0084]为了进一步改善基于目标对象或分量形状生成的三维网格点2不同特征或组件的边缘有助于该过程识别和分割单个图像或一组表示患者不同位置截面AI的图像融合滤波器也可以应用于该分割步骤3以通过对从如上所述由2D图像处理模块206预处理的原始图像202中提取的所生成的3D网起而生成的3D图像的表面和边缘，使得这些边缘或表面在被临床医生观察和/或操作时可[0091]如前所述，可以提供多组医学诊断扫描图像作为用于3D不同扫描中的各个分段的位置/体积可能不同，因此可能在图像表示中引入一些移位或偏积手动映射CT体积执行映射过程，以便对准与同一3D模型相关的CT和MRI(和/或其它源图[0093]优选地，安装在HMD中的图像查看器可以用基于在相应位置捕获的医学诊断扫描[0096]参看图13，展示经布置以显示或渲染由先前描述的图像处理流水线200构建的三移所述三维图像和/或沿所述轴移动用于分割所述三维图像的截面平面中的至少一个。例图像204并同时操作3D图像204来显示从至少一个原始图像集中选择的一个或多个二维源图像202)来构建3D图像204，然后图像处理流水线200自动处理所有源2D图像202并创建与相关联的截面扫描202/202A集成(或嵌入)的丰富的外科医生或医务人员习惯于使用传统的DICOM查看器查看2D截面扫描图像，因此同时显示匹配的2D源图像和3D截面视图可能会受到一些从业人员的青睐。通过提供2D/3D图[0106]本领域的技术人员将理解，在不脱离如广泛描述的本公开的精神或范围的情况