CN115334976B 计算机程序、信息处理方法、信息处理装置以及模型生成方法 （泰尔茂株式会社）

2022.09.26PCT/JP2021/0093432021.03.09WO2021/199968JA2021.10.07MaysaM.G.Macedoetal.Abifurcation本发明的计算机程序用于使计算机执行如基于传感器一边沿着管腔器官的长边方向移动2通过插入管腔器官的导管获得多个医用图像，该管腔器官具有主通过将获得的医用图像输入至识别主干截面、侧枝截面以及分支部截面的学习模型，通过所述学习模型，输出将所述主干截面、所述侧枝截面以及所述根据基于第1医用图像得到的识别结果来辨别构成所述分支部截面的主干部分以及侧根据基于多个第1医用图像得到的识别结果来特定主干和侧枝基于特定出的分支构造来特定所述分支部截面中包含的主干部分以及所述学习模型对形成于所述分支部的斑块进行识别；基于所述分支构造来特定所述分支部截面中包含的5.根据权利要求2至4中任一项所述的计算机根据基于多个第1医用图像得到的识别结果来特定主干和侧枝的分支构造，并计算侧6.根据权利要求2至5中任一项所述的计算机程序，根据基于多个第1医用图像得到的识别结果来特定主干以及侧枝的分支构造，并生成7.根据权利要求1至6中任一项所述的计算机使表示主干部分或侧枝部分的图像与包括分支部截8.根据权利要求1至7中任一项所述的计算机程序，通过插入管腔器官的导管获得多个医用图像，该管腔器官具有主通过将获得的医用图像输入至识别主干截面、侧枝截面以及分支部截面的学习模型，3通过所述学习模型，输出将所述主干截面、所述侧枝截面以及所述通过所述学习模型，输出将所述主干截面、所述侧枝截面以及所述生成相对于多个医用图像附加有表示其为管腔截面的数据的训像是通过插入具有主干、从该主干分岔的侧枝和主干以及侧枝的分支部的管腔器官的导并基于生成的所述训练数据来生成当输入有医用图像的情况下通过所述学习模型，输出将所述主干截面、所述侧枝截面以及所述4个医用图像是基于传感器一边沿着管腔器官的长边方向移动一边检测到的信号而生成的；多个医用图像是基于传感器一边沿着管腔器官的长边方向移动一边检测到的信号而生成5于通过血管内超声波(IVUS:IntraVascularUltraSound)法生成包括血管(管腔器官)的6[0036]MDU2是供导管1能够拆装地安装的驱动装置，根据医疗从业者的操作来驱动内置[0037]图像处理装置3基于从导管1的超声波探头输出的反射波数据而生成包括血管的断层图像的按时序排列的多个医用图像(参照图3)。超声波探头在血管内一边从顶端(远从远位至近位的范围内的多个部位观测到的血管[0039]输入装置5是受理进行检查时的各种设定值的输入、图像处理装置3的操作等的、[0041]控制部31是使用一个或多个CPU(CentralProcessingUnit)、MPU(Micro_ProcessingUnit)、GPU(GraphicsProcessingUnit)、GPGPU(General_purpose[0042]主储存部32是SRAM(StaticRandomAccessMemory)、DRAM(DynamicRandom过对使用了语义分割(SemanticSegmentP可以在图像处理装置3的制造阶段被写入辅助储存部34，也可以由图像处理装置3通过通信获得从远程服务器装置配送的程序并将其储存至辅助储存部34。计算机程序P的样式可7侧枝B的内腔边界的方式显示对主干A以及侧枝B的位置以及区域进行表示的引导图像G1、[0048]图3是表示使用了学习模型341的图像识别方法的说明图。学习模型341以能够将neuralnetwork)。学习模型341通过使用所谓的语义分割(SemanticSegmentation)的图[0050]学习模型341具有医用图像所输入的输入层341a、将图像的特征量提取并恢复的[0051]学习模型341的输入层341a具有受理医用图像中所含的各像素的像素值的输入的[0052]学习模型341能够通过准备训练数据、并使用该训练数据使未学习的神经网络进内腔边界的像素以及中心位置的标签图像、包括完全分离开的主干A以及侧枝B的医用图包含主干A以及侧枝B的分支部的医用图像输入学习模型341，能够获得将分支部的区域由8[0056]本实施方式1的图像处理装置3执行如下处理：识别这样的分支部的主干A以及侧[0059]控制部31选择远位部中的多个医用图像(步骤S12)。控制部31至少选择包括完全S14)。由步骤S12选择出的两张图像的拍摄时间的时间差对应于主干A的长边方向的长度。的部位的长度。图8中从两个医用图像中所含的主干A的中心通过的直线(虚线)表示主干A到的主干A的中心坐标为(x2,y2)的情况下，扫描时点tN＝t+NΔt拍摄的分支部中的主干A[0065]在扫描时点t1拍摄到的主干A的直径为r1，且扫描时点t2＝t+Δt拍摄到的主干A的直径为r2的情况下，扫描时点tN＝t+NΔt拍摄的分支部中的主干A的中心坐标rN由如下以及直径进行的线性插值来推测分支部中的血管的中心位置以及直径的例子，但也可以[0070]控制部31将表示主干A的内腔边界的直线与表示侧枝B的内腔边界的直线相交的9和侧枝B的内腔边界的区域被识别作为如局中的处于由分支部构造的信息得到的主干A的椭圆线附近的区域识别作为主干A的内腔边[0073]同样地，控制部31能够将由步骤S16检测的内腔边界中的处于由分支部构造的信[0077]另外，控制部31使与医用图像中的侧枝B的内腔边界的区域对应的引导图像G2重基于医疗从业者进行的主干A以及侧枝B的内腔边界的以及作用效果与实施方式1同样，由此，在对应的地方标注同样的附图标记并省略详细说[0087]实施方式2的学习模型341是对例如医用图像中所含的血管的内腔边界以及斑块[0091]同样地，控制部31基于由步骤S34特定的分支构造来计算侧枝B的内腔的截面直主干A的中心线与侧枝B的中心线相交的角度θ,使用角度θ将斜断层图像转换为轴向图像，成于血管壁的斑块进行表示的引导图像，能够支援基于医疗从业者进行的斑块部分的识[0100]图12是表示图像诊断系统的构成例的说明图。实施方式3的图像诊断系统的不同[0104]图14是表示学习模型641的生成方法的流程图。控制部61收集包括主干截面的多干截面的医用图像的标签图像是与主干A的内腔边界以及斑块的像素一同表示斑块的像素的图像。包括形成有斑块的主干截面以及侧枝截面的医用图像的标签图像是与主干A以及侧枝B的内腔边界以及斑块的像素一同表示斑块的像素的图像。包括形成有斑块的分支部截面的医用图像的标签图像是与主干A以及侧枝B的分支部的内腔边界以及斑块的像素一主干A以及侧枝B的分支部的医用图像输入学习模型641，能够获得将分支部的内腔边界的[0110]这样构成的信息处理装置6经由网络N从图像处理装置3获得医用图像，基于获得