CN112822973B 医学图像处理装置、医学图像处理方法和程序 （佳能株式会社）

2021.04.09PCT/JP2019/0236572019.06.14WO2020/075345JA2020.04.16US2018153395A1,2018.06.07US2018122077A1,2018.05.03Sheet,D;Karri,SPK等.DEEPLEARNINGREPRESENTATIONSINOPT序一图像是与被检眼的三维运动对比度数据的至器学习引擎的图像质量改善引擎从第一图像生2获得单元，其被构造为获得第一图像，该第一图像是与被检眼分深度范围相对应的运动对比度en-face图像，根据来自检查者的指令来确定所述至少部生成单元，其被构造为使用第一图像作为输入到图像对比度en-face图像，所述第四图像与所述第三图像相比具有更低噪声和更高对比度中的其中，所述医学图像处理装置被构造为能够将与彼此不同的所括通过对被检眼的多个运动对比度数据进行平均处理括通过具有比用于对第三图像进行OCTA摄像的OCT摄像装置高的性能的OCT摄像装置进行生成单元通过将第一图像划分为多个二维图像并将该多个二维图像输入到图像质量改善引擎中并整合来自图像质量改善引擎的多个输出图像来生成与第一图像相比具有更生成单元将第一图像划分为具有与图像对的图像尺寸相对应的图像尺寸的多个二维括通过将图案彼此不同的噪声添加到图像来获得3括通过将图案彼此不同的噪声添加到通过对被检眼的多个运动对比度数据进行平均处理广角图像生成单元，其被构造为使用从多个第一图像获得的获得单元获得与包括不同深度范围的长深度范围的部分深度范围相对应的运动对比度en-face图像作为被输入到图像质量改善确定单元，其被构造为确定生成单元是否能够使用生成单元包括已经通过使用彼此不同的训练且所述多个图像质量改善引擎中的各图像质量改善引擎已经针对摄像部位生成单元使用与第一图像的摄像部位、摄像视角和图像分图像质量改善引擎来生成与第一图像相比具有更低噪声和更高对比度中的至少一项的第生成单元包括已经通过使用彼此不同的训练且生成单元使用第一图像作为输入到所述多个图像质量改善引生成单元包括已经通过使用彼此不同的训练且生成单元使用第一图像作为输入到所述多个图像质量所述医学图像处理装置根据检查者的指令，输出所述多个第二图像中的至少一个图4评估单元，其被构造为使用第二图像作为输入到已经通过使用训练生成单元包括已经通过使用彼此不同的训练数据而获得的多个图生成单元使用第一图像作为输入到所述多个图像质量改善引擎的输入数据来生成与所述医学图像处理装置根据评估单元获得的评估结果输出所述多个第二图像中的至显示控制单元，其被构造为使第二图像中的与血管有关的分是通过图像质量改善引擎生成的图像的信息显获得单元从OCT摄像装置获得被检眼的三维运动对比度数据，并通过针对三维运动对比度数据，使用在被检眼的深度方向上的至少部分范围的数据来生成运动对比度en-face根据权利要求1所述的医学图像处理装置，其可通信地连接到所述光学相干断层扫描获得第一图像，该第一图像是与被检眼的深度范围中的至少使用第一图像作为输入到图像质量改善引擎中的输入数据来生成与第一图像相比具图像是与被检眼的深度范围中的多个部分深度范围相对应的多个运动对比度en-face图其中，使用被构造为能够将与彼此不同的所述多个部分深权利要求21所述的医学图像处理方法的各个56图像是与被检眼的三维运动对比度数据的至少部分深度范围相对应的运动对比度正面图[0017]根据下面参照附图对示例性实施例的描述，本发明的进一步特征将变得显而易[0020][图3]图3是示出与图像的真实性(authenticity)评估处理有关的神经网络的构7[0041][图21A]图21A是示出根据第十三实施例的图像质量改善处理的流程的示例的流[0042][图21B]图21B是示出根据第十三实施例的图像质量改善处理的流程的不同示例[0053][图30]图30是示出根据第二十二实施例的图像处理装置的示意性构造的示例的[0064][图35]图35是示出根据第二十五实施例的图像处理装置的示意性构造的示例的[0065][图36A]图36A是示出根据变型6的用作机器学习引擎的神经网络的构造的示例的[0066][图36B]图36B是示出根据变型6的用作机器学习引擎的神经网络的构造的示例的[0067][图37A]图37A是示出根据变型6的用作机器学习引擎的神经网络的构造的示例的[0068][图37B]图37B是示出根据变型7的用作机器学习引擎的神经网络的构造的示例的8[0075]要由根据下文描述的实施例的医学图像处理装置或医学图像处理方法处理的医位的图像包括被摄体的预定部位的至少一部分。医学图像还可包括被摄体的另一个部位。于通过OCT获得的数据(三维OCT数据)的在摄像目标的深度方向上的至少部分范围的数据运动对比度数据)的在摄像目标的深度方向上的至少部分范围的数据而生成的OCTA面内图[0079]请注意，可以包括时域OCT(TD-OCT)装置和傅立叶域OCT(FD-OCT)装置作为OCT装9置的示例。此外，傅里叶域OCT装置的示例可以包括频谱域OCT(SD-OCT)装置和扫频源OCT可视化与偏振相位差或去偏振有关的信息的偏振敏感SLO(PS-OCT)装置和偏振敏感OCT(PS-OCT)装置等分别作为SLO装置或OCT装置的示例应的摄像条件数据，或者访问用于从与该摄像装置相关联的数据库中获得摄像条件的接像条件。这种情况的示例包括摄像装置不具有用于获得和存储特定摄像条件的功能的情习数据)进行训练(学习)的模型。训练数据由输入数据和输出数据(正确答案数据)所构成得的具有大量噪声的低质量图像以及通过多次进行OCT摄像和进行图像质量改善处理而获型输出在相关图像中摄像的摄像部位的摄像部位标签，或者输出每个摄像部位标签的概练数据训练的机器学习模型时，机器学习模型输出与通过OCT进行多次摄像并进行图像质基于训练数据将参数组和训练时期数设置为对于机器学习模型的利用形式优选的值。例该组值是通过损失函数对当在各配对中包括的输入数据输入到正在训练的机器学习模型入的低质量图像的图像质量而获得的高质量图像的模块。这里，如本说明书中使用的术语“低质量图像”是指通过在没有设置任何特定设置以获得高图像质量的情况下进行摄像而过作为短时摄像的OCT摄像而获得的图像以及通过进行少量次数的摄像而获得的OCTA图像相对应的高质量图像的数据库的匹配处理以及基于知[0094]特别地，图1中所示的构造可用作改善二维图像的图像质量的CNN的构造的示提到的，可以通过使用与机器学习模型的利用形式相对应的训练数据来设置更好的参数像质量改善引擎(输入到图像质量改善引擎的图像和从图像质量改善引擎输出的图像需要用于训练机器学习模型的训练数据中所使用的图像或要输入至图像质量改善引擎的图在图像处理技术中使用的图像滤波器大小的参数与输入图像一起输入到图像质量改善引细级别的各摄像部位标签或摄像区域标签，可以输出成为相关摄像部位或摄像区域的概装置无法获取和存储摄像部位或摄像区域。还存在如下情况：即使存储了摄像部位或摄像[0103]特别地，图2中所示的构造可用作估计二维图像的摄像位置的CNN的构造的示softmax函数将关于输入图像Im210的各假定摄像部位标签的概率输出为估计结果用图像噪声测量算法的处理和利用与相似图像或眼底图像相对应的图像质量评估指标的[0106]例如，可以通过使用机器学习算法建立的机器学习模型来获得图像质量评估指指标组由进行图像诊断的检查者针对输入数据的各图像[0108]例如，可以通过使用机器学习算法建立的机器学习模型来实现真实性评估处首先，将描述用于机器学习模型的训练数据。训练数据包括由预先根据各种摄像条件摄像的高质量图像组和指示相关图像是通过由目标摄像装置进行摄像而获得的标签(以下称为质量改善引擎(第一级图像质量改善引擎)中而生成的高质量图像组和指示相关图像不是图像质量改善引擎生成的高质量图像被输入到使用这种训练数据训练的机器学习模型时，机器学习模型输出伪标签。利用S(sigmoid)函数输出表示真实标签的值1(真)或表示伪标签的值0(假)作为针对输入图像Im310的真实性评估处理的结果(Re的图像质量改善引擎(第二级图像质量改善引擎)生成的高质量图像被输入到真实性评估[0115]图像处理装置400通过电路或网络连接到摄像装置10和显示单元20。摄像装置10[0117]摄像条件获得单元402获得获得单元401获得的医学图像(输入图像)的摄像条[0118]图像质量改善可能性确定单元403使用由摄像条件获得单元402获得的摄像条件例如是通过对多次进行摄像而获得的图像(源图像)组进行诸如加法平均的叠加处理而获过对摄像目标的同一位置重复进行摄像并在摄像期间检测摄像目标的时间变化而获得的。像目标的深度方向上的期望范围的数据生成正面图像来生成OCTA面内图像(运动对比度正[0123]第一种方法涉及由通过对摄像目标的同一位置重复摄像而获得的OCT数据生成的运动对比度数据，并且将使用图28A以高质量图像为例进行描述。在图28A中，附图标记维运动对比度数据。此外，附图标记Im2811-1至Im2811-3表示用于生成运动对比度数据Im2811的OCT断层扫描图像(B扫描)。这里，术语“NOR”是指针对图28A中的Im2811-1至像变形处理的目标图像而不是参考图像作为低质量图像。通过采用源图像组的各图像(参在主扫描(X)方向上对同一位置重复进行摄像并且在使摄像位置在副扫描(Y)方向上移动[0124]第二方法涉及通过对摄像目标的同一区域进行多次摄像而获得的运动对比度数示出了多个三维运动对比度数据的示例。与以上使用图28A描述的示例类似，附图标记了生成运动对比度数据而获得OCT数据，因此可以使用OCT数据以相同的方式进行前述方外层(Im2930)和脉络膜血管网络(Im2940)的在不同深度范围内生成的OCTA面内图像作为学习所有深度范围的OCTA正面图像来进行学习。在也由OCT数据生成的亮度面内图像的情数据来获得，该学习数据包括与被检眼的不同深度范围相对应的多个运动对比度正面图分深度范围可以响应于检查者按下用户界面等上的任意按钮来设置，或者可以自动设置。扫描图像或断层扫描图像的OCT断层扫描图像来进行学习。现在将使用图29B对此进行描因在于它们在副扫描(Y)方向上的各个位置不同的位置处示出断层扫描图像。断层扫描图像质量改善引擎构造为不使用图像质量改善引擎自身输出的高质量图像作获得的医学图像的情况下，图像质量改善单元404可以通过叠加处理输出对比度提高或噪装置400可以获得基于相关数据生成的图像作为输入图像。在这种情况下，图像处理装置400可以采用任何现有的图像生成方法作为用于生成各种图像输入图像的数据格式，摄像条件获得单元402获得存储在构成输入图像的数据结构中的摄元402可以从摄像装置10或附图中未示出的图像管理系统获得包括摄像条件组的摄像信息[0139]在步骤S530中，图像质量改善可能性确定单元403使用获得的摄像条件组来确定是否可以通过图像质量改善单元404包括的图像质量改善引擎来改善输入图像的图像质角和图像尺寸是否与可以由图像质量改善引擎[0140]图像质量改善可能性确定单元403对所有摄像条件进行确定，并且如果图像质量另一方面，如果图像质量改善可能性确定单元403基于这些摄像条件确定图像质量改善引[0142]在步骤S540中，图像质量改善单元404使用图像质量改善引擎来改善输入图像的404将输入图像输入到图像质量改善引擎，以使图像质量改善引擎生成已经经过图像质量改善的高质量图像。图像质量改善引擎基于使用训练数据进行机器学习的机器学习模型，改善单元404使用包括机器学习引擎的图像质量改善引擎来由输入图像生成相对于输入图[0146]通过该构造，根据本实施例的图像处理装置400可以根据输入图像输出降低了噪加对被摄体的侵入性(invasiveness)或进行摄像的人的劳动的同时，图像处理装置400可确定是否可以使用图像质量改善引擎来生成高质量图像。图像质量改善可能性确定单元[0148]通过该构造，根据本实施例的图像处理装置400可以从图像质量改善处理中省略[0150]在本实施例中，图像质量改善可能性确定单元403确定输入图像是否是可以通过应于检查者按下显示单元20的用户界面上的任意按钮，输出单元405可以在显示单元20上显示高质量图像。在这种情况下，输出单元405可以从显示输入图像切换到显示高质量图图像是通过使用了机器学习算法的处理生成的高质量图像的显示与高质量图像一起显示。分输入图像和由相关处理生成的高质量图像的单元405可以使指示当机器学习算法进行学习时机器学习算法使用哪种训练数据的显示显示在显示单元20上。讨论的显示可以包括对训练数据的输入数据和输出数据的种类的描[0154]尽管在根据本实施例的图像质量改善引擎中将叠加图像用作训练数据的输出数述的处理组的处理和稍后描述的摄像方法中的至少一项而获得的高质量图像可以用作训[0155]例如，通过对源图像组进行最大后验处理(MAP估计处理)而获得的高质量图像可密度来获得似然函数，并且使用所获得的似然函数来估计真实信号值(truesignal[0156]通过MAP估计处理获得的高质量图像是基于接近真实信号值的像素值的高对比度用相邻的低亮度像素值的平均值代替仅是一个像素的显然是出现在低亮度区域中的噪声用于输入图像的OCTA摄像的OCT摄像装置具有更高性能的OCT摄像装置进行的OCTA摄像获于在检查者已经确定了由图像质量改善可能性确定单元403确定的结果是否正确之后进行出单元405使输入图像或针对输入图像获得的诸如摄像部位的摄像条件显示在显示单元20构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施[0166]根据本实施例的图像质量改善单元404包括使用彼此不同的训练数据进行机器学应的第一图像质量改善引擎和与使用第二训练数据训练的机器学习模型相对应的第二图[0168]因为使用不同的训练数据来训练与这些图像质量改善引擎中的各图像质量改善以改善输入到图像质量改善引擎中的输入图像的图像质量的程度会根据输入图像的摄像图像质量改善可能性确定单元403使用在步骤S720中获得的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎组中的任何一个是[0172]如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中没有一个能[0173]在步骤S740中，图像质量改善单元404基于在步骤S720中获得的输入图像的摄像[0174]在步骤S750中，图像质量改善单元404使用在步骤S740中选择的图像质量改善引[0175]如上所述，根据本实施例的图像质量改善单元404包括使用彼此不同的学习数据正面图像以及图像分辨率中的至少一项摄像条件，图像质量改善单元404使用图像质量改[0177]尽管在本实施例中，图像质量改善单元404基于输入图像的摄像条件来选择要用示单元20的用户界面上，并且图像质量改善单元404可以根据来自检查者的指令选择要用质量改善引擎进行学习的训练数据有关的信息与图像质量改善引擎组一起显示在显示单善单元404可以根据来自检查者的指令确定是否最终选择相关图像质量改善引擎作为要用善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量图像。换句话说，可以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获构造与根据第一和第二实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一和第二实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0183]根据本实施例的摄像条件获得单元402包括摄像位置估计引擎，该摄像位置估计引擎用于估计在获得单元401获得的输入图像中呈现的摄像部位或摄像区域。根据本实施区域标签的种类可以是至少部分地包括在输入数据中的相关摄像部位或摄像区域。例如，像部位或摄像区域的概率的情况下，摄像条件获得单元402获得具有最高概率的摄像部位得单元402获得在步骤S710中获得的获得单元402将输入图像输入至摄像位置估计引擎，以估计对哪个摄像部位进行摄像以获像条件获得单元402可以从摄像装置10或图像管理系统(未示出)获得包括摄像条件组的摄[0191]如上所述，根据本实施例的摄像条件获得单元402用作估计输入图像的摄像部位[0192]因此，根据本实施例的图像处理装置400可以基于输入图像获得关于输入图像的息的情况下，摄像条件获得单元402使用摄像位置估算引擎进行关于输入图像的摄像部位足以作为所需的详细级别的信息的情况下，摄像条件获得单元402也可以使用摄像位置估像条件获得单元402都可以使用摄像位置估计引擎来估计输入图像的摄像部位或摄像区得单元402可以根据检查者的指令进行关于这些摄像使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0199]根据本实施例的图像质量改善单元404包括与根据第一实施例的图像质量改善引[0200]现在将参照图8描述根据本实施例的图像质量改善引擎的例如，让我们考虑以下情况：存在小于针对训练数据设置的一定图像尺寸的低质量图像以使其成为针对训练数据设置的一定图像尺寸。然后将放大的低质量图像Im811和放大的具有特定摄像条件的图像(输入图像)，并且相关的特定摄像条件是预先确定的摄像部位、[0202]根据本实施例的图像质量改善单元404通过使用利用这样的训练数据进行学习的404通过放大或缩小输入图像以使其变为针对训练数据设置的一定图像尺寸来生成变换图来自图像质量改善引擎的输出图像以使其成为输入图像的图像尺寸，来生成高质量图像。的图像质量改善单元404也可以通过由图像质量改善引擎改善输入图像的图像质量来生成骤S550中的处理与第一实施例中的这些步骤中的处理相同，因此在此省略对该处理的描的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎是否能够处理输入图[0205]图像质量改善可能性确定单元403进行关于摄像部位、摄像系统和摄像视角的确能性确定单元403基于这些摄像条件确定图像质量改善引擎不能处理输入图像的情况下，摄像系统和摄像视角中的一个或更多个条件确定输入图像不能被处理，也可以进行步骤[0209]如上所述，根据本实施例的图像质量改善单元404将输入图像的图像尺寸调整为擎中。图像质量改善单元404通过将来自图像质量改善引擎的输出图像的图像尺寸调整为用图像质量改善引擎来改善具有根据第一实施例无法处理的图像尺寸的输入图像的图像使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施[0214]根据本实施例的图像质量改善单元404包括与第一实施例相似的图像质量改善引[0215]现在将参照图10描述根据本实施例的图像质量改善引擎的训练数据。如图10所处理对象的图像(输入图像)可以变为使得图像的分辨率变为一定分辨率的最大图像尺寸。[0218]根据本实施例的图像质量改善单元404通过使用利用这样的训练数据进行学习的404通过放大或缩小输入图像以成为针对训练数据设置的一定分辨率来生成变换图像。此此后，图像质量改善单元404将生成的具有高图像质量的变换图像缩小或放大至输入图像本实施例的图像质量改善单元404也可以通过由图像质量改善引擎改善输入图像的图像质的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎是否能够处理输入图[0223]图像质量改善可能性确定单元403进行关于摄像部位、摄像系统和摄像视角的确能性确定单元403基于这些摄像条件确定图像质量改善引擎不能处理输入图像的情况下，[0224]当处理进入步骤S540时，开始图11中所示的根据本实施例的图像质量改善处仅修整与在步骤S1120中进行填充的区域相对应的区域，从而生成具有高图像质量的变换或放大至输入图像的图像尺寸，以生成高质量图像。当在步骤S1130中图像质量改善单元单元404生成经过填充的填充图像，使得调整后的图像尺寸变为图像质量改善引擎能够处来自图像质量改善引擎的输出图像进行修整，以仅修整与进行填充的区域相对应的区域。然后，图像质量改善单元404将进行了修整的图像的图像尺寸调整为输入图像的原始图像施例的图像质量改善单元404也可以通过图像质量改善引擎来改善输入图像的图像质量，使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施[0235]根据本实施例的图像质量改善单元404包括与第一实施例相似的图像质量改善引数据的配对组由在低质量图像和高质量图像中的位置关系相对应的一定图像尺寸的矩形[0236]现在将参照图12描述根据本实施例的图像质量改善引擎的训练数据。如图12所[0237]相比之下，在本实施例中，源图像Im1210中的矩形区域图像R1211被用作输入数据，并且作为叠加图像Im1220中的与矩形区域图像R1211相同的摄像区域的矩形区域图像[0238]与矩形区域图像R1211和R1221有关的一定图像尺寸可以例如基于与假定为处理被用作输入数据，并且作为叠加图像Im1220中的与矩形区域图像R1212相同的摄像区域的域图像与从高质量图像创建的矩形区域图像之间的平均亮度或亮度分布存在较大差异的呈现的摄像目标的结构或位置在从低质量图像创建的矩形区域图像与从高质量图像创建行学习的图像质量改善引擎将输出摄像目标的结构或位置与输入图像有很大差异的不适[0244]根据本实施例的图像质量改善单元404通过使用利用这样的训练数据进行学习的404将输入图像连续且无间隙地划分为具有针对训练数据设置的一定图像尺寸的一组矩形区域图像。图像质量改善单元404通过图像质量改善引擎对输入图像被划分成的矩形区域后，图像质量改善单元404根据输入图像中的矩形区域图像之间的位置关系来布置所生成则可以从低质量图像和高质量图像中的任意位置切出(提取)各输入数据和输出数据的矩图像结合，本实施例的图像质量改善单元404还可以通过改善根据第一实施例不能被处理[0246]接下来，参照图5、图13和图14A至图14D描述根据本实施例的一系列图像处理操的摄像条件组来确定图像质量改善单元404包括的图像质量改善引擎是否能够处理输入图[0248]图像质量改善可能性确定单元403进行关于摄像部位、摄像系统和摄像视角的确能性确定单元403基于这些摄像条件确定图像质量改善引擎不能处理输入图像的情况下，[0249]当处理进入步骤S540时，开始图13中所示的根据本实施例的图像质量改善处以被设置为使得图像被划分的位置如图14B所示的示例那样交叠，并且矩形区域图像可以域的情况下，图像质量改善单元404通过在根据与各个矩形区域图像R1411'至R1426'相同区域的相邻矩形图像中相同坐标点的亮度值，可以求出相邻图像的亮度值之间的差值(比[0252]如上所述，根据本实施例的图像质量改善单元404将输入图像划分为预定图像尺施例的图像质量改善单元404也可以通过图像质量改善引擎来改善输入图像的图像质量，使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的像质量改善单元404和输出单元405的构造与根据第一实施例的图像处理装置的构造相同，所以图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且以下省略[0260]根据本实施例的图像质量改善单元404包括使用彼此不同的训练数据进行机器学由根据摄像条件的第一组合获得的配对组构成的第一训练数据和由根据摄像条件的第二相对应的第一图像质量改善引擎和与使用第一训练数据训练的机器学习模型相对应的第[0262]因为使用不同的训练数据来训练与这些图像质量改善引擎中的各图像质量改善以改善输入到图像质量改善引擎中的输入图像的图像质量的程度会根据输入图像的摄像[0264]响应于检查者的指令，图像质量评估单元1506从图像质量改善单元404使用多个[0265]输出单元405可以使显示单元20显示图像质量评估单元1506选择的高质量图像，像质量改善单元404生成的多个高质量图像，并且图像质量评估单元1506可以根据来自检查了显示单元20上的图像的检查者的指令选择具有最高生成的多个高质量图像当中输出具有最高图据本实施例的一系列图像处理操作的流程图。请注意，根据本实施例的步骤S1610和步骤S1620中的处理与第一实施例中的步骤S510和步骤S520中的处理相同，因此在此省略对该性确定单元403使用获得的摄像条件组来确定图像质量改善单元404包括的任何图像质量[0269]如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中没有一个能[0270]在步骤S1640中，图像质量改善单元404将在步骤S1610中获得的输入图像输入到在不可能处理输入图像的情况下，输出单元405可以使显示单元20显示指示输出图像与输[0275]如上所述，根据本实施例的图像质量改善单元404使用多个图像质量改善引擎由输入图像生成多个高质量图像，并且图像处理装置1500的输出单元405根据检查者的指令使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的图像质量评估单元使用图像质量评估引擎来从多个图像质量改善引擎输出的多个高质量[0280]根据本实施例的图像质量评估单元1506包括用于评估输入图像的图像质量的图施例的图像质量评估引擎中计算图像质量评估指标的图像质量评估处理技术使用利用机据是由根据各种摄像条件预先摄像的低质量图像组和高质量图像组构成的图像组。此外，图像质量评估指标组由进行图像诊断的检查者针对输入数据的各图该图像质量改善引擎组中的任何图像质量改善引擎能够处理输入图像，则处理进入步骤[0283]在步骤S1640中，图像质量改善单元404将在步骤S1610中获得的输入图像输入到图像质量评估单元1506评估高质量图像的图像质量。图像质量改善单元404使用多个图像质量改善引擎由输入图像生成多个高质量图像，并且图像处理装置1500的输出单元405根据本实施例的图像质量评估单元1506包括使用根据预定评估技术获得的评估值作为学习单元1506使用图像质量评估引擎的评估结果最高的高质量图像。输出单元405输出由图像出的图像质量评估指标中的最高图像质量评估指标的高质量图像，并且输出单元405使显图像质量评估单元1506可以选择由图像质量评估引擎输出的图像质量评估指标中的若干个图像质量评估指标较高的高质量图像，并且输出单元405可以使所选择的高质量图像显使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的实性评估单元使用真实性评估引擎来评估由图像质量改善单元404生成的高质量图像是否理装置的不同之处来描述根据本实施例的图像图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且以下省略对这本实施例的真实性评估引擎所使用的真实性评估处理技术使用利用机器学习算法构建的[0295]用于训练机器学习模型的训练数据包括由预先根据各种摄像条件摄像的高质量图像组和指示相关图像是通过目标摄像装置进行摄像而获得的标签(以下称为“真实标的图像质量改善引擎中而生成的高质量图像组和指示相关图像不是由目标摄像装置进行[0296]虽然事实并不是使用这种训练数据进行了学习的真实性评估引擎可以肯定地评单元404所生成的高质量图像输入到真实性评估引擎中，真实性评估单元1807可以评估图像质量改善单元404所生成的高质量图像是否经过了充[0297]如果由真实性评估单元1807确定图像质量改善单元404所生成的高质量图像经过真实性评估单元1807确定图像质量改善单元404所生成的高质量图像未经过充分的图像质元405可以使显示单元20显示指示图像质量改善单元404所生成的高质量图像未经过充分[0299]在步骤S1940中，在图像质量改善单元404生成高质量图像组时，处理进入步骤真实性评估单元1807评估出所生成的高质量图像未经过充分的图像另一方面，如果由真实性评估单元1807确定图像质量改善单元404所生成的高质量图像未精度比图像质量改善单元404的图像质量改善引擎的图像质量改善处理精度低(差)的图像404使用多个图像质量改善引擎生成多个高质量图像的情况下，真实性评估单元1807可以[0305]另外，输出单元405可以使显示单元20显示真实性评估单元1807的关于高质量图使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0310]根据本实施例的获得单元401获得由在结构上连续的一组二维图像构成的三维图维图像的图像组构成作为图像质量改善引擎的训练数据的输入数据和输出数据的配对组。图像质量改善单元404将所获得的三维图像划分为多个二维图像，并且将各二维图像输入[0312]输出单元405组合由图像质量改善单元404针对三维图像的各个二维图像生成的实施例的步骤S510至步骤S530和步骤S550中的处理与第一实施例中的这些步骤中的处理[0314]在步骤S530中，如果图像质量改善可能性确定单元403确定输入图像可以由图像像划分为多个二维图像。图像质量改善单元404将所划分的多个二维图像的各二维图像输[0315]在步骤S550中，输出单元405使显示单元20显示所生成的三维高质量图像。请注[0316]如上所述，根据本实施例的图像质量改善单元404将输入的三维图像划分成多个[0317]因此，根据本实施例的图像质量改善单元404可以通过使用图像质量改善引擎来改善三维图像的图像质量，该图像质量改善引擎使用由二维图像构成的训练数据进行学使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的质量改善引擎并行地进行的图像质量改善，然后组合来自图像质量改善引擎的输出图像，像处理装置的构造与根据第一实施例和第十实施例的图像处理装置的构造相同，因此图4[0322]根据本实施例的图像质量改善单元404包括与第十实施例中配设的图像质量改善量改善引擎的组可以以使得能够通过电路或网络在两个或更多个装置的组中进行分布式[0323]类似于第十实施例，图像质量改善单元404将所获得的三维图像划分为多个二维图像。图像质量改善单元404使用多个图像质量改善引擎通过(并行地)共享它们之间的处404基于作为处理对象的三维图像，组合从多个图像质量改善引擎输出的多个二维高质量实施例的步骤S510至步骤S530和步骤S550中的处理与第十实施例中的这些步骤中的处理[0325]在步骤S530中，如果图像质量改善可能性确定单元403确定输入图像可以由图像图像质量改善单元404将所划分的多个二维图像中的各二维图像输入到多个图像质量改善量改善单元404基于所获得的三维图像来组合所生成的多个二维高质量图像，从而生成三[0327]在步骤S550中，输出单元405使显示单元20显示所生成的三维高质量图像。请注像质量改善单元404将输入的三维图像划分为多个二维图像，并通过并行使用多个图像质量改善引擎来生成多个二维高质量图像。图像质量改善单元404对多个二维高质量图像进[0329]因此，根据本实施例的图像质量改善单元404可以通过使用图像质量改善引擎来以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得获得单元401从图像管理系统2000而不是摄[0335]图20是示出根据本实施例的图像处理装置400的示意性构造的图。根据本实施例的图像处理装置400通过任何电路或网络连接到图像管理系统2000和显示单元20。图像管理系统2000是被构造为接收和存储由任何摄像装置摄像的图像或经过图像处理的图像的统(PACS)可以作为图像管理系统的示例被包括[0336]根据本实施例的获得单元401可以从连接到图像处理装置400的图像管理系统中生成了高质量图像，则输出单元405将高质量图像作为输出图像输出到图像管理系统可以处理输出图像或转换输出图像的数据格式，使得图像管理系统2000可以利用输出图[0340]如上所述，根据本实施例的获得单元401从图像管理系统2000获得输入图像。因或者可以通过图像管理系统2000将输出的高质量图像发送到连接至图像管理系统2000的像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0346]根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的多个[0347]在根据本实施例的图像质量改善单元404中配设有与第一实施例相同的图像质量改善引擎。训练数据也可以与第一实施例中的相同。图像质量改善单元404将由获得单元401获得的多个图像中的各图像输入到图像质量改善引擎，并且对输出的多个高质量图像外，输出单元405可以将所生成的多个高质量图像与最终的高质量图像或输入图像一起显多个图像中的各图像获得摄像条件，并确定是否可以通过图像质量改善引擎处理各个图[0351]如果图像质量改善可能性确定单元403在步骤S530中确定图像质量改善引擎可以S2110中，图像质量改善单元404将多个输入图像中的各输入图像输入到图像质量改善引法对准多个高质量图像，然后进行叠加。当图像质量改善单元404生成最终的高质量图像[0354]如上所述，根据本实施例的图像质量改善单元404由多个输入图像生成单个最终[0356]由于通过在对摄像目标的同一位置重复进行摄像的时间间隔内检测摄像目标的输入图像相同数目的输入图像的叠加图像用作图像质量改善引擎的训练数据的输入数据。[0361]此外，关于根据本实施例的图像质量改善处理和前述的[0362]通过组合高质量图像组或输入图像组来生成单个图像的情况的示例包括以下情生成的图像与通过关于低亮度区域将具有宽灰度的图像进行图像质量改善而生成的图像可以采用与输入数据相对应的高质量图像，作为图像质量改善引擎的训练数据的输出数合关于高亮度区域具有宽灰度的低质量图像和关于低亮度区域具有宽灰度的低质量图像可以采用与输入数据相对应的高质量图像作为图像质量改善引擎的训练数据用于对关于高亮度区域具有宽灰度的图像和关于低亮度区域具有宽灰度的图像进行摄像用于图像质量改善引擎的训练数据的输出数据不限于通过进行叠加处理而获得的高质量像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0370]根据本实施例的获得单元401从摄像装置10或其他装置获得通过对多个低质量图[0371]根据本实施例的图像质量改善单元404包括与第一实施例相似的图像质量改善引[0372]输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注意，输出单元405可以使显示单元20将输入图像与高质量图像一起显示，并且在这种情况下，输出单元405可以使显示单元20显示表示输入图像是由多个低质量图像生成的图像的[0374]在步骤S510中，获得单元401从摄像装置10或其他装置获得中等质量图像作为输用于生成中等质量图像的低质量图像的数目可以小于用于生成常规叠加图像的图像的数可以是通过对多个低质量图像应用MAP估计处理而生成的图像，或者可以是通过组合多个以使用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0382]根据本实施例的获得单元401获得具有小尺寸的图像(小尺寸图像)作为输入图[0383]与第一实施例类似，根据本实施例的图像质量改善单元404包括图像质量改善引[0385]请注意，关于通过根据本实施例的图像质量改善单元404来放大输入图像的图像放大输入图像的图像尺寸的处理可以减少分辨[0386]根据该构造，根据本实施例的图像质量改善单元404可以生成通过降低噪声并增[0388]在步骤S510中，获得单元401从摄像装置10或其他装置获得作为处理对象的小尺装置10生成的图像存储在摄像装置10包括的存储装置中之前在显示单元20上显示该图像，该处理的描述。在步骤S540中，图像质量改善单元404将输入图像输入到图像质量改善引可以使用与根据第一实施例等的图像质量改善引擎类似地进行学习的机器学习模型。此例等的图像质量改善处理而生成的高质量图像的图像尺寸配对组由作为大尺寸图像的输入数据和作为通过叠加大尺寸图像而生成的图像的输出数[0395]请注意，虽然在本实施例中描述了针对根据第一实施例像质量改善单元进行空间分辨率提高以及根据第一实像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描的空间分辨率的图像。[0403]根据该构造，根据本实施例的图像质量改善单元404可以生成通过降低噪声并增[0405]在步骤S510中，获得单元401从摄像装置10或其他装置获得作为处理对象的低空者在将摄像装置10生成的图像存储在摄像装置10包括的存储装置中之前在显示单元20上显示该图像，或者在将该图像存储在存储装置中之后在显示单元20上显示存储的图像时，该处理的描述。在步骤S540中，图像质量改善单元404将输入图像输入到图像质量改善引而不会增加对被摄体的侵入性或进行摄像的可以使用与根据第一实施例等的图像质量改善引擎类似地进行学习的机器学习模型。此例等的图像质量改善处理而生成的高质量图像的空间像装置获得的作为低空间分辨率图像的输入数据和作为高空间分辨率图像的输出数据构[0412]请注意，虽然在本实施例中描述了关于根据第一实施例400可以输出适合于图像诊断的高质量图像，而不会增加对被摄体的侵入性或进行摄像的分析单元对由图像质量改善单元生成的高质理装置的不同之处来描述根据本实施例的图像4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且以下省略对这些[0419]分析单元2208对图像质量改善单元404生成的高质量图像进行预定图像分析处[0420]输出单元405可以使得通过分析单元2208的图像分析处理获得的分析结果与由图405可以使显示单元20仅显示由分析单元2208获得的图像分析结果，或者可以将图像分析通过对高质量图像进行分析处理而获得的分析结果进行融合23是示出根据本实施例的一系列图像处理操作的流程图。请注意，根据本实施例的步骤用户界面(未示出)输入的检查者(用户)的指示，针对指定的关注区域(ROI)来计算数值。[0423]在步骤S2360中，输出单元405使显示单元20显示由图像质量改善单元404生成的与OCTA面内图像中的血管有关的分析结果显示为二维图。此外，输出单元405可将表示与的分析单元2208，并且输出单元405使由分析单元2208获得的分析结果显示在显示单元20用通过进行包括如下处理的摄像方法和处理组中的至少一种摄像方法或处理而获得的高图像质量改善单元通过在进行学习时向图像添加噪声并学习噪声分量来生成高质量图像像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0429]根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像24是示出图像质量改善单元404中的机器学习模型的构造的一个示例的图。图24中所示的素值组的值组，并通过级联或相加值组来合并这些值组。根据该构造，在构成输入图像Im2410的像素值组由卷积处理块处理时输出的值组和构成输入图像Im2410的像素值组被[0430]本实施例的图像质量改善引擎通过接收通过将第一噪声分量添加到从摄像装置声分量添加到从摄像装置10或其他装置获得的图像而生成的作为高质量图像的图像作为[0431]关于噪声分量，高斯噪声或以目标图像的特征噪声建模的噪声等被添加作为噪可以将其用作噪声模型。在OCTA的情况下，基于出现在无血管区(FAZ)范围内的噪声的噪[0433]输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注并向该低质量图像分别添加第一噪声分量和与第一噪声不同的第二噪声分量而生成的图[0436]另外，虽然在本实施例中描述了使用第一噪声分量和第二噪声分量的学习的示分量添加到要被用作低质量图像的图像而不将噪声分量添加到要被用作高质量图像的图要被添加的噪声分量的值并且在亮图像的情况下增大要被添加扫描次数获得的各种成像范围的图像和不同的摄像部位和不同深度的正面图像等进行学图像质量改善单元包括多个图像质量改善引擎，并且针对输入图像生成多个高质量图像。像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0443]根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像[0444]与第二实施例类似，根据本实施例的图像质量改善单元404包括多个图像质量改图像分辨率中的至少一项摄像条件，图像质量改善单元404使用多个图像质量改善引擎来例的步骤S2610和步骤S2620中的处理与第一实施例中的步骤S510和步骤S520中的处理相性确定单元403使用获得的摄像条件组来确定图像质量改善单元404包括的任何图像质量[0447]如果图像质量改善可能性确定单元403确定该图像质量改善引擎组中没有一个能[0448]在步骤S2640中，图像质量改善单元404将在步骤S2610中获得的输入图像输入到为第一图像质量改善引擎的处理结果而生成的高质量图像和作为第二图像质量改善引擎从摄像装置10获得的低质量图像和通过对低质量图像多次进行摄像而获得的图像组进行善引擎使用如在第十八实施例中所述的通过对图像添加噪声而获得的图像对来进行学习。[0450]在步骤S2660中，输出单元405使通过在步骤S2650中对图像进行组合而生成的图输入图像的情况下或不可能处理输入图像的情况下，输出单元405可以使显示单元20显示像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0454]根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像[0455]根据本实施例的图像质量改善单元404包括与第一实施例中配设的图像质量改善量改善引擎输出的图像以及图像质量高于中等质量图像的作为输出数据的图像来进行学[0456]输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注意，输出单元405可以使显示单元20将输入图像与高质量图像一起显示，并且在这种情况下，输出单元405可以使显示单元20显示表示输入图像是由多个低质量图像生成的图像的[0458]在步骤S540中，图像质量改善单元404使用图像质量改善引擎来改善输入图像的404将输入图像输入到第一图像质量改善引擎，以使第一图像质量改善引擎生成经过图像用由通过将第一噪声和第二噪声添加到高质量图像而获得的图像构成的配对来进行学习，过将第一噪声和第二噪声加到由第一图像质量改善引擎生成的第一高质量图像而获得的像处理装置的构造与根据第一实施例和第二实施例的图像处理装置的构造相同，因此图4[0465]根据本实施例的图像质量改善单元404包括使用彼此不同的训练数据进行机器学作为输入数据的源图像和作为输出数据的叠加图像构成的配对组。以OCT或OCTA为例，例600个B扫描进行摄像而获得的图像组的情况下，该图像组被分组为与第一图像组相同的相对应的第一图像质量改善引擎和与使用第二训练数据训练的机器学习模型相对应的第[0468]因为使用不同的训练数据来训练与这些图像质量改善引擎中的各图像质量改善以改善输入到图像质量改善引擎中的输入图像的图像质量的程度会根据输入图像的摄像[0470]由于学习了噪声分量的图像质量改善引擎在摄像时不容量改善单元404包括的图像质量改善引擎组中的任何一个是否[0474]如果图像质量改善可能性确定单元403确定摄像条件在可以处理的摄像条件范围[0475]在步骤S2740中，图像质量改善单元404基于在步骤S2720中获得的输入图像的摄质量改善引擎，该图像质量改善引擎对于在步骤S2720中获得的摄像条件组中的扫描浓度示高质量图像是使用由图像质量改善单元404选择的图像[0478]如上所述，根据本实施例的图像质量改善单元404包括使用彼此不同的学习数据像条件彼此不同的学习数据来进行学习。另外，对于不能充分收集正确答案数据(输出数使用与这些摄像条件中的至少一项相对应的图像质量改善引擎来生中，广角图像生成单元使用由图像质量改善单元生成的多个高质量图像来生成广角图像像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描得单元401从摄像装置10或其他装置获得多个图像(至少两个图像)作为输入图像。多个图[0484]请注意，根据本实施例的步骤S3120中的处理与第一实施例中的步骤S520中的处能性确定单元403使用各获得的摄像条件组来确定图像质量改善单元404包括的图像质量[0486]如果图像质量改善可能性确定单元403确定该图像质量改善引擎不能处理多个输[0487]在步骤S3140中，图像质量改善单元404针对在步骤S3110中获得的多个输入图像据。通过从宽范围的三维数据中切出任意横截面(XYZ的任何平面都是可能的)或任意深度[0489]在步骤S3160中，输出单元405使通过在步骤S3150中对多个图像进行组合而生成示显示输入图像的情况下或不可能处理输入图像的情况下，输出单元405可以使显示单元[0495]关于前述的第一实施例至第二十二实施例，基本上响应于图像质量改善单元404生成高质量图像或分析单元2208输出分析结果，自动地由输出单元405在显示单元20上显单元405可以使显示单元20显示根据来自检查者的指令而由图像质量改善单元404生成的出单元405可以响应于来自检查者的指令将低质量图像的显示改变为高质量图像的显示。此外，输出单元405可以响应于来自检查者的指令将高质量图像的显示改变为低质量图像引擎进行图像质量改善处理(将图像输入到图像质量改善引擎中)，并且输出单元405可以者的指令将对低质量图像的分析结果的显示改变为对高质量图像的分析结果的显示。此外，输出单元405可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为来自检查者的指令而将低质量图像的显示改变为对低质量图像的分析结果的显示。而且，输出单元405可以响应于来自检查者的指令将对高质量图像的分析结果的显示改变为高质对低质量图像的分析结果的显示改变为对低质量图像的不同种类的分析结果的显示。此显示可以是例如改变为通过以任何透明度对分析结果和图像进行融合处理而获得的图像关于上述第一实施例至第二十二实施例，输出单元405使显示单元20显示高质量图像的形可以使利用高质量图像等获得的图像分析结果根据高质量图像或与高质量图像相对应的像处理装置的构造与根据第一实施例的图像处理装置的构造相同，因此图4中示出的部件用与第一实施例中的附图标记相同的附图标记表示，并且在下文中省略对这些部件的描[0499]根据本实施例的获得单元401从摄像装置10或其他装置获得作为处理对象的图像表示由输入数据和输出数据构成的配对组，并且例如被假定为关于图29A所示的深层习数据包括针对多个深度范围中的至少两个深度范围中的各深度范围添加了不同大小的的两个深度范围中的各深度范围的一部分彼此交叠的像质量改善引擎3313至3333来生成图像，该图像质量改善引擎3313至3333使用图33A如上学习的图像质量改善引擎3313时，图像质量改善引擎3313输出高质量的表面层图像低质量的外层图像Im3330输入到使用多个外层图像进行了学习的图像质量改善引擎3333以由各种输入图像生成降低了噪声或者具有高对比度的适合于图像[0502]输出单元405使显示单元20显示图像质量改善单元404生成的高质量图像。请注像质量改善引擎的输出数据和低图像质量的输入数据的配对组进行学习的图像质量改善络利用深层图像Im3320和Im3325的配对组进行学习，从而最终生成图像质量改善引擎[0506]通过该构造，根据本实施例的图像质量改善单元404可以针对各种图像生成更有例中，描述了输出单元405在显示单元20上显示图像质量改善单元404的处理结果的示例。质量改善处理也可以类似地应用于检查者在摄像之后立即确认摄像是否成功的理装置的不同之处来描述根据本实施例的图像[0510]输出单元405可以使显示单元20显示图像质量改善单元404生成的多个高质量图系统(未示出)获得的眼底的正面图像。附图标记Im3407和Im3408各自表示OCTA面内图像，图标记3413和3414分别表示由Im3407和Im3408表示的OCTA面内图像的上下范围的边界线，它们以叠加的方式显示在对应的断层扫描图像上。A按钮3420是用于指定图像质量改善处库中存储(保存)的信息确定是否执行图像质量改善处理。首先，将描述根据来自检查者的指令通过指定按钮3420来在高质量图像的显示和低质量图像的显示之间进行切换的示例。请注意，将OCTA面内图像描述为图像质量改善处理的目标图像。当检查者进行操作以指定示的图像是通过以叠加的方式在SLO图像Im3405上显示图像Im3407而获得的图像，因此图的处理的执行不必限于检查者进行指定按钮3420的操作的定时。由于预先已知报告画面被打开时要显示的OCTA面内图像Im3407和Im3408的种类，所以当转变到报告画面时可以执行质量改善处理而获得的图像可以被临时存储在存储器中或者可以被存储在数质量改善处理的状态已被存储的情况下，如果检查他摄像数据(其他检查)或其他患者数据(例如，根据来自检查者的指令改变为报告画面之定执行图像质量改善处理(按钮3420处于活动状态的种类从表面层图像改变为脉络膜血管网络图像时，图像质量改善单元404对脉络膜血管网络图像执行图像质量改善处理，并且输出单元405在报告画面上显示图像质量改善单元范围的高质量图像的显示改变为至少部分地不同于第一深度范围的第二深度范围的高质输出单元405可以将第一深度范围的高质量图像的显示改变为第二深度范围的高质量图像考的层或偏移值的改变。此外，可以通过拖动以叠加方式显示在断层扫描图像Im3411和Im3412上的边界线3413和3414中的任一个(移动层边界)来改变用于生成OCTA面内图像的响应于来自检查者的指令设置用于生成OCTA面内图像的深度范围到显示高质量图像的时发明不限于此。例如，可以并排显示作为图像Im3407的低质量OCTA面内图像和作为图像行。图34B是以放大方式显示图34A中所示的OCTA面内图像Im3407的画面的示例。在图34B果按钮3420在用于后续观察的显示画面上处于活动状态，则在不同的日期和时间(不同的检查日)获得的并排显示在用于后续观察的显示画面上的多个图像被切换为高质量图像。中示出了用于后续观察的显示画面的示例。在响应于来自检查者的指令而选择了选项卡中显示的预定义深度范围集(3802和3803)中选择的操作来改变面内图像的深度范围。例得的多个图像被共同地改变为在所选择的深度范围内的多个面内图像的分析结果的并行当分析结果的显示处于选择状态的情况下，如果根据来自检查者的指令指定了按钮3420，则对多个面内图像的分析结果的显示被共同地改变为对多个高质量图像的分析结果的显对各个分析结果和图像进行融合处理而获得的各个分析结果和图像(例如，二维图)的显示。此外，这种层边界和用于指定深度范围的偏移位置可各自从诸如由附图标记3805和得的多个断层扫描图像可以被并排显示，并且当在一个断层扫描图像上进行上述移动时，示出在对于参考图像计算出的测量值分布和对于显示相关区域的图像计算出的测量分布析结果中区分出分析结果(例如，时序图上的各点的颜色根据是否显示相应的图像而不[0518]虽然在本实施例中已经给出了与OCTA面内图像有关的描述，但是本发明不限于处理的用户界面可以是用于指示针对不同种类的多个图像执行图像质量改善处理的用户[0519]根据前述构造，输出单元405可以在显示单元20上显示根据本实施例的图像质量指定时)，输出单元405可以将对低质量图像的分析结果的显示改变为低质量图像的显示。我们考虑高质量图像的显示处于选择状态并且第一种分析结果的显示处于选择状态的情输出单元405可以将对高质量图像的第一种分析结果的显示改变为对高质量图像的第二种[0523]处理确定单元3506确定是否要通过GPU(图形处理单元)或CPU来进行图像质量改环境是否为使用机器学习执行图像质量改善处理的合适环境，GPU安装在用于执行图像质执行图像质量改善处理。如果尚未进行许可证登记，则不显示图34A和图34B所示的按钮[0527]上述处理确定单元3506的处理不必在每次进行图像质量改善单元404的处理时都择是否将由生成对抗网络生成的至少一个图像用作用于学习的学习数据的少部分区域有关的信息而获得的比率组合输入图像(第一图像)和高质量图像(第二图像)像与图像质量改善引擎生成的高质量图像之间的差异来改变用于组合这两个图像的比率。值的统计值的组合比率的第一阈值和第二阈值以及与之对应的比率分别设置为不同的值。像质量改善而获得的高质量医学图像组合的比率有关的信息作为正确答案数据(输出数据)。此时，与比率有关的信息例如可以是根据来自检查者的指令而设置(改变)的比率的查者的指令进行关于是否将高质量图像用作用于要进行的增量学习的学习[0542]诸如所需层的厚度或各种血管密度的分析结果可以显示在上述各种实施例和变被检眼的状态(运动或眨眼等)而在测量光的主扫描方向上出现的正面图像中的带状伪像。而显示通过用于分析结果生成的学习模型而获得的过使用医学图像的诊断结果作为学习数据来学习而获得的学习模型(诊断结果生成引擎，括医学图像和对与相关医学图像等的种类不同的医学图像的诊断结果的学习数据。此外，可以采用一种构造，以便显示使用由图像质量改善引擎生成的高质量图像获得的诊断结于来自检查者的指令而显示通过用于诊断结果生成的学习模型而关注部位进行用于生成分析结果或用于生成诊断结[0545]上述学习模型可以是通过使用包括输入数据的学习数据进行学习而获得的学习断层扫描图像(B扫描图像)和彩色眼底图像(或荧光眼底图像)取为集合的数据，作为学习包括的输入数据可以是将在被摄体的预定部位的在不同日期和时间获得的多个医学图像察的显示画面以及用于在摄像之前进行各种调整的预览画面(显示各种实时运动图像的显调整或OCT聚焦调整的眼底的正面运动图像以及用于OCT中的相干门调整(测量光路长度与参考光路长度之间的光路长度差的调整)的眼底的断层元中的眼底断层扫描运动图像的每至少一帧进行对准而获得的运动图像可以显示在显示存在于参考帧中的条件来选择参考帧。此时，各帧是XZ方向上的断层扫描图像(B扫描图质量时获得的值的评估值超过阈值时，自动开始高质量运动图像的显示(高图像质量帧的图像质量时获得的值)超过阈值时，将图像质量改善按钮改变为可由检查者选择按钮的状以使用通过使用包括以不同摄像模式获得的各种医学图像的学习数据进行学习而获得的描图像和参考图像获得的多个区域之间的相关性信息(相似度)的(精X方向或Z方向)对准，被检眼等)的学习数据获得的第一学习模型，以及使用包括第二摄像部位的学习数据获得检索与所选择的学习模型相对应的摄像部位(由标头信息指定或由检查者手动输入的部位)和通过对相关摄像部位进行成像而获得的图像形成配对的数据，并执行采用所检索和性的结果而无法检测出用于增量学习的学习数据的正确性的情况下，给出对该事实的警器学习获得的字符识别引擎(字符识别模型、用于字符识别的学习模型)的机器学习引擎。得可以根据来自检查者的指令进行选择以打开或关闭通过字符或语音等过字符或语音等输入来自检查者的指令的情况下，可以应用与自然语言处理有关的技术善引擎可以是通过对包括二维医学图像的至少部分区域的学习数据进行学习而获得的学学习而获得的，该学习数据包括被检眼的第二深度范围的第二正面图像的至少部分区域，一正面图像和第二正面图像作为学习数据来学习而获得的共同学习模型善引擎可以是通过对包括三维医学图像的至少部分区域的学习数据进行学习而获得的学下，学习数据或输入到学习模型的数据可以是由多个二维医学图像构成的三维医学图像，学图像生成三维高质量图像的情况下，由于处理时间会比在二维医用图像的情况下的更且在服务器上使用学习模型进行处理之后，将处理后的所得数据从服务器发送到客户端。在X方向上进行对准的方法和在Z方向(深度方向)上进行对准的方法，可以应用相同的方过分割断层扫描图像和参考图像获得的多个区域之间的相关性信息(相似度)的(精X方向或Z方向)对准，使用针对各断层扫描图像(B扫描图像)生成的一维投影图像的(X方向)对学习数据包括关于被摄体的预定部位的三维医学图像数据中的至少一些范围彼此不同的得的学习模型，该学习数据包括被检眼的第一深度范围的第一正面图像的至少部分区域，的多个特征值，图像质量改善引擎可以获得例如具有高抽象水平的特征值作为学习结果。[0563]因此，可以采用存在于图像中的部位之间的差异彼此相暗的医用图像的至少部分区域的噪声的大小可能会小于被添加到相对较亮的图像的至少过以与图像的亮度等相对应的比率将低质量图像和高质量图像组合来获得合成图像。因[0566]此外，高质量图像或合成图像等可以根据来自检查者的指令被存储在存储单显示的图像是通过使用用于改善图像质量的学习模型进行处理而生成的高质量图像的显查结束时(例如，在根据来自检查者的指令将摄像确认画面或预览画面改变为报告画面的情况下)，将包括高质量图像或合成图像等的与报告画面相对应的报告图像(自动地)发送否示出用于后续观察的显示画面等中的至少一项有关的设置)的各种设置生成的报告图像使用利用图像本身作为搜索关键字的相似图像搜索引擎(相似图像检查模型或用于相似图灰度转换处理和降噪处理中的至少一种处理而获得