CN112789686A 利用胃内窥镜图像的深度学习诊断胃病变的装置及方法 （翰林大学产学合作团）

PCT/KR2019/012448201WO2020/071677KO2020.04.利用胃内窥镜图像的深度学习诊断胃病变本发明涉及一种从内窥镜图像中诊断胃病2通过将经过预处理过程的上述数据集作为输入，将关还包括对新数据集经过上述预处理过程之后上述数据集生成步骤将上述数据集分为上述人工神经网络的学习所需的学习用数据集及用于验证上述人工神经网络的学习的进行程度的验证用上述验证用数据集在新数据集经过上述预处理过程之后成为人工神经网络的输入时，上述图像获得步骤接收从具备于内窥镜装置的拍执行多个预处理过程中的至少一个，将上述胃病变图像预处理为上述放大图像数据的步骤使用上述胃病变图像的旋上述人工神经网络构建步骤通过上述将经过预处于胃病变分类结果的项目作为输出的卷积神经网络及全连接神经网络的学习构建诊断模3上述经过预处理过程的数据集作为上述卷积神经网络的上述积神经网络从上述多个胃病变图像输出多个特征图上述人工神经网络构建步骤将训练数据用于包括卷积神经网络及全连接神经网络的学习部，通过将经过预处理过程的上述数据集还包括对新数据集经过上述预处理过程之后4[0001]本发明主张对2018年10月2日申请的韩国专利申请号第10_2018_0117823号的优[0004]癌症是因细胞的无限增值妨碍正常细胞的功能的疾病，代表性的有肺癌、胃癌[0008]早期胃癌(ECG)的大部分没有临床症状或征兆，发生没有筛查策略的话难以及时5黏膜的颜色变化，而诊断准确度通过训练及光学技术及色素内镜(chromoendoscopy)得到[0014]本发明的目的在于克服现有技术之不足而提供一种可收集从内窥镜拍摄装置获[0015]本发明的目的在于克服现有技术之不足而提供一种可提供基于胃内窥镜影像自[0016]本发明的目的在于克服现有技术之不足而提供一种可实时评价医生(使用者)利[0017]本发明的目的在于克服现有技术之不足而提供一种基于实时获得的胃内窥镜图[0022]根据本发明一实施例的上述数据集生成步骤可将上述数据集分为上述人工神经网络的学习所需的学习用数据集及用于验证上述人工神经网络的学习的进行程度的验证[0023]根据本发明一实施例的上述验证用数据集可为不与上述学习用数据集重复的数[0024]根据本发明一实施例的上述验证用数据集在新数据集经过上述预处理过程之后[0025]根据本发明的一实施例的上述图像获得步骤可接收从具备于内窥镜装置的拍摄6可用于上述深度学习算法的大小的步骤；沿上下左右方向平行移动(shift)上述胃病变图[0028]根据本发明一实施例的上述人工神经网络构建步骤通过上述将经过预处理过程的上述数据集作为输入，将关于胃病变分类结果的项目作为输出的卷积神经网络(ConvolutionalNeuralNetworks)及全连接神经网络(Fully_connectedNeural[0029]根据本发明一实施例的上述经过预处理过程的数据集可作为上述卷积神经网络[0030]根据本发明一实施例的上述积神经网络可从上述多个胃病变图像输出多个特征[0031]根据本发明一实施例的上述人工神经网络构建步骤可将训练数据用于包括卷积神经网络(ConvolutionalNeuralNetworks)及全连接神经网络(Fully_connected值的反向传播(backpropagation)算法反馈结果进行学习。[0032]根据本发明一实施例的上述执行胃病变诊断的步骤可将胃病变分为晚期胃癌(advancedgastriccancer)、早期胃癌(earlygastriccancer)、高度异型增生(high_gradedysplasia)、低度异型增生(low_gradedysplasia)及肺肿瘤(non_neoplasm)中的[0033]根据本发明一实施例的一种病变诊断装置，在从内窥镜图像中诊断病变的装置7[0040]根据前述本发明的课题解决方案，较之需要有经验的以上的现有的胃内窥镜解[0041]根据前述本发明的课题解决方案，利用从内窥镜拍摄装置获[0046]图3为用于说明在根据本发明一实施例的病变诊断装置中构建人工神经网络的实存在其他部件的情况。[0052]本发明涉及包括基于从内窥镜装置获得的胃内窥镜图像分类胃肿瘤并评价其性能的深度学习模型的诊断胃病变的装置及方法。本发明可基于卷积神经网络[0053]本发明可在胃内窥镜照片图像数据集中应用称为卷积神经网络的深度学习算法8例，可包括3GPP(3rdGenerationPartnershipProject)网络、LTE(LongTerm有线或无线互联网(Internet)、LAN(LocalAreaNetwork)、WirelessLAN(WirelessLocalAreaNetwork)、WAN(WideAreaNetwork)、PAN(PersonalAreaNetwork)、蓝牙部22内部可具备各对应于上述多个单元(部)的通道。另外，插入部内可具备活检通道(biopsychannel)，内窥镜操作者可通过该活检通道插入外科手术刀采集身体内部的组[0058]内窥镜装置20的拍摄部可通过网络向病变诊断装置10发送或接收获得的胃病变以是采集身体内部的组织的单元。可通过采集身体内部的组织判定该组织的阳性及阴性。图像的位置信息，从而在病变诊断装置10的诊断分类结果属于晚期胃癌(advancedgastriccancer)、早期胃癌(earlygastriccancer)、高度异型增生(high_grade装置20可通过内窥镜黏膜切除术或内窥镜黏膜9[0071]另外，数据生成部12可生成用于深度学习算法的学习用数据集及验证用数将数据集分为人工神经网络的学习所需的学习用数据集及用于验证人工神经网络的学习值可设定为验证用数据集的比率为10学习用数据集的比率为90但非限制。[0072]数据生成部12为防止过适状态，区分学习用数据集及验证用数据集生成数经网络(ConvolutionalNeuralNetworks)结构和全连接神经网络(Fully_connectedNeuralNetworks)结构两个处理部13可基于以全部数据集的平均RGB值利用平均减法方法提取的色彩，执行图像的色[0080]预处理部13可包括放大用于增加胃病变图像的数据数的图像数据的放大部(未图得部11检测出的胃病变图像数据收集量远不足用于卷积神经网络中。因此，放大部(未图示)可基于学习用数据集执行数据放大(augmentation)过程。放大部(未图示)可使用胃病[0084]根据本发明一实施例，学习部14可使用由卷积神经网络(ConvolutionalNeuralNetworks)结构和全连接神经网络(Fully_connectedNeuralNetworks)结构两个部分构成的深度学习算法输出胃病变分类结果。全连接神经网络为在节点之间横向/纵向构成二[0086]根据本发明一实施例，卷积神经网络可输出分析胃病变图像的多个特定特征图[0087]卷积神经网络(ConvolutionalNeuralNetworks)为主要用于语音识别或图像识[0089]卷积神经网络的可由多个层构成。构成各层的因素可由卷积层、激活函数、max(或生成的心特征图案)的操作提取与图像相同大小的心特征图案(featurepattern)。卷积层可修改为便于在特性图案中通过激活函数处理特征图案的值。maxpooling层可对部提取多个特征图案(featurepattern)。dropout层可以是在训练卷积神经网络的权重值[0090]从卷积神经网络提取的多个特征图案(featurepattern)可传递至作为下一个步(feature)不经过卷积神经网络而直接输[0093]患者信息是在学习部14中与卷积神经网络结构的结果一同输入至全连接神经网图像特征一起输入42岁或79岁的年龄时，在胃病变分类结果中难以区分癌症或良性病变[0095]学习部14可通过比较将训练数据用于深度学习算法结构(由卷积神经网络和全连接神经网络构成的结构)导出的结果和实际结果的误差，逐渐增加相当于误差的神经网络结构的权重值的反向传播(backpropagation)算法反馈结果进行学习。反向传播(backpropagation)算法可以是为减少结果的误差(实际值和结果值的差异)调节从各节点[0097]根据本发明一实施例，病变诊断部15可将胃病变分为晚期胃癌(advancedgastriccancer)、早期胃癌(earlygastriccancer)、高度异型增生(high_gradedysplasia)、低度异型增生(low_gradedysplasia)及肺肿瘤(non_neoplasm)中的至少一[0098]病变诊断装置10为分类及诊断模糊的病变并减少因不必要的活体检查或内窥镜作主体部22收容的内窥镜手术时需要的多个单元装置的动作。操作部21可包括旋转控制应水的水供应单元、向体内照射光的照明单元、采集或治疗体内的组织的一部分的活检[0102]拍摄部(未图示)可收容具备对应于主体部22的直径的大小的摄像头。拍摄部(未图示)具备于主体部22的前端并拍摄胃病变图像，通过网络向病变诊断部10及显示部25提[0103]控制部23可基于从操作部21提供得到的使用者的输入信息及病变诊断装置10的收来自使用者的某个选择输入时，对应于相应按钮生成控制主体部22的动作的控制信号。定速度在对象体(患者)的体内前进。主体部22可基于控制部23的控制信号，在对象体(患示)的动作的控制信号可以是位于病变区域的拍摄部(未图示)捕获胃病变图像的信号。换[0107]病变位置获得部24可将连接获得的胃病变图像和位置信息生成的胃病变信息提[0112]如图4所示的内窥镜图像中诊断胃病变的方法可通过上述说明的病变诊断装置10[0114]在S402步骤中，病变诊断装置10可连接多个胃病变图像和患者信息生成数病变诊断装置10分为人工神经网络的学习所需的学习用数据集及用于验证人工神经网络积神经网络(ConvolutionalNeuralNetworks)及全连接神经网络(Fully_connectedNeuralNetworks)的学习构建训网络执行胃病变诊断。病变