CN115004316B 采用优化的集成ai解决方案的多功能计算机辅助胃镜检查系统以及方法 （香港应用科技研究院有限公司）

2022.06.01PCT/CN2022/0909222022.05.05WO2023/206591EN2023.11.02采用优化的集成AI解决方案的多功能计算公开了一种采用优化的集成AI解决方案的个深度学习神经模型来实现多个任务的低延迟设计方式使其能够以进行一次推理来同时完成检测和程序状态确定也有重要作用。2图像序列中提取不同但相关的信息，并与其它模块共享从所述胃图像序列中提取的信息；并且至少一个所述神经模型将HP感染特征和从其它神经模型中提取的部位信息融合在一第二神经模型，也以所述胃图像序列为输入，执行包含第三神经模型，以所述第一数量的特征通道和所述第二数其中，所述第二神经模型是包括XceptionCNN神经模型所述胃图像序列作为输入，并对于所述胃图像序列中的每个图像产生统一张量作为输出，架构使用专门为神经网络架构设计的不同的预3将四个调整大小后的象限拼接在一起以获得均匀的调所述第一模块的神经模型使用图像质量数据集进行训练，以产生所述第二模块的一个或多个神经模型使用病变数据集进行训练，以产所述第三模块的一个或多个神经模型使用胃部位数据集和幽门螺杆菌数据集进行训和每个所述协处理器的能力明智地将由所述模块中的每一个发起的子任务分配给所述至将一批次胃图像加载到所述协处理器，其中，批次大小是基于协根据每个优化的神经模型的计算资源需求预先确定每个优化的神经模型的加载优先根据所述加载优先级和所述协处理器的硬件配置，将一个或多个所针对每个协处理器建立固定长度的任务队列，供所述中413.根据权利要求12所述的系统，其中，当所述计算机辅助胃镜检查系统获得胃图像选择所述至少一个协处理器中工作队列最短的协处理器作为指定基于神经模型优先级和所述指定协处理器处的资源可用性，将优化重复选择和加载步骤，使得将尽可能多的优化的神经模型加载到使每个所述神经模型能够在所述至少一个协处理器中的每一个处并当所述神经模型的推理任务被拆分为在多于一个协处理器上运行并且由所述协处理从胃镜检查仪器获取所述胃图像序列；少三个架构级模块的AI图像处理系统分析所述其中，所述模块中的至少一个包括一个或多个神经模型，所像序列中提取不同但相关的信息，并与其它模块共享从所述胃镜图像序列中提取的信息；并且至少一个所述神经模型将从其它神经网络模型中提取的HP感染特征和部位信息融合由所述至少三个架构级模块中的每一个创建子任务列表以供所述计算机辅助胃镜检当所述计算机辅助胃镜检查系统还包括至少一个协处理器并且在所述计算机辅助胃镜检查系统的中央处理器单元处执行的软件程序根据所述子任务的预先指派的优先级以使得所述计算机辅助胃镜检查系统能够以实现低延迟响应和高精度检测和分类的要通过第一模块中的神经模型过滤掉所述胃图像序列中通过以所述胃图像序列为输入并执行HP特征提取的第一神经模通过同样以所述胃图像序列为输入并执行包括胃肠道的时空部位信息的部位特征提5通过以第一数量的特征通道和第二数量的特征通道的级联作为输入的第三神经模型其中，所述第二神经模型是包括XceptionCNN神经模型从存储在胃部位数据集中的完整组的带标签胃图像创建累积批复制整个辅助神经网络，将所述整个辅助神经网络作为所使用完整组的带标签胃图像创建伪视频，并从所述伪视频中收将预定义数量的批次单元组合在一起作为批次组，并将所述批次将所述中间张量发送到包括至少一个全连接层的最终神经根据所述部位标签的索引对胃数据集中的带标签的胃图像进行升序选择所述随机发生器中的一个以生成初始随机数并使用该初始随机数来从所述排序从多个随机发生器中的每一个收集一组随机数，其中，收集的随机数使用偏移的所述索引列表从所述排序列表中选择胃图像以形6[0002]本申请要求于2022年4月25日提交的美国非临时申请第17/660,442号的优先权，可提高约50而内窥镜检查相关成本可降低7-20％。尽管内窥镜行业涌现出数种具有AI[0007]本发明的另一示例性实施例提供了一种通过计算机辅助胃镜检查系统处理胃图HP感染特征和部位信息融合在一起，以提高所述计算机辅助胃镜检查系统的分类准确度；由所述至少三个模块中的每一个创建子任务列表以供所述计算机辅助胃镜检查系统执行；7镜检查系统的中央处理器单元处执行的软件程序根据所述子任务的预先指派的优先级以[0011]图2示出了根据本公开的一些实施例的图1的计算机辅助胃镜检查系统中的AI功[0014]图5示出了根据本公开的一个实施例的第三模块的复合神经模型以及如何对其进[0016]图7图示了在本发明的一个实施例中的部位识别模型的各种组件以及如何对其进[0019]图10示出了根据本公开的一个实施例的关于累积位置变化与帧索引的示例性实[0024]图15图示了根据本公开的一个实施例的计算机辅助胃镜检查系统如何能够检测[0030]图21示出了在本公开的一个示例性实施例中的计算机辅助胃镜检查系统的硬件8度学习神经网络来分析相同的胃视频。然而，这些深度学习神经网络对计算的要求非常9外硬件加速器提供低延迟和高性能的系统是一个将所述胃图像序列作为输入，并对于所述胃图像序列中的每个图像产生统一张量作为输的图像的高度或宽度大于阈值，则调用并行化调整大小进程来对所述图像进行调整大小，[0066]所述第三模块的一个或多个神经模型使用胃部位数据集和幽门螺杆菌数据集进先级和每个所述协处理器的能力明智地将由所述模块中的每一个发起的子任务分配给所[0074]根据每个优化的神经模型的计算资源需求预先确定每个优化的神经模型的加载[0082]使每个所述神经模型能够在所述至少一个协处理器中的每一个处并行地开始推[0083]当所述神经模型的推理任务被拆分为在多于一个所述协处理器上运行并且由所[0089]由所述至少三个模块中的每一个创建子任务列表以供所述计算机辅助胃镜检查[0090]当所述计算机辅助胃镜检查系统还包括至少一个协处理器并且在所述计算机辅助胃镜检查系统的中央处理器单元处执行的软件程序根据所述子任务的预先指派的优先级以及每个所述协处理器的容量和能力来明智地将子任务分配给所述至少一个协处理器[0091]使得所述计算机辅助胃镜检查系统能够实现低延迟响应和高精度检测和分类的[0094]通过第二模块中的神经模型中的至少一个执行病变检测、癌[0097]通过以所述胃图像序列为输入并执行HP特征提取的第一神经模型输出第一数量[0098]通过同样以所述胃图像序列为输入并执行包括所述胃肠道的时空部位信息的部[0099]通过以第一数量的特征通道和第二数量的特征通道的级联作为输入的第三神经[0111]创建预定数量的随机发生器，每个所述随机发生器生成预定随机范围内的随机[0112]选择所述随机发生器中的一个以生成初始随机数并使用该初始随机数来从所述列104并在将每个图像馈送到AI功能和图像处理模块108之前将它们重新调整大小为标准资源优化模块105考虑硬件信息116并尝试配置和调度由神经模块106生成的多个任务，以便AI功能和图像处理模块108可以并行执行这些任务以练的神经模型可以由模型优化模块113进一步优化以产生优化的以及用于检测不具有清晰边界的病变的第三模块223。所有这三个模块都采用一个或多个[0123]第一模块221还包括感兴趣区域(ROI)模块201和图像质量评估神经模型NNl(200)图像进行不必要推理的时间。第二模块222采用病变检测神经模型NN2.1(202)来基于对象包括用于进行病变跟踪和关键帧选择的病变跟踪神经模型NN2.2(204)。第三模块223利用多个神经模型来检测HP感染和其它类型的无清晰边界的病变。它由特征提取神经模型而且还可以与第二模块的结果结合以执行图像级分析20[0126]虽然隐藏层或输出层中的隐藏节点可以完全连接到其先前隐藏层或输入层中的理二维数字图像的流行的卷积神经网络(CNN)中，隐藏层中的节点仅连接到前一层中的节简明地表示——两个数字代表上面提到的网格大小，第三个数字代表堆叠在一起的节点[0127]CNN神经模型可以具有多达一百个或更多个隐藏层。通常有两类隐藏层——卷积[0129]有许多现有的CNN模型可供开发人员使用。一些例子是ResNet、CenterNet和300中的每个样本都被标记了标签。图像质量数据集302用于使用模型训练#1程序307来训部位数据集303和幽门螺杆菌数据集304用于使用模型训练#2程序311训练作为第三模块的使用模型训练#3程序314来训练第二模块的神经模型NN2.1和NN2.2以获得完整的病变检测0.87/0.80.95/0.80.82/0.80.90/0.90.79/0.65[0134]表1.优化的神经模型在三个单独的分类和检测任务中对用户指定目标值的灵敏上下文中指定这些符号是指完整的神经模型还是[0138]根据京都胃炎分类(KyotoClassificationofGastritis)，幽门螺杆菌(HP)感型中有用的特征。在这方面，特征L6和L7(403)用于分类与HP感染无关的病变，而特征L5出节点与层607的输出节点在级联门611级联成为合并神经网络NN3.3(623)的输入节点的输入层来训练这两个神经模型。HP标签600提供对应于该图像的标签并被发送到损失函部位辅助神经模型NN3能够在一项实验中将HP感染检测的灵敏度提高5.6同时保持特异中的任何HP特征，从而减少误报。因此，NN3.2(622)的输出被引导到病变检测神经模型[0148]图7示出了部位识别模型的替代实施例以及如何在本发明的一个实施例中训练该它们连接到分类器神经网络702。神经网络701和702一起训练以识别如图6所示的部位标长方向703分组以形成批次单元。然后将这些批次单元中的32个分组在一起以形成沿批次[0152]现在参考图8，给出了示例性实施例来说明创建伪视频序列的方法。在这个示例相同的方法以适应两个以上的部位标签并生成两个合神经模型720一起从胃图像序列中提取空果队列902中的批次单元未按其预期的顺序次序排列，因此在将它们发送到LTSM模型进行可以将其插回结果队列。[0160]除了提高HP检测准确度之外，复合神经模型720还减少了检测胃视频中的部位转和1104来处理输入胃图像1101。对于预处理模[299x299x3]维度的张量1105以被馈送到HP加部位神经模型1108。同样，预处理模块#21103产生[384x384x3]维度1106的张量，以满足在病变检测神经模型1109中使用的[0165]由于统一的预处理单元1115的输出张量维度1116可能与后续神经模型所需的不如果将输入张量更改为[384x384x3]以适应预处理单元1115的输出张量1116，则出口流部出口流部分中的一些参数被修改以保持性能和输出张不可取的，因为它会在全局池化后丢失更多信息。通过将执行步幅为2x2的1x1卷积的块1201更改为执行步幅为3x3的1x1卷积的块1217，修改后的出口流1216产生[8x8x728]张量三分之一。该实验是在配备以3.5GHz时钟频率运行的英特尔酷睿(IntelCore)i7-7800X预处理模块1115都将输入胃图像的大小调整为标准化的[0177]如果计算机辅助胃镜检查系统配备有诸如图形处理单元(GPU)卡之类的协处理的IntelCorei9-9900KCPU的计[0184]图15说明计算机辅助胃镜检查系统如何检测可用硬件配置并充分利用其计算能[0185]如果硬件平台包含一个或多个协处理器或GPU卡，则采用路径1505并且用户可以将加入路径以检查硬件平台1500是否具有单个GPU或多个GPU，并如前所述进行相应的处动态批处理。在动态批处理中，系统根据GPU卡的计算能力和内存可用性动态更改批次大[0189]在另一个实施例中，系统将有界长度的任务队列指派给每个GPU并且将任务填充[0190]该时序图说明当有界队列已满且GPU仍忙于对先前任务进行推理时，进入有界队[0191]通过图17所示的优先级安排和图18所示的有界队列方案的实现方式以及诸如并[0196]图15展示了计算机辅助胃镜检查系统如何配置硬件资源以准备在线模式下的后[0199]图20示出了在一个示例性实施例中如何进行模型选择。在本实施例中，有两个实验旨在比较当使用其中一个GPU(单进程情况)与使用两个GPU(多进程情况)时处理胃视[0205]本发明的系统和方法可以以在计算机化系统上运行的软件应用程序的形式实[0207]图21是根据本发明的实施例的用于多功能计算机辅助胃镜检查系统的计算机化地包括一个或多个协处理器2110以加速计算。计算机化系统2100中的多个组件连接到I/O[0209]处理器2105可以是中央处理单元(CPU)、微处理器、微控制器、数字信号处理器数据存储的随机存取存储器(RAM)，和/或用于永久数据存储的只读存储器(ROM)，以及固件)的整体操作。一个或多个处理器可以相互通信并与存储器通信并执行实现本文讨论的软件)和其它数据。存储器2111可以包括动态或静态随机存取存储器(DRAM或SRAM)或只读胃肠道内的图像相机。输出单元2113是计算机化系统2100用于将数据发送到诸如CRT或平单元2115还可以使计算机化系统2100能够通过诸如个域网(PAN)、局域网(LAN)、广域网[0218]不同图中讨论的方法可以添加到其它图中的方法或与其它图中的方法交换。此