CN114332028B 内窥镜图像的处理方法、装置、可读介质和电子设备 （小荷医疗器械(海南)有限公司）

术产业示范区海南生态软件园沃克公先训练的三维重建模型确定组织图像对应的深2根据所述组织图像和历史组织图像，通过预先训练的三维重将所述三维组织图像投影至组织模板，以确定所述三维组织图像中投所述根据所述组织图像和历史组织图像，通过预先训练的三维将所述组织图像和历史组织图像输入所述姿态子模型，以得到所所述根据所述组织图像、所述深度图像和所述姿态参数确定所述组织通过所述融合子模型根据所述组织图像、所述深度图像和所述姿态参数进行三维融4.根据权利要求1所述的方法，其特征在于，所述将所述三维组织图像投影至组织模将预设时间段内采集的多个所述组织图像中，每个所述组将所述三维总图像投影至所述组织模板，以确定所述三维总图像中投板重叠的所述可见区域，和所述三维总图像中投影与所述组织模板不重叠的所述盲区区将样本组织图像输入所述深度子模型，以得到所述样本组织图以及采集所述样本组织图像的内窥镜内参数，并将历史样本组织图像输入所述深度子模将所述样本组织图像和所述历史样本组织图像输入所述姿态子模3将所述样本组织图像和所述历史样本组织图像输入所述光流模型，以根据所述样本深度图像、所述样本姿态参数和所述内窥根据所述样本组织图像和所述插值组织图像根据所述样本姿态参数和所述内窥镜内参数，将所述样本深度图像根据所述样本光流图、所述样本姿态参数和所述内窥镜内参数，将根据所述第一深度图像和所述第二深度图像确根据所述样本组织图像、所述插值组织图像，以及所述样根据所述第一深度图像和所述第二深度图像的差异度，确输出所述盲区比例，并在所述盲区比例大于或等于预设的比例阈值重建模块，用于根据所述组织图像和历史组织图像，通过预先根据所述组织图像、所述深度图像和所述姿态参数确定所述组织图像对应的三维组织图4投影模块，用于将所述三维组织图像投影至组织模板，以确定所述处理模块，用于根据所述可见区域和所述盲区区域，确定所述内所述重建模块，用于将所述组织图像输入所述深度子模型，以得到所行时实现权利要求1-9中任一项所述方法5织模板重叠的可见区域，和所述三维组织图像中投影与所述组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的型确定所述组织图像对应的深度图像、所述组织图像与所述历史组织图像之间的姿态参6理装置执行时实现本公开第一方面所述方法组织图像和历史组织图像，通过预先训练的三维重建模型确定组织图像对应的深度图像、将三维组织图像投影至组织模板，以确定三维组织图像中投影与组织模板重叠的可见区定内窥镜检查过程中的盲区比例。本公开通过三维重建模型根据组织图像确定深度图像、[0026]图6是根据一示例性实施例示出的一种三维重建模型与光流模型连接关系示意[0027]图7是根据一示例性实施例示出的一种联合训练三维重建模型和光流模型的示意[0028]图8是根据一示例性实施例示出的另一种联合训练三维重建模型和光流模型的示7[0037]应当理解，本公开的方法实施方式中记载的各个步骤可义将在下文描述中给出。[0041]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性8可以是Transformer(例如VisionTransformer)中的Encoder等，本公开对此不作具体限到组织图像对应的三维组织图像。三维组织图像能够表征组织图像对应的组织的三维结检查过程中的盲区比例。盲区比例可以理解为内窥镜检查过程中盲区(即内窥镜的视野中无法观测到的部分)占组织内部整体表面积的比例。组织模板可以理解为能够反映内窥镜9个三维组织图像进行拼接，得到一个能够反映一段较长的肠道的三维结构的三维总图像，平滑处理。平滑处理例如可以为滑动平均(英文：MovingAverage)算法，也可以是平均算法来举例，可以通过公式1对运动轨迹进行滑动平均，以得到平滑处理后的运动轨[0069]其中，ys(i)表示滑动平均后的运动轨迹中第i个点的坐标，i表示实时获取的运动轨迹中第i个点的坐标。输出样本组织图像对应的样本深度图像(表示为Da)以及采集样本组织图像的内窥镜内参为Ib)作为深度子模型的输入，深度子模型能够输出历史样本组织图像对应的历史样本深了能够捕捉到较远距离的运动状态，光流模型下采样更深(即光流模型中步幅卷积层的数再利用多个转置卷积层进行上采样到样本组织图像的分辨率(即光流模型中转置卷积层的[0088]步骤E，以降低目标损失为目标，利用反向传播算法训练三维重建模型和光流模[0091]图8是根据一示例性实施例示出的另一种联合训练三维重建模型和光流模型的示ppL1范数对于离散点更加鲁棒。[0100]其中，Ls表示平滑损失，VIa(p)表示样本组和λ2分别表示预设的权重，SSIM(p)表示样本组织图像与插值组织图像之[0133]处理模块204，用于根据可见区域和盲区区域，确定内窥镜检查过程中的盲区比[0149]步骤E，以降低目标损失为目标，利用反向传播算法训练三维重建模型和光流模[0167]下面参考图15，其示出了适于用来实现本公开实施例的电子设备(例如本公开实应对本公开实施例的功能和使用范围带来任[0168]如图15所示，电子设备300可以包括处理装置(例如中央处理器、图形处理器等)300操作所需的各种程序和数据。处理装置301、ROM302以及RAM303通过总线304彼此相[0172]在一些实施方式中，终端[0175]可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如Java、[0178]本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例[0180]根据本公开的一个或多个实施例，示例1提供了一种内窥镜图像的处理方法，包插值组织图像确定光度损失；根据所述样本深度图像的梯度和所述样本组织图像的梯度，组织模板不重叠的盲区区域，所述组织模板用于表征所述内窥镜检查的组织的整体形状；[0194]尽管已经采用特定于结构特征和/或方法逻辑动作的语言描述了本主题，但是应面所描述的特定特征和动作仅仅是实现权利要求书的示例形式。关于上述实施例中的装