CN112089392B 胶囊内窥镜控制方法、装置、设备、系统及存储介质 （深圳市资福医疗技术有限公司）

道朗山路13号清华紫光信息港C座909室A,2016.07.20A,2019.04.16A,2019.03.19A,2020.05.01本发明公开一种胶囊内窥镜控制方法、装2巡航路径规划模块，用于根据目标区域内的各个待扫描节点之间的三维位置关系模第一确定模块，用于按照所述当前巡航路径中各个所述待扫第一控制模块，用于根据所述三维位置关系模型中所述第一接收模块，用于接收所述胶囊内窥镜在所述目标区域内实时拍摄的所述第一图第二确定模块，用于确定所述目标节点在所述第一图像中识别单元，用于将所述第一图像输入节点检测AI模型进行节点特征识别分个单元，用于通过节点分割AI模型对识别出的目标节第二确定单元，用于根据所述目标节点掩膜和所述目标节节点位置和目标节点大小，其中目标节点大小为所述目标节点检测框内的图像的像素数第一控制模块，用于基于所述目标节点位置和所述目标节所述目标节点出现在所述胶囊内窥镜拍摄的第二第一建立单元，用于建立所述目标区域内的各个所述待扫规划单元，用于以所述胶囊内窥镜拍摄的图像中的所述待扫描节点5.根据权利要求3所述的胶囊内窥镜控制装置，其特征在于，所述第二控制模块还用3第一确定单元，用于根据所述目标节点掩膜和所述目标节节点位置和目标节点大小，其中目标节点大小为所述目标节点检测框内的图像的像素数处理器，用于执行所述存储器中存储的可执行指令时，调用执行权利要求1至6所述的胶囊内窥镜控制装置的各个模块或单所述磁控设备包括传动机构和第二磁体，所述胶囊内窥镜控制设备通过所胶囊内窥镜控制设备，用于根据目标区域内的各个待扫描节点之标区域内的当前巡航路径，所述当前巡航路径包括所述目标区域的所有所述待扫描节点，4处理器加载并执行以实现如下步骤所述的方法中S12：按照所述当前巡航路径中各个所述待扫描节点的扫描顺序来选取所述待扫描的根据所述三维位置关系模型中所述当前节点与所述目标节点的位置将所述第一图像输入节点检测AI模型进行节点特征识别和节点通过节点分割AI模型对识别出的目标节点进行分割，生成目标节点掩根据所述目标节点掩膜和所述目标节点检测框确定所述目标节点在所述第一图像中5[0003]为了解决现有技术中存在的上述技术问题，本发明提供一种胶囊内窥镜控制方[0016]当所述胶囊内窥镜偏离所述当前巡航路径，或者寻找目6[0024]根据所述目标节点掩膜和所述目标节点检测框确定所述目标节点在所述第一图所述第一图像中的所述目标节点及所述目标节[0028]根据所述目标节点掩膜和所述目标节点检测框确定所述目标节点在所述第一图所述胶囊内窥镜对所述目标节点进行十字扫描和/或环[0033]第一接收模块，用于接收所述胶囊内窥镜在所述目标区域内实时拍摄的第一图7[0042]规划单元，用于以所述胶囊内窥镜拍摄的图像中的所述8点之间的三维位置关系模型，以胶囊内窥镜拍摄的图像中的所述待扫描节点为当前节点，内窥镜待扫描的目标节点；接收所述胶囊内窥镜在所述目标区域内实时拍摄的第一图像，9[0067]图7为本发明实施例中生成的当前节点B的掩膜和检测框，以及目标节点C的掩膜[0074]图14为本发明实施例中目标节点C及其四个方向的相邻区域被扫描完全的示意实时拍摄的图像发送给无线收发设备，无线收发设备再将图像发送给胶囊内窥镜控制设[0083]步骤S12：从所述当前巡航路径中确定所述胶囊内窥镜待扫描的目标节点。具体[0085]具体地，预设胶囊内窥镜中的第一磁体与磁控设备中的第二磁体组成的受力模点之间的三维位置关系模型，以胶囊内窥镜拍摄的图像中的所述待扫描节点为当前节点，内窥镜待扫描的目标节点；接收所述胶囊内窥镜在所述目标区域内实时拍摄的第一图像，[0092]当所述胶囊内窥镜偏离所述当前巡航路径，或者寻找目体位调整，导致胶囊内窥镜远离了之前扫描的区域(比如由原来的胃体上部移动到胃体下置关系模型调整胶囊内窥镜的位置和姿态，使目标节点C出现在胶囊内窥镜实时拍摄的第[0097]在一些实施例中，步骤S11所述根据目标区域内的各个待扫描节点之间的三维位[0098]S111：建立所述目标区域内的各个所述待扫描节点之间的所述三维位置关系模[0100]具体地，建立目标区域内的各个待扫描节点之间的三维位置关系模型(如图4所遍历整个三维网络拓扑图，找出所有能够遍历整个三维网络拓扑图全部节点的巡航路径，态规划算法或分治算法或约束优化算法，采用深度优先遍历方法遍历整个三维网络拓扑线收发设备发送的所述胶囊内窥镜在所述目标区域[0106]S141：将所述第一图像输入节点检测AI模型进行节点特识别出所述第一图像中的所述目标节点及所述特征识别和节点名称判定，识别出所述第一图像中的所述目标节点及所述目标节点的名之一或者其组合的节点分割AI模型之后，将第一图像输入该节点分割AI模型进行节点分经网络模型和初始节点分割深度卷积神经网络模型在训练过程中通过各网络卷积层生成卷积神经网络模型输出的节点掩膜作用于初始节点检测深度卷积神经网络模型输出的检[0112]利用训练集分别对当前节点检测深度卷积神经网络模型和当前节点分割深度卷积神经网络模型和当前节点分割深度卷积神经网络模型分别对应的指标是否满足预定要分割深度卷积神经网络模型分别作为最终的节点检测深度卷积神经网络模型和节点分割求的当前节点检测深度卷积神经网络模型和当前节点分割深度卷积神经网络模型分别作为最终的节点检测深度卷积神经网络模型和节点分割深度卷积神[0118]根据所述目标节点掩膜和所述目标节点检测框确定所述目标节点在所述第一图第一图像输入节点检测深度卷积神经网络模型，可以识别出目标节点并输出目标节点名第一图像输入节点检测深度卷积神经网络模型，无法识别出目标节点并输出目标节点名标节点在第一图像中的大小来确定目标节点检测框占整一张第一图像的像素面积大小(与存储在系统中的经验证值进行对比)，通过目标节点检测框占整一张第一图像的像素面积大小来判断胶囊内窥镜的当前位置是否是最佳观测位置，如果是最佳观测位置(如图10所节点分割深度卷积神经网络模型预先对目标区域内所有待扫描节点检测及分割所需要的像的分辨率为R*R，如果目标节点检测框距第二图像的四个边的像素距离都≥R/4个像素，框距第二图像任意一个边的距离都小于L/4个像素，说明目标节点的边界有可能超出了胶变第二磁体的姿态来调整胶囊内窥镜的姿态，使胶囊内窥镜偏移目标节点的中心15～30[0132]第一接收模块，用于接收所述胶囊内窥镜在所述目标区域内实时拍摄的第一图点之间的三维位置关系模型，以胶囊内窥镜拍摄的图像中的所述待扫描节点为当前节点，内窥镜待扫描的目标节点；接收所述胶囊内窥镜在所述目标区域内实时拍摄的第一图像，胶囊内窥镜的位置和姿态，使所述目标节点出现在所述胶囊内窥镜拍摄的第二图像的中[0142]规划单元，用于以所述胶囊内窥镜拍摄的图像中的所述节点位置和目标节点大小，其中目标节点大小为所述目标节点检测框内的图像的像素数[0151]关于胶囊内窥镜控制装置的具体描述可以参见上文中对于胶囊内窥镜控制方法[0163]关于胶囊内窥镜控制系统的具体描述可以参见上文中对于胶囊内窥镜控制方法指令集由所述处理器加载并执行以实现上述实施例的胶囊内窥镜控制方法中所具有的操[0165]本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件