CN115100257B 套管对准方法、装置、计算机设备、存储介质 （上海微创医疗机器人（集团）股份有限公司）

WO2021188757A1,2021.09.232获取对预先进行了打孔处理的目标作用区域中至少一个待对准套管进行图像采集而通过基于神经网络构建的分割模型对所述目标图像进行分割，得到与各对于每个待对准套管，基于与每个初始轮廓点相邻的相邻轮廓点对于每个待对准套管，基于所述与相应待对准套管对应的目标轮廓对于每个待对准套管，基于在相机坐标系中与相应待对准套管对根据目标工作场景中至少一个对准部件中的靶标，确定各所述对准部件的虚拟不动将所述目标不动点、所述虚拟不动点和所述目标工作场景进行虚实装置在所述待对准套管上显示所述目标不动点，在所述对准部件显示所述虚拟不动点，对于每个待对准套管对应的每个初始轮廓点，确定与相应初始轮廓点对于每个待对准套管对应的每个初始轮廓点，将相应初始轮廓点作为角基于各个初始轮廓点分别对应的角度，对各个初始轮廓点进行角对于每个待对准套管，基于与相应待对准套管对应的各个中间轮廓点基于目标工作场景所对应的环境图像，通过SLAM算法，确定相机坐标对于每个待对准套管，将在相机坐标系中与相应待对准套管对应的3获取对至少一个对准部件中的靶标进行图像采集确定所述待处理图像中靶标的位置信息，通过第二坐标系对于每个对准部件，获取与相应对准部件对应的虚拟不动点在靶对于每个对准部件，基于所述待处理图像中与相应对准部件对应的靶标的位置信息，获取与目标工作场景环境对应的环境图像，基于所述环境图像，对于每个对准部件，基于与相应对准部件对应的第一对应关系、第二对应个待对准套管的情况下，所述通过增强现实装置在所述待对准套管上显示所述目标不动基于预设的配对原则、各个虚拟不动点的编号和各个目标不动点的编将所述运动路径发送至所述增强现实装置中，以使得所述虚拟不动在所述移动角度不为阈值角度的情况下，控制所述虚拟不动点在所述目标不动点的位置发生偏移的情况下4第一确定模块，用于获取对预先进行了打孔处理的目标作世界坐标系中与相应对准套管对应的目标不第二确定模块，用于根据目标工作场景中至少一个对准部件显示模块，用于将所述目标不动点、所述虚拟不动点和所述目标被处理器执行时实现权利要求1至9中任一项所述的567对准部件102通过网络与计算机设备106进行通信，增强现实装置104通过网络与计算机设目标工作场景中至少一个待对准套管在目标作用区域的目标不动点。计算机设备106根据该目标工作场景中至少一个对准部件102中的靶标，确定各该对准部件102的虚拟不动点。8备基于环境图像或者目标图像中的一种，确定目标工作场景中实施一个目标不动点的位含有位于目标工作场景中除对准部件和待对准套管以外其他设备的位置和其他设备的结9的x轴和y轴所在的平面在对准部件的表面上，靶标坐标系的z轴垂直于x轴和y轴所在的平拟套管是模拟对准状态下套管的表现形式，该对准状态下虚拟不动点和真实不动点重合。部件的虚拟不动点在目标工作场景中的精准定位，准确有效地反映了对准部件的位置信亮度值为0。计算机设备基于该掩膜所对应的坐标信息，确定二维下目标不动点的位置信到与各个待对准套管分别对应的二维的掩膜，该分割模型可以是基于神经网络所构建的。定在世界坐标系中与相应对准套管对应的目标位置qc和位置关系T之间的乘积，作为在世界坐标系中与相应对准套管对应的目标不动点预设角度范围筛选处理的角度是近似为90度的角，即得到图像中待对准套管的四个顶点[0113]步骤S1202，获取对至少一个对准部件中的靶标进行图像采集而得到的待处理图每个第一对准部件，计算机设备基于图像坐标系中相应第一对准部件所对应的角点坐标，定与相应对准部件对应的虚拟不动点在靶标坐标系下的预第一对准部件，计算机设备将相应第一对准部件所对应的二维的角点坐标映射到三维空中与相应对准部件对应的靶标的位置信息，通过PnP(Perspective-n-Point，n点透视)算转换到世界坐标系所涉及到的变化矩阵wr该变换矩阵wr可以根据如cr为靶标坐标系中的点转换到相机坐标系中所涉及到的变化矩阵，wr:为定与相应对准部件对应的虚拟不动点在靶标坐标系下的段内各个时刻的虚拟不动点的位置，并基于当前时间段内各个时刻的虚拟不动点的位置，中各个靶标各自所携带的编码信息，计算机设备中配对监测单元确定各个对准部件的编单元控制该相应虚拟不动点停止运动，并发送警示信息(即错误警告)至该增强现实装置。的对准部件继续控制相应虚拟不动点进行移动，直至相应虚拟不动点与真实不动点重合，并通过计算机设备中的机械臂调整控制单元调整机械臂(即对准部件)姿态使其与已置入该虚拟不动点按照该运动路径进行移动，直至该虚拟不动点移动至该目标不动点的位置[0184]上述套管对准装置中的各个模块可全部或部分通过软件、硬件及其组合来实输入/输出接口用于处理器与外部设备之间交换信息。该计算机设备的通信接口用于与外非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory，MRAM)、铁电存储器(FerroelectricRandomAccessMemory，FRAM)、相变存储器(PhaseChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，