CN119495413A 一种基于ai的智联分屏远程机器人手术通信控制系统及方法 （天津大学医疗机器人与智能系统研究院）

一种基于AI的智联分屏远程机器人手术通种基于AI的智联分屏远程机器人手术通信控制端输入位置数据和从手末端执行器的实时位置位置偏移变化预测结果和从手末端执行器的位能够减少医生因为远程手术的通信延迟而意外2S1、获取智联分屏远程机器人的主手端输入位S2、将非手术区域的组织生理性运动数据导入非手S3、将主手端输入位置数据和从手末端执行器的实S4、根据非手术区域的位置偏移变化预测结果和从手末端执行器的位置变化预测结2.根据权利要求1所述的一种基于AI的智联分屏远程机器人手术通信控制方法，其特S21、通过智联分屏远程机器人的固定摄像头，获取非手术区域的组织生理性运动数区域实时视频图像作为非手术区域的组织生理性运S22、将第一帧非手术区域实时视频图像作为后续所有帧非手术区域实时视频图像的非手术区域实时视频图像中每个跟踪特征点的时视频图像中的位置上的像素值与第t+1帧非手术区域实时视频图像中同一位置上像素点S25、将关于跟踪特征点的图像梯度矩阵和第t点的时间梯度矩阵代入位移向量计算公式中计算每个跟踪特征点从参考图像到第t帧非手3;式中，Vt表示每个跟踪特征点从参考图像到第t帧非手术区域实时视频图像的位移向PT表示关于跟踪特征点的图像梯度矩阵的转置，(r'表示括号内矩阵的逆矩阵；AXSAY.a分别表示每个跟踪特征点从参考图像到第t帧非手术区域实时视频图像在x方S26、将每个跟踪特征点从参考图像到第t帧非手术区上的位移向量和每个跟踪特征点在参考图像中的位置(xy)代入位置变化计算公式中，计算每个跟踪特征点在第t帧非手术区域实时视频图像中的位置；所述位置变化计算公式;式中，X、Y:分别表示每个跟踪特征点在第t帧非手术区域实时3.根据权利要求2所述的一种基于AI的智联分屏远程机器人手术通信控制方法，其特个跟踪特征点在所有非手术区域实时视频图像中的位置按照时间顺序构建每个跟踪特征实时视频图像中每个跟踪特征点的位置的非手术区域位置偏位置时间序列内每个跟踪特征点在所有非手术区域实时视频图像中的位置转化为多个训样本作为非手术区域位置偏移预测模型的输入，将预设滑动步长为L的非手术区域实时视位置预测未来多帧非手术区域实时视频图像中每个跟踪特征点的位置的非手术区域位置未来多帧非手术区域实时视频图像中每个跟踪特征点的位置通过图像坐标系转换为世界4.根据权利要求3所述的一种基于AI的智联分屏远程机器人手术通信控制方法，其特4S32、将主手端输入位置数据和从手末端执行器的实时位置数据按照时间顺序构建主序列内主手端输入位置数据和从手末端执行器的实时位置数据转化为多个训练样本，其手端输入位置数据和从手末端执行器的实时位置数据预测未来多帧实时视频图像中从手5.根据权利要求4所述的一种基于AI的智联分屏远程机器人手术通信控制方法，其特末端执行器与对应的未来每帧非手术区域实时视频图像中所有跟踪S42、判断未来多帧实时视频图像中从手末端执行器的实际位置是否属于手术区域的实际位置坐标集合；当从手末端执行器的实际位置属于手术区域的实际位置坐标集合时，将未来每帧实时视频图像中从手末端执行器与对应的未来每帧非手术区域实时视频图像;式中，Fr表示未来第r帧实时视频图像中从手末端执行器和非手术区域的接触风险系与对应的未来第r帧非手术区域实时视频图像中第q6.根据权利要求5所述的一种基于AI的智联分屏远程机器人手术通信控制方法，其特险阈值，当未来第r帧实时视频图像中从手末端执行器和非手术区域的接触风险系数大于7.一种基于AI的智联分屏远程机器人手术通信控制系统，其基于权利要求1_6中任一5数据获取模块，用于获取智联分屏远程机器人的主手端输入位非手术区域位置偏移预测模块，用于将非手术区域的组织生理性从手位置变化预测模块，用于将主手端输入位置数据和从手末端执接触风险分析模块，用于根据非手术区域的位置偏移变化预测接触风险预警模块，用于根据接触风险分析结果，向智联分屏远权利要求1_6任一项所述的一种基于AI的智联分屏远程机器人手术通信控6S2、将非手术区域的组织生理性运动数据导入非手术区域位置偏移预测模型中，7术区域实时视频图像作为非手术区域的组织生理性运S22、将第一帧非手术区域实时视频图像作为后续所有帧非手术区域实时视频图跟踪特征点在周围窗口大小为w*w范围内的x方向的图像梯度和y方向的图像梯度；并计算第t帧非手术区域实时视频图像中每个跟踪特征点的小为n的范围内所有像素点在x方向的图像梯度和y方向的图像梯度组成矩阵，得到关于跟跟踪特征点的时间梯度矩阵；其中,所述时域实时视频图像中的位置上的像素值与第t+1帧非手术区域实时视频图像中同一位置上像特征点的时间梯度矩阵代入位移向量计算公式中计算每个跟踪特征点从参考图像到第t帧;式中，Vt表示每个跟踪特征点从参考图像到第t帧非手术区域实时视频图像的位PT表示关于跟踪特征点的图像梯度矩阵的转置，(r'表示括号内矩阵的逆矩阵；分别表示每个跟踪特征点从参考图像到第t帧非手术区域实时视频图像在x方方向上的位移向量和每个跟踪特征点在参考图(xy)代入位置变化计算公式8;式中，X、Y:分别表示每个跟踪特征点在第t帧非手术区域实时视频图像中的位将每个跟踪特征点在所有非手术区域实时视频图像中的位置按照时间顺序构建每个跟踪区域实时视频图像中每个跟踪特征点的位置的非手术区域位置偏点的位置时间序列内每个跟踪特征点在所有非手术区域实时视频图像中的位置转化为多训练样本作为非手术区域位置偏移预测模型的输入，将预设滑动步长为L的非手术区域实中的位置预测未来多帧非手术区域实时视频图像中每个跟踪特征点的位置的非手术区域S29、获取预测得到的未来多帧非手术区域实时视频图像中每个跟踪特征点的位世界坐标系的方式，得到未来多帧非手术区域实时视频图像中每个跟踪特征点的实际位S32、将主手端输入位置数据和从手末端执行器的实时位置数据按照时间顺序构时间序列内主手端输入位置数据和从手末端执行器的实时位置数据转化为多个训练样本，主手端输入位置数据和从手末端执行器的实时位置数据预测未来多帧实时视频图像中从9从手末端执行器与对应的未来每帧非手术区域实时视频图像中所有跟踪S42、判断未来多帧实时视频图像中从手末端执行器的实际位置是否属于手术区;式中，Fr表示未来第r帧实时视频图像中从手末端执行器和非手术区域的接触风行器与对应的未来第r帧非手术区域实时视频图像中第q个跟踪触风险阈值，当未来第r帧实时视频图像中从手末端执行器和非手术区域的接触风险系数本发明将非手术区域的组织生理性运动数据导入非手术区域位置偏移预测模型[0015]通过阅读参照以下附图所作地对非限制性实施例的详细描述，本发明的其他特图1为本发明的一种基于AI的智联分屏远程机器人手术通信控制方法的整体流程图2为本发明的一种基于AI的智联分屏远程机器人手术通信控制方法中步骤S5的图3为本发明的一种基于AI的智联分屏远程机器人手术通信控制系统的结构示意S2、将非手术区域的组织生理性运动数据导入非手术区域位置偏移预测模型中，[0019]S22、将第一帧非手术区域实时视频图像作为后续所有帧非手术区域实时视频图手术区域实时视频图像中每个跟踪特征点的小为n的范围内所有像素点在x方向的图像梯度和y方向的图像梯度组成矩阵，得到关于跟跟踪特征点的时间梯度矩阵；其中,所述时域实时视频图像中的位置上的像素值与第t+1帧非手术区域实时视频图像中同一位置上像特征点的时间梯度矩阵代入位移向量计算公式中计算每个跟踪特征点从参考图像到第t帧;式中，Vt表示每个跟踪特征点从参考图像到第t帧非手术区域实时视频图像的位PT表示关于跟踪特征点的图像梯度矩阵的转置，(r'表示括号内矩阵的逆矩阵；分别表示每个跟踪特征点从参考图像到第t帧非手术区域实时视频图像在x方方向上的位移向量和每个跟踪特征点在参考图(xy)代入位置变化计算公式;式中，X、Y:分别表示每个跟踪特征点在第t帧非手术区域实时视频图像中的位将每个跟踪特征点在所有非手术区域实时视频图像中的位置按照时间顺序构建每个跟踪区域实时视频图像中每个跟踪特征点的位置的非手术区域位置偏点的位置时间序列内每个跟踪特征点在所有非手术区域实时视频图像中的位置转化为多训练样本作为非手术区域位置偏移预测模型的输入，将预设滑动步长为L的非手术区域实中的位置预测未来多帧非手术区域实时视频图像中每个跟踪特征点的位置的非手术区域型的输入，将预设滑动步长L的非手术区域实时视频图像中每个跟踪特征点的位置作为输[0024]S29、获取预测得到的未来多帧非手术区域实时视频图像中每个跟踪特征点的位世界坐标系的方式，得到未来多帧非手术区域实时视频图像中每个跟踪特征点的实际位S291、设预测得到的未来某一帧实时视频图像中每个跟踪特征点的位置坐标为S32、将主手端输入位置数据和从手末端执行器的实时位置数据按照时间顺序构时间序列内主手端输入位置数据和从手末端执行器的实时位置数据转化为多个训练样本，主手端输入位置数据和从手末端执行器的实时位置数据预测未来多帧实时视频图像中从从手末端执行器与对应的未来每帧非手术区域实时视频图像中所有跟踪S42、判断未来多帧实时视频图像中从手末端执行器的实际位置是否属于手术区;式中，Fr表示未来第r帧实时视频图像中从手末端执行器和非手术区域的接触风行器与对应的未来第r帧非手术区域实时视频图像中第q个跟踪触风险阈值，当未来第r帧实时视频图像