CN111868788A 用于生成穴位和压力点图的系统和方法 （美的集团股份有限公司）

PCT/CN2019/110898201WO2020/078292EN2020.04.美的大道6号美的总部大楼B区26-28楼计算设备与治疗性机器人(128)和远程指导设备进行通信。计算设备接收治疗对象(104)的全身图像。计算设备通过识别与治疗对象(104)的形状和姿势参数相对应的三维人体模板并且将所识别的第一三维人体模板拟合至治疗对象(104)的全身图像来为治疗对象(104)生成多个2在具有一个或多个处理器和存储器的计算设备处，从所述治疗对象的所述一个或多个全身图像中确定所述治疗对象的多个形状参数和识别与所述治疗对象的所述多个形状参数和姿将所识别的第一三维人体模板拟合到所述治疗对象的所述一个或多个全身图像，其在所述治疗对象的物理治疗环节期间，将所述第一三基于所述治疗对象的所述额外的全身图像来检测所述治疗对象在所述治疗程序期间将所述所识别的第一三维人体模板重新拟合至所述治疗对象的所述额外的全身图像，在所述治疗环节期间，将所述第一三维人体模板的在将所述第一三维人体模板的所述相应的关键物理点的集合的经调整的位置提供给及根据所述用户输入向所述治疗性机器人提供在所述治疗环节期间执行的治疗程序的经由第一输入设备检测第一移动输入，其中，所3经由所述第一输入设备向治疗指导者提供触觉反馈在中断由所述治疗性机器人在所述治疗对象上执行从所述指导设备接收直接操纵命令，包括从第一输入设备接收的一个或多个移动输从所述治疗对象的所述一个或多个全身图像中确定所述治疗对象的多个形状参数和识别与所述治疗对象的所述多个形状参数和姿将所识别的第一三维人体模板拟合到所述治疗对象的所述一个或多个全身图像，其在所述治疗对象的物理治疗环节期间，将所述第一三基于所述治疗对象的所述额外的全身图像来检测所述治疗对象在所述治疗程序期间4将所述所识别的第一三维人体模板重新拟合至所述治疗对象的所述额外的全身图像，在所述治疗环节期间，将所述第一三维人体模板的在将所述第一三维人体模板的所述相应的关键物理点的集合的经调整的位置提供给及根据所述用户输入向所述治疗性机器人提供在所述治疗环节期间执行的治疗程序的经由第一输入设备检测第一移动输入，其中，所经由所述第一输入设备向治疗指导者提供触觉反馈在中断由所述治疗性机器人在所述治疗对象上执行从所述指导设备接收直接操纵命令，包括从第一输入设备接收的一个或多个移动输5从所述治疗对象的所述一个或多个全身图像中确定所述治疗对象的多个形状参数和识别与所述治疗对象的所述多个形状参数和姿将所识别的第一三维人体模板拟合到所述治疗对象的所述一个或多个全身图像，其在所述治疗对象的物理治疗环节期间，将所述第一三基于所述治疗对象的所述额外的全身图像来检测所述治疗对象在所述治疗程序期间将所述所识别的第一三维人体模板重新拟合至所述治疗对象的所述额外的全身图像，在所述治疗环节期间，将所述第一三维人体模板的在将所述第一三维人体模板的所述相应的关键物理点的集合的经调整的位置提供给及根据所述用户输入向所述治疗性机器人提供在所述治疗环节期间执行的治疗程序的经由第一输入设备检测第一移动输入，其中，所经由所述第一输入设备向治疗指导者提供触觉反馈6在中断由所述治疗性机器人在所述治疗对象上执行从所述指导设备接收直接操纵命令，包括从所述第一输入在中断由所述治疗性机器人在所述治疗对象上执行从所述指导设备接收直接操纵命令，包括从第一输入设备接收的一个或多个移动输获得人类对象的第一二维图像，第一人类对象的使用经训练的人体恢复模型对所述第一人类所述经训练的人体恢复模型包括迭代三维回归模块，所所述三维基础真实误差包括与相对于带注释的三维人体所述鉴别器误差提供对所获得的具有相应穴位的三维人体网格是否对应于真实人体根据所述所获得的具有相应穴位的三维人体网格，生成726.根据权利要求24所述的方法，所述方法进一步包括重建人体的具有相应穴位的一识别重建的部分，该重建的部分与接收到的所述人类对象的所述部分的2D图像相对一部分相对应的第一人体恢复子模型对所述第获得第二二维图像，所述第二二维图像捕获所述使用第二人体恢复子模型对所述第一人类对象的所述第二部分的所述第二二维图像及根据与所述第二部分相对应的、具有相应的第二组穴获得人类对象的第一二维图像，第一人类对象的使用经训练的人体恢复模型对所述第一人类所述经训练的人体恢复模型包括迭代三维回归模块，所所述三维基础真实误差包括与相对于带注释的三维人体所述鉴别器误差提供对所获得的具有相应穴位的三维人体网格是否对应于真实人体根据所述所获得的具有相应穴位的三维人体网格，生成8识别重建的部分，该重建的部分与接收到的所述人类对象的所述部分的2D图像相对述第一部分相对应的第一人体恢复子模型对所述第一人获得第二二维图像，所述第二二维图像捕获所述使用第二人体恢复子模型对所述第一人类对象的所述第二部分的所述第二二维图像及根据与所述第二部分相对应的、具有相应的第二组穴获得人类对象的第一二维图像，第一人类对象的使用经训练的人体恢复模型对所述第一人类所述经训练的人体恢复模型包括迭代三维回归模块，所所述三维基础真实误差包括与相对于带注释的三维人体所述鉴别器误差提供对所获得的具有相应穴位的三维人体网格是否对应于真实人体根据所述所获得的具有相应穴位的三维人体网格，生成9识别重建的部分，该重建的部分与接收到的所述人类对象的所述部分的2D图像相对类对象的所述第一部分相对应的第一人体恢复子模型对所述第一人类对象的二维图像进获得第二二维图像，所述第二二维图像捕获所述使用第二人体恢复子模型对所述第一人类对象的所述第二部分的所述第二二维图像及根据与所述第二部分相对应的、具有相应的第二组穴国专利申请是于2019年3月12日提交的第16/351,334号美国专利申请的接续申请并且要求[0008]提供有效且高效的人机界面以促进远程指导的针灸和治疗性物理操纵具有挑战患者身体的一个或多个部位/部分的RGBD图像)被提供给计算系统(例如，图1A中的本地计应位置，使得即使在患者已经移动了其身体和/或改变了他/她的姿势(例如，由于力的施回本地站点并在本地站点处以关键物理点(或其选定的子集)叠加在上面的方式进行呈现。治疗程序选择这些关键物理点的子集。远程专家可以向患者和/或本地治疗操作员提供高结合所执行的治疗来处理传感器信息，并且将分析结果实时提供给本地操作员和/或远程应地调整患者身体上的治疗程序和/或治疗位置。附加的传感器反馈和分析结果有助于远程专家在治疗期间执行更好的指导，并根据患者的状况和对治疗的耐受性实时地调整治三维人体模板的相应的关键物理点的集合的经调整的位置为物理治疗环节期间由治疗指从在本地站点处捕获的患者的单个2D图像中提取的图像特征进行编码获得的形状、姿势、专家(例如，传统中医医生)可以在各种形状和/或姿势的2D图像和/或3D人体模型/网格上以向患者和/或本地治疗操作员提供高级指令，以按顺序对患者身体的一个或多个区域执结合所执行的治疗来处理传感器信息，并且将分析结果实时提供给本地操作员和/或远程应地调整患者身体上的治疗程序和/或治疗位置。附加的传感器反馈和分析结果有助于远程专家在治疗期间执行更好的指导，并根据患者的状况和对治疗的耐受性实时地调整治[0022]在一些实施例中，在具有一个或多个处理器或存储器的计算设备处执行一种方[0024]贯穿本公开描述了所公开的系统和方法的其他优点，和/或根据本文提供的公开[0026]图1A是根据一些实施例的向患者提供远程指导的针灸和治疗性物理操纵的示例[0027]图1B是根据一些实施例的向患者提供远程指导的针灸和治疗性物理操纵的示例[0029]图3示出了根据一些实施例的用于训练和使用模板模型的示例性处理流水线，该[0030]图4A至图4C示出了根据一些实施方式的用于在远程指导的治疗环境的远程站点[0032]图4E至图4I示出了根据一些实施方式的示例性3D全身穴位图和人体的各个部分[0033]图5示出了根据一些实施例的示例性用户界面，该示例性用户界面用于为远程专[0035]图6B是根据一些实施例的在重建的3D人体网格上生成穴位以进行物理治疗的方[0040]本公开提供了根据各种实施例的用于提供远程指导的针灸和治疗性物理操纵以及根据各种实施例的用于根据用于使用包括迭代三维(3D)回归模块的经训练的人体恢复模型基于患者的单个二维(2D)图像来重建以穴位标记的[0041]远程指导的针灸和治疗性物理操纵由于其灵活性和降低了对治疗操作员的技能配各个患者的特定身体参数)，可以将远程专家的专业知识运用于复杂的诊断和治疗计划患者并置的传感器接收到的流RGBD数据的患者身体的实际实时视觉与触觉渲染以及根据该3D迭代回归模型包括鉴别器模块，该鉴别器模块具有许多患者(具有不同的身体特征和征或特征的组合将进一步提供上述优点和/或提供将被更详细地阐述或者对本领域技术人通技术人员将显而易见的是，可以在没有这些具体细节的情况下实践各种所描述的实施[0048]在本文中的各种所描述的实施方式的描述中使用的术语仅出于描述特定实施方有可能的组合。还应理解的是，术语包含(includes/including)和/或包括(comprises/[0054]在一些实施例中，成像传感器106被配置成捕获本地站点的视觉数据以及可选的深度数据。在一些实施例中，成像传感器106包括光检测和测距(LightDetectionand网络134提供至中央控制服务器136上的分析模型。分析结果(诸如增加/减少的肌肉/精神增加/减少的血液循环以及其他治疗宣传水平等)形成了分析模型以生成有关对当前进行来自中央控制服务器136的指令。在一些实施例中，中央控制服务器136与机器人128并置并且在治疗过程期间与机器人(例如，与机械臂130)一起移动到患者身体的各个位置。例监测器和EMG监测器，这些监测器附接到患者身体上的固定位置并且将传感器数据实时传当前治疗程序相关的关键物理点的子集)投影到这些关键物理点在患者身体上的相应位例中，利用被投影在患者身体上的光点捕获的图像被提供回中央控制服务器136并用于调移动以对患者身体上的选定点施加各种水平的压力的球或圆形尖端的圆柱体。支撑表面整其移动部件的移动路径(例如，当从3D摄像机捕获的当前图像生成的3D模型指示患者已可以根据由远程专家或中央控制服务器136提供的信息和指令(例如，经由扬声器144或显捕获2D图像或RGBD图像)期间协助重新放置患者104或使患者104保持静止，或者协助改变员110可以遵循远程专家108的演示，并且基于被投影到患者身体上的光点148的位置对患[0067]图1B是根据一些实施例的向患者(例如，图1A中的患者104)提供远程指导的针灸处可视地呈现的患者身体107的虚拟化版本基本上同时密切地对应于本地站点102处的患136基于从深度摄像机106接收的流图像和深度数据来执行生成和连续更新患者的虚拟化感器124接收的传感器数据以及传感器数据的分析结果(例如，从本地站点102或中央服务平视式显示器等)用于基于由位于本地站点102处的成像传感器106捕获的2D图像107(例入设备111提供的当前移动和位置输入相对应的位置(或患者身体的3D人体网格)处发生的如，当经由输入设备111提供的移动和位置输入对应于沿着患者身体107的虚拟化版本(或患者身体的3D人体网格)上的对应于患者肩部的模拟表面的移动时，在触觉感知输入设备人解释并基于预先建立的任务执行指令来执行的命令类型的控制)并基于从本地站点接收[0073]在一些实施例中，人类操作员108使用触觉感知输入设备111以与患者身体107的[0075]除了与患者104并置的设备(例如，患者侧计算设备114)和与远程专家108并置的并且为虚拟化的三维模型(例如，包括3D人体网格或其他三维人体模型)生成关键物理点并基于专家输入或来自本地站点(例如，投影仪上的传感器)的反馈来更新关键物理点(例[0076]在一些实施例中，中央控制服务器136使用诸如为KinectFusion的实时密集表面映射和跟踪技术来处理与实时的同时定位和映射(simultaneouslocalizationand(SkinnedMulti-PersonLinear，SMPL)模型)用于基于从本地站点102处收集的流图像和深度数据或2D图像生成患者的虚拟化三维或伪三维表示(例如，3D人体网格或其他三维人[0077]在一些实施例中，中央控制服务器136实施已经在患者的带注释的深度图像上进该图像处理模型已经根据来自患者的形状和姿势变化的2D和/或3D图像的注释数据(例如，改变位置以捕获患者身体的不同位置(从患者身体的上部到下部)来连续地跟踪穴位的位[0080]在一些实施例中，中央控制服务器136包括以下模块中的一个或多个以实现其功[0081]图2是示出了根据一些实施例的包括远程指导的治疗环境100的示例性架构200的的图像(包括彩色图像和深度图像)进行注释，以在图像上指示与各种类型的治疗程序(例的3D摄像机接收到的新患者的图像时，将图像作为输入提供给经训练的图像处理模型(例[0090]如图2中所示，在一些实施例中，所生成的关键物理点被提供至中央控制服务器替显示患者的全彩图像并将所生成的关键物理点叠加在全彩图像上。中央控制服务器136基于舍位带符号距离函数(TruncatedSignedDistanceFunction，TSDF)的触觉渲染方者或操作员调整患者的姿势并且向患者解释治穴位)的位置的治疗计划被发送至位于本地站点处的机器人。机器人根据关键物理点(例如，包括穴位)的位置和治疗计划中的指令实施治疗计划并执行治疗程序。在一些实施例[0096]图3示出了根据一些实施例的用于训练和使用模板模型的示例性处图像中患者身体的姿势参数来选择新的模板。新的模板被拟合到处于新姿势的患者身体，[0099]图4A至图4C示出了根据一些实施方式的用于在远程指导的治疗环境的远程站点RGBD数据402通过网络进行流传输并且提供给中央控制服务器136上的图形处理单元404[0105]图4D示出了用于直接从单个二维(2D)图像重建人体的三维(3D)网格的示例性处人体网格的池以及3D数据集，该3D数据集包括在相应的3D人体网格上标记的穴位的3D数在治疗台上接受针灸治疗的患者的一个或多个惯用姿势)的人的3D网格的3D数据集。在一些实施例中，3D数据集包括使用带有标记的3D扫描仪收集的穴位的3D数据(例如，位置数生)在一个或多个3D人体模型上标记穴位来收集3D数据集，并且3D数据集存储在相应的3D要求TCM医生在3D人体模型的一个或多个部分/部位(诸如3D人体的上半身、3D人体的下本获得(4320)单个所捕获的2D图像，以如本文在方法4300中所讨论的那样进行进一步处理。一些实施例中，监督3D回归模型以实现最小化的组系统将所有穴位集成在一起，以用最小化的组合损失L输出基于物理关键点并标记有穴位的变化ΔΘ添加到当前回路的参数Θt中来更新作为下一回路Θt+1的输入的参数(例如，Θt+1=Θt+ΔΘ)。真实2D数据，是基于如上文所讨论的摄像机参数的与第i个穴位或物理关键点相对应的差(Lreproj)包括通过将从2D特征获得的相应穴位和相应物理关键点投影到重建的3D人体网对包括多个子鉴别器的鉴别器网络/模块进行训练以确定对抗损失Ladv。在一些实施例中，每个穴位对应于用于确定相应穴位的相应对抗损失的单个子鉴别器(例如，相应穴位对应[0124]在一些实施例中，将3D关键物人体网格(例如，如参考图1B和图2所讨论的)来生成(4360)与人类对象的相应穴位相关联位的位置)对患者身体的3D人体网格的数据库进行注释。带注释的3D人体网格在训练中用本地操作员指定，并且在流传输患者的图像之前根据指定的姿势参数来对患者进行定位。且当投影仪基于穴位的位置以及患者身体的当前已知的形状和位置将光点投影到患者身数据(全身穴位数据或人体的相应部分上的穴位的子集)的穴位估计误差。在一些实施例[0131]如图5中所示，用户界面500包括实时数据显示部分502和治疗计划及调整区域患者身体504的虚拟化版本上。远程专家可以在患者身体的虚拟化版本的不同部分上滑动动返回到当前治疗程序的目标区域，并且在缩放的查看区域510中显示的患者身体的部分根针已经被插入到区域1中为治疗程序选择的五个关键物理点中。当将新的针插入下一个可以使用触觉感知输入设备来探索在缩放的查看区域510中示出的患者身体的部分。当虚拟指针512在缩放的查看区域510中示出的患者身体的虚拟化版本的一部分的表面上被拖[0132]如图5中所示，来自本地站点的传感器数据被显示在传感器反馈显示区域51远程专家已经选择了用于治疗程序的姿势，则在目标选择区域520中以放大状态示出所选出的模型是从在本地站点处捕获的患者的2D图像生成的重建的3D人体网格(如所讨论的)。响应于远程专家的输入来调整目标区域选择区域中所示的3D人体网格或其他3D模型的姿体的3D人体网格或其他3D模型上。远程专家可以通过将可调整大小的框526置于模型上的[0138]图6A是根据一些实施例的提供远程指导的物理治疗的方法6100的流程图。方法由位于患者的本地站点处的RGBD摄像机捕获)。计算设备为治疗对象生成(6106)多个关键设备从治疗对象的一个或多个全身图像确定(6108)治疗对象的多个形状参数和姿势参数。计算设备进一步识别(6110)与治疗对象的多个形状参数和姿势参数相对应的第一三维人设备将所识别的第一三维人体模板拟合(6112)到治疗对象的一个或多个全身图像(例如，的相应的关键物理点的集合中的至少一个关键物理点的位置进行调整(例如，当三维人体模板的相应的关键物理点的集合的经调整的位置为物理治疗环节期间由治疗指导者指定象在治疗程序期间进行的移动；并且响应于检测到治疗对象在治疗程序期间进行的移动，计算设备将所识别的第一三维人体模板重新拟合至治疗对象的额外的全身图像(例如，患板的相应的关键物理点的集合中的至少一个关键物理点的位置进行额外调整(例如，当三人体模板的相应的关键物理点的集合的额外经调整的位置为物理治疗环节期间执行的治治疗程序期间移动他/她的身体时关键物理点的位置用户输入进一步修改第一三维人体模板的相应的关键物理点的集合的经调整的位置。例输入的位置对应于跨越治疗对象的第一表面部分的移动；计算设备响应于第一移动输入，算设备从指导设备接收直接操纵命令，包括从第一输入设备接收的一个或多个移动输入；[0147]图6B是根据一些实施例的在重建的3D人体网格上生成穴位以进行物理治疗的方位118，图1B)的三维人体网格(例如，图1B中的显示器103上显示的3D人体网格)的多个参所获得的具有相应穴位的三维人体网格是否对应于真实人体的形状、姿势和穴位的度量。部分的注释数据以及与该相应部分相关联的穴位的子集来对相应的人体恢复子模型进行[0152]在一些实施例中，第一人类对象的第一二维图像捕获第一人个三维人体模板的相应的三维人体模板上标记的多个关键物理点相对应的关键物理点数集与多个关键物理点相对应的关键物理点数据，这些关键物理点被传统中医(TCM)专家标的多个关键物理点进行标记：在相应的三维全身模型上识别多个关键特征点(例如，膝盖所获得的标记有穴位的三维人体网格，以显示在远离第一计算设备定位的第二计算设备[0159]上述信息处理方法中的操作可选地通过运行信息处理设备中的一个或多个功能[0160]图7是示出了根据一些实施例的包括示例性机器人128和本地站点计算设备114的[0161]本地站点设备700包括一个或多个处理单元(CPU)702、一个或多个网络接口704[0164]呈现模块720，用于经由与用户界面710相关联的一个或多个输出设[0167]上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个[0169]上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个[0170]图8是示出了根据一些实施方式的示例性服务器136的框图。服务器系统136通常器人128的I/O接口和到一个或多个用户侧设备(诸如本地站点设备700和远程站点设备900)的I/O接口)、存储器806以及用于将这些部件互连的一个或多个通信总线808(有时被储器806可选地包括远离一个或多个处理单元802定位的一个或多个存储设备。存储器806或替代地存储器806内的非易失性存储器包括非暂时性计算机可读存储介质。在一些实施[0172]网络通信模块818，用于将服务器136连接到其他计算设备(例如，本地站点设备700(例如摄像机和传感器以及计算设备)和远程站点设备900(例如，包括输入设备(例如，[0173]呈现模块820，用于经由与用户界面810相关联的一个或多个输出设[0176]上面识别的元件中的每一个可以被存储在先前提到的存储设备中的一个或多个务器136仅仅是说明性的，并且在各种实施方式中用于实施本文所述的功能的模块的不同[0178]上面识别的元件中的每一个可以被存储在先前提到的存储