CN112529856B 确定操作对象位置的方法、机器人和自动化系统 （华为技术有限公司）

主体的用户坐标系和机器人的工具坐标系相关2主体(3)为所述机器人(1)的操作对象(31)所在的主体，所述操作主体(3)的操作平面分布机器人(1)的工具中心点为原点建立的坐标系，所述用户坐标系的X轴和Y轴与所述操作平获取目标操作对象和所述参考标志(32)在所述用户坐标系下的位在所述全局图像中确定所述参考标志(32)的像素基于所述参考标志(32)的像素尺寸和所述参考标志(32)的物理尺寸基于所述目标操作对象和所述参考标志(32)在所述用户坐标系的相机中心点的相对物理位置，确定所述目标操作对象在所述工具坐标系下的第一位置，调整所述机器人(1)的姿态，使得所述机器人(1)的工具坐标系与所述操作主体(3)的获取位于所述机器人(1)上的测距装置(4)测量的所述目标操作对象在所述Z轴的位4.根据权利要求2所述的方法，其特征在于，所述控制所控制所述相机(2)移动至所述第一拍摄位置，并在所述第一拍摄位置拍摄所述全局图5.根据权利要求4所述的方法，其特征在6.根据权利要求1所述的方法，其特征在于，所述获取目标操作对象和所述参考标志3接收所述上位机发送的操作指令，所述操作指令中携带有所述7.根据权利要求6所述的方法，其特征在基于所述全局图像的图像中心点、所述参考标志(32)在所述全局图像中的像素位置，基于所述相机中心点与所述参考标志(32)的相对物理位置，以及述相机中心点的相对物理位置，确定所述工具中心点与所述参考标志(32)的相对物理位基于所述工具中心点与所述参考标志(32)的相对物理位置，以及所控制所述相机(2)移动至所述第二拍摄位置，并在所述第二拍摄位置拍摄包含所述目获取位于所述机器人(1)上的测距装置(4)测量的所述目标操作对象在所述工具坐标在所述局部图像中确定所述目标操作对象的中心点和图像中心4基于所述目标操作对象的中心点和图像中心点的相对像素位置，以13.根据权利要求12所述的方法，其特征在于，所述全局图像还包括所述目标操作对基于所述参考标志(32)在所述全局图像的像素尺寸和所述参考标志(32)的物理尺寸，确定所述全局图像对应的物理尺寸和像素尺基于所述目标操作对象在所述全局图像的像素尺寸，以及所述全基于所述目标操作对象的物理尺寸和所述目标操作对象在所述局部图像中的像素尺操作对象，所述获取目标操作对象和所述参考标志(32)在所述用户坐标系下的位置之后，基于所述目标操作对象和所述参考标志(32)在所述操作主体(3)的用户坐标系下的位如果识别出所述目标操作对象能够被所述机器人(1)操作，则执行所述确定所述目标操作对象在所述机器人(1)的工具坐标系下的所述存储器存储有一个或多个程序，所述一个或多个程序被配置成由所述处理器执所述相机(2)和所述测距装置(4)固定在所述机器人(1)的机所述操作主体(3)的操作平面分布有至少一个操作对5定所述目标操作对象在所述机器人的工具坐标系下的6布参考标志作为基准位置，并获取位于机器人上的相机拍摄的包含参考标志的全局图像，象在工具坐标系的Z轴的坐标值(这一坐标值可以由测距装置直接测量得到)，而仅仅需要根据全局图像确定的目标操作对象在工具坐标系下的位置更加精确(精度可以达到0.1mm[0018]本申请实施例所示的方案，将目标操作对象在机器人的工具坐标系下的第一位[0019]与相关技术中通过多目结构光相机直接确定出目标操作对象在X轴、Y轴和Z轴的7接测量目标操作对象在Z轴的位置，使得确定出的目标操作对象在Z轴的位置的精度也较[0026]本申请实施例所示的方案，通过将操作主体的尺寸信息8[0037]基于所述全局图像的图像中心点、所述参考标志在所述坐标系下的第二位置，使得确定出的目标操作对象在工具坐标系下的第二位置更加精确，9[0044]本申请实施例所示的方案，将目标操作对象在机器人的工具坐标系下的第二位[0045]与相关技术中通过多目结构光相机直接确定出目标操作对象在X轴、Y轴和Z轴的接测量目标操作对象在Z轴的位置，使得确定出的目标操作对象在Z轴的位置的精度也较[0050]在所述局部图像中确定所述目标操作对象的中心点和图像中心点的相对像素位标操作对象和所述参考标志在所述操作主体的用户坐标系下的位置之后，所述方法还包[0058]基于所述目标操作对象和所述参考标志在所述操作主体目标操作对象在所述机器人的工具坐标系下的第一位置布参考标志作为基准位置，并获取位于机器人上的相机拍摄的包含参考标志的全局图像，作对象位置的方法，不仅仅可以应用在ODF机房中，还可以应用在任何有类似需求的场景志32的某一顶点作为基准点，与操作主体3的基准点重合(该基准点可以为操作主体3的用储有操作主体3的标识、操作主体3的尺寸信息和操作对象31的尺寸信息中的一种或多种。[0097]图3是本申请实施例示出的一种确定操作对象位置的方法的流程图，该方法可以[0103]图4是本申请实施例示出的另一种确定操作对象位置的方法的流程图，该方法可值可以由测距装置直接测量得到)，而仅仅需要计算目标操作对象在工具坐标系的X轴和Y测距装置4(激光测距仪)对机器人1的姿态进行调整。姿态调整的具体的过程可以如下所可以保证操作主体3以足够大的比例完整的呈现在全局图像中，第一拍摄距离可以是根据坐标值可以是相机2图像识别到操作主体3全部呈现在全局图像中时确定的。可以理解的[0120]目标操作对象和参考标志32在操作主体3的用户坐标系下的位置，也可以理解为[0121]在某些情况下，参考标志32的位置被确定为基准位置(如用户坐标系的坐标原的标识的操作指令获取请求。上位机接收到操作指令获取请求之后，基于操作主体3的标之前，相机2扫描过程中进行的。第二信息标志可以与前述第一信息标志为同一信息标志[0128]步骤403、基于目标操作对象和参考标志32在操作主体3以及全局图像对应的物理尺寸和像素尺寸的映射比例，在全局图像中确定目标操作对象，[0135]确定目标操作对象在机器人1的工具坐标系下的第一位置的确定过程可以如下所[0140]如图5所示，提供了一种确定目标操作对象在工具坐标系下的第一位置的一种可[0143]在实施中，基于全局图像的图像中心点和参考标志32在[0146]如图6所示，提供了另一种确定目标操作对象在工具坐标系下的第一位置的可能[0155]在确定目标操作对象在工具坐标系下的第一位置之后，在一种具体的实现方式[0159]需要说明的是，步骤405确定出的相机中心点在第二拍摄位置的X轴和Y轴的坐标[0165]以相机中心点在第二拍摄位置的X轴和Y轴的坐标值与目标操作对象的中心点在X[0180]最后，基于目标操作对象的物理尺寸和目标操作对象在寸和目标操作对象的像素尺寸相除，得到局部图像对应的物理尺寸和像素尺寸的映射比网机房中。对于运营商传送网或接入网机房的各种机框，包括朗讯连接器(lucent直插机框和SC头斜插机框等，只要在机框操作平面上或与其邻近的平行操作平面上(如机申请实施例提供的方法均能精确导引机械臂等可移动操作设备到目标位置，精度达到μm[0193](1)机器人1上电并且带动相机2运动到机框的参考标志32附近，在距离机框[0197](5)根据端口与参考标志32的相对物理位置、相机中心点到参考标志32的位置差[0199](7)根据测距装置4完成端口距离工具中心点的距离测量，最后机器人1运动到目[0204](2)获取操作对象模板先验知识和参考标志32对应的像素位置，并计算相邻像素[0205](3)用操作空间编号和上位机交互，获取要操作的操作对象距参考标志32的坐标[0213]本申请实施例还提供了一种计算机可读存储介质，计算机可读存储介质包括指芯片运行时