CN110622085A 移动机器人及其控制方法和控制系统 （珊口（深圳）智能科技有限公司）

PCT/CN2019/10063620道清泉路锦华发工业园硅谷大院T1栋本申请提供一种移动机器人及其控制方法所述深度图像中识别所述目标障碍物的障碍物和/或行为。本申请可针对目标障碍物类型进行2获取基于所述至少一个摄像装置拍摄而得的深度图基于至少一个摄像装置所拍摄的包含重叠区域的两幅颜色图像而得到的所述深度图识别所述深度图像中的行进平面特征，以及基于4.根据权利要求1或3所述的移动机器人的控制方识别所述深度图像中目标障碍物的图像特征，利用经机器学习而训练的分类器对所述深度在所统计的轮廓宽度结果符合预设的第一缠绕物条件所述从深度图像中识别所述目标障碍物的障碍物类型的3色图像中各自表征的所述目标障碍物的图像，识别出所述目标障碍物的障碍物类型的步基于相匹配的第一图像特征或第二图像特征而得到的基于所述摄像装置的装配倾斜角而预设的行进平面图像区识别所述颜色图像和/或深度图像中的行进平面特征，以及基于所识别出的行进平面按照预设重叠条件，确定所述颜色图像中的第基于相匹配的第一图像特征或第二图像特征所表征的基于相匹配的第一图像特征或第二图像特征所表征的利用经机器学习而训练得到的分类器对相匹配的第一图像特征或第二图像特征所占在所统计的轮廓宽度结果符合预设的第三缠绕物条件4所述移动机器人的导航移动和/或行为的步骤包括在所得到的障碍物类型为孤岛类型的情况下，基于在所得到的障碍物类型为空间分隔类型的情况下，在所得到的障碍物类型为缠绕物类型的情况下，在经过所述目标障碍物期间，控制改变所述移动机器人的边刷5调所述接口装置、存储装置和摄像装置执行并实现如权利要求1-18中任一所述的控制方6法移动并在严重时可能会使得移动机器人倒地而引发安全事故。对于自主清洁机器人而基于至少一个摄像装置所拍摄的包含重叠区域的两幅颜色图像度图像中的行进平面特征；基于所述行进平面特征确定所述深度图像中的目标图像区域；7的障碍物类型的步骤包括以下至少一个步骤：识别所述深度图像中目标障碍物的图像特和深度图像中重叠的目标图像区域的步骤，以在所述目标图像区域中执行所述匹配操作：下至少一种：基于相匹配的第一图像特征或第二图像特征所表征的目标障碍物的轮廓特8导航移动和/或行为的步骤包括以下至少一种：在所得到的障碍物类型为缠绕物类型的情类型为孤岛类型的情况下，基于相应目标障碍物与所述移动机器人之间的相对位置关系，述移动机器人按照预设移动路线经过所述目标障碍物；以及在经过所述目标障碍物期间，9述深度图像所提供的目标障碍物相对于移动机器人之间的位置关系以及所识别出的障碍[0032]图3显示为本申请移动机器人为自主清洁机器人的一种实施方式下的硬件结构示[0035]图6显示为对两幅颜色图像中所拍摄的重叠视场区域的物体进行三维重构的原理及操作上的改变。下面的详细表征不应该被认为是限制性的，并且本申请的实施例的范围仅由公布的专利的权利要求书所限定。这里使用的术语仅是为了表征特定实施例，而并非征的关系。(操作人员手持遥控器)或按照一定的设定规则自行在房间子而使得移动机器人无法移动并在严重时可能会使得自主清洁机器人倒地而引发安全事[0047]基于上述自主清洁机器人的示例而推及至其他应用场景下所使[0051]根据实际移动机器人所配置的摄像装置12，所述接口装置111与至少一个摄像装置12相连，用于从相应摄像装置12读取其拍摄的包含行进移动方向障碍物图像的深度图[0052]所述存储装置113用于存储至少一种程序，所述至少一种程序可供所述处理装置策略中的导航移动控制策略包括依据所述存储装置113存储的依据SLAM而构建的地图应用制策略包括基于障碍物类型而设置的清洁行为应用。制器，其可控制移动机器人的诸如中央处理器(CPU)和接口装置之类或其他组件对存储器微处理器、一个或多个专用处理器(ASIC)、一个或多个数字信号处理器(DigitalSignalProcessor，简称DSP)、一个或多个现场可编程逻辑阵列(FieldProgrammableGate于控制移动装置和清洁装置的从处理器，如微控制单元(MicrocontrollerUnit，简称[0055]请参阅图2，其显示为本申请移动机器人的控制方法在一实施方式中的流程示意中利用深度数据描述的各障碍物均可作为待识别的目标障碍物的图像，以供后续步骤处动机器人配置有多个摄像装置(321和322)，其中一个摄像装置321用于为本申请所提供的[0063]所述处理装置与单一摄像装置通过接口装置相连，并基于预先重叠区域的两幅颜色图像而得到对应重叠区[0065]所述移动机器人的处理装置记录所述移动机器人在t1时刻和t2时刻相对的位置[0067]移动机器人的顶部或体侧装配有同步拍摄包含重叠视场区域的颜色图像的双目[0069]请参阅图6，其显示为对两幅颜色图像中所拍摄的重叠视场区域的物体进行三维[0070]处理装置可上述方式遍历第一图像和第二图像中对应重叠视场区域的图像区域[0073]在一些实际应用中，移动机器人需要获知妨碍移动和/或行为操作的目标障碍物[0077]在另一些示例中，基于所述摄像装置的装配倾斜角而预设的述角度是指机器人行进方向的水平线与所述摄像装置光轴或光学轴的深度门限的图像区域视为行进平面图像区域，并滤除所述深度图像中的行进平面图像区像中目标障碍物的图像特征，根据所识别出所述目标障碍物的图像特征确定障碍物类型。如，与缠绕物类型相关的轮廓特征举例包括统计轮廓宽度不大于预设宽度门限(如不大于[0085]所述形状特征是基于特征线和/或特征点组成的或抽象出的几何形状、几何形状[0086]处理装置利用上述预设的各障碍物类型所对应的特征规则对所得到的深度图像点和/或特征线所构成的描述目标障碍物两侧边缘的轮廓线被视为所述轮廓特征。所述轮廓特征还包括基于所得到轮廓线而提取的与装置滤除轮廓线中具有直线特征的轮廓线，和/或轮廓线的最低点高于移动机器人身高的[0097]所述分类器举例包含经训练得到的卷积神经网络(ConvolutionalNeural器也可在移动机器人联网并与相应的厂商服务器或应用服务商服务器建立通信连接后进置关系包含目标障碍物所占三维空间中相对于移动机器人从最近端到最远端的多组距离[0102]在步骤S130中，基于获取的所述目标障碍物相对于移动机器人[0104]所述移动机器人的处理装置基于预设的对应所识别出的障碍物[0110]针对缠绕物类型的控制策略还包括用于防止缠绕物类型的目标障碍物对移动机滚刷由旋转改为停转；将风机由大吸力工作状态改为小吸力工作状态或改为停止工作状由灰度数据和深度数据而描述的同一类轮廓特征和/或形状特征进行匹配，得到相匹配的[0124]为了降低匹配所述颜色图像中的第一图像特征和深度图像中的第二图像特征时理装置通过去除图像中的行进平面图像区域[0125]在一实施方式中，处理装置利用前述提及的从深度图像提取目标图像区域的方中行进平面图像区域的方式与前述利用提供深度图像的摄像装置的装配倾斜角而预设的别颜色图像以得到行进平面图像区域，和/或利用行进平面受光辐射而在颜色图像中所呈曝区域为颜色图像中因入射光辐射过强而在图像中形成的灰度低于预设灰度门限下限的[0128]以移动机器人的体侧装配有ToF摄像装置为例，ToF摄像装置内置有红外光发射装置通过识别其中一种图像中的图像特征来确定相应[0134]处理装置利用颜色图像中的第一图像特征识别障碍物类型的方式与前述利用深用灰度数据描述的目标障碍物的轮廓特征和/或形状特征，利用对应灰度数据而设置的识的第一图像特征或第二图像特征而得到的目标障碍物的图像可视为颜色图像或深度图像[0141]其中所述分类器的训练和使用与前述针对深度图像而设计的分类器的训练和使置关系包含目标障碍物所占三维空间中相对于移动机器人从最近端到最远端的多组距离[0143]在步骤S240中，基于获取的所述目标障碍物相对于移动机器人器人之间的位置关系以及所识别出的障碍物类型在预先构建的地图中目标障碍物的位置[0147]所述存储装置113和处理装置112可对应于前述提及的控制系统中的存储装置和[0150]以处理装置获取ToF摄像装置所提供的深度图像和灰度图像为例，所述移动机器[0153]所述清洁装置14用于在受控模式下执行清洁行为操作。所述清洁装置14包括边在所述自主清洁机器人移动时基于处理装置112所发出的控制指令而对地面执行清洁作提供的实施例等。再例如，清洁装置还可包括喷雾装置或洒水装置，例如中国专利CN109363587A中所提供的实施例等。在此，本申请将中国专利CN109363571A、[0155]以处理装置获取ToF摄像装置所提供的深度图像和灰度图像为例，所述移动机器[0156]处理装置检测相匹配的第一图像特征中的形状特征若符合预设直线特征和矩形到本