CN113971835B 一种家电设备的控制方法、装置、存储介质及终端设备 （深圳市联洲国际技术有限公司）

US2021258506A1,2021.0据骨骼关键点的三维空间坐标值进行控制型动骼关键点坐标数据与环境数据统一到同一坐标2对所述待检测深度数据进行人体骨骼关键点检测，获取骨骼关键点的三维图像坐标将所述骨骼关键点的三维图像坐标值转换到世界坐标系下，获得所根据所述骨骼关键点的三维空间坐标值进行指向型动作检测，并根根据所述骨骼关键点的三维空间坐标值进行控制型动作检测，并根则，所述将所述骨骼关键点的三维图像坐标根据所述深度传感器在世界坐标系下的位姿参数对所述骨骼关键点的三维图像坐标分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值计i表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上的根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中心，获2.如权利要求1所述的家电设备的控制方法，当所述深度传感器的视野内不存在移动机器人时，通过所述深度传感器获取M张背景3.如权利要求1所述的家电设备的控制方法3根据所述骨骼关键点的三维空间坐标值获取预设的起点关键点的三维空间坐标值和根据所述起点关键点的三维空间坐标值、所述终点关键点的三维空根据最小夹角对应的家电设备的三维空间坐标值以及设备信息，在第一位置采集第一图像，获取所述第一图像中的第一家电在第二位置采集第二图像，获取所述第二图像中的第二家电根据所述匹配特征点、所述第一位置的三维空间坐标值和所述第根据所述第一设备类型查询预设的家电设备信息表；其中，所当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有所述匹配特征点的三维空间坐标值确定所述第一家电设6.如权利要求1～5任一项所述的家电设备的控制将所述骨骼关键点的三维空间坐标值与预设的控制动作根据确定的人体的控制动作对所述目标家电设备4骨骼关键点坐标获取模块，用于对所述待检测深骨骼关键点坐标转换模块，用于将所述骨骼关键点的三维图骨骼关键点坐标转换单元，用于根据所述深度传感器在世界坐掩码图像处理子单元，用于分别对每一张掩码图像上的所有标记为1的像素点的坐标ii传感器位姿获取子单元，用于根据移动机器人在N个不同位置所对8.一种计算机可读存储介质，其特征在于，所权利要求1～6任一项所述的家电设备的控56[0016]根据所述深度传感器在世界坐标系下的位姿参数对所述骨骼关键点的三维图像[0018]当所述深度传感器的视野内不存在移动机器人时，通过所述深度传感器获取M张[0021]分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值ivi)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上[0022]根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中[0026]根据所述骨骼关键点的三维空间坐标值获取预设的起点关键点的三维空间坐标7[0036]当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电[0043]骨骼关键点坐标获取模块，用于对所述待检测深度数据进行人体骨骼关键点检骨骼关键点的三维空间坐标值；再根据骨骼关键点的三维空间坐标值进行指向型动作检89[0070]根据所述深度传感器在世界坐标系下的位姿参数对所述骨骼关键点的三维图像感器的空间变换矩阵H＝{R|t}将人体骨骼关键点的三维图像坐标值对应转换为世界坐标将该骨骼关键点的三维图像坐标值P从深度传感器对应的坐标系转换为世界坐标系下的三个相机的RGB图像识别骨骼关键点，然后用双目视觉的方法通过两个视角的图片恢复出深[0075]当所述深度传感器的视野内不存在移动机器人时，通过所述深度传感器获取M张[0078]分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行平均值ivi)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上[0079]根据移动机器人在N个不同位置所对应的N个三维空间坐标值和所述N个聚类中应获得深度传感器的视野内的背景图像，当深度传感器的视野内存在移动机器人(即存在运动)时，通过深度传感器采集获取移动机器人在N(N>1)个不同位置所对应的N张深度图应获得移动机器人对应的N个三维空间坐标值；其中，利用移动机器人以及SLAM算法(SimultaneousLocalizationandMapping，同步定位与地图构建算法)对深度传感器的动机器人根据构建好的环境栅格地图以及SLAM定位功能即可确定自身在世界坐标系下的三维空间坐标值，从而可以对应获得移动机器人在N个不同位置所对应的世界坐标系下的i张帧差图像上的每一个像素点的深度值分别与预先设置的深度阈值进行比较，当判定任差图像上的每一个像素点进行1或0的标记之后，根据标记处理后的第i张帧差图像对应获[0083]然后，分别对每一张掩码图像上的所有标记为1的像素点的坐标值及深度值进行图像上的所有标记为1的像素点的uv坐标值及深度值d进行求平均值计算，相应获得第i张ii)表示第i张掩码图像上的所有标记为1的像素点的平均坐标值，di表示第i张掩码图像上的所有标记为1的像素点的平均深度内的背景图像时，可以仅利用一张背景深度图像相应获得深度传感器的视野内的背景图i)转换到世界坐标系下的位置信息[0089]需要说明的是，深度传感器的位姿参数Hd即为深度[0091]根据所述骨骼关键点的三维空间坐标值获取预设的起点关键点的三维空间坐标骼关键点的三维空间坐标值就可以相应获得起点关键点的三维空间坐标值和终点关键点家电设备作为目标家电设备，最小夹角对应的家电设备的三维空间坐标值以及设备信息，台家电设备，计算向量(Pi-Pstart)与(Pend-Pstart)之间的夹角(或者也可以计算其他两电设备中选择距离人体最近的家电设备作为目[0104]当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电第一家电设备对应的第一设备类型以及第一家电设备在第一图像中对应的第一目标区域，一目标区域和第二目标区域进行特征点提取以及特征点匹配处理，相应获得匹配特征点；[0108]然后，根据第一位置对应的三维空间坐标值和第二位置计算获得匹配特征点对应的三维空间坐标值；其中，可以采用SLAM算法(SimultaneousLocalizationandMapping，同步定位与地图构建算法)获取移动机器人在第一位置处的第一位姿参数S1＝{R1|t1}及其对应的三维空间坐标值(即为第一位置对应的三维空间坐征点转换为三维相机坐标系下的第一匹配特征点，再通过获得的第一位姿参数S1(即第一空间变换矩阵)将第一匹配特征点转换到世界坐标系下，并且相应形成了以第一位置为起能等相关设备信息)，以找出在家电设备信息表中设备类型与第一设备类型相同的家电设坐标值(Y台家电设备对应的三维空间坐标值同样可以采用上述实施例中的三角交汇法分且将获得的匹配特征点的三维空间坐标值作为第一家电设备的三维[0112]或者，也可以根据Y台家电设备对应的三维空间坐标值和获得的用户的三维空间获得的匹配特征点的三维空间坐标值作为第一家电设备的三确定的人体的控制动作对目标家电设备进行[0133]掩码图像处理子单元，用于分别对每一张掩码图像上的所有标记为1的像素点的iii)表示第i张掩码图像上的所有标记为1的像素点的平均坐标[0148]当所述家电设备信息表中与所述第一设备类型相同的设备类型所对应的家电设备有且仅有一台时，根据该家电设备对应的设备信息确定所述第一家电设备的设备信息，根据所述匹配特征点的三维空间坐标值确定所述第一家电作用以及实现的技术效果分别与上述实施例所述的家电设备的控制方法的作用以及实现机程序时实现上述任一实施例所述的家电设备其他通用处