《机器人控制》课件 chapter11 机器人遥操作技术

CHAPTER11机器人遥操作技术基于视觉融合的机械臂三维遥操作系统基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机书写技能传递基于触觉反馈的Baxter机器人遥操作控制基于人体运动跟踪的Baxter机器人遥操作控制基于RBF神经网络和波变量的双臂协同遥操作控制2Chapter11机器人遥操作技术背景脑机接口技术机械臂三维遥操作系统控制部分设计机械臂三维遥操作系统的视觉伺服部分设计311.1基于视觉融合技术的机械臂三维遥操作控制系统11.1基于视觉融合技术的机械臂三维遥操作控制系统背景视觉伺服系统分类视觉伺服系统按控制策略可分为：①基于位置的视觉伺服系统（PBVS）②基于图像的视觉伺服（IBVS）③混合视觉伺服基于位置的视觉伺服系统结构图基于图像的视觉伺服系统结构图混合视觉伺服系统结构基于脑机接口的组成脑机接口一般由脑电信号采集设备以及脑电信号分析设备两个部分构成脑机接口的组成结构脑电信号采集设备主要用于从用户头部采集用户的脑电信号。信号分析设备负责对脑电信号进行预处理、特征提取、特征分类等操作，从而推断出用户的脑电意图，生成决策信号。脑机接口设计基于SSVEP的脑机接口范式BCI的基本原理：人脑中的神经细胞不断相互作用，同时头皮上的电势也不断变化，通过对这些时变势的记录和分析，就可以推断出意图。SS-VEP脑机接口范式的基本原理除了SSVEP，还有其他范式，如运动图像和P300。然而，SSVEP具有最高的响应速度，因此，它是最适合本节描述的机器人系统的范式。脑电信号处理算法脑电信号的分析过程如下图所示。SSVEP范式脑机接口信号处理总体框架

（11.1）（11.2）

最大解

（11.3）（11.4）（11.5）（11.8）（11.9）运动想象脑机接口的信号处理算法运动想象范式脑机接口信号处理总体框架动想象范式的脑机接口的信号处理过程如下图所示：采集到脑电信号之后：①利用共同空间模式算法（CSP）对脑电信号进行特征提取；②利用支持向量机（SVM）算法进行分类；③推断出当前脑电信号属于哪种类别。（1）运动想象脑机接口的理论基础当人在进行运动或是想象身体的运动时，具体表现为脑部特定区域的EEG信号的频率特征µ节律（8-12Hz）和β节律（18-26Hz）会发生改变（ERD现象）。反之，又会重新恢复（ERS现象）。

运动想象信号频域分布特征由图分析可知，在分析数据时，需要先将µ节律和β节律的信号从原始信号中提取出来。这里采用想象左右手的运动。运动想象脑电信号生理特征的空间分布（2）运动想象脑机接口特征提取算法这里采用CSP算法提取运动想象时的脑电信号特征，该算法对两分类的脑机接口分类正确率比较高。（3）运动想象脑机接口的特征分类算法这里选择支持向量机（SVM）对脑电信号特征进行分类。主要思想：通过求解一个最优化平面来分离两类样本，同时保证该平面距离两类样本之间的间距和为所有可能的平面中的最大值。SVM基本原理

实际上是凸二次规划问题

求解该问题最常用的方法就是利用序列最小最优化算法，进行最优化寻解。

（11.10）（11.11）（11.12）（11.13）机械臂三维遥操作系统控制部分设计Baxter机器人运动学与避障Baxter机器人，如图11.12所示。在每个臂的末端，有一个可编程的夹子，可以用作抓取物体的末端执行器。（a）Baxter机器人（b）七自由度机器人的机械臂图11.12Baxter机器人外观

（线性方程）求导

（11.15）

冗余机械臂避障的基本原理：通过不同的姿态实现避障根据线性代数知识，式（11.15）的解可以拆分为如下两部分：

求导

（11.16）（11.17）（11.18）

任务运动和自运动生成

（11.19）（11.20）避障实验为了验证机器人避障效果，先将Baxter机械臂抽象成几根相连的直线，令机械臂从工作空间中的一点移动到另一点，并记录每个环节的位置。无障碍物时机械臂的运动轨迹由障碍物时机械臂的运动轨迹把机械臂抽象为直线机械臂三维遥操作系统的视觉伺服部分设计视觉伺服系统的主要作用有三种，如图11.15所示。（a）Bumblebee2相机拍摄的原图（b）针对用户的视觉反馈画面（c）计算物体的三维坐标（d）坐标系转换目标物体识别与自适应颜色追踪算法识别物体的具体步骤如下：①研究人员绘制图像的外部轮廓②计算出所有像素点的颜色平均值③从实时图标准颜色标记像中算出与每个点的颜色信息之间的差异。本章使用一种自适应颜色识别算法，该算法的描述如下表所示：步骤描述1使用上次计算的标准颜色特征标签识别物体2若成功检测出物体，则重新计算检测区域中心点附件区域的颜色平均值3用步骤2中的平均值替换原标准颜色特征标签，返回步骤1进行下一次检测自适应跟踪算法实验为验证自适应算法的有效性，设计如右图所示的实验：双目视觉和深度测量同一物体的位置在左眼相机和右眼相机中的显示结果是不同的，左右眼相机中同一物体的差异计算如下：

计算深度信息

计算X和Y坐标

（11.21）（11.22）（11.23）改进的手眼标定方法将对象的坐标从Bumblebee2坐标系转换为Baxter机器人坐标系。

（11.25）（11.27）（11.26）问题：Baxter坐标系的原点位于Baxter的体内，不可用。需要找到另一种方法来测量Baxter坐标系中的坐标。解决方法：使用Baxter的运动学API，可以用它来读取机器人末端执行器的坐标，并命令末端执行器到达所有坐标的位置。

缺点：由于机器人API和Bumblebee2相机中测量的不精确性，随机误差始终存在，这些问题会影响校准效果。

经过一系列推导，式（11.24）与表达式（11.29）等价。（11.29）（11.28）（11.27）将式（11.29）简化成如下形式：

计算最小二乘解类比（11.28）

为了验证式（11.31）的校准效果，设计以下实验。

（11.30）（11.31）实验结果如下所示：（a）不使用LSM算法的情况（b）使用LSM算法的情况两种方法误差值对比图由图可得：使用LSM算法和不适应该算法的平均误差分别为0.035m和0.010m，说明使用LSM算法的实验结果较好。Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER11机器人遥操作技术遥操作系统结构基于表面肌电信号的人机遥操作控制实验2811.2基于肌电信号的移动机器人遥操作控制11.2基于肌电信号的移动机器人遥操作控制遥操作系统结构机器人遥操作的研究势场法：是一种常用的避障方案，通过引力与斥力的结合，可以计算出总力的方向和大小，移动机器人将会到达目标，并沿着这个方向避开障碍物。29势场法11.2基于肌电信号的移动机器人遥操作控制遥操作系统结构机器人遥操作的研究遥操作：遥操作是一种由人工操作对从端机器人进行远程精确控制的技术。利用支持向量机(SVM)并根据肌电信号来识别人体手势。30遥操作11.2基于肌电信号的移动机器人遥操作控制遥操作系统结构移动机器人遥操作系统移动机器人遥操作系统示意图3111.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制基于肌电信号的手势识别基于肌电信号的手势识别的结构图3211.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制基于肌电信号的手势识别第2和第3通道的绝对值积分样本图第3和第6通道的绝对值积分样本图3311.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制基于肌电信号的手势识别

平均值：标准差：绝对值积分：

根方均值：过零点数：

3411.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制势场法为了简单起见，将全向移动机器人OMR看作是在二维工作空间中控制的点质量。OMR的运动方向由斥力和引力的合力决定，引力由目标位置产生，障碍物对移动机器人产生斥力。合力场：合力计算：

3511.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制

引力场：

引力：

3611.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制障碍物产生的斥力场：

障碍物产生的斥力：

3711.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制势场法如图所示，当目标点、障碍物和机器人的运动方向在同一条直线时，移动机器人会遇到局部极小值问题，即移动机器人无法达到目标位置，无法避开障碍物，这是传统势场法的缺点。目标点、障碍物和机器人运动方向在同一条直线图3811.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制势场法为了克服传统PFM的缺点，我们引入了一种由MYO手环确定的控制命令生成的虚拟临时目标点。而虚目标点可以产生另一种引力，改变移动机器人的合方向。如图所示，从而使机器人重新规划运动轨迹，避开障碍物，到达目标位置。加入临时虚拟目标点后的合力计算图3911.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制基于肌电信号的速度控制1、通过MYO手环采集到的肌电信号的计算单位时间内的均值，将8个通道的肌电信号整合后计算：

4011.2基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机遥操作控制

4111.2基于肌电信号的移动机器人遥操作控制遥操作控制实验实验设置实验一：移动机器人的速度由人手臂控制刚度；实验二：当障碍物、目标点和OMR的方向不在一条直线上时，OMR通过两种方法达到目标位置并避开障碍物；实验三：通过控制OMR来避免障碍物与移动机器人的目标点和移动方向在同一条线上。4211.2基于肌电信号的移动机器人遥操作控制遥操作控制实验实验结果与分析原始肌电信号与滤波后的肌电信号图移动机器人在不同手臂刚度下的运动图43手臂刚度有效控制速度11.2基于肌电信号的移动机器人遥操作控制实验结果与分析图1：移动机器人在势场法下避障轨迹图2：势场法下机器人与障碍物的最小距离图3：移动机器人在人机协作下避障轨迹图4：人机协作下与障碍物的最小距离44移动更平稳更有效避障11.2基于肌电信号的移动机器人遥操作控制遥操作控制实验实验结果与分析三点共线时移动机器人的避障轨迹图人机协作与障碍物的最小距离图45局部最小值Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER11机器人遥操作技术48人体臂关节实验设计人-机器人技能传递11.3基于表面肌电信号的人机书写技能传递11.3基于表面肌电信号的人机书写技能传递概述人机技能传递表面肌电信号_

sEMG目的：使机器人能够像人类一样灵巧的操作。特点：(1)能反映人类关节运动、刚度等的肌肉活动(2)易于获取和快速自适应响应(3)应用广泛实现方式：(1)基于人机控制的建模(2)示教学习49人体臂关节手臂刚度估计模型

手臂刚度估计模型50

手臂刚度估计模型51

sEMG信号是在肌肉活动时产生的非侵入性信号，400-500Hz范围内的sEMG信号与所有肌肉的刚度均相关，使用该范围的信号足以进行刚度估计。为了获得更好的机器人性能，需要对sEMG信号进行平滑滤波，如下图所示。对sEMG信号进行平滑滤波使用平方和低通滤波方法对sEMG信号进行处理示例52

对sEMG信号进行平滑滤波53所涉及的电极的肌肉、数量和位置在端点刚度估计参与肌电图刚度估计的肌肉形态54端点刚度估计下图所示为用于估计端点刚度的8块肌肉，其含义如表所示。人体手臂刚度映射到机器人关节

55人体手臂刚度映射到机器人关节示意图通过雅可比矩阵，可以将估计的增量刚度从末端执行器映射到每个关节。人体手臂刚度映射到机器人关节56Baxter机器人如下图所示，其机械臂的每个接头由一个串行弹性致动器(SEA)驱动，提供被动顺应性，以实现任何接触或冲击的力的最小化。实验平台Baxter机器人Baxter远程通信系统57实验设计实验步骤1）首先需要对人体手臂刚度进行校准。本节的估计模型如下图a所示，要求在人的手腕附近±X，±Y，±Z和以一定的耦合机制选取的随机方向移动，以限制其运动。如下图b所示，本节进行了54次试验，使用最小二乘法来提高估计精度。a.增量刚度系数估计流程图b.基于力传感器和肌电信号的刚度校准58实验步骤2）将人体手臂末端的刚度映射到机械臂的关节空间上，映射模型如下图所示。从人到机器人的刚度映射设计及基于阻抗控制的交互

59实验结果（1）参考轨迹按以下步骤进行实验：(1)示教者将sEMG手环佩戴在手臂上记录sEMG信号。(2)示教者教机器人完成书写“口”字的任务。(3)记录Baxter机器人末端位置以及末端执行器所受到的力。分别在高刚度、低刚度，以及sEMG变刚度下进行对比实验，结果如下图所示：（2）高刚度书写（4）低刚度书写（3）基于sEMG的刚度书写60实验视频61结果比较三种不同端点刚度场景的接触力：（Ⅰ）参考值（Ⅱ）高刚度下的接触力（Ⅲ）变刚度下的接触力（Ⅳ）低刚度下的接触力三种不同的端点刚度情况的位置误差：（a）在恒定高刚度下书写（b）通过sEMG在可变刚度下书写信号（c）在恒定的低刚度下书写62结论：基于sEMG刚度下的位置误差低于基于低刚度下的误差，并且几乎与高刚度的性能相同。基于sEMG刚度书写的接触力小于高刚度，而低刚度可能不适合实现书写任务。接触力在Z方向上与参考力的关系实验结论本节提出了一种在3D笛卡尔空间中使用增量刚度估计将人的阻抗适应技能传递给机器人的有效方法，该方法具有以下优点：（1）人机技能传递的校准时间更少（2）非线性残留误差更少实验结果表明：基于sEMG信号提取人阻抗的方法与传统方法相比，可以更好的实现书写技能传递。63Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER11机器人遥操作技术66遥操作控制系统肌肉活动提取基于sEMG的变增益控制实验设计11.4基于触觉反馈的Baxter机器人遥操作控制11.4基于触觉反馈的Baxter机器人遥操作控制概述新特征的遥操作方法回顾：表面肌电信号（sEMG）特点：（1）能反映人类肌肉活动。（2）易于获取和快速自适应响应。（3）应用广泛。67遥操作控制系统系统简介遥操作系统的结构MYO手环Baxter机械臂运动学模型Omni触觉操作杆遥操作系统采用主从控制结构，主端使用触觉设备，从端设备主要由七自由度Baxter机器人组成。68

工作区匹配Omni和Baxter的框架轴方向69工作区匹配

工作区匹配结果工作空间匹配的结果如右图所示：红点云是从属工作空间，灰点云代表主工作空间。70肌肉活动提取

71基于sEMG的变增益控制控制增益计算

72（2）力矩控制模式：指定的控制增益将以一定比例倍数影响从端机械臂的刚度。控制器设计（1）位置控制模式：操作者能够通过肌肉收缩来调节机械臂的运动速度。73实验比较在位置控制模式下的测试在位置控制方法中，可以通过设置控制增益来改变遥控机器人的跟随速度。我们设计了一个抓取和放下的任务来测试基于EMG的可变增益控制方法的性能。在该实验中，操作者将从目标上用蓝色十字标记的起始位置抓取目标对象（图a所示的绿色物体）到桌子上标记为红叉的目标位置，如图b所示。a.接送任务b.提升和移动任务74（a）（b）（c）（d）

图1高增益模式（a）（b）（c）（d）

图2低增益模式（a）（b）（c）（d）

图3基于sEMG的可变增益模式（1）低增益模式和基于EMG的可变增益模式的操作员可以平滑且准确地到达和放置目标。（2）在高增益模式下，未经训练的操作者很难在第一时间准确地抓住物体。（3）在高增益模式和基于sEMG的可变增益模式下，整个抓取和放下任务的时间消耗相对较低，而在低增益模式下则高得多。对比实验表明，在位置控制模式中基于sEMG的可变增益模式确保了操作员高效，平滑和准确的操纵机器人完成指定任务。测试结果75a.末端执行器速度b.肌电信号c.力反馈通过分析基于sEMG的可变增益控制模式的测试数据(如下图所示)，可以得出当操作者受到反馈力时，机械臂的速度将增加，反之亦然。76在力矩控制模式下测试a.高刚度模式b.低刚度模式c.变刚度模式d.跟踪均方根误差在刚度控制方法中，可以设定机械臂的刚度来调节机械臂的力矩。提升和移动任务可以用来验证基于EMG的可变刚度的控制模式，能否在效率和准确性方面有所提高。由图可得，在基于sEMG的变刚度模式下机械臂可以提升物体并保持自身稳定，且跟踪均方根误差最低。下图呈现了分别施加高刚度，低刚度和基于sEMG变刚度控制策略时的结果，以及三种不同模式下跟踪的均方根误差。77a.刚度估计b.肌电信号c.力反馈通过分析基于sEMG的可变刚度控制模式的测试数据(如下图所示)，可以得出当操作者前臂上的反馈力增加时，机械臂的刚度值将增加，反之亦然。78Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER11机器人遥操作技术81遥操作系统遥操作控制系统设计实验11.5基于人体运动跟踪的Baxter机器人遥操作控制11.5基于人体运动跟踪的Baxter机器人遥操作控制概述机器人越先进，操作该机器人所需的设备往往就越复杂。人体运动跟踪是实现机器人控制的一种不错的方法，为了实现人体运动跟踪，本节采用了KinectXBOX360传感器。Kinect传感器提供的是在笛卡尔空间中的数据，需要将其转换为关节空间才能与机器人进行交互。本节介绍以下两种方法来解决该问题：（1）矢量方法（2）逆运动学法并对两种方法进行了比较。基于kinect的遥操作控制系统82遥操作控制系统系统简介基于kinect的遥操作控制原理kinect的深度和RGB传感器数据kinect的传感器：1.深度传感器，2.RGB相机,3.电动底座系统由跟踪装置和机器人组成，身体跟踪由Kinect传感器完成。Kinect设备连接到远程计算机，计算机上安装相应的软件用于从Kinect传感器接收位置数据。83遥操作控制系统设计距离计算余弦定律

使用余弦定律（如右图所示）可以计算关节之间的角度，最大可计算角度为180°。在计算关节之间的角度时，需要额外的点来确定具180°~360°范围的角度。84矢量方法a.矢量方法中使用的角度在该方法中，从Kinect提取身体关节的笛卡尔坐标，并计算来自肢体的相应角度。四个角度包括肩部俯仰角、肩部偏转角、肩部滚动角和肘部俯仰角（如图a所示）b.矢量法中角度计算的原理使用矢量法的角度计算原理如图b所示。粗线CO和CD分别代表人的左上臂和左下臂。粗线BO是从左臀到左肩的线，AO是从右肩到左肩的线。有向段BX+，BY+和BZ+表示Kinect的笛卡尔空间中的帧的轴，并且点B是帧的原点。85

angleOf()函数：把三个点位置传递到angleOf()函数，该函数可以返回夹角角度。86（4）肩部滚动角的计算：在角度计算中，肩部的角度计算是最难的。由于计算不直观且所有获得的点都在3D平面中，因此先前用于计算角度的方法不可用。本节采用计算方法是通过找到手肘矢量在垂直于肩肘矢量并穿过肩关节的平面中所形成的角度，即为所求。

平移肩部滚动角的计算步骤87矢量逼近的误差通过计算滚动角的函数得到的结果并不完全准确，所以需要对肩部滚动角进行误差校正。通过数据观察到肩部滚动角随肩部偏转而变化，基于试错法，利用下式来校正误差：左肩横滚角=-左肩横滚角-左肩偏转角/2-0.688逆运动学方法逆运动学是指使用运动学方程从末端执行器坐标位置计算关节角度以及诸如机器人的长度和角度约束之类的约束。Kinect给出了手的坐标位置，这些坐标位置可以转换为机械臂的关节角度。（1）提取坐标：首先提取手关节的坐标,然后提取肘坐标，这些坐标和手坐标可用于计算关节的长度。（2）人手与Baxter机械臂之间的映射：人手与Baxter机械臂的大小不同，所以需要进行匹配，以使逆运动学方法正常工作。人手与Baxter机械臂之间的坐标图：人体骨骼89（3）分析Baxter坐标系：Baxter坐标系约定与Kinect坐标系约定不同，因此必须根据各自的约定映射坐标轴。映射后，就可以控制Baxter。坐标轴之间的映射关系如下：人手与Baxter机器人的坐标图：机器人的前视图

对比实验矢量法实验结果逆运动学法实验结果通过使用这种方法，只控制了7个关节中的4个。为了控制剩余的关节，需要手掌和手指的额外数据，这是Kinect无法获得的。Baxter对所有已求解的位置做出响应，同时避免了双手之间的碰撞,夹具和气动配件能够随着鼠标点击响应。90Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER11机器人遥操作技术93双臂协同控制遥操作系统建模从端控制器设计实验11.6基于RBF神经网络和波变量的双臂协同遥控制11.6基于RBF神经网络和波变量的双臂协同遥控制概述基于TouchX和双臂Baxter机器的

双臂遥操作系统双臂遥操作机器人优点：（1）适用范围更广