chapter11.1-基于视觉融合技术的机械臂三维遥操作控制系统

CHAPTER11机器人遥操作技术基于视觉融合的机械臂三维遥操作系统基于肌电信号的移动机器人遥操作控制基于表面肌电信号的人机书写技能传递基于触觉反馈的Baxter机器人遥操作控制基于人体运动跟踪的Baxter机器人遥操作控制基于RBF神经网络和波变量的双臂协同遥操作控制2Chapter11机器人遥操作技术背景脑机接口技术机械臂三维遥操作系统控制部分设计机械臂三维遥操作系统的视觉伺服部分设计311.1基于视觉融合技术的机械臂三维遥操作控制系统11.1基于视觉融合技术的机械臂三维遥操作控制系统背景视觉伺服系统分类视觉伺服系统按控制策略可分为：①基于位置的视觉伺服系统（PBVS）②基于图像的视觉伺服（IBVS）③混合视觉伺服基于位置的视觉伺服系统结构图基于图像的视觉伺服系统结构图混合视觉伺服系统结构基于脑机接口的组成脑机接口一般由脑电信号采集设备以及脑电信号分析设备两个部分构成脑机接口的组成结构脑电信号采集设备主要用于从用户头部采集用户的脑电信号。信号分析设备负责对脑电信号进行预处理、特征提取、特征分类等操作，从而推断出用户的脑电意图，生成决策信号。脑机接口设计基于SSVEP的脑机接口范式BCI的基本原理：人脑中的神经细胞不断相互作用，同时头皮上的电势也不断变化，通过对这些时变势的记录和分析，就可以推断出意图。SS-VEP脑机接口范式的基本原理除了SSVEP，还有其他范式，如运动图像和P300。然而，SSVEP具有最高的响应速度，因此，它是最适合本节描述的机器人系统的范式。脑电信号处理算法脑电信号的分析过程如下图所示。SSVEP范式脑机接口信号处理总体框架

（11.1）（11.2）

最大解

（11.3）（11.4）（11.5）（11.8）（11.9）运动想象脑机接口的信号处理算法运动想象范式脑机接口信号处理总体框架动想象范式的脑机接口的信号处理过程如下图所示：采集到脑电信号之后：①利用共同空间模式算法（CSP）对脑电信号进行特征提取；②利用支持向量机（SVM）算法进行分类；③推断出当前脑电信号属于哪种类别。（1）运动想象脑机接口的理论基础当人在进行运动或是想象身体的运动时，具体表现为脑部特定区域的EEG信号的频率特征µ节律（8-12Hz）和β节律（18-26Hz）会发生改变（ERD现象）。反之，又会重新恢复（ERS现象）。

运动想象信号频域分布特征由图分析可知，在分析数据时，需要先将µ节律和β节律的信号从原始信号中提取出来。这里采用想象左右手的运动。运动想象脑电信号生理特征的空间分布（2）运动想象脑机接口特征提取算法这里采用CSP算法提取运动想象时的脑电信号特征，该算法对两分类的脑机接口分类正确率比较高。（3）运动想象脑机接口的特征分类算法这里选择支持向量机（SVM）对脑电信号特征进行分类。主要思想：通过求解一个最优化平面来分离两类样本，同时保证该平面距离两类样本之间的间距和为所有可能的平面中的最大值。SVM基本原理

实际上是凸二次规划问题

求解该问题最常用的方法就是利用序列最小最优化算法，进行最优化寻解。

（11.10）（11.11）（11.12）（11.13）机械臂三维遥操作系统控制部分设计Baxter机器人运动学与避障Baxter机器人，如图11.12所示。在每个臂的末端，有一个可编程的夹子，可以用作抓取物体的末端执行器。（a）Baxter机器人（b）七自由度机器人的机械臂图11.12Baxter机器人外观

（线性方程）求导

（11.15）

冗余机械臂避障的基本原理：通过不同的姿态实现避障根据线性代数知识，式（11.15）的解可以拆分为如下两部分：

求导

（11.16）（11.17）（11.18）

任务运动和自运动生成

（11.19）（11.20）避障实验为了验证机器人避障效果，先将Baxter机械臂抽象成几根相连的直线，令机械臂从工作空间中的一点移动到另一点，并记录每个环节的位置。无障碍物时机械臂的运动轨迹由障碍物时机械臂的运动轨迹把机械臂抽象为直线机械臂三维遥操作系统的视觉伺服部分设计视觉伺服系统的主要作用有三种，如图11.15所示。（a）Bumblebee2相机拍摄的原图（b）针对用户的视觉反馈画面（c）计算物体的三维坐标（d）坐标系转换目标物体识别与自适应颜色追踪算法识别物体的具体步骤如下：①研究人员绘制图像的外部轮廓②计算出所有像素点的颜色平均值③从实时图标准颜色标记像中算出与每个点的颜色信息之间的差异。本章使用一种自适应颜色识别算法，该算法的描述如下表所示：步骤描述1使用上次计算的标准颜色特征标签识别物体2若成功检测出物体，则重新计算检测区域中心点附件区域的颜色平均值3用步骤2中的平均值替换原标准颜色特征标签，返回步骤1进行下一次检测自适应跟踪算法实验为验证自适应算法的有效性，设计如右图所示的实验：双目视觉和深度测量同一物体的位置在左眼相机和右眼相机中的显示结果是不同的，左右眼相机中同一物体的差异计算如下：

计算深度信息

计算X和Y坐标

（11.21）（11.22）（11.23）改进的手眼标定方法将对象的坐标从Bumblebee2坐标系转换为Baxter机器人坐标系。

（11.25）（11.27）（11.26）问题：Baxter坐标系的原点位于Baxter的体内，不可用。需要找到另一种方法来测量Baxter坐标系中的坐标。解决方法：使用Baxter的运动学API，可以用它来读取机器人末端执行器的坐标，并命令末端执行器到达所有坐标的位置。

缺点：由于机器人API和Bumblebee2相机中测量的不精确性，随机误差始终存在，这些问题会影响校准效果。

经过一系列推导，式（11.24）与表达式（11.29）等价。（11.29）（11.28）（11.27）将式（11.29）简化成如下形式：

计算最小二乘解类比（11.28）

为了验证式（11.31）的校准效果，设计以下实验。

（11.30）（11.31）实验结果如下所示：（a）不使用LSM算法的情