《机器人控制》课件 chapter12 机器人示教

CHAPTER12机器人示教应用于人机示教的运动技能扑捉、传递与拓展机器人自适应操作技能学习基于动态运动原语的机器人技能学习与泛化基于EMG估计的肌肉疲劳度在机器人示教中的应用Chapter12机器人示教实验仿真平台介绍人机示教系统设计神经网络控制器设计仿真及实验312.1应用于人机示教的运动技能扑捉、传递与拓展实验仿真平台介绍1.V-REPV-REP用户界面V-REP是一个基于分布式控制框架的机器人仿真软件，详细介绍可参考右下图教材第三章。4参考教材12.1应用于人机示教的运动技能扑捉、传递与拓展Baxter机器人是美国初创公司RethinkRobotics开发的双臂机器人。手腕处装有摄像头。内置的传感器可以测量Baxter机器人的位置速度状态信息。编程接口的调用更加简单高效。Baxter机器人52.Baxter机器人KinectV1传感器的结构原理Kinect传感器在实验中作为双目摄像头，用于捕捉示教者的手臂关节信息、动作以及手臂的运动轨迹。3.Kinect传感器人机示教系统设计示教编程技术（TbD）被认为是机器人学习人的类运动和操作技能的最有效方法之一。示教编程技术优点：机器人能够有效地学习操作技能，通过人类的指导完成任务它并不特别需要示教者具备专业技能知识PbD系统可以考虑人的特性，如灵活性本节将设计一个比较完整的人机示教系统，包括技能传递、拓展以及对拓展运动进行准确轨迹跟踪的控制器。61.人机示教系统设计人机示教系统框架示教者首先要对机器人进行示教，完成技能传递模型的训练学习。获得传递及拓展后的运动运动轨迹7动态运动原语（DynamicMotorPrimitive，DMP）分为离散DMP和周期DMP。使用离散DMP来表示关节空间上的轨迹，且每一个关节的状态使用一个DMP模型来表示。一个DMP模型包含了一个弹簧-阻尼系统和一个外力项（非线性项）。其模型定义如下：

(12.1)82.动态运动原语模型

(12.2)

使整个模型成为一个自治的系统。

(12.3)

归一化的径向基函数

(12.4)

9DMP具有如下特性：(1)稳定性和鲁棒性a)弹簧阻尼系统状态演化b)典型系统状态演化(2)空间缩放和时间缩放

10

113.动力学模型拓展计算

(12.5)

12

(12.6)根据高斯分布的线性变换特性近似为

13图12.4GMM/GMR学习过程14整个学习过程效果如图：神经网络控制器设计以7自由度的Baxter机器人为控制对象，在外加负载的情况下，其动力学模型描述如下：(12.9)(12.10)

推导得151.控制器设计系统的控制力矩设计如下：(12.12)

得系统的闭环动力学方程

估计值代入可得(12.15)(12.16)(12.11)(12.13)(12.14)

16选取如下李雅普诺夫函数：(12.17)(12.18)

神经网络权重的更新律设计如下：(12.19)(12.20)

172.稳定性证明仿真及实验(1)仿真平台搭建仿真实验中，使用V-REP自带的Baxter机器人模型：真实的Baxter机器人（左边）与V-REP中的Baxter机器人（右边）181.V-REP仿真平台下的DMP仿真验证示教（如图12.6(a)）：使用Kinect捕捉示教者两个肩关节和一个肘关节的信息数据将示教信息（即手臂关节角度）传递给虚拟Baxter机器人的手臂。图12.6示教者及V-REP仿真场景实验场景—图12.6(b)：Baxter机器人一张桌子两块相邻的蓝色木板一个长圆柱体蓝色小球(a)示教者(b)仿真场景任务：使用学习到的运动技能，将桌子上摆放的木板推倒在地。19(2)基于DMP的运动技能传递仿真图12.7示教过程任务运动过程：机器人将左手臂抬起并跨过圆柱体障碍物移动其夹持器到目标木块上方将木块从桌上推倒在地20示教过程中：示教动作连贯完成示教过程重复10次记录所关注的三个关节角度在每个时刻的状态使用时间步长作为运动时长的单位，并将每个示教轨迹的时长步数转换为100步图12.8示教轨迹及新生成的轨迹学习结果（图12.8）：对于每个关节位置，重新生成的运动轨迹仍保持着与示教轨迹相似的形态。21仿真结果（图12.9）：在不改变生成运动的起始位置和终点位置的情况下，机器人成功地将左边的木板从桌子上推翻，同时也没有碰撞到柱子和球。原始方法与改进方法比较：原始方法需修改所有DMP模型中的目标位置，机器人才能全部完成任务。图12.9机器人复现所学运动技能图12.10改变起始位置后关节1的位置变化曲线目的：检验DMP的稳定性方法：修改关节1的起始位置结果（图12.10）：修改后的运动轨迹最后仍然能稳定在目标位置。(3)基于DMP的运动技能传递仿真22目的：检验DMP的空间拓展性能方法：修改运动轨迹的目标位置，使机器人最终能够将另一块木板从桌面上推翻落地。结果（图12.11）：每条轨迹都保持着其相似形状并最终近似地到达目标位置。图12.11改变目标位置后3个关节的位置变化曲线图12.12仿真机器人对所学运动技能进行空间上的拓展目的：在仿真机器人上测试拓展后的运动技能。结果：仿真机器人的左手臂绕过了障碍物并成功将右边的木板推倒。23目的：测试时间缩放性能。方法：将时间缩放因子从1调整为0.5，加快生成运动的速度。结果（图12.13、图12.14）：，三个关节在时间步数为50时到达目标位置；仿真机器人以接近两倍的速度完成了此项任务。图12.13改变时间缩放因子后3个关节的位置变化曲线图12.14仿真机器人对所学运动技能进行时间上的拓展

图12.15实验场景242.基于神经网络的前馈补偿验证实验相关计算：对应每个位置的关节角度通过机器人逆运动学求得只使用神经网络去逼近机械臂动力学模型中的重力项G对于每一维输入，选择3个节点神经网络权重初始值设为0对比实验设计：不加神经网络补偿—实验结果如图12.16，12.17。25图12.16未加神经网络补偿下轨迹跟踪情况图12.17未加神经网络补偿下轨迹跟踪误差加上神经网络前馈补偿：图12.18~图12.21。实验结果—图12.18和图12.19：与没加补偿情况下的跟踪误差相比，此时的跟踪误差明显减小，整体误差范围减小到[-0.3,0.3](rad)。图12.18神经网络补偿下轨迹跟踪情图12.19神经网络补偿下轨迹跟踪误差虚线—参考轨迹虚线—参考轨迹图12.20为神经网络前馈补偿力矩，其在最后与参考轨迹一样呈周期变化。图12.21为神经网络权重矩阵每列的范数，从中可以看出神经网络权重整体的变化趋势。图12.20神经网络前馈补偿力矩图12.21神经网络权重矩阵每列的范数26加上神经网络前馈补偿—实验结果（图12.18~图12.21）空间拓展能力验证：人类导师先示教然后机器人复现示教过程，即将杯子从桌子上的A点移动到B点，最后将运动拓展为将杯子从A点移动到C点。273.基于Baxter机器人的技能传递-拓展实验复现结果如图12.23所示：机器人成功将杯子从A点移动到B点。技能拓展结果如图12.24所示：机器人成功地将杯子从A点移动到C点，同时保持着与示教动作相似的的运动轨迹。图12.23机器人复现所学运动技能CBACBACBA图12.24机器人拓展所学运动技能CBACBACBA图12.22实验场景技能复现技能拓展实验结果Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER12机器人示教人机技能泛化框架实验验证小结3012.2机器人自适应操作技能学习3112.2机器人自适应操作技能学习在以下情况中技能泛化很难实现：（1）复杂任务包含多个步骤（2）在任务再现过程中机器人需要满足一些约束条件（3）任务复现时与示教时的情景有较大差别将要学习的技能自动分割成一系列子技能进行相应编码调节每个单独的子技能考虑人体肢体刚度机器人技能泛化框架：人机技能泛化框架1.框架概述图12.25框架的图形表示32示教位姿状态、刚度特征分割分成子技能序列、建立特征库对齐对齐时间、坐标点泛化DMP编码、泛化2.使用BP-AR-HMM进行技能分割图12.26a)特征选择机制隐马尔可夫模型（HMM）是一种基于观测数据进行时间序列分析的统计方法。33Beta过程自回归HMM（BP-AR-HMM）可以改善HMM模型的两个缺点。BP-AR-HMMBeta过程AR-HMM模型HMM通常需要先验知识来选择隐含数量的状态，因此容易导致过度拟合或欠拟合的问题。Beta过程（BP）的B定义了可能数量状态的全局权重，可以编码许多不同的行为：34

(12.21)

(12.22)

(12.23)图12.26b)特征选择机制的图形表示

(12.24)

35(12.25)(12.26)

(12.27)BP-AR-HMM模型只需几个参数即可提供可靠的推理，Beta过程以完全贝叶斯方式确定表示复杂任务的潜在特征的总数3.使用广义时间规整算法的示教曲线对齐

36

(12.28)

一般机器人从示教中学习技能所获得的曲线通常是多维时间序列DTW算法可能会受时间和空间计算复杂度二次方增长的限制GTW算法可以解决上述问题，实现人体运动的多模态数据对准

37

(12.29)

4.使用DMP的技能表示和泛化DMP模型：38通常，一维系统的点对点运动DMP由三个微分方程表示：

(12.30)(12.31)(12.32)

39(12.33)

核向量的元素定义为：

(12.34)(12.35)(12.36)(12.37)

用于编码刚度的扩展DMP：40为了同时编码从示教中获得的运动轨迹和刚度轨迹，扩展DMP模型如下：

(12.38)5.人体手臂末端刚度到机器人阻抗控制器的映射实时检测示教者手臂的肌电信号基于EMG信号估计人体手臂刚度将刚度映射到机器人关节阻抗控制器41图12.27人体手臂末端刚度与机器人关节阻抗控制器的映射实验验证1.实验装置图12.28取水任务的实验装置42机器人从动臂会跟随主臂运动MYO手环用于收集实时的肌电信号2.参数设置示教轨迹预处理。示教轨迹为8维时间序列。在AR-HMM模型中选择1阶的自回归模型。Metropolis-Hastings和Gibbs采样器运行10次，每次迭代1200下。分割轨迹。3.结果和分析设置机器人在两个条件下被示教执行任务：1）将半瓶水提升四次。2）将三分之一瓶水提起两次。由于人类指导员肌肉激活的不确定性，即使在相同的任务条件下，刚度曲线在形状上也不完全相同。43图12.29七自由度运动轨迹和1自由度刚度轨迹的分割结果，六个子图中每个图的第一行表示刚度，其他行均表示关节角；I和II分别对应于第一和第二任务条件示教轨迹的对齐结果：44(a)关节S0的角度(b)关节S1的角度(c)关节E0的角度(d)关节E1的角度图12.307自由度运动轨迹（a-g）和1自由度刚度分布（h）的对齐结果示教轨迹的对齐结果45(e)关节W0的角度(f)关节W1的角度(g)关节W2的角度(h)刚度变化图12.307自由度运动轨迹（a-g）和1自由度刚度分布（h）的对齐结果把任务泛化到以下任务情况：1）抬起装满水的瓶子越过障碍物并将其放置在目标上；2）当不希望高刚度的时候，保持低刚度控制，即在前两个步骤期间要求机器人处于低增益控制下。46（a）泛化的刚度曲线(b)六次示教（灰）和泛化阶段（黑）的z方向上的力曲线图12.31刚度曲线及力曲线小结47本节介绍了一种PbD框架，用于机器人学习和泛化人类的变阻抗技能。该框架集成了几种模型，分别用于编码、分割、对齐和泛化位置轨迹以及基于EMG的刚度曲线。Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER12机器人示教方法实验验证小结5012.3基于动态运动原语的机器人技能学习与泛化5112.3基于动态运动原语的机器人技能学习与泛化本节将介绍一个技能学习框架，它使机器人能够有效地学习人类的运动和刚度控制策略，整个框架如图12.32所示。图12.32用于技能学习和泛化的TbD系统框架方法从示教者的手臂提取的肌电信号用于监测肌肉激活程度进行刚度估计估计的人体末端刚度作为关节阻抗控制器中的参数521.基于肌电信号的可变刚度估计笛卡尔刚度与人体手臂刚度之间的映射关系可表示如下

(12.39)

53采用一个简化的估计模型：

(12.40)

首先，使用MYO手环提取每个通道中原始肌电信号的包络曲线。这里使用的肌电信号共有8个通道。MYO手环佩戴在上臂上以采集肌肉的原始肌电信号数据。54图12.33刚度估计中MYO的佩戴位置图12.34通过低通滤波器和移动平均法对肌电信号进行包络处理的示例，蓝线为原始肌电信号，红线表示肌电信号处理后得到的包络曲线移动平均法表达式为：55

(12.41)

(12.42)

(12.43)

562.用于示教的双臂控制方法在示教阶段，采用基于遥操作的运动学示教方法用于实现人-机器人的技能传递。设计双臂控制策略以实现示教者任务使示教者更自然地调节其肌肉活动即相应刚度机器人双臂之间施加一个虚拟的弹簧阻尼系统示教者能够实时“感觉”运动误差可以调节其肌肉力量来补偿误差573.用于技能表征的DMP模型本节将介绍从多个示教轨迹中学习的DMP模型，用于位置轨迹自适应调节。此外，该DMP框架也被扩展用于刚度自适应调节。图12.35DMP系统的扩展框架；两组变换系统分别用于表示位置轨迹和刚度曲线，这两个系统由相同的时间缩放系数τ驱动，以便满足相位同步（1）编码位置的DMP模型58典型的DMP模式定义如下：

(12.44)(12.45)

(12.46)

59

(12.47)

(12.48)

(12.49)使用局部加权回归（LWR）计算DMP模型的权重γ：

(12.50)（2）编码刚度的DMP60要平行地表征轨迹和刚度曲线，我们拓展原始的DMP可以描述为：

(12.51)(12.52)(12.53)

用于编码位置轨迹用于刚度曲线这两个变换系统由同一个正则系统驱动

(12.54)

(12.55)

实验验证611.切割任务图12.36示教期间切割任务的实验设置

1）使用DMP模型进行运动路径规划62在这个子任务中，主要验证扩展DMP模型的技能空间泛化能力。图12.37使用DMP模型进行运动路径规划。第一次切割是示教，其他几次均为泛化切割，实线表示从示教学习获得的参考轨迹，虚线表示泛化学习结果(a)运动位置的泛化(b)运动位置的泛化(c)在y轴方向测量的机器人末端位置(d)在黄瓜上的切割位置，两组数字（1-6）表示该子任务成功执行两次（一次切割六下）2）刚度规划63该实验主要验证是否能够泛化刚度轨迹以适应新的任务情况。图12.38（a）为对不同目标的刚度指标曲线的泛化，（b）和（c）分别表示在z轴方向上测量的臂末端执行器的位置和力曲线，（d）、（e）和（f）分别表示使用参考刚度曲线、第一个泛化刚度曲线和第二个泛化刚度曲线切割时的不同切口。642.抓取-放置任务抓取-放置任务的实验装置如图。图12.39抓取-放置任务的实验设置示教过程：同一个示教者教机器人提取物体1，越过障碍物，最后将其放在目标上。再现阶段：子任务1：使用示教的刚度曲线（即路径空间规划）将物体1抬起并放到新的目标位置；子任务2：使用示教的刚度曲线（即没有刚度规划）将物体2抬起并放到新的目标位置；子任务3：使用泛化的刚度曲线将物体2提起并放到新目标位置。一次示教和三个子任务的执行结果：65图12.40抓取-放置任务的实验结果：I-(a)~(e)、II-(a)~(e)、III-(a)~(e)和IV-(a)~(e)分别表示示教、子任务1、子任务2和子任务3的一个典型示例663.分析可以基于所提出的框架轨迹和刚度曲线的不同组合满足任务情况的不同要求。关于使用多个示教数据来生成参考轨迹和刚度曲线的方式，如图12.41所示。图12.41抓取-放置任务的轨迹和刚度曲线小结67介绍了一个用于学习和泛化类人化变阻抗操作技能的示教框架。该技能学习框架集成了基于肌电信号的变阻抗控制和DMP模型的优点。示教者能够自然且直观地把特定技能的阻抗特征传递给机器人。Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER12机器人示教基于EMG评估肌肉疲劳机器人从多次示教中学习实验与结果小结7012.4基于EMG估计的肌肉疲劳度在机器人示教中的应用7112.4基于EMG估计的肌肉疲劳度在机器人示教中的应用基于EMG评估肌肉疲劳本节介绍EMG中的内在振幅和频率与人体肌肉疲劳的关系。对于带宽非常小的带限信号，它占据信号功率中大部分的频率分量，而信号的主要特征为该分量的幅值和频率，可定义如下：

(12.56)

72图12.42EMG子带信号及其包络线（虚线）,每个子带中点虚线表示其主振幅图12.43子带信号的瞬时频率和主频率机器人从多次示教中学习73采用高斯混合模型对多次示教的数据进行建模。

根据对应的EMG数据计算

采用加权高斯分量分析肌肉疲劳的影响。74与传统的GMMs算法相比，加权GMMs(W-GMMs)的训练数据首先按疲劳因子进行缩放。W-GMMs的修正EM算法如下：1）初始化：设置参数的初值。

(12.57)

3）第M步：在新一轮的迭代中，通过极大似然估计更新模型参数为：

(12.58)4）重复第E步和第