chapter13.2-基于视觉交互和RBF神经网络的机器人遥操作系统

CHAPTER13其他应用机器人遥操作系统遥操作系统中关键算法仿真实验213.2基于视觉交互和RBF神经网络的机器人遥操作系统313.2基于视觉交互和RBF神经网络的机器人遥操作系统与传统的机器人示教方法相比，机器人通过遥操作进行示教则能更有效、更自然地学习各种类人技能视觉交互是应用最广泛的技术之一在机器人TbD方法中，神经网络也得到了广泛的应用本节将介绍一种基于视觉交互的虚拟遥操作系统的机器人示教方法，以及基于（ExtremeLearningMachine,ELM）的神经学习方法。4机器人遥操作系统本节设计的系统包括一个虚拟遥操作系统和一个训练学习系统。该遥操作系统的主要控制目标是让V-REP软件中Baxter机器人的机械臂能够跟随人类示范者的运动。图13.14机器人示教系统1.Kinect传感器图13.15KinectV2传感器的构成与KinectV1相比，KinectV2可以跟踪人体的25个身体关节（包括拳头和拇指）52.V-REP6这里使用Baxter机器人模型进行仿真，并基于两个API客户端来控制V-REP中的Baxter机器人。3.Baxter机器人7V-REP中的Baxter机器人除了头部和动画人脸外，与真实的Baxter机器人相似，它们有相同的运动学和动力学。图13.16真实的Baxter机器人（左边）与V-REP中的Baxter机器人（右边）3.Kinect与V-REP之间的通信8连接KinectV2，需要使用具有USB3.0端口的计算机虚拟遥操作系统中，客户端为用户自定义的C++应用程序，而服务器端则为V-REP场景要在客户端启用远程的API，V-REP提供的C语言文件应包含在C++的项目中要在服务器端启用远程API，应在启动V-REP时加载远程API插件客户端可以获取V-REP中机器人的关节信息调用非阻塞函数可以将关节角度发送给V-REP中的Baxter机器人C++应用程序用来记录关节角度数据并将其保存9遥操作系统中关键算法如何计算人体关节角度是利用Kinect控制Baxter机器人的关键，Kinect可以获取人体关节的笛卡尔空间坐标。1.空间向量法

(13.31)

计算这两点之间的距离

(13.32)

两关节之间的角度10将从Kinect获取的所有关节点的位置坐标构建成人体的几何模型以及人体左臂模型—图13.17，图13.17由Kinect获得的人体骨骼和人体左臂的几何模型

(13.33)

2.动态时间归整法（DTW）11

(13.34)

(13.35)

12DTW的目标：找到满足上述条件最佳的匹配路径(13.36)

(13.37)图13.18（a）关节角度S0的两个样本（b）两样本值由DTW对齐计算这两点之间的距离2.基于RBF神经网络的示教13用一阶自治常微分方程表示点-点之间的运动，如下：

(13.38)

图13.19RBF神经网络14隐藏层中目标函数可以表示成如下形式：

(13.39)

可调节的参数向量

(13.40)

(13.42)

输入的非线性向量函数

(13.41)15

(13.43)

(13.44)

(13.45)受正则化的约束16神经网络的参数(13.46)

δ从样本中选择根据最小二乘算法RBF函数δ的中心、RBF函数σ的方差

(13.47)

(13.48)17仿真实验验证通过人体动作控制V-REP中的Baxter机器人在虚拟空间中移动的灵活性。实验结果：人体动作可以通过该虚拟遥操作系统实时控制Baxter机器人跟随人的运动。1.虚拟遥操作系统有效性验证图13.20人体运动用于控制V-REP中的Baxter机器人18验证机器人能否通过基于视觉交互和RBF神经网络的遥操作完成教示教任务。人类示教者使用Kinect控制Baxter机器人拉下一个积木人类控制机器人的手臂回到原来的位置图13.21人类示范者用Kinect传感器控制Baxter机器人将工件推倒实验结果：利用这些处理后的关节角度对机器人进行控制，机器人可以复现相同的轨迹，证明该方法不影响机器人轨迹。图13.22四个随机选择的训练样本2.基于RBF神经网络的学习算法19基于RBF神经网络的算法是在MATLAB中实现的。最佳隐藏层节点数为12。使用RBF神经网络训练三组输入样本，得到相应的输出数据，机器人对应关节角度的值如图13.23所示。图13.23图（a），（b），（c）为S0，S1和E1的关节角度；（d）为Baxter机器人的机械臂在笛卡尔空间中向下移动的轨迹；参考值是RBF神经网络的输出，实际值记录的是真实的Baxter机器人关节角20Baxter机器人将工件从一个传送带送到另一个传送带，实际的Baxter机器人可以复现由RBF神经网络训练得到的轨迹。（如图13.24）图13.24真实的Baxter机器人关节角度图13.25实验结果3：通过RBF神经网络的学习训练，Baxter机器人在V-REP的仿真环境中和实际的物理环境中都可以复现人类示范者的动作机器人可以通过基