《机器人控制》课件 chapter10 人机交互

机器人控制——应用篇机器人控制技术在人机交互中的作用机器人控制技术在人机交互中的作用Chapter10人机交互Chapter11机器人遥操作技术Chapter12机器人示教Chapter13其他应用CHAPTER10人机交互基于视触觉融合的虚拟现实人机交互平台应用于生物反馈的人机交互技术研究应用于人机情景交互的视觉图像处理技术研究生物反馈增强型多媒体游戏的开发4Chapter10人机交互虚拟现实基于视触觉融合的虚拟现实人机交互平台设计基于视触觉融合的虚拟现实人机交互平台搭建510.1应用于生物反馈的人机交互技术研究10.1基于视触觉融合的虚拟现实人机交互平台虚拟现实虚拟现实的特征虚拟现实（VirtualReality）是用计算机图形来构造出接近真实世界的一种仿真模拟。它有三个基本特征：交互（Interaction）沉浸（Immersion）想象（Imagination610.1基于视触觉融合的虚拟现实人机交互平台虚拟现实虚拟现实的分类虚拟现实系统根据不同的定义有不同的分类。7按定义分规划设计展示娱乐训练演练……按沉浸体验分群体-VR交互式体验人-VR交互式体验非交互式体验……10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台设计人机交互平台的设计思路（1）视触觉融合的实现。(半透明玻璃板)（2）虚拟现实影像的实现。（电子计算机、3D显示器、多媒体音箱）（3）触觉反馈设备的选取。（TouchX机器人）（4）平台应具有调节功能。（支架具有高度调节结构和旋转调节结构）810.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台设计人机交互平台的设计思路（5）人机交互平台应该具有综合性。（6）人机交互的空间。（7）预先建立3D模型。（8）人机交互平台实物的搭建。（9）人机交互平台的调试与优化。910.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台设计人机交互平台设计（1）显示器支架（2）3D显示器（3）显示器支架杠（4）半透明玻璃板（5）玻璃板支架（6）支撑平台（7）多媒体音箱（8）TouchX机器人（9）电子计算机主机人机交互平台结构图10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台设计玻璃板支架结构图a玻璃板支架结构图b玻璃板支架结构10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台设计基于视触觉融合的虚拟现实人机交互平台的系统组成两个子系统：3D视觉系统、力反馈系统3D视觉系统3D显示器显示器支架显示器支架杠半透明玻璃板力反馈系统TouchX机器人电子计算机主机……10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台设计基于视触觉融合的虚拟现实人机交互平台的优点平台注重视觉反馈和力触觉反馈融合。虚拟影像和力反馈设备完美重合视触觉完美融合综合拓展10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台搭建人机交互平台搭建前的准备确定3D显示器的型号；确定显示器支架型号；确定型材型号、规格以及长度；玻璃板的选取；电脑主机及支撑平台、力反馈设备的选用。10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台搭建人机交互平台的搭建（1）组装玻璃板框架。（2）固定玻璃板支架。玻璃板支架结构图10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台搭建人机交互平台的搭建（3）组装显示器架。（4）电子计算机与平台组合。（5）将半透膜贴到玻璃板上。（6）将半透明玻璃板组装到支架。人机交互平台实物图10.1基于视触觉融合的虚拟现实人机交互平台基于视触觉融合的虚拟现实人机交互平台搭建人机交互平台改良版图人机交互平台实物图Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER10人机交互脑电模式识别算法研究与设计游戏设计与实现实验过程与结果分析2010.2应用于生物反馈的人机交互技术研究10.2应用于生物反馈的人机交互技术研究脑电模式识别算法研究与设计先验知识概述大脑皮层不同的生理反应会使得脑电的波形发生相应变化。当大脑皮层的某块区域受到刺激，在该区域的脑电波某些频段的幅值会减小或阻滞，这种生理电现象称为事件相关去同步ERD。当该区域没有受到刺激而处于静息状态时，某些频段的脑电信号表现出振幅明显增大的现象，称为事件相关同步ERS。想象左右手运动的事件相关去同步化（ERD）图2110.2应用于生物反馈的人机交互技术研究脑电模式识别算法研究与设计实验总体流程实验总体算法设计结构图2210.2应用于生物反馈的人机交互技术研究脑电模式识别算法研究与设计实验数据处理流程图实验总体流程2310.2应用于生物反馈的人机交互技术研究数据预处理——最优频带选择方法最优频带选择方法图24①②③④10.2应用于生物反馈的人机交互技术研究特征选择——共空间模式CSP共空间模式CSP是一种对两分类任务下的空域滤波特征提取算法，能够从多通道的脑机接口数据里面提取出每一类的空间分布成分。基本原理：利用矩阵的对角化，找到一组最优空间滤波器进行投影，使得两类信号的方差值差异最大化，从而得到具有较高区分度的ERD/ERS特征向量，使得EEG在投影后的空间可以最好地区分开。求解步骤：假设一次实验采集的脑电信号经过预处理后为，其中

表示脑电采集的通道数，

代表每个通道采集的时间长度，即数据长度。(1)求左、右手脑电信号的空间协方差矩阵，并叠加两类协方差；(2)特征分解，白化变换，求空间投影矩阵；(3)提取出具有最佳区分效果的协方差特征。

2510.2应用于生物反馈的人机交互技术研究特征选择——共空间模式CSP（1）求取左右手脑电信号的空间协方差矩阵，叠加两类协方差左手协方差矩阵：右手协方差矩阵：叠加两类协方差：（2）特征分解，白化变换，求空间投影矩阵特征分解：白化变换：2610.2应用于生物反馈的人机交互技术研究特征选择——共空间模式CSP（2）特征分解，白化变换，求空间投影矩阵求空间投影矩阵：转化和：分析和：特征值组成的对角矩阵：2710.2应用于生物反馈的人机交互技术研究（3）提取出具有最佳区分效果的协方差特征特征选择——共空间模式CSP（2）特征分解，白化变换，求空间投影矩阵将进行降序排列，投影矩阵也跟随变化，然后选择投影矩阵中的最顶端和最底端的行作为最终的投影矩阵。

当的特征值最大时，的特征值为最小。

28求解步骤：假定为两类运动想象脑电信号经过CSP特征提取后的数据样本。则它可以由投影矩阵投影到一个低维的空间中，如。（1）求投影前后，两类特征样本的均值；（2）求投影前后，类内散布矩阵、类间散布矩阵；（3）求分离效果最好时的投影矩阵；（4）得出分类准则。10.2应用于生物反馈的人机交互技术研究数据分类——线性判别式分析LDA基本思想：找到一个最佳投影矩阵，将高维数据样本投影到低维空间中，使投影后不同类别的数据样本达到最好的分离效果。2910.2应用于生物反馈的人机交互技术研究数据分类——线性判别式分析LDA（1）求投影前后，两类特征样本的均值；投影前特征样本均值：投影后特征样本均值：（2）求投影前后，类内散布矩阵、类间散布矩阵；投影前类内散布矩阵：投影后类内散布矩阵：3010.2应用于生物反馈的人机交互技术研究数据分类——线性判别式分析LDA（2）求投影前后，类内散布矩阵、类间散布矩阵；投影前类间散布矩阵：投影后类间散布矩阵：（3）求分离效果最好时的投影矩阵；Fisher判别准则：拉格朗日乘子法：3110.2应用于生物反馈的人机交互技术研究最佳投影矩阵：LDA的表达式：数据分类——线性判别式分析LDA（3）求分离效果最好时的投影矩阵；（4）得出分类准则。其中，为新的样本数据，为LDA分类器的投影矩阵，为偏移量。当运算结果时，意味着样本属于一类信号；当运算结果时，意味着样本属于另一类。一个基于样本的分类器已经构建完毕，新的样本数据可以通过这个分类准则进行分类。

3210.2应用于生物反馈的人机交互技术研究生成离线训练模型并引入在线训练在线脑电控制使用离线训练好的模型，将脑电数据经过前文所述的数据处理算法后，得到脑电分类结果，其作为控制信号发送给游戏，从而实现游戏控制。实验数据处理流程图33游戏整体布局游戏设计与实现10.2应用于生物反馈的人机交互技术研究游戏界面图34游戏整体布局游戏设计与实现10.2应用于生物反馈的人机交互技术研究35控制的越好，成绩越好游戏整体布局游戏设计与实现10.2应用于生物反馈的人机交互技术研究游戏界面波形显示图36精确反应游戏者状态和更多的细节QWT波形显示窗口游戏控制效果最好10.2应用于生物反馈的人机交互技术研究

游戏设计与实现综合评价指标其中，和是星球的速度和位置；

是初始时刻，是过去的某个时间点；

为终点时刻，也就是当前时刻；

和是权重系数。综合评价指标E跟星球的位置和速度有关，如果星球位置接近中点位置且在过去一段时间内移动都很缓慢，此时E的值很小，可以说游戏控制得很好。

37基本机制的实现10.2应用于生物反馈的人机交互技术研究星球的运动可以分解成沿着X-轴和Y-轴运动游戏设计与实现星球运动分解图38基本机制的实现10.2应用于生物反馈的人机交互技术研究游戏设计与实现游戏整体连接图3910.2应用于生物反馈的人机交互技术研究生物反馈游戏系统结构图游戏设计与实现40离线脑机接口实验游戏设计与实现脑电帽电极分布图生物反馈游戏系统结构图10.2应用于生物反馈的人机交互技术研究脑机接口实验流程图41离线结果分析（C3、C4分别是位于左右脑的两个电极。）10.2应用于生物反馈的人机交互技术研究游戏设计与实现ERD/ERS现象图42离线结果分析训练数据、测试数据平均准确率近70%。10.2应用于生物反馈的人机交互技术研究训练和测试数据的分类结果图实验结果分析4310.2应用于生物反馈的人机交互技术研究在线结果分析采集并分析了5位受试者在游戏过程中的theta波、alpha波、SMR波以及beta波的功率谱。44SMR波的功率谱情况图10.2应用于生物反馈的人机交互技术研究TBR（theta/betaratio）波的功率谱情况图45在线结果分析采集并分析了5位受试者在游戏过程中的theta波、alpha波、SMR波以及beta波的功率谱。10.2应用于生物反馈的人机交互技术研究alpha波功率谱情况图46在线结果分析采集并分析了5位受试者在游戏过程中的theta波、alpha波、SMR波以及beta波的功率谱。Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER10人机交互图像处理算法简介基于人机情景交互的图像处理算法设计图像处理研究实验过程及其结果4910.3应用于人机情景交互的视觉图像处理技术研究10.3应用于人机情景交互的视觉图像处理技术研究5010.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介带通滤波器2D图像3D点云图像513D图像比2D图像多了一个深度值，这个深度值直接与对象到传感器的距离有关，越靠近摄像的对象，该对象的深度越小。在图像采集过程中，可以利用带通滤波器根据深度值去除掉不感兴趣的物体。10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介带通滤波器带通滤波器原理图带通滤波器公式52X轴、y轴、z轴10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介统计学滤波器原图统计学滤波器处理过的图5310.3应用于人机情景交互的视觉图像处理技术研究

5410.3应用于人机情景交互的视觉图像处理技术研究统计学滤波器由上述式子，可计算距离阀值为：如果满足下式，则认为该点为奇异点，需要剔除。55原图统计学滤波器处理过的图10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介RANSAC分割算法RANSAC（RANdomSAmpleConsensus随机抽样一致），可以从一组包含“局外点”的观测数据集中，通过迭代方式估计数学模型的参数。它是一种不确定的算法——它有一定的概率得出一个合理的结果；为了提高概率必须提高迭代次数。56包含很多局外点的数据集RANSAC找到的直线（局外点不影响结果）10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介RANSAC分割算法RANSAC算法的输入是一组观测数据、一个可以解释或者适应于观测数据的参数化模型、一些可信的参数。RANSAC的基本假设：（1）数据由“局内点”组成，例如：数据的分布可以用一些模型参数来解释；（2）“局外点”是不能适应该模型的数据(噪声的极值；错误的测量方法；对数据的错误假设)；（3）除此之外的数据属于噪声。RANSAC也做了以下假设：给定一组（通常很小的）局内点，存在一个可以估计模型参数的过程；而该模型能够解释或者适用于局内点。5710.3应用于人机情景交互的视觉图像处理技术研究RANSAC分割算法RANSAC算法的验证：58√迭代产生模型的结局：要么因为局内点太少，还不如上一次的模型，而被舍弃；要么因为比现有的模型更好而被选用。RANSAC找到的直线（局外点不影响结果）评估模型10.3应用于人机情景交互的视觉图像处理技术研究

5910.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法压缩算法的主要思想是减少数据传输量，其关键思想是将P帧结合到I帧中进行3D图像传输，即在两个I帧信息之间发送多个P帧信息，如图所示。压缩算法原理图60较大尺寸较小尺寸10.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法在本系统中，默认操作人员的脸部运动幅度不能过大。因此，面部信息将被视为P帧的信息。在接收端获得P帧信息后，为了能够得到第二个I帧信息，必须使用运动矢量进行评估。在图像获取端，利用人脸检测技术，检测出鼻尖的位置，利用I帧的鼻尖位置信息和P帧鼻尖位置信息的差值可以得到运动向量。

——I帧的鼻尖位置信息鼻尖的运动向量：——P帧的鼻尖位置信息6110.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法得到新一帧信息的过程：1、利用运动向量和P帧信息得到准确的脸部信息，为最终鼻尖位置信息。2、将得到的脸部信息和I帧信息进行融合，得到最终的新一帧信息。Haar-Face人脸检测算法：使用Haar-Like特征训练弱分类器，然后，弱分类器将用于构成强分类器。最后，强分类器组成级联，每个阶段的强分类器由不同个数的弱分类器集成，阶段在前面的强分类器包括弱分类器的数量比较少。6210.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法1)Haar-Like特征：Haar特征模板被分为三类。如图所示。特征模板也称为特征原型，在图像子窗口中扩展（平移伸缩）得到的特征称为矩形特征，矩形特征的值被称为特征值。Haar-like特征种类图6310.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介

6410.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法每个窗口包含矩形特征个数N：——矩形特征在水平和垂直方向的能放大的最大比例系数——图片窗口大小因矩形特征类别、大小和位置的变化，可以使很小的检测窗口含有非常多的矩形特征。如在24*24像素大小的检测窗口内矩形特征数量可以达16万个。6510.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介是整体图像的像素和，是点的像素，是图像第行累积的像素和，如图所示。积分原理解释图压缩算法可以使用积分图像来计算特征值，进一步提高计算特征值的速度。6610.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法积分图像计算如图所示。由图可知：矩形1中的积分图像的特征值叠加和为，矩形2中的积分图像的特征值叠加和为，矩形3中的积分图像的特征值叠加和为，矩形4中的积分图像的特征值叠加和为。积分图像计算示例图6710.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法2)Haar-Like特征分类器Haar-like分类器的目的是检测输入数据是否为人脸的信息。人体的某些相关关节将使用支持向量机、K-means和隐马尔可夫模型对其进行估计。弱分类器的训练过程：针对各个样本集，计算所有输入图像的特征值，利用排列技术将特征向量按照从小到大进行排列，然后为该特征向量选择一个最好阈值，最终形成一个弱分类器。弱分类器和强分类器：是阈值；用于修正不等式两边符号方向；是窗口特征的值；是弱分类器的权重；是弱分类器的数量。6810.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介压缩算法2)级联器级联由一些强分类器组成，用于消除每个阶段不符合条件的候选数据，如图所示。级联器原理图6910.3应用于人机情景交互的视觉图像处理技术研究图像处理算法简介

鼻尖检测原理图7010.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计系统介绍系统结构描述图7110.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计系统介绍服务操作端结构描述图7210.3应用于人机情景交互的视觉图像处理技术研究系统介绍客户交互端结构描述图7310.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计系统整体算法设计介绍系统框图7410.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计

7510.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计统计学滤波器设计76①②③④10.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计

7710.3应用于人机情景交互的视觉图像处理技术研究基于人机情景交互的图像处理算法设计人脸识别算法设计1）强分类器设计78人脸识别算法设计2）级联分类器设计10.3应用于人机情景交互的视觉图像处理技术研究79鼻尖检测算法设计10.3应用于人机情景交互的视觉图像处理技术研究80鼻尖检测算法设计10.3应用于人机情景交互的视觉图像处理技术研究8110.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果实验准备KinectV1传感器的结构原理图整体实验设备安装图8210.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果

Kinect传感器获取的3D图像8310.3应用于人机情景交互的视觉图像处理技术研究带通滤波器处理过的3D图像统计学滤波器处理的3D图像图像处理研究实验过程及其结果基于人脸检测压缩图像实验8410.3应用于人机情景交互的视觉图像处理技术研究RANSAC算法处理过的3D图像利用人脸检测，分割出人脸信息图像处理研究实验过程及其结果基于人脸检测压缩图像实验8510.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果基于八叉树结构压缩图像实验为了体现基于人脸检测算法的压缩算法的优点，本节做了比较实验。实验利用八叉树结构直接压缩了Kinect传感器抓取的3D点云数据。八叉树结构图8610.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果基于八叉树结构压缩图像实验使用基于八叉树的压缩算法来压缩由Kinect传感器抓取的3D点云数据。如通过Kinect传感器获取3D图像，然后直接压缩3D图像，无需经过任何算法处理如左图所示。如去除3D图像中的背景和异常值，通过基于八叉树的压缩算法处理得到的图像如右图所示。基于八叉树压缩处理前的3D图像基于八叉树压缩处理后的3D图像8710.3应用于人机情景交互的视觉图像处理技术研究图像处理研究实验过程及其结果实验结果88基于人脸识别的压缩算法不需要非常低的失真率。因此，根据时间延迟、压缩比和失真率的比较结果，基于人脸识别压缩算法性能更好。Thanks机器人控制—运动学.控制器设计.人机交互与应用实例/12965836.htmlCHAPTER10人机交互引言系统总体结构多媒体游戏的设计9110.4生物反馈增强型多媒体游戏的开发10.4生物反馈增强型多媒体游戏的开发引言BCI应用于治疗BCI应用于控制92BCI已经应用于许多治疗，如下左组图的肌萎缩性侧索硬化、脑干卒中、脑瘫、脊髓损伤等；同时BCI也可以应用于控制，如右组图所示10.4生物反馈增强型多媒体游戏的开发本节内容9310.4生物反馈增强型多媒体游戏的开发系统总体结构生物反馈游戏系统总体结构图9410.4生物反馈增强型多媒体游戏的开发系统总体结构ERS/ERD现象和信号收集Channels:C3,C4,Cz,P3,P4,,F3,F4

1000HzConsciousthoughtSensesandmanipulationSenseOflightSmellandSound运动想象9510.4生物反馈增强型多媒体游戏的开发系统总体结构ERS/ERD现象和信号收集ERS/ERD现象9610.4生物反馈增强型多媒体游戏的开发系统总体结构ERS/ERD现象和信号收集9710.4生物反馈增强型多媒体游戏的开发系统总体结构预处理和特征提取算法RawEEGDataFilterEEGData9810.4生物反馈增强型多媒体游戏的开发系统总体结构预处理和特征提取算法FilterEEGDataFeatureCSP9910.4生物反馈增强型多媒体游戏的开发系统总体结构

10010.4生物反馈增强型多媒体游戏的开发预处理和特征提取算法(1)计算EEG信号矩阵的协方差

EEG信号协方差矩阵：

(2)计算n次左手运动想象和左手放松数据的协方差左手运动想象数据协方差矩阵：

左手放松数据协方差矩阵：10110.4生物反馈增强型多媒体游戏的开发预处理和特征提取算法(3)计算混合空间的协方差，并对其分解和白化变换混合空间协方差矩阵：

混合空间协方差矩阵分解：

混合空间协方差矩阵白化变换：

10210.4生物反馈增强型多媒体游戏的开发

10310.4生物反馈增强型多媒体游戏的开发离线BCI的实验实验训练模式图10410.4生物反馈增强型多媒体游戏的开发离线BCI的实验训练窗口（屏幕快照）图10510.4生物反馈增强型多媒体游戏的开发实验结果RawEEGDataFilterEEGDataFeatureResultCSPLDA在频域中显示在时域中显示10610.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计游戏规则的设计1、底部的红色汽车是用户的汽车。它可以根据用户的命令向