chapter10.2-应用于生物反馈的人机交互技术研究

CHAPTER10人机交互脑电模式识别算法研究与设计游戏设计与实现实验过程与结果分析210.2应用于生物反馈的人机交互技术研究10.2应用于生物反馈的人机交互技术研究脑电模式识别算法研究与设计先验知识概述大脑皮层不同的生理反应会使得脑电的波形发生相应变化。当大脑皮层的某块区域受到刺激，在该区域的脑电波某些频段的幅值会减小或阻滞，这种生理电现象称为事件相关去同步ERD。当该区域没有受到刺激而处于静息状态时，某些频段的脑电信号表现出振幅明显增大的现象，称为事件相关同步ERS。想象左右手运动的事件相关去同步化（ERD）图310.2应用于生物反馈的人机交互技术研究脑电模式识别算法研究与设计实验总体流程实验总体算法设计结构图410.2应用于生物反馈的人机交互技术研究脑电模式识别算法研究与设计实验数据处理流程图实验总体流程510.2应用于生物反馈的人机交互技术研究数据预处理——最优频带选择方法最优频带选择方法图6①②③④10.2应用于生物反馈的人机交互技术研究特征选择——共空间模式CSP共空间模式CSP是一种对两分类任务下的空域滤波特征提取算法，能够从多通道的脑机接口数据里面提取出每一类的空间分布成分。基本原理：利用矩阵的对角化，找到一组最优空间滤波器进行投影，使得两类信号的方差值差异最大化，从而得到具有较高区分度的ERD/ERS特征向量，使得EEG在投影后的空间可以最好地区分开。求解步骤：假设一次实验采集的脑电信号经过预处理后为，其中

表示脑电采集的通道数，

代表每个通道采集的时间长度，即数据长度。(1)求左、右手脑电信号的空间协方差矩阵，并叠加两类协方差；(2)特征分解，白化变换，求空间投影矩阵；(3)提取出具有最佳区分效果的协方差特征。

710.2应用于生物反馈的人机交互技术研究特征选择——共空间模式CSP（1）求取左右手脑电信号的空间协方差矩阵，叠加两类协方差左手协方差矩阵：右手协方差矩阵：叠加两类协方差：（2）特征分解，白化变换，求空间投影矩阵特征分解：白化变换：810.2应用于生物反馈的人机交互技术研究特征选择——共空间模式CSP（2）特征分解，白化变换，求空间投影矩阵求空间投影矩阵：转化和：分析和：特征值组成的对角矩阵：910.2应用于生物反馈的人机交互技术研究（3）提取出具有最佳区分效果的协方差特征特征选择——共空间模式CSP（2）特征分解，白化变换，求空间投影矩阵将进行降序排列，投影矩阵也跟随变化，然后选择投影矩阵中的最顶端和最底端的行作为最终的投影矩阵。

当的特征值最大时，的特征值为最小。

10求解步骤：假定为两类运动想象脑电信号经过CSP特征提取后的数据样本。则它可以由投影矩阵投影到一个低维的空间中，如。（1）求投影前后，两类特征样本的均值；（2）求投影前后，类内散布矩阵、类间散布矩阵；（3）求分离效果最好时的投影矩阵；（4）得出分类准则。10.2应用于生物反馈的人机交互技术研究数据分类——线性判别式分析LDA基本思想：找到一个最佳投影矩阵，将高维数据样本投影到低维空间中，使投影后不同类别的数据样本达到最好的分离效果。1110.2应用于生物反馈的人机交互技术研究数据分类——线性判别式分析LDA（1）求投影前后，两类特征样本的均值；投影前特征样本均值：投影后特征样本均值：（2）求投影前后，类内散布矩阵、类间散布矩阵；投影前类内散布矩阵：投影后类内散布矩阵：1210.2应用于生物反馈的人机交互技术研究数据分类——线性判别式分析LDA（2）求投影前后，类内散布矩阵、类间散布矩阵；投影前类间散布矩阵：投影后类间散布矩阵：（3）求分离效果最好时的投影矩阵；Fisher判别准则：拉格朗日乘子法：1310.2应用于生物反馈的人机交互技术研究最佳投影矩阵：LDA的表达式：数据分类——线性判别式分析LDA（3）求分离效果最好时的投影矩阵；（4）得出分类准则。其中，为新的样本数据，为LDA分类器的投影矩阵，为偏移量。当运算结果时，意味着样本属于一类信号；当运算结果时，意味着样本属于另一类。一个基于样本的分类器已经构建完毕，新的样本数据可以通过这个分类准则进行分类。

1410.2应用于生物反馈的人机交互技术研究生成离线训练模型并引入在线训练在线脑电控制使用离线训练好的模型，将脑电数据经过前文所述的数据处理算法后，得到脑电分类结果，其作为控制信号发送给游戏，从而实现游戏控制。实验数据处理流程图15游戏整体布局游戏设计与实现10.2应用于生物反馈的人机交互技术研究游戏界面图16游戏整体布局游戏设计与实现10.2应用于生物反馈的人机交互技术研究17控制的越好，成绩越好游戏整体布局游戏设计与实现10.2应用于生物反馈的人机交互技术研究游戏界面波形显示图18精确反应游戏者状态和更多的细节QWT波形显示窗口游戏控制效果最好10.2应用于生物反馈的人机交互技术研究

游戏设计与实现综合评价指标其中，和是星球的速度和位置；

是初始时刻，是过去的某个时间点；

为终点时刻，也就是当前时刻；

和是权重系数。综合评价指标E跟星球的位置和速度有关，如果星球位置接近中点位置且在过去一段时间内移动都很缓慢，此时E的值很小，可以说游戏控制得很好。

19基本机制的实现10.2应用于生物反馈的人机交互技术研究星球的运动可以分解成沿着X-轴和Y-轴运动游戏设计与实现星球运动分解图20基本机制的实现10.2应用于生物反馈的人机交互技术研究游戏设计与实现游戏整体连接图2110.2应用于生物反馈的人机交互技术研究生物反馈游戏系统结构图游戏设计与实现22离线脑机接口实验游戏设计与实现脑电帽电极分布图生物反馈游戏系统结构图10.2应用于生物反馈的人机交互技术研究脑机接口实验流程图23离线结果分析（C3、C4分别是位于左右脑的两个电极。）10.2应用于生物反馈的人机交互技术研究游戏设计与实现ERD/ERS现象图24离线结果分析训练数据、测试数据平均准确率近70%。10.2应用于生物反馈的人机交互技术研究训练和测试数据的分类结果图实验结果分析2510.2应用于生物反馈的人机交互技术研究在线结果分析采集并分析了5位受试者在游戏过程中的theta波、alpha波、SMR波以及beta波的功率谱。26SMR波的功率谱情况图10.2应用于生物反馈的人机交互技术研究TBR（theta/betaratio）波的功率谱情况图27在线结果分析采集并分析了5位受试者在游戏过程中的theta波、alpha波、SMR波以及be