chapter10.4-生物反馈增强型多媒体游戏的开发

CHAPTER10人机交互引言系统总体结构多媒体游戏的设计210.4生物反馈增强型多媒体游戏的开发10.4生物反馈增强型多媒体游戏的开发引言BCI应用于治疗BCI应用于控制3BCI已经应用于许多治疗，如下左组图的肌萎缩性侧索硬化、脑干卒中、脑瘫、脊髓损伤等；同时BCI也可以应用于控制，如右组图所示10.4生物反馈增强型多媒体游戏的开发本节内容410.4生物反馈增强型多媒体游戏的开发系统总体结构生物反馈游戏系统总体结构图510.4生物反馈增强型多媒体游戏的开发系统总体结构ERS/ERD现象和信号收集Channels:C3,C4,Cz,P3,P4,,F3,F4

1000HzConsciousthoughtSensesandmanipulationSenseOflightSmellandSound运动想象610.4生物反馈增强型多媒体游戏的开发系统总体结构ERS/ERD现象和信号收集ERS/ERD现象710.4生物反馈增强型多媒体游戏的开发系统总体结构ERS/ERD现象和信号收集810.4生物反馈增强型多媒体游戏的开发系统总体结构预处理和特征提取算法RawEEGDataFilterEEGData910.4生物反馈增强型多媒体游戏的开发系统总体结构预处理和特征提取算法FilterEEGDataFeatureCSP1010.4生物反馈增强型多媒体游戏的开发系统总体结构

1110.4生物反馈增强型多媒体游戏的开发预处理和特征提取算法(1)计算EEG信号矩阵的协方差

EEG信号协方差矩阵：

(2)计算n次左手运动想象和左手放松数据的协方差左手运动想象数据协方差矩阵：

左手放松数据协方差矩阵：1210.4生物反馈增强型多媒体游戏的开发预处理和特征提取算法(3)计算混合空间的协方差，并对其分解和白化变换混合空间协方差矩阵：

混合空间协方差矩阵分解：

混合空间协方差矩阵白化变换：

1310.4生物反馈增强型多媒体游戏的开发

1410.4生物反馈增强型多媒体游戏的开发离线BCI的实验实验训练模式图1510.4生物反馈增强型多媒体游戏的开发离线BCI的实验训练窗口（屏幕快照）图1610.4生物反馈增强型多媒体游戏的开发实验结果RawEEGDataFilterEEGDataFeatureResultCSPLDA在频域中显示在时域中显示1710.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计游戏规则的设计1、底部的红色汽车是用户的汽车。它可以根据用户的命令向左或向右转动。2、它自动加速，追上障碍车。如果玩家来不及改变车道，它将与它们发生碰撞。然后它的速度将回到0并且必须再次加速。（左图）3、如果它切入障碍物的车道，障碍物会给使用者让路或被摧毁。（右图）碰撞事件切入事件1810.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计游戏框架的设计QGraphicsSceneQGraphicsViewQGraphicsItemQTClass1910.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计基本游戏的实现QGraphicsScenepaint（）moveby（x，y）2010.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计基本游戏的实现1、用户汽车速度：用户的汽车总是停留在场景的底部，沿相反方向移动背景图片，以产生用户汽车正在向前跑的错觉。2、障碍车速度：根据其速度在屏幕中向前或向后移动。如果它们在视图之外运行，它们就会消失。3、实现移动：在背景电影中制作一个循环。找到一张背景图片并将副本粘贴到它的顶部。然后让视口沿着新图片上升。一旦视口的下边缘线到达初始背景图片的上边缘线，它将返回到初始背景图片的下边缘线，并继续此循环。

2110.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计基本游戏的实现

计算背景和障碍物相对于屏幕的速度:

背景相对于屏幕的速度：障碍车相对于屏幕的速度：2210.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计碰撞检测和多媒体的实现发送碰撞信号QT“信号”功能QT“插槽”功能相互关联执行插槽功能当碰撞发生

我们只需要在槽函数中写下当冲突发生时我们需要做什么。2310.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计碰撞检测和多媒体的实现添加背景音乐步骤：1、创建一个新的Phonon类变体。2、设置背景音乐的输出方式和路径。3、命令音乐播放。使用生物反馈控制游戏2410.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计使用生物反馈控制游戏

分类结果发送到“6666”的UDP根据结果控制车辆左转或右转2510.4生物反馈增强型多媒体游戏的开发多媒体游戏的设计使用生物反馈控制游戏实际游戏场景2610.4生物反馈增强型多媒体游戏的开发本文小结在Matl