【《基于虚拟现实的运动想象脑机系统研究与应用分析》7300字】

基于虚拟现实的运动想象脑机系统研究与应用分析目录TOC\o"1-3"\h\u1687基于虚拟现实的运动想象脑机系统研究与应用分析 1238391.1交互系统构建 1189231.1.1系统环境与硬件设备 122551.1.2交互场景设计 2309741.2交互实验设计 5112191.2.1橡胶手脑机实验设计 6110981.2.2虚拟脑机实验设计 7159041.3实验结果及分析 913941.3.1脑电信号处理和分析方法 9218871.3.2脑电信号分析结果 10175351.3.3问卷分析 12运动想象脑机接口虽然在医疗、娱乐和家居等领域具有广泛的应用前景，但运动想象脑机范式少、脑电特征弱等问题亟待解决。为了探索良好的实验范式以诱导用户更有效的完成运动想象任务，提供更有效的脑电特征，节约训练时间，增加系统鲁棒性。本章设计了一组对比实验来研究虚拟环境中脑机交互与橡胶手脑机交互方式对脑机系统性能的影响，并设计相关问卷进行用户调研。1.1节描述了本章搭建的虚拟脑机交互系统；1.2节阐述了脑机交互任务及实验流程；1.3节对不同交互方式的各项性能指标差异以及用户调研问卷结果进行了详细讨论；1.4节对本章研究与应用做出总结。1.1交互系统构建在运动想象脑机交互范式研究中，反馈训练方法是增强用户大脑活动的重要方法。虽然视觉反馈方法、听觉反馈方法和触觉反馈方法都可训练用户产生更强脑电特征，但视觉反馈目前使用最普遍、效果最佳且最易被用户接受。大量研究[66,67]表明，基于虚拟橡胶手的视觉反馈运动想象脑机范式通过产生橡胶手错觉提供更真实、自然的反馈，可以显著增强脑电特征，提高了脑机系统性能。本章在Song等[67]提出的虚拟橡胶手增强范式的基础上，进一步对比研究沉浸式虚拟现实对运动想象脑机系统性能的影响。本章首先模拟Song等[67]提出的虚拟橡胶手脑机交互范式实验，接着设计了一种新的虚拟脑机交互范式实验。本节将对这两组对照实验的交互场景设计与构建进行细致介绍。1.1.1系统环境与硬件设备在运动想象脑机交互的视觉反馈方法中，提供更自然、更真实的视觉反馈是视觉反馈脑机交互的核心设计思想。为提供自然真实的视觉反馈，本章设计了一个基于虚拟现实的运动想象脑机交互系统；为了进一步刺激特定的神经网络，增强所需神经的可塑性变化，在虚拟交互范式的基础上增加触觉反馈。最终搭建了一个组合视觉反馈与触觉反馈的运动想象脑机交互系统，如图1.1所示。该系统主要由虚拟场景模块和脑电信号采集模块两部分组成。虚拟场景模块主要包括虚拟游戏任务、触觉反馈任务和虚拟脑机交互任务三个部分，实验利用虚拟头盔提供3D虚拟视觉反馈，利用牙刷刺激手背提供触觉反馈。脑电信号采集模块包含脑电信号获取与事件标签标注两部分。图1.1虚拟脑机交互试验环境本实验通过一种轻型脑电设备——Neuroscan收集脑电数据，如图1.1。该设备共32个通道，分别是：F11,Fp1,Fp2,F12,FT11,F7,F3,Fz,F4,F8,FT12,FC3,FCz,FC4,T7,C3,Cz,C4,T8,CP3,CPz,CP4,M1,P7,P3,Pz,P4,P8,M2,O1,Oz,O2，设备以Cz电极作为参考电极。本实验采用Vive-P130头戴式显示器，具有1440×1600像素的单眼分辨率，90Hz的帧速率。头盔固定在钢架上，以减少头盔对脑电信号采集的影响并减少头盔压迫电极产生的刺痛感。LeapMotion传感器置于手下方，以获取并识别用户的输入手势。1.1.2交互场景设计本应用的虚拟场景使用Unity3D游戏引擎(版本2018.3.of2)开发，并使用头戴式显示器进行3D显示，提供了更丰富、更自然的视觉反馈。本应用设计的虚拟脑机交互场景包含背景场景、游戏场景、触觉反馈场景以及交互场景。(1)背景场景本实验搭建的交互范式背景如图1.2a）所示，背景场景为实验室的复制品，是包含桌、椅和电脑的虚拟房间。为了减弱长时间白光视觉刺激影响，将现实场景中的白色桌子和墙壁更改为黑色。图1.2b）为用户第一视角。 a）b）图1.2虚拟脑机交互试验环境(2) 游戏场景虚拟游戏场景中，用户需要抓/拨小球撞倒柱体，如图1.3。为保证系统的鲁棒性，柱体每次出现的位置随机。通过计算用户撞倒柱子的连续次数，实现用户对虚拟手的良好控制。本文设计连续成功撞击6次为结束条件。 图1.3虚拟脑机交互试验环境(3) 触觉反馈在触觉反馈模块中，用户第一视角内容如图1.4a）、b）：出现一把牙刷对右手手腕进行刺激，本场景规定了牙刷摆动的幅度，如a）图和b）图分别代表牙刷摆动的最靠上和最靠下位置。同时对用户真实右手手腕进行相同的刺激。为了固定牙刷与模型手相对位置，本场景将牙刷与模型右手手腕绑定。a）b）图1.4虚拟脑机交互试验环境(4) 交互场景本研究采用红绿灯作为交互阶段的指示暗号，如图a）：红灯亮起时，用户需集中注意力，减少面部表情，如眨眼、咬牙等。绿灯亮起时，用户想象右手拍桌一次的运动，如图b）虚拟手将进行拍桌运动。如图c）：完成拍桌运动后，进入静息状态，在此阶段用户允许放松，进行眨眼、咬牙等肌肉运动。红灯指示时长设定为2s，并出现在屏幕靠右下方位置，目的是集中信息方便观察从而减少眼部运动。 a）b）c）图1.5虚拟脑机交互试验环境1.2交互实验设计不同于经典运动想象脑机范式，本文设计的虚拟脑机交互范式不仅在视觉反馈中引入虚拟现实技术，而且还增加了触觉反馈模块以及游戏模块。本文设置了橡胶手脑机交互范式与虚拟脑机交互范式两组对照实验，其中，橡胶手脑机交互范式为模拟Song等[67]提出的虚拟橡胶手脑机交互范式实验；虚拟脑机交互范式是基于虚拟现实的运动想象脑机交互范式并引入了触觉刺激。本节将详细介绍这两种范式的交互实验设计。本研究招募了20名健康志愿者，其中男性12名，女性8名。志愿者年龄分布范围为22岁至30岁，平均年龄25岁。所有志愿者在操作员的指导下完成橡胶手脑机实验和虚拟脑机实验，两组实验间隔七天且实验组先后顺序随机，每组实验耗时约90分钟。所有志愿者都不知道本研究的目的是研究虚拟现实技术对运动想象脑机接口训练的影响，且都没有脑机接口的相关实验经验。在实验开始之前的准备流程如图1.6所示，首先所有志愿者都给予了知情同意书以履行对志愿者的告知说明义务并保障志愿者的知情同意权；然后在操作员的引导下进行洗头/吹头以保持头皮清洁降低阻抗利于脑电信号收集；接着佩戴脑电帽以检测并记录志愿者脑电信号，并在佩戴脑电帽的同时讲解本次实验的内容及流程；最后对进行虚拟脑机交互实验志愿者佩戴头戴式显示器，为了匹配用户身高差异，实验配置了可调节座椅，确保用户眼部位置位于头戴式显示器中心。此外，为了量化虚拟现实脑机交互与橡胶手脑机交互对具身化认知以及视觉疲劳度的影响，每组实验前后对用户进行问卷调查，来定性探索两种范式的差异并探究差异本质。本研究设计了用户状态调查问卷，疲劳度调查问卷和具身化认知调查问卷，针对实验过程中用户状态、疲劳度以及具身化认知情况进行调查。用户状态调查问卷在佩戴脑电帽结束后进行填写，目的是调查每次实验前用户的心理和生理状态；疲劳度调查问卷是调研虚拟脑机交互过程中引起的视觉疲劳度情况和影响；具身化认知调查问卷分别从自我定位、身体所有权和代理感三方面对用户实验过程中产生的具身化认知情况进行调研。疲劳度调查问卷和具身化认知问卷在系统初始化结束和运动想象模块前后填写，共计三次。图1.6实验前准备流程图1.2.1橡胶手脑机实验设计此实验的目的是为了评估基于橡胶手范式的运动想象增强能力。传统的采用观察橡胶手运动产生橡胶手错觉（RubberHandIllusion,RHI）的范式，缺乏触觉刺激，不是完整的RHI方法。本范式模拟Song等的虚拟橡胶手结合触觉刺激的运动想象脑机范式，试图利用基于视觉-触觉同步刺激获得较强的橡胶手错觉和身体所有权。图1.7橡胶手脑机实验流程图橡胶手运动想象脑机范式实验的具体流程如图1.7所示，实验由三模块组成，包括空白模块，触觉刺激模块和想象任务模块。系统完成脑电信号采集模块初始化后，进入空白模块，空白模块要求志愿者将右手放其右腿上，并利用不透明的布遮住用户手和手臂以及橡胶手的驱动部分，如图1.8a）所示，并要求被试观察橡胶手5分钟。该模块的目的是控制实验时间变量，形成对照；触觉刺激模块如图1.8b）所示，操作者利用两把牙刷在手部相同的位置（手背/手腕）以相同的频率同时摩擦橡胶手和真实手，要求志愿者注意力集中在摩擦（触觉刺激）和橡胶手（视觉）上，该过程是为了诱导用户产生橡胶手就是自己手的错觉。在触觉刺激过程中，刺激时间的设置很重要，时间过长易使用户对触觉刺激产生疲劳感而时间过短又难以建立强健的联系。本研究中设置刺激时间为3min，由操作者控制。 a）b）图1.8虚拟脑机交互模块图。a）空白模块b）触觉刺激模块想象任务模块中，想象任务为手腕的屈伸运动，当绿灯亮起时，用户通过观察橡胶手手腕的屈/伸，执行右手手腕的屈伸运动想象任务。本实验每位志愿者共进行20次试验，每次试验进行1次手腕屈伸运动想象任务。单次试验流程如图1.9所示，包括准备阶段、想象任务阶段和空闲阶段三部分，总时长为12秒。当志愿者观察到电脑屏幕出现红灯时进入准备阶段，需志愿者集中注意力，减少面部表情，如眨眼、咬牙等。红灯持续时长为2秒，此阶段是为减少脑电噪音，为想象任务阶段供良好的心理环境。当志愿者观察到电脑屏幕的红灯变为绿灯时，表示想象任务阶段开始，用户开始执行右手手腕屈伸动作想象，从绿灯亮起到绿灯熄灭整个过程持续1秒，运动想象任务执行约2秒。想象任务结束后，进入空闲阶段，志愿者有8秒的休息时间。图1.9虚拟脑机交互试验流程图1.2.2虚拟脑机实验设计虚拟脑机交互实验由两组实验组成，一组是空白对照组，一组是实验组。实验组由三模块组成，包括游戏模块，触觉刺激模块和想象任务模块。空白对照组只有想象任务单个模块。两组对照实验的目的是研究游戏模块和触觉模块对虚拟脑机交互的影响，实验流程如图1.10所示，a）表示空白对照组实验流程，b）代表实验组流程图。实验组中，系统完成脑电信号采集模块以及虚拟场景模块的初始化后，用户进入游戏模块，通过抓/拨小球撞倒柱体实现对虚拟手良好的控制感。在用户获得较强控制感后，实验进入触觉刺激模块，操作者利用牙刷同步摩擦真实手使用户获得视-触觉同步刺激，以增强用户对虚拟手的联系。最后，用户根据显示器提示执行手腕屈伸动作，并同步采集脑电信号，完成脑机交互任务。接下来将详细介绍每个模块的实验流程设计。a）b）图1.10虚拟脑机交互实验流程图。a）空白对照组，b）实验组。游戏模块中，桌面将会出现一个球和一个柱体，用户需要利用小球撞倒柱体，如图1.3。柱体每次随机出现于桌面任意位置，在用户连续击中柱体6次后结束该游戏模块。本游戏模块目的在于使用户熟悉虚拟手并通过控制虚拟手交互建立虚拟手的具身化认知。触觉刺激模块中，用户在显示器中观察到牙刷刺激虚拟手的动画时，操作者同步利用牙刷刺激用户真实手，如图1.4。图1.4a）和b）代表了牙刷刺激的范围从手掌a）至手腕b），刺激持续3分钟以保证用户对虚拟化身产生良好的具身化认知。触觉刺激模块利用视-触觉同步刺激增加用户的具身化认知，提高用户的运动想象能力以及系统的泛化能力。想象任务模块由20组相同的想象任务试验组成，想象任务试验流程如图1.11所示。试验流程与橡胶手试验类似，试验时长为12秒，第0秒的时候红灯亮起提醒用户集中注意力减少面部表情，如眨眼、咬牙等。红灯持续2秒后变为绿灯，试验正式开始，用户开始执行右手手腕屈伸运动想象，绿灯持续1秒，运动想象任务时间约2秒。最后进入空闲状态，即每组试验间8秒的休息时间。想象任务模块是为了收集运动想象脑电数据。图1.11虚拟脑机交互试验流程图1.3实验结果及分析为了分析实验脑电数据及问卷调查结果，本节首先介绍了常用的脑电信号处理和分析方法；接着对实验脑电数据进行相对振幅和事件相关谱扰动分析；最后对用户的状态、疲劳度和具身化认知情况进行问卷结果统计分析。1.3.1脑电信号处理和分析方法采集到的原始脑电信号因幅值小、信噪比低等因素，不能直接用于结果分析，需要进一步的脑电信号处理，本节详细阐述了脑电信号的相关处理和分析方法，包括原始脑电信号预处理和脑电信号分析算法。为减少背景噪音的影响，本文对原始脑电信号进行了预处理。首先，降低采样频率为250Hz；接着，通过1-40HZ带通滤波降低外部噪声干扰；剔除坏通道并使用伪影子空间重建(ASR)重建数据；最后，并利用独立成分分析(ICA)去除眼电伪迹。经典的脑电信号分析方法主要包括事件相关去同步（Event-Relateddesynchroni-zation,ERD）算法，事件相关谱扰动（Event-RelatedSpectralPerturbation,ERSP）算法。本文采用相对振幅和事件相关谱扰动分析脑电信号。大量研究表明，C3和C4电极对应的大脑区域分别与左、右手运动密切相关，因此本文对这两个通道的数据进行分析，以评价事件相关去同步性能。为了测量每组实验中大脑活动的变化，本研究首先利用公式1.1计算运动想象任务中记录的脑电数据的平均功率谱，其中s表示某一组实验，task是指右手运动想象任务，f表示频带，t为特定的时间间隔，tr为该组实验的特定试验次数，n为总试验次数，Ptr,taskPSD1.1为了研究并分析每组运动想象任务诱发的事件相关去同步振幅随时间的变化，本章使用公式1.2计算运动想象任务相对于空闲状态的ERD比率。每组的相对事件相关去同步是根据运动想象任务在特定脑电通道诱发的大脑模式特征差异来计算的。ERD1.2此外，本文进一步分析每组实验的平均相对事件相关去同步，计算公式如1.3所示。其中n表示实验次数，ts和tERD1.3事件相关谱扰动可以看作是事件相关去同步的一种推广，事件相关谱扰动测量的是相似试验诱发的自发脑电图振幅谱相对变化，通常涉及多个频率或频带，比窄带事件相关去同步能获得更多大脑信息。事件相关谱扰动的计算公式如1.4，FkERSP1.41.3.2脑电信号分析结果本节首先对比分析了不同范式的脑电信号相对振幅差异，接着对不同范式C3通道的脑电信号进行事件相关谱扰动分析。相对振幅以运动想象前-4到-2秒的平均值作为参考；事件相关谱扰动对20次试验结果进行叠加平均，并以运动想象前-0.5到0秒作为参考。在脑电分析中，本文主要研究每次试验的8秒脑电数据，包括标记任务开始前的-4秒到任务标记结束后的4s数据。图1.12为不同范式的平均相对振幅随时间变化图，其中蓝线RHI代表橡胶手脑机交互范式实验相对振幅变化；黄线PreVR代表虚拟脑机交互的空白对照组实验相对振幅变化；绿线VR代表虚拟脑机交互的实验组相对振幅变化。图1.13为RHI组、PreVR组和VR组的相对振幅峰值图，其峰值分别为13.24%，27.17%和41.52%。结果表明，VR组的相对振幅峰值最大，比RHI组的相对振幅峰值大28.28%，比PreVR组的相对振幅峰值大11.35%，RHI组的相对振幅峰值最小，比PreVR组的相对振幅峰值小13.93%。图1.12RHI组、PreVR组和VR组的相对振幅图图1.13RHI组、PreVR组和VR组的相对振幅峰图为了进一步研究事件相关去同步响最显著的波段，本文分别对所有志愿者的不同运动想象范式的所有试验的时频图进行平均，取任务标记前200ms和任务标记后3000ms数据计算并绘制出时频图。本文首先对比RHI组和VR组的时间相关谱扰动，如图1.14所示，研究发现，在运动想象时期，从8Hz到30HzERD功率下降，主要集中在alpha波段的8-13Hz及上beta波段的25-30Hz。为对比RHI组和VR组的ERD差异，对组间ERSP值显著性差异进行分析，结果如图c）所示，红色区域代表组间存在显著性差异（p<0.01），主要集中在1000ms至2000ms的10-20Hz和25-30Hz。接着对比RHI组和PreVR组的事件相关谱扰动，如图1.15所示，在1000ms至2000ms时段、10-20Hz和25-30Hz波段RHI组、PreVR组存在显著性差异，PreVR组在10-20Hz波段ERD现象更加明显。最后如图1.16所示，对比了VR组和PreVR组的事件相关谱扰动，结果表明：VR组和PreVR组的事件相关谱扰动在alpah波段和上beta波段也存在一定的显著性差异。图1.14RHI组、VR组的ERSP图图1.15RHI组、PreVR组的ERSP图图1.16PreVR组、VR组的ERSP图1.3.3问卷分析本研究设计了用户状态调查问卷，疲劳度调查问卷和具身化认知调查问卷，针对实验过程中用户状态、具身化认知情况以及疲劳度进行调研。本文首先对RHI组和VR组实验前的用户状态进行调研，调研内容主要包括用户过去24小时的生活状态以及现在的身心状态，具体问卷内容如表1.1所示。表1.1用户状态调查表问题分值1.昨晚休息时长2.过去24小时内是否喝咖啡？3.过去24小时内是否喝酒？1.过去24小时内是否抽烟？5.现在感觉如何6.现在感觉如何7.身体状态如何8.心理状态如何-没有填0，有需填写多少小时之前没有填0，有需填写多少小时之前没有填0，有需填写多少小时之前很焦虑5，很放松1很激动5，很无聊1很疲惫5，非常好1很糟糕5，非常好1问卷结果如图1.17所示，横坐标代表问题编号，纵坐标表示2名志愿者的平均分值。结果表明，志愿者RHI组与VR组实验前状态无明显差异，两次实验职员制平均睡眠时间约为7小时，均24小时前无饮用咖啡、酒，无抽烟，身心状态均良好。图1.17用户状态结果图接着，本实验就RHI组和VR组的具身化认知情况的三要素：自我定位、身体所有权和代理感进行调研。具体问卷设计如表1.2所示，问题1到2对志愿者自我定位进行调研，问题3和4对志愿者身体所有权进行调研，问题5到9对志愿者代理感进行调研。用户需在系统初始