基于大脑-计算机接口技术的虚拟现实技术研究.doc

基于大脑-计算机接口技术的虚拟现实技术研究作者：蔡汉齐 厦门外国语学校 指导老师：杨立朝 厦门大学刘同玉 厦门外国语学校基于大脑-计算机接口技术的虚拟现实技术研究1. 研究背景脑机接口（Brain-Computer Interface，BCI）是在大脑和计算机或其他电子设备之间建立不依赖于常规大脑信息输出通路(外周神经和肌肉组织)的全新通讯和控制技术，是神经系统与外界环境交互的一种通道,各类神经信号可通过转化为可识别的机器指令，用于控制外部环境（图1-1）。脑-机接口的研究经历了惊人的发展，也成为了神经科学与信息工程技术交叉学科的热点课题1。虚拟现实(Virtual Reality，VR)是一项基于BCI技术的逆运用技术，是在大脑和机械设备之间不依赖常规大脑信息输入通路的全新通讯和感觉技术，是神经系统接收外界信息的一种通道，信息经转化为具有一定模式的神经信号，直接输入神经系统，带给人非人体感官输出的神经刺激。我个人是在2012年在本校初中部时通过一个科幻小说而产生对于这项技术的构想，后来上网调查发现这项技术就是虚拟现实技术，后来通过高中对于生物这一门学科进一步的学习，我开始进一步了解这项技术及其基础技术：BCI技术，并关注其最新研究动态。通过2014年5月的一份医疗健康类报纸我看到了浙江大学求是研究院的“神经信号传导控制机械假肢”的文章，我开始用现有知识分析其可行性及延伸发展。我发现绝大部分的BCI技术研究都是信号输出控制方向上的，于是我开始逆向研究神经信号由外界模拟感受器的输入的可行性。脑机接口技术信号输出方面主要有三个关键技术（图1-2）：第一，可准确形成信息的稳定解析神经信号，这需要对脑电信号的准确分类与解析；第二，合理可行的神经信号传导通路，这包括适宜的信号输入与适当的通路选择；第三， 大脑相应部位能准确接受并解析这一信号9。 现阶段的有关虚拟现实技术的BCI技术发展主要有以下几方面：1. 对神经信号的特征提取方法2。针对局部场电位信号主流研究采用小波变换提取多通道、多频段的时频域特征信息针对锋电位信号建立了基于谱聚类算法和朴素贝叶斯分类器的锋电位分类方法，该锋电位分类方法具有较好的精度、抗噪性和效率2. 独立分量分析4（Independent Component Analysis，ICA）作为一种预处理手段，用于消除原始脑电信号中的干扰成分,进而改善脑机通信的正确识别率。3. 混合BCI 通过多模态（Multi-modal）或者混合（Hybrid）脑机接口的方式来提供多个自由度的输出5610。4.对脑电仪（图1-3）信号采集系统进行开发，把采集到的模拟脑电信号转换为数字信号,并传输给计算机, 这样通过特定的数值分析软件就能实现对脑电信号的分析与研究111214。目前对于BCI技术的研究已经表明这项技术实现的可行性，许多实验室已从各个关键技术入手研究，我的研究就是基于这个背景下进行的。2. 研究目的 虚拟现实技术是跨多个领域的综合性技术，它结合了计算机学、信息学、神经学等多个学科的知识。本研究从神经学入手，希望通过实验调研对基于BCI技术的逆向信号输入进行进一步的研究。通过论文调研（主要）以及可能的临床实验得到可靠的实验数据，为进一步的实验提供理论基础。基于对BCI技术的研究，结合计算机图像技术，最终得到虚拟现实技术；并将在多个领域运用，解决例如感受器官不可恢复性损伤、低成本军队战术训练、完全虚拟式娱乐设备等难题。 3. 研究方法 虚拟现实技术是新兴的综合性技术，对于其研究依然停留在理论阶段。由于实验本身对基础理论的要求比较高及实验设备比较昂贵，所以现阶段主要的研究方法为论文调研以及对相关工作者的访问。具体未能进行的实验操作可在后续实验设计中介绍。4. 实验设计 一个完整的反射弧包括感受器、效应器、传入神经、神经中枢与传出神经。大体来讲，本实验是切断传入神经通路，并模拟外界刺激进行信号发射。按照理论，实验将分为两个主要部分，以大鼠作为实验对象进行实验：1. 实验研究将主要采用波（图1-4,1-5），检测在不同环境下脑电图(Electroencephalogram, EEG)的变化。实验将标准环境（固定的外部环境、生理状态）下使实验个体处于单一颜色（声音、触觉等）环境下（只受到相应实验刺激），并接收相应反馈神经信号，对比不同个体，监测是否能找出EEG中相近的反馈信号。若获得刺激信号所对应的反馈电信号，对所获得的反馈信号进行归类及进一步解析。这里考虑到稳定性以及所获取信号的用途，实验将通过EEG以及脑电仪信号采集系统主要检测并采集大脑发出的波。2. 对大鼠相应的部位（感受器官神经）进行信号的拦截，从通路上截取相应的刺激电信号，比较分析不同信号的差异与同种信号间的近似处，分析提取相应电信号并进行分类以及进一步的解析。3. 对大鼠相应的部位（感受器官神经）通过物理手术切断或药物局部麻醉进行对本体信号的拦截（切断原信号通路），再从信号中断位置连接大脑一端进行相应第一步实验反馈信号的传输（将信号解析为电信号，或直接将相应1.中得到的信号直接刺激），同时监测大脑相应区域是否受到相应刺激所产生的EEG反馈电信号。并与对照组相比，分析信号是否近似或相同以验证实验结果。4. 对大鼠相应的部位（感受器官神经）进行对本体信号的拦截（切断原信号通路），再从断路连接大脑一端进行相应第二步实验反馈信号的传输（将信号解析为电信号，或直接将相应2.中得到的信号直接刺激），同时监测大脑相应区域是否受到相应刺激所产生的EEG反馈电信号。并对比对照组个体，分析信号是否近似或相同以验证实验结果。5. 预期结果 如果相应理论正确，则可以得到第一步、第二步实验所刺激获得的相应不同的电信号，第三步实验和第四步实验对比，比较信号的传输情况，与大脑进一步处理的情况。从数据分析与归类中可得到精确的相应刺激电信号。第三步、第四步实验其中至少一个实验可得到与第一步实验中近似的大脑的反馈电信号。证明相应的反馈信号的真实性。随着设备与研究技术的发展，进一步的实验可以完整的解析所有包括感官甚至是情绪上的刺激，最终解决虚拟现实技术从信号输入层面上的技术问题。6. 创新性 1. 本研究是基于脑-机接口技术的进一步逆研究。从理论上来讲，BCI技术大多是模拟传出神经的断路，并研究如何脱离神经传导进行机器效应器的控制，比如假肢、无人机等；本项目则致力于外界感受器对于中枢神经的刺激，研究是否能模拟重现外界环境对于神经中枢的刺激。2. 现大部分BCI技术的研究都是单向输出且较为复杂。本研究提出了逆向研究思路，实验若成功将能提供更为宏观的信号处理办法。3.虚拟现实技术如今对于其研究依然停留在理论阶段，本实验给予了一个具体的方向供研究。7研究意义 随着信息化社会的发展，虚拟现实技术的实现将会成为必然的结果，它对未来的国防、军事、医疗、救援、娱乐、经济、信息交流等众多上有着十分深远的影响，对于国家战略性发展有着重大意义1。人们可将此技术与机器人的拟人化控制研究结合起来，实现意念控制机器人，达到无人化战场的目的；也可将相应设备应用到了网络游戏、娱乐、竞技体育运动训练、素质教育等领域，通过对不同状态下脑电信号的差异进行分析，然后在一些特定的软件下进行锻炼，让大脑能快速进入最好的工作、学习或者放松的状态8。通过这项技术，人们的生活方式以及模式将有着质的改变，人们将构建出更加完整的未来信息世界。参考文献:1.脑机接口技术的研究与进展 中国组织工程研究与临床康复2008年39期 王新光邹凌段锁林周仁来2.sEMG信号实时检测及假肢手指控制的初步研究_万莎3.大鼠初级运动皮层的神经信号分析与解码研究_姜波4.独立分量分析在脑_机接口中的应用研究_郭晓静5.多模态与多自由度脑机接口研究_余天佑6.基于PSoC的脑电信号无线采集系统_高广恒7.基于动物实验的脑_机接口研究_信号分析_魏依娜8.基于脑机接口的控制及虚拟场景应用研究_张璐琳9.基于双向神经接口的生物机器人系统的研究_江君10.基于运动想象和alpha波的脑机接口及虚拟漫游系统_谷艳蕾11.数字脑电仪信号采集子系统的设计与实