国创项目申请书模板.docx

项目编号：创新训练项目立项申请书项目名称基于SSVEP脑机接口的自然交互式光标定位及文字输入控制工具研发项目执行时间一年项目团队人数3人项目负责人姓名学号1408010112院系班级信电学院电气141班手机电子邮箱项目成员1姓名学号1408010104院系班级信电学院电气141班项目成员2姓名学号1408010101院系班级信电学院电气141班导师情况姓名职务职称讲师电话电子邮箱填表日期2015年11月27日项目简介（100字以内） 旨在基于脑机接口研发一套工具，实现对计算机光标、文字输入的控制，实现人机自然交互。工具包含脑电采集设备、信号分析转换、光标定位及文字输入控制等功能。将通过研究对工具准确率、响应时间等参数进行优化。一、申请理由1、 自身的知识条件、特长、兴趣。本团队成员均来自于信电学院电气141班队长：获学习优秀二等奖学金，学习能力强，于程序设计方面有一定基础。参加过数学建模竞赛及其培训，有处理实验数据的经验。曾经在面向对象的程序设计课程中担任项目组长，有组织能力。队员1：高中曾获数学竞赛市级二等奖，生物竞赛市级一等奖，思维活跃，善于应用语言文字编写文书，发现和提出问题，并且热爱编程，学习能力较强，乐观进取。 队员2：获学习优秀三等奖学金，英语基础较好，已通过国家英语六级考试，可以较高效率阅读英文文献，对于C，C+都有较好基础，并自学了C#，有一定的探索精神，所写文章曾获“海淀区科技创新大赛”三等奖及“海尔科技奖”三等奖二、已有的知识基础已经学习大学计算机基础、C语言程序设计、C+程序设计、Qt程序开发等必要课程，并通过小学期面向对象编程课程的学习，独立完成小程序的设计开发，为项目实施打下了理论和初步实践基础。从今年8月开始，团队开始接触脑机接口方面的研究工作。1）团队每个成员均切身体会了清华大学组织的脑机接口实验，对本项目的应用前景及技术优势有更深的理解。2）学习掌握了OpenViBE这一脑机接口数据信号处理的成熟工具，通过对该工具源代码的分析，加强了C+编程的技能，能够实现基于该工具的二次开发。3）学习掌握了脑机接口设备驱动的编写，能够实现设备与信号处理工具的连接。4）学习掌握了C#等编程语言及Visual Studio程序开发工具，为研发基于脑机接口桌面软件提供了必要准备。这个项目的展开，不仅得到了信电学院老师的指导，还得到了清华大学心理系老师的指导。清华大学心理系在脑机接口研究方面居于国际领先地位，他们的指导保障了团队成员能够获取最先进的相关知识和技能培训。对硬件设备的了解和二次开发能力及软件编程能力，是电气专业学生必备技能，我们想通过这次项目实践，提高这些技能，为以后的学习工作奠定基础。综上所述，我们团队有较强的学习能力，较好的专业基础，对所开展的创新项目有自己独特的想法，并有初步的实践，我们相信在我们的努力下，在信电学院老师和清华心理系老师的指导下，我们一定能圆满完成项目。二、立项背景背景情况：1995年12月8日，法国Elle杂志主编Jean-Dominique Bauby因意外严重创伤而导致闭锁综合症（locked-in syndrome）。他几乎完全瘫痪，虽然思维健全，但全身只有左眼皮可以眨动。在医院，他最害怕护士不关电视就离开，因为他没有办法更换电视频道或关电视。即使护士在他身边，他的很多请求仍然没能被人注意到或理解。为了表达出处于闭锁状态的生命感受，他利用眨眼这唯一的动作，艰难地完成了思维的表达。书写人不停地念字母，当他听到他需要的字母，便眨一下眼皮，就这样以及其繁复的方式写下了几万字的著作潜水钟和蝴蝶。该书的出版引起了极大的震动，唤起了人们对与 Dauby 有相似处境的人的理解和同情，也让社会开始反思如何给瘫痪、残疾病人以更好的关怀。近年来随着脑科学、计算机科学、信号处理技术的飞速发展以及残疾患者需求意识的不断提高，一项被称为脑机接口(Brain Computer Interface，BCI)的技术正在逐步使得人类利用脑电信号同计算机或其它装置进行通讯成为可能。有别于传统的人机交互方式，脑机接口技术通过大脑与外界的直接通道，实现人脑与外界进行信息交互，不需要再由外周神经和肌肉组成的输出通道参与，从而为思维正常但有严重运动功能障碍的人提供一种与外界环境进行交流和控制的途径。其中，稳态视觉诱发电位（SSVEP）是当视觉神经受到一个固定频率的视觉刺激的时，人的大脑视觉皮层会产生一个连续的与刺激频率有关（刺激频率的基频或倍频处）的响应；基于SSVEP的脑机接口具有高分类准确率和高信息传输率的性能及较高的识别性能, 可满足残疾人进行表达的需求。清华大学高上凯课题组研究的基于SSVEP脑机接口系统已经能够帮助脊髓损伤患者完成家居环境的操作，为残疾人士的生活带来许多便利。此外，基于人机自然交互的脑机接口对于普通用户也有非常重要的意义。自然人机交互是强调以人为中心的交互方式。它注重人和计算机以人和人的自然交流的方式进行无障碍的交互如：语音交互，体态语言交互，其他姿态语言交互等。计算机的控制技术从二进制编码操作到命令行操作（Dos系统，早期的Linux系统）到图形用户界面交互（windows95等）再到基于网络用户界面的交互方式（搜索引擎，多媒体动画，聊天工具等）。从计算机控制发展历程中及目前的研究趋势中，可以看出自然交互是未来计算机控制技术发展的重要方向。自然人机交互的发展能使人和计算机的交流变得更加自然通畅，能让人们非常方便的使用计算机。本项目旨在基于SSVEP的脑机接口研发一套工具，实现对计算机光标、文字输入的控制，实现人机自然交互。本项目的成果既可以造福于残障人士，满足其基本的电脑控制及语言表达需求；也可以作为软件的插件，提升普通用户的用户体验1-3。国内外研究现状： 脑机接口技术是现今脑科学、计算机工程、生物医学工程及人机自动控制研究领域的一个研究热点，从1999年开始，连续多次脑机接口国际会议被举办。随着国内外研究团队的不断壮大，一些有关脑机接口技术的研究成果相继被提出来。在国外关于脑机接口技术的研究较为突出，例如，美国的 Wadsworth中心、乔治亚州立大学脑实验室和加拿大NSF、伊利若斯大学，在节律、视觉诱发电位和P300电位等研究方向上都有较大进展。在国内有一些高校研究视觉诱发电位、运动想象、P300 电位等方向，以清华大学高上凯课题组为代表，取得了良好的研究成果。脑机接口技术已经初步得到了应用，如美国Wadsworth 中心搭建的节律调节脑机接口系统帮助脊髓损伤患者成功实现了二维光标运动控制；清华大学高上凯课题组研究的基于SSVEP脑机接口系统能够帮助脊髓损伤患者操作家居环境4,5。 另外，在人机自然交互方面，虽然我国在这些方面起步较晚，但其技术近年来已引起国家有关部门和科学家们的高度重视，在973、S-863、十五计划及未来的十一五计划均将其列为主要研究课题12。目前关于人机自然交互的研究还主要集中在感觉通道输入和动作通道输入（如语音、手写、姿势、视线、表情等）以并行、非精确的方式与(可见或不可见的)计算机环境进行交互。如美国主要电信运营商Sprint的PCS部门为客户开通了语音驱动系统8,9，提供客户服务、语音拨号、查号和更改地址等业务；美国宇航局(NASA)的Ames实验室研制了一套数据手套工程化系统研究人的体态识别，实现了在约翰逊空间中心完成空间站操纵的实时仿真11,13；日本京都的先进电子通信研究所(ATR)开发了一套系统，它能够用图像处理的方法来识别手势和面部表情，并把它们作为系统的输入操纵系统运行11,14。但将脑机接口技术应用于自然人机交互的研究还较少，其应用前景却十分可观。光标控制方面，清华大学程明、高上凯设计了基于SSVEP的光标控制系统，屏幕上代表不同方向的四个方块以不同频率（6-9Hz）闪烁，用快速傅立叶变换（FFT）进行频谱分析，在线处理 SSVEP，通过比较诱发电位信号频谱峰值，可以判别出受试者眼睛注视的方块，从而控制光标移动15。该方法具有准确率高的特点，不过与用户的操作习惯有较大的区别，不利于提升用户的体验。文字输入方面，韩国的Hwang等完成了基于SSVEP脑机接口的外接键盘式字符拼写系统16，该系统可以实现在线字符拼写，平均每分钟输出9.39个字符。具有输入较快的优点。但其实现需要外接设备，可能给残障人士带来新的困扰。参考文献：1 程光辉. 脑机接口视觉刺激器实现技术的研究D.重庆大学,2006.2 Denby B, chultz T, Honda K, et al. Silent speech interfacesJ. Speech Communication, 2010, 52(4): 270-287.3 Wolpaw J R, Birbaumer N, Heetderks W J,et al. Brain-computer interface technology: a review of the first international meeting J. IEEE Transactions on Rehabilitation Engineering, 2000, 8(2):164-173. 4 邹霞. 基于SSVEP的脑机接口系统设计与研究D.南昌大学,2014.5 何庆华. 基于视觉诱发电位的脑机接口实验研究D.重庆大学,2003.6 黄超. 自然人机交互相关技术研究与系统实现D.上海交通大学,2010.7 Wolpaw J R, Mc Farland D J. Control of a two-dimensional movement signal by a noninvasive brain-computer interface in humansJ.Proceedings of the National Academy of Sciences of the United States of America, 2004, 101(51): 17849-17854.8姚文冰,姚天任.稳健语音识别技术发展现状及展望.信号处理2001年第17期.pp.484-4849高新涛,陈乖丽.语音识别技术的发展现状及应用前景.甘肃科技纵横2007年第36卷第04期.pp.13-1310软博会.第十二届中国国际软件博览会./95/954596.html.pp.1-111创视，虚拟现实研究现状及发展趋势./newsshow.asp?id=757.2008-9-1.pp.1-112 刘伟.人机工程技术研究的现状及发展趋势.海淀走读大学学报.2003年第四卷.pp.1-413 吴迪,黄文骞.虚拟现实技术的发展过程及研究现状.海洋测绘.2002年第22期.pp.15-1714 李志文,韩晓玲.虚拟现实技术研究现状及未来发展.信息技术与信息化.pp.94-9615 Cheng Ming Gao Shangkai. An EEG-based cursor control system. Proceedings of the first joint BMES/EMBS conference. Atlanta, GA, USA: IEEE BMES&EMBS. 1999. 669.16 Hwang H J, Lim J H, et al. Development of an SSVEP-based BCI spelling system adopting a QWERTY-style LED keyboard J. Journal of Neuroscience Methods, 2012, 208: 59-65.三、特色与创新1、重要性（1）对于特殊人群的帮助脑机接口系统，是大脑与外界直接进行交互的通道，而目前在全球范围内，因为自然灾害、事故和各种疾病而导致行动不便的人越来越多，以脑机接口为理论依据建立的基于视觉控制的光标定位装置可以为这类人提供便利，并且能以此为基础，研发脑机接口系统在更多领域的应用。（2）具有广阔的发展前景 以VR为基础的人机自然交互是未来计算机控制的重要发展方向，能从用户自身的角度提升计算机的实用性，使计算机的性能提升更大的反映到用户实际的个人体验上。2.创新性（1）基于脑机接口的人机自然交互与之前类型相近的研究相比，我们的项目旨在利用SSVEP,通过对于屏幕不同区域的闪烁形成闹点信号，不断分割细化闪烁区域，最终确定光标的位置，只需要目光聚焦即可选择目标，更符合人自然的选择反应，能够实现人与计算机的自然交互，节省了用户的学习成本，提高了用户的选择效率。（2）细致科学的对比研究 通过多次试验对比，邀请志愿者参与测试，确定最科学有效的分割方式及分割次数，保证软件设计的合理性及高效性，从人机交互的角度上提升用户的体验满意度。（3）基于新式硬件开发 应用EPOC+装置开发，有较高的性价比、精度和普及性，价格适中且便于携带，有利于项目成果的实际应用与推广。同时，EPOC+装置具有较高的可开发性，还可研发更多类似软件。四、实施计划及方案1.进度安排设备选型（2016年1月）：通过测试选取合适脑电信号采集设备（现已知设备有Emotiv epoc、Emotiv epoc+、Emotiv insight），实现用户在注视以指定频率闪烁的图像时脑电信号的采集。驱动编写（2016年2月-2016年3月）：基于其原有的配套程序为之编写相匹配的驱动软件，实现信号采集设备与计算机的连接，并按照一定的格式（暨OpenVIBE所要求的数据格式）打包传输到PC端。 PC端软件开发（2016年4月-2016年6月）：利用汇编语言编写训练模块、数据模块、屏幕分割光标定位模块、文字输入模块。试验测试（2016年6月-2016年11月）：依照下文中试验方案进行试验测试并在此过程中不断进行改进优化。 结项（2016年12月）：完成设备及软件，撰写报告，准备答辩，结题。2.研发方案1）设计思路a.光标定位根据SSVEP脑机接口原理，人脑在注视以不同频率闪烁的物体时，大脑中会产生不同的特征脑电。在电脑显示界面上绘制以指定频率闪烁的区域，并令用户注视显示界面，产生相应的特征脑电，利用数据处理模块，从而判断出用户注视区，之后将用户注视区再次划分成四块等比缩小的、以不同频率闪烁的区域，重复上述循环。当区域缩小到一定值时，该小区域即可认为是用户所希望光标点选的位置，即实现光标点选。b.文字输入方案一：以全键盘方式展示出虚拟键盘，利用上述光标定位原理模拟键盘敲击，实现文字输入。方案二：仿照多级菜单机制，构建初始菜单及多级子菜单，将不同字符作为选项归类到各菜单中。通过用户注视不同闪烁频率的同级菜单，实现对同级菜单的点选，进而进入不同子菜单，最终确认输入字符选项，实现文字输入。2）初步设计方案a.用户注视不同闪烁区域，产生特征脑电信号；b.通过设备采集特征脑电信号；C.将采集到的信号输入计算机，并将其转化为规范数据；d.用户进行初始训练，计算机学习并记录用户对于特定频率的特征脑电信号，使其适应用户对特定频率的脑电响应；e.实现光标点选、文字输入，实现对计算机的控制3）设备系统研发方案a.设备选型：通过调研，选取合适脑电信号采集设备（现已知设备有Emotiv epoc、Emotiv epoc+、Emotiv insight），在用户注视以指定频率闪烁的图像时，实现脑电信号的采集以及信号的模数转换。b.驱动编写：基于其原有的配套程序为之编写相匹配的驱动软件，实现信号采集设备与计算机的连接，并按照一定的格式（即OpenVibe所要求的数据格式）打包传输到PC端。c.闪烁绘制、屏幕分割模块：利用DirectX或GDI在界面上绘制以指定频率闪烁的区域，根据SSVEP脑机接口原理，利用OpenViBE的数据处理模块，对用户通过注视闪烁区域而产生的相应特征脑电进行分类，判别用户所注视的闪烁区，该区域再次划分成四块等比缩小的、以不同频率闪烁的区域，重复上述循环，完成点选。d.编写训练模块：以OpenViBE已有的函数、模块为基础，编写与采集设备相匹配的训练记录模块。从而记录训练过程中采集到的特征脑电信号，所记录的数据作为数据处理模块中判别的依据。e.编写数据处理模块：基于OpenViBE（OpenViBE是一个为实时BCI处理脑电信号的有效软件工具，当今最流行的脑-机接口软件系统，OpenViBE最显著的特点是高模块化，它是由C+编写的一组软件模块，可以轻松地集成和高效地设计脑机接口应用程序）并利用其提供的数据处理函数进行数据处理模块的编写，达到通过该模块对数据的处理，判断出用户此时此刻所注视的区域的的目的。f.将先前模块与现有光标控制和输入方式结合将预先编写的驱动程序、闪烁绘制、屏幕分割模块、训练模块、数据处理模块与现有光标控制和输入方式结合，实现基于SSVEP脑机接口的自然交互式光标定位及文字输入控制。4）试验方案a.面向小组内部成员及其周边人进行小规模的实验，实验包括正式实验以及之前的训练过程，纪录实验过程中的所有实验数据以及参试人员执行约先设定的指令的完成时间以及完成度准确度。根据完成时间和完成准确度对程序进行优化。b.重复a步骤中进行的小范围实验，根据完成时间和完成准确度对程序进行优化，直至达到理想效果。c.面向农大师生，对优化后的程序进行大范围测试，记录实验过程中的所有实验数据以及参试人员执行事先设定的指令的完成时间、准确度及参试人员的实验感受。五、实施基础与条件专业知识基础：已经学习大学计算机基础、C语言程序设计、C+程序设计、Qt程序开发等必要课程，并通过小学期面向对象编程课程的学习，独立完成小程序的设计开发，以及自学了C#等编程语言和Visual studio等软件二次开发工具，为项目实施打下了理论和初步实践基础。已完成的工作准备：从今年8月开始，团队开始接触脑机接口方面的研究工作。团队每个成员均