听和想象不同音乐的脑电特征的识别研究

单位代码 学 号 10101028 分类号 毕业设计(论文)听和想象不同音乐的脑电特征的识别研究院（系）名称生物与医学工程学院专业名称生物与医学工程学生姓名芮雪指导教师李艳2014年6月 听和想象不同音乐的脑电特征的识别研究 芮雪 北 京 航 空 航 天 大 学 北京航空航天大学本科生毕业设计（论文）任务书、毕业设计（论文）题目：听和想象不同音乐的脑电特征的识别研究 、毕业设计（论文）使用的原始资料（数据）及设计技术要求：一、原始数据 六名被试听/想象三类不同风格的音乐的脑电信号数据； 一、技术要求 1.使用心理实验室E-PRIME2.0对被试进行刺激呈递； 2.curry7.0脑电采集软件与设备及相应的64导脑电帽进行脑电采集及数据预处理 3.Matlab软件进行数据处理。 、毕业设计（论文）工作内容及日程进度计划：一、工作内容 1.文献调研、论文翻译 2.开题报告、任务书及答辩准备 3. Matlab程序撰写及数据处理 4.结果分析及讨论 5.按需补充实验 6.论文撰写与修改 7.论文答辩准备 二、日程进度 1-202-2 调研普遍EEG数据探究分析方法 2-32-16 调研脑电-音乐相关实验设计方法及普遍探究问题 2-173-2 调研新数据处理方式实施细节 汇总研究背景 3-33-9 撰写开题报告 3-103-23 新数据处理方法（深度学习算法等）开始实施 3-24-3-30 数据处理结果初步整理，调整继续方向 4-84-20 继续实施数据处理，论文初步撰写 4-214-27 数据处理结果再次整理，调整继续方向，论文继续 4-285-11 数据处理整理结果，再次调研研究背景，论文继续 5-125-25 论文初步完稿，针对性补充数据处理 5-266-1 修改论文，收尾工作 、主要参考资料：1 R. S. Schaefer, P. Desain, and J. Farquhar, Shared processing of perception and imagery of music in decomposed EEGJ.NeuroImage, vol. 70, pp. 317326, Apr. 2013. 2 MarcAurelio Ranzato, Y-Lan Boureau, and Yann LeCun, Sparse Feature Learning for Deep Belief NetworksA. the Advances in Neural Information Processing Systems(NIPS 2007)C 2007. 3 R. S. Schaefer, R. J. Vlek, and P. Desain, Music perception and imagery in EEG: Alpha band effects of task and stimulusj, International Journal of Psychophysiology, vol. 82, no. 3, pp. 254259, Dec. 2011. 4H. Sharabaty, B. Jammes, and D. Esteve, “EEG Analysis Using HHT: One Step Toward Automatic Drowsiness ScoringA.IEEE 2008C, pp. 826831. 生物与医学工程 院（系） 生物医学工程 专业类 101012 班学生 芮雪 毕业设计（论文）时间： 自 年 月 日至 年 月 日答辩时间： 年 月 日 成绩 指导教师： 兼职教师或答疑教师（并指出所负责部分）： 教研室主任 注：任务书应该附在已完成的毕业设计（论文）的首页。 本人声明我声明，本论文及其研究工作是由本人在导师指导下独立完成的，在完成论文时所利用的一切资料均已在参考文献中列出。作者：芮雪签字：时间：2014年 6 月 北京航空航天大学毕业设计(论文) 第 32 页听和想象不同音乐的脑电特征的识别研究 学 生：芮雪指导老师：李艳摘要待定关键词：脑电，深度学习，音乐感知，音乐想象Recognition of EEG features patterns of perception and imagination of different music clips Author: RUI XueTutor: LI YanAbstractTo be doneKey words: EEG, deep learning, music perception, music imagination目录目录I1绪论11.1课题背景、研究意义及目的11.2 研究现状及研究成果11.2.1 总体研究现状11.2.2 已有研究成果11.3 本文主要内容51.3.1 论文构成51.3.2 主要研究内容52相关研究基础概述62.1 脑电的产生及测量原理62.2脑电常见分析方法62.2.1 时域分析62.2.2 变换域分析62.2.3 网络分析72.2.4 动力学分析72.3深度学习网络概述72.3.1深度学习网络逐层训练72.3.2卷积神经网络（convolution neural network，CNN）103实验方案设计123.1总体方案的设计与选择的论证123.2 实验方面设计123.2.1 音乐刺激材料择和处理123.2.2 实验范式设计123.2.3 实验数据的采集123.2.4 被试的选择133.3 数据处理方面设计133.3.1数据预处理133.3.2数据形式转换134结果与讨论154.1 特征可视化和比较154.1.1 普通时域与ERP的比较154.1.2 时域快照式结果与PCA分析结果的比较154.1.3 频域结果与PCA分析结果的比较154.2 分类结果比较155问题与改进155.1实验设计方面155.2素材选择155.3 深度学习训练参数155.4 特征比较与可视化16结论17致谢18参考文献191 绪论1.1课题背景、研究意义及目的音乐是人类文明中重要的一个组成部分，其具有社会层面的属性和价值，也是人类最高等级认知功能之一。利用音乐为载体来研究认知功能与某些生理状态的相关性，是认知科学研究中一直比较热门的研究内容12。对音乐与认知关系的研究具有多方面的意义。例如音乐和语言同样都是靠规则和语义来表达，研究已经表明，这两者的加工内在神经机制上有着很大的关联性3；而音乐在疾病治疗中所起到的辅助作用也得到了临床试验的证实4；在个体发展上，音乐训练相关的神经可塑性也因为音乐本身涉及众多脑区而能够影响到很多基本的认知功能5。正因为音乐认知仅是人类才存在的活动，这方面的研究只能限制在人类被试上，因而也限制了数据采集的方法。目前在认知研究中运用比较普遍的非侵入式的神经成像方法有脑电图（electroencephalo-graph，EEG），功能性核磁共振成像（fMRI），脑磁图（Magnetoencephalography，MEG）等等。但对音乐这种存在时间结构的刺激来说，fMRI的时间分辨率过低，只能在总体活跃水平上上考察大脑各区的响应情况，而MEG则对设备要求较高。但也可以和EEG同步测量，并随后进行数据融合，在信息上相互补充6。EEG的信号从记录本质上就已经存在诸多噪声，其空间分辨率也较之其他方法很低，但其超高的时间分辨率是其一大优点7，因此如何从这样的信号中获得更多有意义的信息量是长久以来的难题。目前研究在音乐认知相关的EEG数据处理方面的存在的不足主要是，分析手段较为传统，如ERP分析，傅里叶变换，统计分析等89。然而，对于音乐这一特定的刺激来说时序上具有相当的复杂性，其响应也应当有一定的时序上的复杂性10，因此传统的方法并不能够满足需要。而深度学习是一个相当强大的算法，无需预设模型及参数就能够自发地发现数据潜藏的结构，同时也有足够的能力应对超高维的数据而不在建模过程中发生过拟合等问题11，因此十分适合用来分析因获取成本较高而样本量相对较少但维数又非常高的EEG数据。但到目前为止还鲜有看到使用这种算法来分析EEG的研究，使用该算法得出的EEG稀疏编码的具体特性还鲜被讨论12。因此，本课题将在这些方面进行补充。另外本课题将从一种脑机接口设计的角度来考察大脑对感知音乐的响应和内在表征音乐时的活动特征。1.2 研究现状及研究成果1.2.1 总体研究现状音乐的感知、加工、理解、想象涉及认知的多个层面，因此音乐认知相关的研究也就成为一项具有较高难度和挑战性的探索性工作。关于音乐和认知的研究可以主要看作两类，一类以音乐本身及其各方面的属性为变量，探讨其所激起人脑的短时反应或长时的变化，另一类可以看作以音乐为实验素材，研究感知和学习、回忆重建等认知过程的普遍特点，使用的实验材料也复杂程度各不相同，有从简单的节拍节奏到与日常欣赏的自然音乐1。比较热门的研究方向是文化背景等等对音乐加工过程的影响，或音乐训练经历可以泛化，对一般认知能力，如空间视觉能力，数学能力，尤其语言方面的能力造成影响13。另外是设计脑机接口系统，使用过特定条件下如想象音乐或不同心理状态时的脑电作为输入，并将其分类14，或将其变换为音乐1516或其他形式的输出17。深度学习算法方面，如前所述，在图像、音频等形式的数据处理上已经运用地相当广泛，但将其应用到EEG分析上还并不1218，应用到EEG的认知状态上的分析更是鲜见。但也有一些其他形式的神经科学数据有使用深度学习算法分析的例子，使用深度稀疏自编码网络分析高密度的脑磁图数据等19。1.2.2 已有研究成果音乐感知对音乐感知的研究有研究“自下而上”的影响，即以音乐刺激的各种特征为变量考察大脑响应的变换情况的，如Alluri等人研究了人脑在感知自然音乐刺激的音色、音调和节奏等方面特征时涉及的神经基础，他们将音色、音调和节奏在时间上的演进和核磁共振成像的时间序列关联起来，结果表明音色特征的加工和小脑认知区域、感觉和默认模式网络相关联，而音乐节奏和音调加工则牵涉皮质和皮质下认知回路、运动回路和感情相关回路20。以及更进一步则尝试从大脑响应中解码出刺激信号，这为人类构建新的表达通道提供了可能。如Schaefer等人认为音乐的时间结构是能够使得其从感知音乐时的EEG中解析出来的，因此他们尝试只用时域的信息，为每个被试单独分类放在一起分类感知不同无人声的音乐片段的EEG（长约3s），以及所有被试放在一起的分类。单个被试最好的结果是，在一个7分类问题中，使用单试次达到了70%的正确率，而多试次（6）则能够达到了100%的正确率。当跨被试分类时，最好的结果是53%，表明被试间在脑电上，也存在共同的音乐片段表征10。或者考察“自上而下”的对感知过程影响，即感知过程中来自知觉者自身的信息对感知过程的影响。如Schaefer等人于2011年21研究了被试借由外界刺激感知节拍模式，或在外界等步刺激序列上，由主观构建节拍模式两种条件下的事件相关电位，以求能够分离出低级的感知过程。结果表明，不仅重音和非重音的ERP在PCA分解出的成分上有所区别，不同的非重音（如四四拍中，第二拍的非重音和第四拍的非重音）也有区别，这说明自上而下的过程也会影响节奏的感知。还有的研究则是将音乐当做研究大脑听觉结构和功能的工具，探讨音乐与其他认知功能，尤其是语言能力的关联性。Limb使用功能核磁共振成像22，解释了音乐和语言在语法和语义上所涉及的神经加工过程十分接近。传统认为支持语言的布罗卡区也在判断音符是否走调时激活。颞平面的不对称也和音高辨别力相关。功能成像还揭示了原始情感中心如腹侧纹状体、中脑、杏仁核、眶额叶皮层和腹内侧前额皮层在聆听动人乐段时的激活。此外，对旋律和节奏感知的研究还揭示了半球特异化的机制。音乐想象音乐想象的研究与音乐感知的研究目的相似，也有以大脑响应反过来推测内在事件，关联其他认知过程等方面等等。早期关于音乐想象的EEG研究，多是使用ERP来推测潜在的激活。如Meyer等人23报道了被试进行钢琴三和弦的听觉想象时，激发出了和感知听觉刺激相似的EEG效应（早期的N1/P2复合电位，但N1成分相对较弱，而P2成分几乎没有），而在此之后，听觉想象还会产生额外的晚正成分。而Janata则观察到24，在一系列想象音符中，仅第一个激发的电位表现出了类似于实际感知到音符时产生的N1。随着数学工具能力的提升，单试次EEG分类成为可能。Desain和Honing就使用主成分分析方法做到了对听和想象五种韵律节奏的单试次EEG的分类，而分类执行想象任务的EEG要相对困难25。但是，这种可分类性可能因被试而异。Schaefer等人于2009年进行了两个实验26，在第一个实验中，使用单试次EEG进行分类所听到或想象的音乐是属于四类中的那一类。虽然所有被试在分类感知音乐的EEG时，都达到了超过概率的正确率，但六个被试中，只有三人有能够分类的想象音乐的EEG。在使用时间序列法利用多试次分类后，正确率超过80%。第二个实验则就此调查了连续序列中的多试次的情况。这个实验中，精确感知的音乐能够达到98%的正确率，而想象音乐的结果虽然有所提升，但仍然没有定论。故Schaefer等认为，音乐想象作为BCI的一个任务可能对部分人有效。Keller等人27研究了心理意象在音乐演奏中的作用。他们认为这种心理意象潜在的认知和运动机制包括了工作记忆，动作模拟和内在模型。这些机制协作产生了帮助产生高效、时间上精确以及生物力学上的经济的动作规划和运动执行的预期图像。在合奏中，预期的意象甚至能够通过增强实时预测他人的动作时间来促进彼此的合作。因此他们认为，这种预期意象的个体差异能够部分解释个体表演能力优劣及合奏是否和谐。音乐训练的有无或经历的深浅，也常常作为研究大脑可塑性作为一个切入点。Herholz等人于2008年28研究了音乐训练对音乐想象的影响，他们比较了音乐家和非音乐家在执行熟悉音乐的想象任务时的MEG成像。他们让被试先想象一段旋律，而后，给被试听这段旋律或正确或有误的播放。只有音乐家对旋律的想象足够强，能够对错误的、也是不被预期的播放激发出早注意响应；这个响应，意象失配负电位，在音调响起后约175ms处达到峰值，并且具有右侧向化。Hubbard则在2010年一份关于听觉想象的综述29中总结道，听觉想象保留了听觉刺激许多结构性的和时域上的特征，牵涉了许多和听觉感知相同的脑区，能够促进辨音识别但会干扰听觉检测，并与音乐能力和经验相关。 音乐感知和想象的对比（或其他听觉刺激）神经科学的研究中，中从来不乏对感知和想象的对比。Kosslyn等人在一个关于想象时大脑激活的综述30中说道，许多研究者都认为，大部分为相似刺激形式的感知的基础神经过程对于想象也是适用的，而在想象时发生的这些过程可以导致一个感知经历的发生。尤其在脑电图谱和脑磁图谱方面的研究表明，听和想象音乐在脑电的激活中存在相当大的重叠。Navarro和Janata等人31测量了被试进行关于听到的或想象的音符序列中对目标音符（最后一个音符）的声调判断时的事件相关电位。他们发现，在想象条件下，当被试形成更加精确的心理意象时，听觉激发电位的N100成分会更小。常作为检测到异样的标志的P3a成分也在想象条件下发现，而且，被试形成的意象越精确，该成分的幅值越高。他们把这解释为听觉皮层的一个习惯过程（他们认为听觉皮层充分参与想象任务，因而在随后的一个听觉反应中响应减弱）。Vlek等人32令被试感知和想象叠加在一个稳定节拍器之上的三种不同节拍模式并测量EEG，来探究能否在单试次基础上从大脑信号中解码出节拍的模式，以及感知和想象之间，在重音和非重音的对比上是否存在共有的信息。结果表明，不论是感知还是想象，都能够以超越随机的概率辨别出重音（感知71%，想象61%），并且交叉条件的分类也得出了显著超越随机的正确率（感知的数据训练的分类器分类想象的数据66%，想象的数据训练的分类器分类感知数据60%），证实了听觉加工感知和想象之间存在共性的机制，并提供了一个减少BCI训练的可能。Schaefer等人又有在2013年1对四个实验进行了一个元分析，来调查感知和想象音乐时大脑激活的共同之处。四个实验涉及不同复杂程度的音乐刺激，包括简单均匀的节拍序列、单调的旋律，更复杂的节奏模式以及自然音乐刺激。他们首先使用PCA分解实验测得的EEG数据，发现了可以解释所有实验数据方差的相似成分分布，尤其是构成最大方差来源的一个前中和一个中央的成分，正符合早期报道的听觉N1/P2复合成分所源自的那些网络在头皮上的投影。而进一步采用张量分解，则发现PCA中所发现的成分能够继续分解成主要出现在感知任务或想象任务中的、或两项任务皆有出现的部分。Halpern和Zatorre等33使用正电子断层显影（positron emission tomography，PET）来观察当被试想象熟悉的曲调时的大脑活动。通过减去控制条件（听音符短序列）时的脑部活动，发现主要在额区右侧和上颞区，以及辅助运动区（supplementary motor area，SMA）有激活。为了分离出自然音乐的提取过程，从自然音乐想象的激活减去了再想象任务的激活，发现右侧额区和右侧上角回有激活。而从再想象任务的激活中减去控制条件获得想象不熟悉序列的激活，发现SMA区域及左侧额区的激活。功能核磁共振成像的发现也支持了这一观点。Herholz等人又于2012年在文献34中报道，音乐想象和感知在神经区域中的一个显著的重叠。他们使用功能性核磁共振呈现研究了编码和识别听到的和想象的旋律的神经关联。他们将被试熟悉歌曲的歌词呈现给被试。被试或者会在看歌词的同时听到曲调，或者靠自己来想象相应的曲调。实验表明被试在感知或想象曲调的时候，尤其是在次级听觉区，功能性成像上存在大量的重叠。但另一方面，随着想象加工任务强度要求的提高，相比感知任务，在额前叶皮质，辅助运动区、顶内沟以及小脑等区域，都表现出活动的增强。前右颞叶皮层和额区之间功能性连接也有所增强，表明这些区域构成了一个想象相关的网络。而右上颞回和额前叶皮质的活动和被试主观评价自己想象生动程度相关。此外，与编码阶段相似，识别任务也牵涉了与感知重叠的区域，包括和记忆提取相关的下额叶区，以及左侧颞中回。Daselaar等人35则使用功能性核磁共振成像研究感知和想象所共享的刺激形式特异及刺激形式无关的成分。他们采用了视觉和听觉两种形式的刺激来表征4个概念，并让被试感知或根据提示以不同的形式想象。结果表明在想象过程中，确实存在刺激形式特异和刺激形式无关的成分，其中，默认模式网络更偏向于负责刺激形式无关的部分，而视觉听觉联合皮质则负责想象中刺激形式特异的部分。而初级的视觉和听觉皮质则在显示出了刺激形式特异的活动抑制。Bunzeck等人36让被试在观看特定静态画面时进行感知或想象任务或不执行任务作为控制，使用功能性核磁共振研究了被试想象熟悉的复杂声响（非语言非音乐）时的反应。他们发现初级和刺激听觉皮层在感知刺激时双侧激活（包括颞平面和颞横回），而在想象条件下则仅在次级听觉皮层激发出双侧的激活。Halpern等人使用功能性核磁共振成像来观察执行音色想象任务时的次级听觉皮层时的反应37。伴随柔和的音乐背景，被试对听到的或想象的音色进行相似性判断。判断的模式在感知和想象任务条件下是相似的，这表明感知和想象对音色具有相似的认知表征。以视觉想象作为控制实验，对于所听音色的判断，激活了初级和刺激听觉皮层，并具有一定的右侧化性，而对想象音色的判断，则激活了次级听觉皮层。还有其他报道了于下顶叶和上颞沟38以及前鳃盖区域 33 3738，而这些区域也都在听觉刺激感知的过程中有所激活。音乐与其他认知能力Besson等人39在2007年的一个关于音乐训练语言语言学习的研究中考察了具有专业音乐训练经验的成年人、儿童，以及无专业音乐训练经验的成年人在音乐感知或语言感知中音高加工时的能力，实验证实音乐训练能够习得性地提高人对音高加工的能力，这种音高加工能力在患有诵读困难的儿童身上也发现有所损伤。Marques等人同样报道了音乐经验能力与语言经验能力的相互影响40，他们使用具有音乐专长或普通的法国被试来检测葡萄牙语短句尾音是否发生音高的违反常态，结果表明，在违规较弱的情形下，具有音乐训练经历的人表现更好，并且ERP的分析还显示他们做出反应也更快。而反过来，被试的不同文化背景也对音乐感知产生了影响，Nan 等人于2006年41通过让中国和德国的音乐家对所听的音乐进行文化分类任务。其中，西方音乐两组音乐家都很熟悉，而中国音乐仅为中国音乐家熟悉。Nan等人通过操纵双乐句两个乐句中间的暂停来考察两组音乐家对乐句边缘的感知。ERP分析显示，潜伏期较短的成分（100-450ms）会随着所听音乐类型和被试所处组别而有所变化，这说明音乐风格和被试自身的文化经验的相互作用在较早的加工阶段就已经发生。以想象音乐为任务的脑机接口Miranda等人则在2005年1516开发了一套由EEG生成音乐的系统。他们通过离散傅里叶变换及Hjorth分析等方法对EEG提取出一系列实时的参数，并通过一套转换法则，映射到两类不同风格的音乐上去并且做到在音乐类间变换时没有突兀感，但这种映射并没有生理上的意义，尽管所测量的EEG是源自于被试聆听不同音乐时的大脑反应。Lin等人使用14支持向量机对聆听能诱发情绪的音乐时的EEG进行分类，旨在辨别面对多媒体刺激时大脑中诱发的情绪反应。在尝试使用不同的特征进行分类后，他们发现EEG信号的频率功率不对称性是情绪反应最敏感的指标，而最佳的正确率（92.73%，四分类问题）则在使用短时（时长1s）傅里叶变换，并将所有频带的特征都考量在内后获得，这就有可能开发一种能实时反馈使用者情绪的多媒体应用。Blokland采取让每个被试从46个候选流行音乐片段中挑出他们自己5段熟悉片段来的方法，并在想象过程中伴有节拍器保持锁时。最好的被试，单试次分类正确率达到了71%，而在实时模式中使用多试次分类就可能运用于BCI，但也表明存在某些被试不论怎样都无法完成BCI任务42。 Soriano等人则使用EEG和fMRI的数据，评估了以基于想象的任务为BCI的控制可能达到的效果，同样，一部分被试的EEG分类能够达到超过概率的正确率，这为大脑运动区域损伤的病患提供了避开运动想象控制BCI的可能43。深度学习算法与神经科学数据Shu和Fyshe使用深度学习稀疏自编码网络，对被试观看分属12类的60个名词时，所采集的脑磁图数据进行了特征提取。此外，他们还人为设置了218个语义特征为60个名词编码，并尝试将深度学习网络的编码映射到语义编码上，在就此分类。结果表明对于某些被试，这种无监督的特征提取方法相比先前的人工特征挑选方法，是更加有优势的19。Lngkvist等人则使用深度置信网络（DBN）对睡眠不同阶段的EEG数据已人工提取好的特征进行筛选，并在其后使用隐马可夫链来精确追踪睡眠状态的转换。这个结果同之前使用手工设置特征及筛选特征相比，具有更高的正确率。而另一个直接使用深度置信网络对原始EEG进行编码后续隐马可夫链进行状态追踪的分类器也达到了和使用人工特征提取筛选更高的正确率12。Wulsin和Blanco等人则半监督地训练深度置信网络来检测临床EEG波形的异常情况。结果表明深度置信网络的异常检测器胜过支持向量机的F1指标（当类别间样本量极不均衡时，代替正确率的指标）。这为在海量的临床EEG数据中寻找偶发的异常波形提供了节省大量人工的可能18。但还鲜见使用深度学习算法研究日常认知过程中测量的EEG的文献。1.3 本文主要内容1.3.1 论文构成第二章主要阐述本课题相关的研究基础，包括脑电产生的原理及测量的方式，脑电常见的分析方法，以及深度学习网络的原理，主要针对本课题主要使用的稀疏自编码网络以及卷积神经网络的原理进行阐述。第三章主要阐述本课题实验的具体设计，包括脑电采集的实验设计及数据处理方式。第四章对获得的结果进行分析讨论，并分析本课题的创新及有待改进之处。1.3.2 主要研究内容本课题研究内容主要包括：1、深度学习网络最合适表征听/想象音乐时的EEG的结构参数设置，找出适合的网络层次深度和特征长度，以及训练网络时所需的参数。2、比较听/想象音乐的EEG由深度学习网络稀疏编码之间的相似与差异：将时域、频域的EEG数据投入深度学习网络进行稀疏编码，并考察产生的编码的所代表的特殊结构。3、比较深度学习网络产生的稀疏编码与PCA等其他方式提取特征或降维后的特征向量在相同分类器中分类的效果。2 相关研究基础概述2.1 脑电的产生及测量原理1875年Richard Caton等人44家兔裸露的大脑上发现了一种自发的、节律性的电位波动，并在接下来近半个世纪后人的反复实验相互佐证下，获得了学界对其并非是噪声的认可。这是就是自发电位（electroencephalogram，EEG），不论大脑处于何种生理、心理状态，只要还活着，就会产生。它的来源就是大脑中神经元放电而在头皮记录处产生的电场。神经元的放电需要经过脑膜、颅骨、头皮等容积导体才能传到头皮表面，因此单个神经元的放电信号会变得十分微弱，只有集群神经元同步放电并且方向一致时，才可能产生宏观的效应并被头皮电极记录到45。对于EEG，正因为其随机性和不规则形，目前主要关注的是各种节律波在不同精神状态下的变化情况，如清醒状态、睡眠状态、癫痫发作病理状态等，但较难直接从中提取心理活动的过程，只能作为一种较为模糊的指示。而事件相关电位（Event-related potentials，ERPs）是目前认知科学较为关注的一个心理生理现象。主要的思路是假设人脑在进行相同的认知过程时，EEG所记录到的信号，除去随机的噪声部分，会有一部分是和该过程相关联的并且可复现的波动。因此，如何控制变量使得在EEG记录中，能够使人脑尽可能地重复经历相同的认知过程，将是实验设计的关键。而对EEG信号的处理，也旨在将这种与目标研究过程相关联的波动从背景中提取出来，并研究认知过程某变量发生变化的情况下，这种波动又是如何变化的。事件相关电位最初被称为诱发电位（evoked potentials，EPs）。这种称呼上的转变体现了人们对这一生理现象认知的改变，也即是能够使得事件相关电位产生的不仅仅是外在的刺激及其引发的内在心理反应，也有可能仅由内在的心理状态诱发，如面对相同刺激注意力的不同分配将导致不同的响应等等。国际心理生理学研究学会曾在2000年的委员会报告46中作出定义，事件相关电位指的是，“与特定的物理事件或心理事件，在时间上相关的电压波动（voltage fluctuation）。这种电位可以被颅外记录，并凭借滤波和信号叠加技术，从脑电信号中被提取出来。”由此可以看到EEG是事件相关电位产生的基础，或者说就目前记录手段而言，事件相关电位的信号是掩藏在EEG信号之中的。对事件相关电位的分析可以归类到对EEG时域分析这一部分上去。2.2脑电常见分析方法2.2.1 时域分析如前所述，时域上的方法集中在对ERP的研究上，最初被定义为滤波后通过简单的同类试次叠加平均，获得与特定事件在时间上相关的电压波动74546，后来也有通过主成分分析（PCA）147,张量分解1等高级统计学方法分离的做法。进而在获得ERP后，通过比较不同条件下的ERP成分的存在与否、分布情况、或幅值的大小，推测实验条件下所涉及的认知过程、参与的脑区、实验条件对认知过程的影响等等。此外，脱离对ERP成分的分析，直接讨论其几何上的特性最初的EEG的分析受技术限制直接使用人工肉眼观察，然而现在某些情况下如临床观察，一些反映病理信息的波形甚至在时域也更为明显。此外对于未作平均的EEG在几何特性上，可计算其峭度，方差等的变化，或建立自回归模型拟合EEG，后根据参数的变化来追踪EEG状态是否有变化。2.2.2 变换域分析但有时，不同事件诱发的电位的差异性可能不能再时域上直观体现，因此即使是符合事件相关的定义，也会放弃在时域上的观察，转而在频域或时频域上进行分析。尤其是事件本身在时域上复杂性过高的，如音乐的欣赏，不同于视觉刺激或纯音，能够在短暂的时间内完成，故在音乐启动时，性质较接近于事件相关电位，而启动后则更接近于自发电位，故而在不同时间上，被假设具有相同的统计性质，能够被切为更小的小段并看作是来自同一总体的样本进行分析，这时自然不再深究其时域上的结构，更关注频域上的特性。对EEG在频域上的研究，多是通过研究一段EEG的频率功率谱的特征来分析认知过程4849,或进一步使用小波变换50、希尔伯特-黄变换（HHT）51等手段提取时频域特征进行分析，如不同脑区、特定频段的功率值根据实验条件不同而不同，暗示在不同条件下特定功能网络受到不同的调节49。2.2.3 网络分析网络分析方法是一种相对新兴的方法，但也是依赖于上述两种方法，利用提取的特征，产生基于相关系数的功能性脑网络，研究网络结构特性及其所暗示的认知过程中不同脑区之间可能存在的相互作用等5253，如Wu等人发现，被试听古琴音乐的情况下的功能性脑网络与听噪音情况下相比，更加具有小世界网络的特性，暗示了在该认知过程中不同脑区之间可能存在高效率的沟通53。2.2.4 动力学分析除以上方式外，从非线性动力学的角度分析EEG也是越来越常用的手段。从生理上，大脑本身就可以看作一个非线性动力学系统。借用动力学相关概念和模型，EEG相应的分形维数，李雅普诺夫指数（lyapunov exponent），洛伦兹散点图等被定义和研究54，主要应用于分析EEG所处的不同生理心理状态。但相对的，用这种手段分析出结果显得不够直观和难以理解。2.3深度学习网络概述深度学习网络是在神经网络算法的研究过程中开发出来的一种自信提取数据中潜在结构的算法，其在图像识别，语音识别，手写数字识别方面获得了巨大的成功。机器学习中一个很重要的步骤就是特征提取，能否获得良好的特征表达，将对算法最终的成败起到关键性的作用。而在很多问题上，特征提取这一过程通常会由人工去完成，这样不仅费时费力，还相当程度上依赖于经验和运气。这个由Hinton于2006年提出的新算法，首先，其本身的多层结构与激发神经网络算法诞生灵感的生物神经网络更为接近，如视觉皮层V2区就存在相似的稀疏多层深度学习网络结构55，而人类的学习过程也正是将外界信息不断抽象化提取更高等级结构的过程。例如其针对手写数字数据库的训练，就能够自动地产生出如图1的手写数字的原型图像56，又如针对自然灰度图像的训练，能够在某一层开始编码如图2的边缘、拐角等图像基本元素的结构57，进而在更高的层生成更复杂的结构。Figure 1 深度学习网络产生的手写数字原型（源自引文56）Figure 2 深度学习网络在不同的层产生的不同特征结构（源自引文57）而更为重要的是，其逐层训练的思路，为解决多层神经网络难以训练的问题提出了一个非常好的解决方法，避免了如反向传播算法会遇到的梯度扩散问题，更不需要大量带有标签的数据。常见的深度学习网络，无监督的有基于限制波兹曼机的深度置信网络、多层稀疏自编码、去噪自编码，有监督的有稀疏编码、多层卷积神经网络等等58。2.3.1深度学习网络逐层训练以本课题主要使用的稀疏自编码网络为主，介绍逐层训练深度学习网络的方法。单隐藏层的稀疏自编码网络是一个拥有输入层、隐藏层、输出层的3层网络，基本结构如下图。自编码网络不许要监督的原因在于，这种网络以输入样本本身作为输出的目标来拟合，因而不需要额外的标签就能够求出损失函数。而稀疏性则体现在，对隐藏层的输出有所限制，即在样本集合上平均，隐藏层各节点输出的平均值应可能接近0，这个要求是源自于在人脑中观察到的大部分神经元处于不活跃状态的现象。Figure 3 如图样本为1个6维的向量，隐藏层规模为3，输出层与样本维度一致为6，hW,b(X)即为以不同层单元间的链接权值W和偏置b为参数的模型输出，该输出以拟合输入为目标。在没有稀疏性要求的情况下， 该输出和输入之间的差异（一般取欧氏距离）即为损失函数。（源自引文58）定义第l层输入值为zl，输出为al，对单隐藏层网络（l=1指输入层，l=2指隐藏层，l=3指输出层）有，a1(i)=z1(i)=x(i)，其中x(i)为第i个样本。z2(i)= W21*a1(i)+b1，其中W21为链接隐藏层和输入层的权值矩阵，b1为长度与隐藏层规模一致的偏置向量。a2(i)=f2(z2(i)，其中f2()被称作激活函数，用于比拟神经元放电与膜电位的关系。为了提高网络的表达能力，f2()必须是一个非线性函数，常用的函数由sigmoid函数或双曲正切函数（tanh）。在本课题中选用前者。z3(i)=W32*a3(i)+b2，其中W32为链接输出层和隐藏层的权值矩阵，b2为长度与输出层规模一致的偏置向量。而输出层输出即为模型输出，有hW,b(x(i)= a3(i)=f3(z3(i)，其中f3()可以是sigmoid函数，也可以是softmax函数或者是不作变化，即输出a3(i)直接就等于输入z3(i)。考虑到这只是深度网络训练中的一层，因此选择sigmoid函数。因此损失函数可定义为：其中m为样本数，y(i)=x(i)。 为防止过拟合，增加正则（regularization）项，使用L2范数惩罚过大的权值，但通常不惩罚偏置，于是损失函数定义为：其中sl指第l层所含单元数，nl指网络层数，在单层训练中nl等于3，为正则项惩罚系数。另外增加一项稀疏性惩罚，使用Kullback-Leibler距离（KL距离）来表达。应用到控制神经网络稀疏性上具体为：其中为稀疏性惩罚系数，j为隐藏层单元的编号，KL距离又称相对熵，它是衡量两个概率分布（在同一个事件空间内）之间差异大小的一个函数，在这里，隐藏层某单元激活与否被看做是符合伯努利分布的事件，故KL距离表达如下：其中为希望训练出的网络能够尽可能达到的隐藏层单元激活概率，通常被设定在0.05这一数量级，而 则代表为实际的隐藏层单元激活概率的估计，其计算公式为：这样在获得损失函数后，通过反向传播计算出目标函数关于各个参数分量的导数，我们就能够对其进行最小化。当各个导数为0时，目标函数就达到了局部最小值，权值和偏置就训练完成。另外，注意到目标函数是一个极为复杂的函数，因此存在各种各样的局部最小值，使用不同的优化算法，陷入并不足够好的局部最小值的可能性也就不同。本课题中的优化主要使用Matlab的一个名为minFunc的优化工具包来实现，包内能提供如最速下降、非线性共轭梯度下降、拟牛顿法等等优化方式59。在单隐藏层的稀疏自编码网络训练完毕后，将移除输出层及输出层与隐藏层之间的权值和偏置。在训练下一层时，可把隐藏层的输出a2看作是输入，投入一个类似的单隐藏层稀疏自编码网络进行训练，过程与前述的完全一致。如果确定了隐藏层的层数和各层单元数，训练完成后，整个深度稀疏自编码网络也就确定下来（注意最后一层训练完后，仍然要把输出层及相关权值移除）。2.3.2卷积神经网络（convolution neural network，CNN）除稀疏自编码网络外