【《卷积神经网络脑电识别算法优化分析》6900字】

卷积神经网络脑电识别算法优化分析目录TOC\o"1-3"\h\u20914卷积神经网络脑电识别算法优化分析 190961.1卷积神经网络优化算法 1217961.2算法设计与训练 5191711.2.1迁移学习 625931.2.2数据增强 6272421.2.3模型参数优化 7125931.3结果分析 81.1卷积神经网络优化算法（一）迁移学习传统的机器学习需要训练集和测试集具有相同分布且训练集有足以支撑模型训练的样本数。如果数据分布差异大，或训练集样本量少，都需要新收集训练数据并重建模型，这极大的增加了实际应用成本以及工作量。迁移学习的出现就是为了解决在保证新任务的模型精度的同时又充分利用过期标注数据。迁移学习是将某个领域或问题中习得的知识或者模型应用到不同但相近的领域或问题中。迁移学习中有两个重要的概念：域和任务，域表示某个时刻的某特定领域，任务表示需完成的事情或者目标。使用此概念，迁移学习可以描述为利用在源域习得的知识或模型，解决与源域相关但不完全相同的目标域任务问题。如图1.1所示，传统的机器学习与迁移学习的区别总结如下：传统的机器学习在面对数据分布、维度或模型输出变化时，灵活度较低，分类结果不理想，且传统机器学习对不同的学习任务需建立不同的模型。而迁移学习在分布、维度和输出变化时，有效利用源任务知识对目标任务建模；在数据标定缺乏的情况下，迁移学习可以有效利用相关领域数据完成标定。图1.1传统机器学习与迁移学习的区别迁移学习按照学习方式分类可以分为基于实例的迁移，基于特征的迁移，基于参数的迁移和基于关系的迁移[90]。实例迁移(InstanceTransferLearning,ITL)是在目标任务的训练中，挑选部分源域数据与目标域中的少数标记数据一起通过权重调整后用于目标领域学习。计算方法如公式1.2，wi表示权重。Dai等[91]提出了一种TrAdaBoost算法，该算法弥补了AdaBoost算法要求源域和目标域数据同特征同标签缺陷。TrAdaBoost算法为解决源域和目标域分布差异问题，通过迭代重新加权源数据，以减少“坏”源数据，鼓励“好”特征迁移(FeatureTransferLearning,FTL)是通过寻找优秀特征，最小化域间差异以及分类回归误差，有包括有监督特征迁移和无监督特征迁移。计算方法为公式1.3，∅(xis参数迁移(ParameterTransferLearning,PTL)是假定相关任务的模型共享一些参数、超参数或先验分布，参数迁移就是在源域和目标域中发现这些参数、超参数和先验知识，如公式1.4。Lawrence等[92]提出了一种基于高斯过程的有效算法，称为MT-IVM，用于处理多任务学习。Schwaighofer等[93]提出将分层贝叶斯框架与高斯过程一起用于多任务学习。Evgeniou等[94]将层次贝叶斯框架的思想借鉴到支持向量机中，用于多任务学习。关系迁移(RelationalKnowledgeTransferLearning,RKTL)是指在相关领域中处理迁移问题，在源域和目标域中简历相关知识映射。Mihalkova等[95]提出了一种利用马尔可夫逻辑网络跨关系域转移知识的算法TAMAR。Davis等[96]提出了一种基于二阶马尔可夫逻辑形式的关系知识转移方法，其基本思想是用目标域的谓词实例化源域的马尔可夫逻辑公式，以带有谓词变量的形式发现源域的结构规律。min1.1min1.2min1.3min1.4（二）数据增强神经网络算法的分类准确率不仅取决于神经网络结构的优劣，也取决于训练数据量的大小。为了增强神经网络的学习能力，不断加深神经网络的深度和广度，模型参数随之增加，当数据样本量小时，神经网络易过拟合。过拟合现象是指神经网络高度拟合了训练集分布情况，但对测试集准确率很低，泛化能力弱。解决过拟合现象最直接的方法就是尽可能多的采集训练数据，但在很多情况下采集更多训练集数据是困难的。此时，充分利用已有训练数据产生更多数据成为解决过拟合问题的有效解决方案。对于运动想象脑电数据，由于运动想象脑电数据采集实验步骤复杂，规则严格，且因为随着实验时间的增加，被试注意力集中变得困难，不适合长时间实验等因素，很难采集充足的运动想象脑电训练数据。这时，研究适合运动想象脑电信号的数据增强技术变得相当重要。数据增强根据有无监督可分为有监督的数据增强和无监督的数据增强方法。有监督的数剧增强又分为单样本数据增强和多样本数据增强；无监督的数据增强方法分为学习增强和生成新数据两种策略。有监督的数据增强是利用预设的变换规则，对已有数据进行扩增，包括单样本数据增强和多样本数剧增强。单样本数据增强主要是指增强方法围绕一个样本进行操作，主要包括几何变换和颜色变换。几何变换主要有翻转、旋转、缩放、裁剪、移位等操作，翻转是指对输入进行水平或垂直翻转；旋转是指对输入进行随意角度的选择，但旋转之后的维数可能与原维数不同；缩放是指对输入进行向内或向外的缩放；剪裁是指从原始输入中随机抽样一部分；移位是指沿某方向移动输入。颜色变换常见的有噪声、颜色变换等操作。噪音是指对输入增加适量的噪音以增强学习能力；颜色变换是指通过增加或减少某些颜色分量。多样本数据增强指利用多个样本产生新样本的操作，常见的有人工少数类过采样法（SyntheticMinorityOver-SamplingTechnique，SMOTE）、样本配对（SamplePairing）等方法。人工少数类过采样法基于插值，利用人工合成新样本，提升分类器性能。样本配对方法是对两张图片分别进行基础数据增强后平均叠加形成新样本，尤其对医学图像性能较好。无监督数据增强方法主要包括：学习数据分布，生成与训练集同分布的图片，代表：生成对抗网络(generativeadversarialnetworks,GAN)；和自动学习最优数据增强方法，代表方法：自动数据增强(Autoaugmentation)。生成对抗网络包含生成网络和对抗网络，生成网络用来生成更加真实的数据，对抗网络用来识别真实/生成的数据。真实训练模型如图1.2，输入的初始噪音z通过生成器G得到增强数据G(Z)，与部分真实数据x混合后，输入判别器D，由判别器做出真假二分类，得到概率D图1.2生成对抗网络训练模型脑电数据通常被认为是二维数据，其中一个维度是时间维度，另一个是通道维度。由于两个维度意义不同，其增强技术与计算机视觉领域的数剧增强技术不同。目前脑电信号的增强技术主要分为两类，一类是在原始训练数据中添加噪音生成人工训练数据，其中最经典的方法是在原始训练数据中添加高斯噪音，公式1.5表示高斯随机变量z的概率密度函数P，其中μ表示均值，σ表示标准差。另一种是对原始脑电数据进行数据变换生成更多人工训练数据，其中滑窗是最经典的方法，通过在原始信号中滑动将原始训练数据截成多段有重复的数据，从而产生更多人工训练数据。如图1.2所示，原始训练信号长6s，滑窗长度为2s，滑窗间隔2s。经过滑窗处理后，最终生成5段，每段2s的新训练数据。P1.5图1.2滑窗数据增强技术流程图1.2算法设计与训练针对卷积神经网络在脑机接口领域的脑电数据匮乏和用户个体差异大等问题，本章在第二章的基础上提出一种新的数据增强以及迁移学习脑电优化算法，利用迁移学习降低用户间的差异，利用数据增强的方法生成更多的人工数据。整个算法的设计流程如图1.3所示，在训练阶段：同步采集被试进行想象任务时的脑电信号，利用第二章描述的卷积神经网络进行训练，且利用所提的数据增强方法生成更多的训练数据；在测试阶段，采用五折交叉验证方法训练二类、三类和四类全局分类器。此外，引入迁移学习方法，在全局分类器的基础上对个体进行四折交叉验证，获得个体分类器。图1.3优化算法设计流程图1.2.1迁移学习迁移学习是运动想象脑电分类算法中的一种新方法，它被用来产生特定个体的分类器。为解决用户个体差异大，本节应用迁移学习使模型适用于单个个体。本节所用的迁移学习方法具体描述如下：首先，基于第二章的卷积神经网络训练全局模型。其次，对测试集中的每一个被试的试验数据进行四折交叉验证，即随机选择单人75%的试验作为训练集,其余25%为测试集。例如四类运动想象分类任务，随机选择63次试验（75%的84次试验）作为训练集，其余21次试验（25%）测试集。基于此种训练方法得到的模型称为个体模型。个体模型的后续训练只需要相对较短的训练时间和较少的数据。1.2.2数据增强训练一个有效的深度学习模型需要大量的训练数据，因为在深度学习模型中大量的参数需要调整，而数据增强技术能很好的解决数据不足的问题。在众多领域，数据增强技术是将现有的训练数据经过移位、缩放、旋转等变换，人为地生成新的数据样本。但由于脑电信号具有信噪比低、非平稳性以及个体差异大等特征，广泛应用于计算机视觉领域的几何变换数据增强方法，如翻转、旋转、缩放、裁剪以及移位不适用于脑电数据增强。因此，选择合适的数据增强方法，能保留原始信号的特征显得尤为重要。图1.4f7受试者8次右侧心肌梗死的ERD叠加曲线，在C3电极位置记录18~26hz的脑电图本章基于Pfurtscheller等[90]的研究结果（如图1.4）：右手运动想象会伴有对侧β事件相关去步和同侧β事件相关同步现象，提出了一种新的数据增强方法，即叠加方法，其主要思想是将具有同类标签的运动想象脑电数据叠加并归一化以生成新的人工数据。具体步骤如下：（1）按第一部分数据集的要求，提取109个受试者的64个脑电通道的基于运动想象的原始脑电数据及其对应的标签；（2）对每次试验的每个通道的脑电数据进行归一化。（某通道的本次试验的原始脑电信号值减去此通道此次试验原始脑电信号平均值，然后除以此通道此次试验原始脑电信号的标准差）。（3）随机选择n个（n为参数）同类标签的试验，将这n组脑电数据按通道进行叠加并标准化，生成新的人工数据。如图1.4所示，其左侧脑电信号是随机选取的Physionet数据集中右手运动想象脑电信号标准化后的曲线。可见，右手运动想象可能伴随有对侧beta事件相关去同步和同侧beta时间相关同步现象，特别是在a），b），w）中很明显。对这些随机选取得到的右手运动想象脑电信号进行上述的数据增强方法后，得到如图1.4右侧所示的曲线。可见，经过数据增强的人工脑电信号还伴有对侧beta事件相关去同步和同侧beta事件相关同步现象。由此可见，该数据增强方法可以保留脑电信号的固有特性，证明该方法的有效性；本章所提出的数据增强方法可产生大量保留特征的脑电人工样本，并将该方法在所有受试者（109名）的64通道数据中进行四分类测试。图1.4数据增强原理图1.2.3模型参数优化本节对提出的浅卷积网络结构进行了优化，分析了不同因素(频带、时段、信道)对运动想象脑机接口译码精度的影响。我们将卷积神经网络第二层的核改为nchan×1，其中nchan代表脑电通道数，这样可以将参数减半，节省运行时间。结构具体参数如表1.1所示，960为输入长度，nchan为脑电图信道数。给出了对N个脑电=64通道的6s脑电数据进行两类分类的参数计数。表1.1优化CNN模型架构核填充参数输出Conv100Conv100Avg.poolFlattenFC100FC32Softmax-30×11×nchan30×1相同有效有效3100640100006301003232661,276,598960×64×100960×1×10063×1×1006300100322-此外，还研究了脑机接口译码参数对脑机接口性能的影响。通过全局模型解码精度来评估BCI的性能。首先，我们使用五组不同的脑电信号通道配置来评估脑机接口的性能。每个配置分别包含3、16、32和64个EEG通道。其次，在模拟的在线解码中分析了MI/休息时间对脑机接口性能的影响。MI任务状态定义为[15]s，空闲状态定义为每次试验的[01]s和[56]s。我们将6s(每秒160个样本)分为3种组合。最后，我们在不同EEG频带中比较离线BCI的准确性，包括低alpha([810]Hz)、上alpha([1013]Hz)、alpha([813]Hz)、低beta([1420]Hz)、上beta([2130]Hz)、beta([1430]Hz)和alpha-beta([830]Hz)频带。1.3结果分析为了评估所提出的基于浅层卷积神经网络优化算法的识别结果，本节首先研究了迁移学习优化算法后公开数据集的二、三、四类分类准确率；其次研究了所提数据增强方法的各参数对模型四分类性能的影响；最后讨论模型参数优化结果并分析不同因素(频带、时段、脑电信道)对运动想象脑机接口译码精度的影响。迁移学习分类结果基于所提出的迁移学习，对Physionet运动想象脑电数据集进行二、三、四类分类。为了充分利用可用信息，提高分类性能，本节使用了包含64个脑电通道以及全6s的脑电数据。如表1.2，在二、三和四类运动想象脑电分类任务中，提出迁移学习优化算法的四折交叉验证准确率分别为91.06%，82.76%，71.46%。对比第二章的原浅层神经网络二、三和四类运动想象脑电分类准确率：87.32%、76.26%和64.72%，本节所提出的迁移学习优化算法分别提高了1.74%，6.5%和8.74%。结果表明，本节所提出的迁移学习优化算法具有一定的优越性，尤其对于四类运动想象脑电分类任务。表1.2基于迁移学习的运动想象脑电平均分类准确率类别准确率23491.06%82.76%71.46%此外，本研究剔除5位脑机文盲被试数据，对剩余的104位被试数据进行模型性能评估，最终得到四折交叉验证后的二、三和四类平均分类准确率分别为91.92%，81.78%，74.60%，如表1.3所示。与109位被试的二、三和四类分类任务对比，104位被试数据的平均分类准确率仅提高了0.86%，1.02%和1.14%，与109位被试结果无明显差别。结果表明，本节所提出的迁移学习方法不仅可以提高运动想象脑电分类准确率，还可以减小个体差异。表1.3基于迁移学习的104位被试运动想象脑电平均分类准确率类别准确率23491.92%81.78%74.60%数据增强分类结果为了评估所提出的数据增强优化算法的有效性，本节首先探索了不同数据增强参数对全局模型脑电分类结果的影响；其次将数据增强模型与迁移学习模型结合，不同数据增强参数对个体模型脑电分类性能的影响。本节仅利用Physionet数据集的所有被试（109名）的64通道数据进行四分类测试。图1.5显示了全局模型在不同参数下的平均准确率，横坐标表示同类信号叠加的层数，颜色条表示数据增强的倍数，蓝色虚线表示数据增强前的平均准确率（即未进行数据增强的平均准确率）。从图1.5可以看出，在全局模型中该数据增强方法可以提高信号分类性能。当数据增强倍数小于20，同类标签叠加层数小于10时，平均准确率将显著提高。且经过20倍的数据增强和5倍的标签叠加，达到了最高平均准66.73%。图1.5全局模型数据增强平均准确率图6展示了所有受试者在受试者模型上的准确性。从图6可以看出，无论数据增强倍数和信号叠加倍数如何，精度都有明显的提高。然而，随着扩展倍数的增加，代码的内存占用也会增加，代码的运行时间也会更长。因此，在计算机内存有限的情况下，采用10倍的数据增强和5倍的信号叠加是很好的选择。最高的精度是20倍的数据增强和5倍的信号叠加。图1.6个体模型数据增强平均准确率数据增强前后训练的全局模型和主题模型的准确性如图1.7所示。结果表明，数据增强可以有效提高精度。全局模型和4类主体模型的准确率分别从64.72%提高到66.73%，71.46%提高到76.78%，表明数据增强方法对主体模型更有效。图1.7两种模型在数据增强后准确率变化为了更仔细地查看结果，图8和图9展示了两个模型的详细混淆矩阵。对于全局模型，数据增广倍数设置为20，信号叠加倍数设置为5。对于主题模型，将训练数据扩充到20倍，并将叠加倍数设置为20。在混淆矩阵中，行表示预测标签，列表示地真值，数字表示识别准确率的百分比。数据增强前后的全局模型细节见图1.8。在这四分类中，左和右的识别精度更高。数据增强后，右、足的分类明显提高。然而，该方法并没有改善权利和休息的分类。从图9可以看出，对于主题模型，数据增强可以提高所有四个类的性能。总之，我们的叠加数据增强方法可以明显地提高性能。 a） b）图1.8全局模型的混淆矩阵。Physionet数据集四类分类准确率(%)a)数据增强前和b)数据增强后(行:预测标签;列:真实标签)。 a） b）图1.9个体模型的混淆矩阵。Physionet数据集四类分类准确率(%)a)数据增强前和b)数据增强后(行:预测标签;列:真实标签)。数据增强分类结果图10给出了提出的shallowCNN和优化后的CNN的BCI解码精度。在全局模型上，优化后的CNN在所有受试者(109个受试者)的二类、三类和四类分类任务中，平均交叉验证准确率分别为87.52%、76.83%和64.46%，与浅层CNN模型的准确率非常接近。图1.10浅CNN和优化CNN的分类准确率并对不同参数对脑机接口性能的影响进行了定量分析。如图11所示，使用5种不同的通道配置(分别为3,16,32和64通道)评估BCI性能。结果表明，32通道和64通道的BCI精度没有显著差异。此外，64通道和32通道条件下的平均精度显著高于16通道和3通道条件。∗∗∗∗图1.11不同信道配置下的BCI译码精度比较。“*”表示BCI性能的显著差异。图12给出了不同MI/空闲周期下的离线BCI解码精度。MI任务状态定义为[15]s，空闲状态定义为每次试验的[01]s和[56]。在图12a中，1、2、3、4