基于混合范式的脑-机接口异步控制方法研究

1、基于混合范式的脑-机接口异步控制方法研究摘 要：自动判别使用者是否处于操作状态的异步控制问题，是脑-机接口（ BCI）领域的研究热点之一。由于BCI 范式主要针对区分思维指令来诱发脑电特征,导致在区分操作态上信息含量有限，难以获得较理想的异步识别结 果。针对上述问题，研究一种结合事件相关电位（ERP）与稳态视觉诱发电位（SSVEP）的混合范式方法，以提升异 步控制效果。采集10名被试3种状态下的19导联脑电信号，包括在正常使用BCI时的控制状态和被试目光不在 BCI界面以及在睁眼静息状态下的2种空闲状态。通过提取不同状态下ERP的幅值特征与SSVEP的相关系数，区 分不同的使用状态，进一步采用

2、贝叶斯方法分别对ERP和SSVEP特征的控制态后验概率进行估计,然后将两者综 合并采用阈值法对控制态和空闲态进行二分类识别。结果表明，所发展的混合范式方法在不同状态下两种特征差 异同时存在，控制态下会产生更高的P300幅值与SSVEP相关系数，并且与空闲态下的特征之间存在统计学差异。 对控制状态和空闲状态的总体平均识别正确率达到92. 1% ,AUC达到0. 98。研究结果表明，混合范式方法在异步 识别问题上有很好的潜力，值得进一步研究和发展。关键词：脑-机接口（ BCI）;混合范式BCI;异步识别策略；贝叶斯后验概率An Asynchronous Control Strategy Based

3、 on Hybrid BCIAbstract: Asynchronous control problems of automatically identifying whether users are controlling the system is a focal point of research in BCI. Traditional paradigms induce EEG characteristics by distinguishing different instructions，causing the limitation of the information， so it

4、is difficult to obtain ideal results of asynchronous identification. Aiming to resolve the problem， we developed a hybrid BCI system containing event-related potential and steady-state visual evoked potential signals to promote the effect. In the study， we collected 19 channel EEG signals from 10 su

5、bjects under the control condition when the subjects used the BCI system normally and two idle conditions when subjects moved their eyes out of the screen and when they opened their eyes and rested. In order to identify the different conditions， we extracted the amplitude of the ERP and the correlat

6、ion coefficient of SSVEP， then we estimated the posterior probability of the control state by ERP and SSVEP features， using a Bayesian method. Using 10 subjects EEG features， we found out that the hybrid paradigm performed better than a single paradigm，because the differences under the two paradigms

7、 coexisted. We achieved the accuracy of 92. 1% and an AUC of 0. 98 in identifying the control condition and the idle condition. This study demonstrated that hybrid had the ability to improve asynchronous identifying and it was worthy of a further study and development.Key words: brain-computer inter

8、face; hybrid BCI; asynchronous strategy; bayesian estimation种先启动再输出的方式尽管能够在一定程度上解 决异步控制问题，但显然会对输出效率造成一定的 影响。另外，也有研究是通过利用控制态和空闲态 下诱发的脑电特征的差别来实现异步控制7种先启动再输出的方式尽管能够在一定程度上解 决异步控制问题，但显然会对输出效率造成一定的 影响。另外，也有研究是通过利用控制态和空闲态 下诱发的脑电特征的差别来实现异步控制7切。 2015年,Zhang等研究了一种通过最大化诱发响 应空间滤波的方法，实现三指令SSVEP-BCI的空闲 态检测。2018年,

9、Aydin等问利用P300信号在不 同状态下的幅值差别，实现四指令的异步控制。尽 管上述研究在单一范式下能够实现小指令集的异图1刺激界面iLteriaee步控制，但随着指令集的扩大，单一范式下的异步控制效果常常会由于信息量有限和特征单一而受引言脑-机接口( brain-eomputer interface, BCI)为大 脑与外界环境之间的信息交流提供了一条非常规 通路，可以不依赖于外周神经肌肉系统实现从脑信 号直接到指令输出。非侵入式头皮脑电图 (electroencephalography，EEG)由于其相对较低的硬 件费用和较高的时间分辨率，被广泛用在脑-机接 口系统中，常用的有P300

10、-BCI、基于稳态视觉诱发 电位的 BCI( steady state visual evoked potential-BCI， SSVEP-BCI)和基于运动想象的 BCI( motor imagery- BCLMIBCI) 。脑-机接口在走向实用化的过程 中面临许多挑战，其中异步控制就是一项具有挑战 性的任务。异步BCI是相对于同步BCI而言的，它可以判断 用户使用BCI时候的状态，并且只有在用户具有输出 意图时才实现指令输出。而同步BCI则认为用户 始终处于意图输出的状态，例如在使用传统的P300- Speller时，即使用户不注视BCI界面,系统依旧会输 出字符，造成误触发。因此，准确

11、识别用户状态，对于 BCI在实际中的应用是必不可少的。然而，由于空闲 状态的可变性，异步控制一直是一项具挑战性的任 务。在本研究的范式下，控制态是用户目光注视BCI 界面并意图输出，空闲态设置为用户目光在BCI界面 但无输出意图和目光不在BCI界面。对于异步问题，传统的解决方案通常是采用一 种信号作为“脑开关”控制Speller串行输出如，但 这种做法限制了操作灵活性。如2013年,Liu等 设计了使用SSVEP作为指令的脑开关控制输出，而 字符识别仍采用行列闪烁的P300-Speller实现输 出。同年,Li等面设计了一种4指令多模态脑-机 接口系统，结合P300和SSVEP来提高异步控制的

12、 性能,实现了在线脑控轮椅“启动/停止”命令。这 到限制。针对上述问题，本课题在P300与SSVEP的混 合范式上对异步问题进行研究。该混合范式诱发 出的SSVEP信号对外界刺激敏感且信噪比高,P300 具有良好的时间同步性。通过时频分析提取特征 并融合,从而增加可用信息，提升异步控制效果。1材料与方法1.1实验设计1.1.1实验对象和实验设备10名(5名男性,5名女性，年龄:2125岁， 平均年龄23.5岁)健康且视力正常或校正后正常 的成年人参与实验，实验时被试者坐在刺激屏幕前 的舒适座椅上，所有被试实验前均阅读并签署了知 情同意书。实验中脑电信号的采集使用的是Neuroscan公 司的S

13、ynAmps 2采集系统和Scan 4. 5采集软件。选 取 19 个常用导联(Fz、FCz、C3、Cz、C4、CPz、P3、Pz、 P4、P03、P04、P05、P06、P07、POz、P08、01、Oz 和 02)进行特征识别和分类，记录脑电信号的参考电 极为右乳突，人体的为左乳突，采样率为1 000 Hz, 通过0. 1 Hz的高通滤波和50 Hz的陷波进行处理。 1.1.2实验范式和流程图1所示为本实验P300-SSVEPB-Speller的字 符矩阵BCI诱发范式。在计算机屏幕上显示4个 3X3的字符矩阵，每个字符矩阵具有不同的背景闪 烁频率(7、9、11、13 Hz)，每个字符矩阵

14、中的9个字 符按随机顺序逐个分别暂停背景闪烁200 ms,同时 改变显示字符的字体和颜色。这样，当被试者注视 某个字符时，其所属字符矩阵的背景闪烁能够诱发 被试者对该频率的SSVEP响应，当所关注的字符暂 停闪烁时,SSVEP响应会被暂时阻断，并且该字符 的背景和颜色等的改变，又会构成一种事件相关靶刺激，能够诱发出P300电位。所以，这种混合范式 可以同时诱发SSVEP和P300两种脑电特征，提升 用于BCI操作的可识别信息含量。每个字符矩阵 中的9个字符逐个闪烁一次构成一个轮次的刺激, 每轮刺激需要0.9 s，每个试次包括6轮闪烁，共 5.4s，期间被试关注同一个字符。在实验中通过调 整每帧

15、亮度值，使其按照相应频率的近似正弦波变 化,从而在显示器上实现4种频率的闪烁佥:戚。利 用该方法，频率/和相位0的视觉刺激对应的刺激 序列可表达如下：&(/，#)二+ (sin 2&V/RefreshRate) + (1) 式中，s*&() RefrehRate为屏幕刷新率，#为帧索引 使用 Psychophysics Toolbox Version 3 工具包在 Matlab平台编写。为了验证在P300-SSVEPB-Speller下建立的异 步识别策略的有效性，分别设计控制态和空闲态的 实验，每组实验都包括36个试次。每个试次的流程 如图2所示。在刺激前有2 s的提示，之后便是 5.4 s

16、的刺激闪烁。对于控制态实验,需要受试者在 听到系统提示后,关注目标字符，并将视线转移到 该字符上。本研究另外设计了两种空闲态，第1种 是被试注视屏幕中心，在听到语音提示“空闲”后， 受试者将目光转移到屏幕中心的“+”字，刺激界面 依旧闪烁并处于视野范围内，在此过程中被试不关 注任何字符;第2种空闲态是在听到提示后被试目 光离开屏幕，当然更不会关注任何字符。3组实验 随机完成,每两组实验之间让被试者充分休息，以 保证注意力集中。所有受试者均完成了 36个试次 的控制态实验和72个试次的空闲态实验。1.2方法1. 2.1 P300异步控制策略图2实验流程与时序:图2实验流程与时序:ig.2 Exp

17、eriment Oi and the Hashing timing graph按照判别结果确定=对应的标签7,如果该轮图3异步识别算法Fig.3 Asynchronous Recognition Strategy算法，包括P300和SSVEP图3异步识别算法Fig.3 Asynchronous Recognition StrategyP300 部分采用 15 导(Fz, FCz, C3, Cz, C4, CPz, P3, Pz, P4, P07, POz, P08, 01, Oz 和 02) 数据进行分析。对各导联信号进行110 Hz带通 滤波,降采样至20 Hz,取每个刺激之后700 ms内

18、的 信号作为P300特征，并将各导特征拼接构成F。采用LDA建立P300分类模型，则对于第#个 刺激是否是靶刺激(既被试关注的字符)的判断为/ G 0TF#( 2)式中，o 1为LDA的权重向量，F#为第#个字符刺激 产生的P300特征向量，/为LDA输出的决策值。对一个轮次的9个刺激得到9个决策值，将其 中最大决策值对应的字符识别为目标字符，有char = arg max( # 0T匕)(3)# j式中,F,表示第#个字符的第j轮闪烁。如果被试可以使用大脑意图准确地操作BCI, 系统对于目标字符的判别会是可靠的；如果被试的 意图不能准确操作,或者被试处于无操作意图的空 闲态,则系统的判别是不

19、可靠的。因此，利用贝叶 斯方法来评估被试者在控制态下的字符判别可靠 性,利用这种可靠性判别来控制系统是否输出字符。将式(2)得到的每个轮次的9个决策值按照从 大到小顺序重新排列，构成新的特征向量$，有$ 0i, 02，03，04，05，06，07，08，09 ( 4)式中，0# = # 0门,表示第#个字符的前L轮刺激的 j=1决策值之和。次判别正确，对应标签为7 =1,称作正确识别组，否 则7 =-1,为错误识别组，在$和7上建立新的LDA7 = 09$( 5)式中,7是LDA输出的决策值，分别构建不同识别 组关于7的似然概率密度函数(probability density function

20、s，PDFs) o假设正确识别和错误识别分别写作!1和!， 似然概率密度函数p(7i C1)和p(71 !)用高斯核 密度估计来生成,即对分组后的7作柱状图,然后利 用高斯核密度估计做扩展和平滑。最后，贝叶斯估 计判断为控制态的后验概率表示为P(7 I CD p(!i)p( C# I 7)=p(7 I C#) p( C#) +p(7 I C) p( Co)(6) 式中,p(C#)和p( Co)分别是正确预测和错误预测 的先验概率，是根据分类正确率估计出来的。后验概率超过阈值8p3。,将被识别为控制态, 其中的阈值是通过网格法搜索确定的。1. 2. 2 SSVEP异步策略SSVEP 部分选取 1

21、1 导(Pz, P07, PO, P03, POz, P04, P06, P08, 01, 0z 和 02)数据进行分 析。经过330Hz的带通滤波后，采用典型相关分 析(canonical correlation analysis, CCA)识别 SSVEP 并提取相关系数作为特征，有p = Corr( I-，岗(7)式中，S为滤波后的脑电信号，七是根据每个刺激 频率及谐波频率生成的等长度标准正余弦信号，有sin( 2&fn)cos( 2&fn)sin( 2&Nhfn)cos( 2&NJ$)式中，/是基频，N为谐波次数,九为采样率。为了更好地利用SSVEP谐波成分中的信息，通 过使用基于滤波

22、器组分析的方法,原始的SSVEP信 号会首先被分割为不同频率的子带 (s$ ,$ = 1,2，,N),从而通过CCA的方法更有效 地提取谐波分量中的独立信息。本研究使用的滤 波器组将信号划分为7个不同子带,每个子带的开 始频率为$X7 Hz,截至频率为91 Hz。在带通滤 波实现的过程中，每个子带的通带两侧都增加了 2Hz的额外带宽，具体子带频率范围如下(例如第一 行代表子带的通带范围是593 Hz):-5 Hz 93 Hz -12 Hz 93 Hz:(9)_ 47 Hz 93 Hz.这样设计出来的子带包含$次谐波到93 Hz频段内 的所有谐波分量。然后对各子带成分的相关系数(Pl. 1,2,

23、， Pl.N)的平方进行加权求和，作为SSVEP特征，有Ns Pl = # p( $)(Pl$) 2( 13)$ = 1式中，L = 1,2,3,4,为刺激频率的索引，$为子带的 索引,p( $) =$5 + 0.25。对一个轮次得到的4个相关系数,将最大相 关系数对应的频率识别为目标频率。同样地，利用 贝叶斯方法估计被试者在控制态下目标频率识别 的可靠性，并依此控制系统输出。控制态下每个轮 次的4个相关系数由大到小分别是1 ,2，3 ,4 ,如果被试者能够准确的诱发出 SSVEP信号，那么得到的最大相关系数1对于目标 频率的识别会是可靠的，而2、P3、是不可靠的, 据此构建关于的似然概率密度

24、函数。根据式(6) 计算后验概率，超过阈值Pss%p ,将被识别为控制态, 其中的先验概率为p( C1) = 0. 25,p( Co) = 0.75。 1.2.3混合范式异步判别及评价参数混合范式的异步控制策略在后验概率层面实 现特征的融合，将P300和SSVEP的后验概率叠加 并与阈值比较,得到判别结果如下：=sign( PP300 +Pss_ep) - ( 8P300 + Pss_ep)(11)如果J=1,识别为控制态;否则=-1,识别为 空闲态。对于二分类问题，评价分类结果的常用指标 有：真阳率(true positive rate, TPR)、真阴率(true negative rat

25、e,TNR)、假阳率(false positive rate, FPR) 和准确度(accuracy, ACC)。在本研究的异步问题 中,TPR为正确触发率，表示正确识别为控制态的 情况;TNR代表正确识别为空闲态的情况;FPR为 错误触发率，表示错误识别为空闲态的情况；ACC 为识别正确率，表示正确识别为控制态和空闲态的r整体情况。接收者操作特性曲线(receiver operating characteristic curve, R0C)通常用来反映敏感性和特 异性的综合情况，ROC曲线中TPR越高而FPR越 低的点，分类效果越好。常用曲线下面积AUC( area under ROC cu

26、rve)评价分类效果，AUC越接近1，分 类效果越好。通过双样本等方差6检验对10名被试在控制 态和空闲态下P300幅值对应的后验概率与SSVEP 特征对应的相关系数分别进行统计分析，显著性水 平设定为80.05。2结果表1给出了实验中所有被试者的异步控制判别 结果。由表1可见，采用混合范式所有被试的平均 异步识别正确率达到了 92. 1%4. 1%，效果最差的 被试也仍然有超过80%的正确率，说明本研究采用 混合范式异步控制策略，可以获得较为稳健的异步 判别。对控制态的判别率TPR为90. 8%8. 1%，对 空闲态的判别率TNR为92. 78%5. 23%，两者同时 达到90%以上,说明本

27、研究方法能够较好地判断被 试者是否处于操作状态，既不会在控制态出现大量 拒绝输出的错误，也不会在空闲态产生大量错误触 发的无效输出。在两种不同视线关注条件的空闲 态下，错误输出率分别为6. 94%4. 39%和7. 50% 7.75%，这表明本研究方法并不依赖于视线的关注 情况，具有较低的误触率，可以减少非法输出导致 系统操作失误。上述的识别结果可以保证用户在 使用BCI过程中的异步操作。图4比较了不同单一范式与混合范式下6个轮 次的AUC不难看出，混合范式的AUC始终高于单 一范式，且随轮次增加最终达到0. 98,说明混合范 式具有更好的分类效果，即融合两种信息特征确能 提高异步识别结果。前

28、面结果表明，本研究提出的 异步识别策略能有效区分控制态和空闲态，下面进 表1异步识别结果Tab.l Results of Asynchronous IdentificationACC/%TPR/%TNR ; %Idle FPR/%On screenOtt screenS196.30100.0094.4011.110.00S294.4486.1198.610.002.78S392.5986.1195.832.785.56S490.7491.6790.2811.118.33S588.89100.0083.338.3325.0S696.30100.0094.445.565.56S795.3797.2

29、294.445.565.56S884.2683.3384.7213.8916.67S987.96止7893.06mic833ie15c56pS1094.4486.1198.612.780.00图4 平均AUC Fig.4 Averaged AUC一步从特征层面分析混合范式诱发的P300特征与 SSVEP特征在两种不同状态下的差别。由于P300电位在Pz导联较为明显，图5( a)是 Pz导联在刺激产生后700 ms内216个试次的数据 叠加平均后得到的时域波形,0 ms是靶和非靶刺激 产生的时刻。从时域波形上看，被试者只有在控制 态下接受靶刺激后才能够产生明显的P300电位。 一般认为事件相关电

30、位的强弱可以代表人对目标 刺激的注意程度，因为P3fpeller对字符识别的可 靠性往往依赖于ERP信号的强度，而空闲态会导致 P300幅值的降低甚至消失。因此，利用上述在不同 状态下P300的幅值特征，可以进行控制态和空闲 态的区分。图5( b)是控制态和空闲态后验概率分 布的箱线图，该结果表明控制态后验概率0. 907 0. 109远高于空闲态后验概率0. 3210. 189,两种 状态的后验概率具有显著性差异(80. 001)，这表 明两者具有较强的可分性。Oz导联位置诱发的SSVEP信号较强。图6( a) 展示了在控制态和空闲态下Oz导联脑电信号的功 率谱密度估计(power spectral density，PSD)，结果表 明控制态下功率谱峰值达到7 V2，并且峰值频率 与刺激频率一致，而空闲态的功率谱没有明显的峰 值响应且频谱密度均小于0.2 V2。进一步，通过 CCA提取相关系数量化这种频谱差异，因为脑电信 号的频率与刺激频率越接近，相应的功率谱峰值越 高，得到的相关系数就越大。图6( b)就展示了不同 状态下相关系数的差异，其中控制态为0.436土 0. 093,空闲态为0. 1230. 028,从箱线图的分布来 看，控制态相关系数远高于空闲态相关系