（计算机应用技术专业论文）特征提取的核方法与非线性多核学习的研究.pdf

摘要 核方法是大家公认的非常有效的处理非线性数据的强大的工具。它实质上就 是把数据映射到一个被称为特征空间的向量空间中，在数据项的属性空间映像中 寻找线性关系。初始映射是由核函数隐式定义的，即不需要嵌入点的坐标，而只 是用它们两两的内积。利用核函数可以直接从初始的数据项高效地计算两两的内 积。核方法被广泛的应用于模式分类的各个步骤中。 模式分类中特征提取非常重要。在r 益兴起的脑机接口领域，脑电信号的特 征提取非常重要。因为脑电信号有着非线性的结构，所以我们把核方法运用到了 脑电信号特征提取中。传统的脑电信号空间过滤方法都缺乏明显的目标函数而无 法让人直观了解其价值，因此，我们首先提出了一个基于脑电信号协方差的带有 目标函数的极能差方法。该方法的思想就是将能使不同类信号能量差达到最大的 特征过滤出来。该极能差方法是线性的特征提取方法。 针对脑电信号存在非线性结构的特点，我们对极能差方法进行了非线性的扩 展，由此得到了核极能差方法。核极能差方法的原理与极能差方法是一致的，只 不过是在该方法中引入了核的技巧，将脑电信号嵌入到了特征空间中，然后通过 核函数找出特征空间中脑电信号的线性结构。 分类器的设计也是模式分类中非常重要的一步，分类器设计的好坏直接影响 到分类性能的好坏。支持向量机是目前公认的很有效的分类器。但是支持向量机 有个很大的缺点就是它很大程度上依赖于参数的选择。然而在选择参数方面目前 还没有理论依据。线性多核方法将多个核加权取平均然后求的最优的权值不失为 一个很好的办法。但是线性多核中的核之间是线性的关系，它忽略了核间的相互 作用。因此我们提出了克服这个缺点的基于非线性多核组合的支持向量机。我们 利用核矩阵问的h a d m a n d 积构造了体现不同核之间相互作用的新核，非线性性 也就体现于此。然后我们对新生成的核与原始核集中的核采用传统的加权求和法 提出了基于非线性核组合的支持向量机。各个核上的最优权值是通过将问题转化 为半定规划问题求得的。 关键字：脑机接口，脑电信号分类，特征提取，核方法，支持向量机，多核学习， 半定规化，模式分类 v i i 华东师范大学硕士学位论文 a b s t r a c t a b s t r a c t k e r n e lm e t h o d sa r ec o n s i d e r e dv e r ye f f e c t i v ea n dp o w e r f u lt o o l sf o rn o n l i n e a r c l a s s i f i c a t i o n t h i sa p p r o a c ht op a r e r nc l a s s i f i c a t i o nf i r s te m b e d st h ed a t ai na s u i t a b l ef e a t u r es p a c e ，a n dt h e nu s e sa l g o r i t h m sb a s e do nl i n e a ra l g e b r a ，g e o m e t r ya n d s t a t i s t i c st od i s c o v e rp a t t e r n si nt h ee m b e d d e dd a t a t h ea l g o r i t h m sa r ei m p l e m e n t e d i ns u c haw a yt h a tt h ec o o r d i n a t e so ft h ee m b e d d e dp o i n t sa r en o tn e e d e d ，o n l yt h e i r p a i r w i s ei n n e rp r o d u c t s t h ep a i r w i s ei n n e rp r o d u c t sc a nb ec o m p u t e de f f i c i e n t l y d i r e c t l yf r o mh eo r i g i n a ld a t ai t e m su s i n gak e r n e lf u n c t i o n k e m e lm e t h o d sc a nb e u s e di nf e a t u r ee x t r a c t i o na n dc l a s s i f i c a t i o n f e a t u r ee x t r a c t i o ni sv e r yi m p o r t a n tf o rp a t t e r nc l a s s i f i c a t i o n i nt h eg r o w i n g f i e l do fb r a i nc o m p u t e ri n t e r f a c e ，e x t r a c t i o nf e a t u r e so fe e g s i g n a l sa r eo fg r e a t i m p o r t a n c e b e c a u s es o m es i g n a ld i s t r i b u t i o n sm a y h a v eal a t e n tn o n li n e a rs t r u c t u r e t h en o n l i n e a rt h e r e f o r e ，d e v e l o p i n gn o n l i n e a rs p a t i a lf i l t e r si st h et a s kw es h o u l dd o o w i n g t ot h el a c ko fa ne x p li c i td i s c r i m i n a t i v eo b j e c t i v ef u n c t i o n ，t h e s i g n i f i c a n c ea n dp o t e n t i a lo ft h et r a d i t i o n a ls p a t i a lf i l t e r sc a nn o tb eu n d e r s t o o d i n t u i t i v e l y w ef i r s tp r e s e n ta ne x t r e m ee n e r g yd i f f e r e n c e ( e e d ) m e t h o db a s e do n c o v a r i a n c e so fs i g n a l s ，w h i c hh a sad e s i r a b l ee x p l i c i td i s c r i m i n a t i v eo b j e c t i v ef u n c t i o n f o ri t sl i n e a r i t y , w ec o m b i n ei tw i t hk e r n e lm e t h o d sa n dp r o p o s e dak e r n e le x t r e m e e n e r g yd i f f e r e n c e ( k e e d ) c l a s s i f i e rd e s i g n i n gi se s s e n t i a li np a t t e r nc l a s s i f i c a t i o n ，w h i c ht os o m ee x t e n t a f f e c t sc l a s s i f i c a t i o np e r f o r m a n c e s u p p o r tv e c t o rm a c h i n e s ( s v m s ) h a v eb e e n s u c c e s s f u l l ya p p l i e dt oc l a s s i f i c a t i o np r o b l e m s h o w e v e r ，t h e ya r eu s u a l l yb a s e do na s i n g l ek e r n e la n dt h ek e r n e li sc h o s e nb e f o r el e a r n i n g ，w h i c hm a k e st h e ml a c k f l e x i b i l i t y i nm a n ya p p l i c a t i o n si ti sd e s i r a b l et ou s em u l t i p l ek e r n e l s m u l t i p l ek e r n e l l e a r n i n g ( m k l ) e n a b l e su st oo p t i m i z eo v e rl i n e a rc o m b i n a t i o no fk e r n e l s d e s p i t ei t s s u c c e s s ，m k ln e g l e c t su s e f u li n f o r m a t i o ng e n e r a t e df r o mi n t e r a c t i o no fd i f f e r e n t k e r n e l s i nt h i sp a p e r , w ep r o p o s es v m sb a s e do nn o n l i n e a rc o m b i n a t i o no fm u l t i p l e k e r n e l s ( n c m k ) w h i c hn o to n l yb e t t e rm e e tt h en e e d so fp r a c t i c a la p p li c a t i o n sb u t v i i i 华东师范大学硕士学位论文 a b s t r a c t a l s oo v e r c o m et h ed r a w b a c ko fm k l k e yw o r d s ：b r a i n - c o m p u t e ri n t e r f a c e ( b c i ) ，e e gs i g n a lc l a s s i f i c a t i o n ，f e a t u r e e x t r a c t i o n ，k e r n e lm a c h i n e ，m u l t i k e r n e ll e a r n i n g ，s u p p o r tv e c t o rm a c h i n e s ( s v m s ) ， s e m i - d e f i n i t ep r o g r a m m i n g ( s d p ) ，p a t t e r nc l a s s i f i c a t i o n i x 学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的研究 成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个人已经 发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集体，均已在 文中作了明确说明并表示谢意。 作者签名：奎墅1 鸟日期：塾吐丝：垒 学位论文使用授权声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学校有权保留 学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。有权将 学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被查阅。有权 将学位论文的内容编入有关数据库进行检索。有权将学位论文的标题和摘要汇 编出版。保密的学位论文在解密后适用本规定 学位论文作者签名：袭唔儒 导师签名： 。锄於j 日期：2 扣坐 o r i g i n a li t yn o t i c e i np r e s e n t i n gt h i st h e s i si np a r t i a lf u l f i l l m e n to ft h er e q u i r e m e n t sf o r t h em a s t e r sd e g r e ea te a s tc h i n an o r m a lu n i v e r s i t y ，1w a r r a n tt h a tt h i s t h e s i si so r i g i n a la n da n yo ft h et e c h n i q u e sp r e s e n t e di nt h et h e s i sh a v e b e e nf ig u r e do u tb ym e a n yo ft h er e f e r e n c e st ot h ec o p y rig h t ，t r a d e m a r k , p a t e n t ，s t a t u t o r yr i g h t ，o rp r o p r i e t yr i g h t o f o t h e r s h a v e b e e n e x p l i c i t l ya c k n o w l e d g e da n di n c l u d e di nt h er e g e r e n c e ss e c t i o na tt h e e n do ft h i st h e s i s s i g n a t u r e ：豳妇堕d a t e ： c o p y r i g h tn o t i c e ih e r e i na g r e et h a tt h el i b r a r yo fe c n us h a l lm a k ei t sc o p i e sf r e e l y a v a i l a b l ef o ri n s p e c t i o n if u r t h e ra g r e et h a te x t e n s i v ec o p y i n go ft h e t h e s i si sa l l o w a b l eo n l yf o rs c h o l a r l yp u r p o s e s ，i np a r t i c u l a r ，s t o r i n g t h ec o n t e n to ft h i st h e s i si n t or e l e v a n td a t a b a s e s ，a sw e l la sc o m p i l i n g a n dp u b l i s h i n gt h et i t l ea n da b s t r a c to ft h i st h e s i s ，c o n s i s t e n tw i t h f a i ru s e a sp r e s c r i b e di nt h ec o p y r i g h tl a wo ft h ep e o p l e 、sr e p u b li c o fc h i n a s i g n a t u r e ：i f 必! i d a t e ： 华东师范大学硕士学位论文第l 章核方法的研究背景与研究现状 1 1 研究背景 第1 章核方法的研究背景与研究现状 通常情况下，我们希望模式分类算法能够具备三个性质：计算一卜的高效性、 健壮性以及统计稳定性。所谓高效性是指算法在处理大规模的数据集时计算复杂 度要尽量限制为一些参数的多项式函数。健壮性指的是算法要能够在一定程度上 容忍少量噪声而不使噪声过多地影响到输出。统计稳定性指的是算法的输出对具 体的数据集不敏感，而只对潜在的数据源敏感。也即，算法应该是输出在统计上 的健壮性。 统计稳定性也许是这三个性质中最基本的。模式分类算法识别稳定模式的前 提条件是所得到的模式只在小概率情况下是由误导的数据集得出的。为了确保稳 定的数据集，我们只好限制可能的关系集。同时，我们必须对数据源生成的数据 的方式做出假设。检验尽可能多的假设，同时做尽可能少的假定，这是一种不可 避免的权衡。如果我们做的假定或者在数据的生成方式上采取了太多的灵活性， 或者由于允许了太丰富的假设集合，有可能碰巧拟合这引起假设中的一个，这 些都被称为过拟合数据。如果要避免过度拟合，就必须使学习机偏向由所有能在 数据中发现的可能关系组成的集合某个子集。只有用这种方法才能控制偶然与数 据集匹配的概率。这就提出了如何选定特定的模式集。 显然，解决这个问题的方法是试图引出关于预期模式的类型的知识。然后这 些模式类型组成匹配算法的基础。这种方法实现起来比较困难。首先，从专家那 里引出可能的模式并不容易；其次，它意味着要对每一个问题都设计专家算法。 那么我们就要考虑是否可以通过改变数据的表示形式把原来的规律性重写成不 同的规律性。这种重新编码检测模式的方法的优势在于不需要为每一个问题都设 计一种不同的算法而是先确定一组标准算法，然后用这些标准算法把特定的数据 集转换成一种适合分析的表示形式。这种方法的另一个优势在于大量的高效性、 健壮性和稳定性分析可以在一般的设置下达到。 我们发现，给数据重新编码可以使模式识别更容易，受到这一观察结果的启 发，我们可以采用核方法来进行模式分析。首先我们把数据嵌入到一个合适的被 称为特征空间的向量空间中，然后使用一些算法在数据项的属性空间中寻找线性 华东师范大学硕士学位论文第l 章核方法的研究背景与研究现状 关系。这些算法通常是基于线性代数、几何学和统计学的算法。任何核方法的解 决方案都是由一个映射到特征空间的过程和一个发现这一空间的线性模式的学 习算法两部分组成。核方法使得人们有可能在高维空间中高效地表示线性模式， 从而确保足够的表示力。本文将对核方法做进一步的研究且将运用核方法于腑电 信号的特征提取中。 1 - 2 - 研究现状 近年来，核方法由于其计算高效性与灵活性作为项尖级的技术引起了广泛的 关注并且成为了很受欢迎的机器学习工具。核方法可以处理一系列学习任务，包 括分类、回归、排序、聚类以及降维。它使得与诸如生物序列、图像、文本数据 等对象直接工作成为可能。它也使得我们能够利用维数比系统有关参数中的多项 式次数还高的特征空间。 运用m e r c e r 定理把核解释为特征空间中的内积这一思想，通过a i z e r m a n n 、 b r a v e r m a n n 和r o z o e n e r 1 关于势函数方法的研究，于1 9 6 4 年被引入机器学 习领域中的。这一工作在d u d a 和h a r t 关于模式分类非常流行的书( 第一版) 的脚注中提到。通过这种途径，这种思想引起了 2 的作者们的注意，他们把 它和大间隔超平面结合起来，导致了后来支持向量机的产生，并把核的概念( 重 新) 引入了机器学习文献的主流中。 在支持向量机中，随着不同特征空间中数据的分布不同，支持向量机的性能 很大程序上取决于核函数以及核参数的选择。但是，至今却没有一种核函数及核 参数的选择方法可以获得理论上的支持。因此，如何为支持向量机选择合适的核 函数或核参数引起了学者们的广泛关注 3 ，4 ，5 。部分研究人员倾向于选择r b f 核，部分通过采用g r i ds e a r c h 或启发式学习方法来获得这些参数。但是，这 些方法使训练过程花费的时间很多。而且，传统的支持向量机只采用一个核函数， 这样它就不足以解决一些涉及多个不同数据源的复杂问题。 在这种情况下，多核学习( m u l t i p l ek e r n e ll e a r n i n g ；( l ) 就引起了人 们的重视。最简单最直接的多核方法就是对多个核取平均。每个核都有相同的权 值对决策过程不是很合适。因此，多核学习中的问题主要集中在如何为每个核获 得最优的权值。l a n c k r i e t 等人提出了核矩阵的锥合并，并且把问题转化为半定 2 华东师范大学硕士学位论文 第l 章核方法的研究背景与研究现状 规划( s e m i d e f i n i t ep r o g r a m m i n g ：s d p ) i - 6 - 1 ；b a c h 等人重写了问题并且提 出了适用于中规模核数目的s m o 算法 7 ；此外，还有其他一些高效的m k l 算 法，比如s o n n e n b u r g 等人和r a k o t o 髓m o n j y 等人提出的算法 8 ，9 。另一方 面，g 6 n e n 等人提出了局部m k l 算法 1 0 ，该算法利用g a t i n g 模型来局部的选 取合适的核函数。尽管这些m k l 方法的实现和具体做法不同，但是这些算法从 本质上来说是一样的，它们都忽略了不同核之间的相互作用，因为这些算法的实 质都是基于线性核组合的支持向量机。 此外，在脑机接口领域，缺乏能够对脑电信号进行空间过滤且带有明确目标 函数的核特征提取算法。 1 3 核方法概述 核方法实际上是一种数据重新编码的技术。它可以从有限的数据样本中健壮 而高效地检测到稳定的模式。这种方法采用的策略就是把数据映射到一个被称为 特征空间的向量空间中，在数据项的属性空间映像中寻找线性关系，如图1 1 所 示。初始映射是由核函数隐式定义的，即不需要嵌入点的坐标，而只是用它们两 两的内积。利用核函数可以直接从初始的数据项高效地计算两两的内积。 如图1 1 函数把数据嵌入到特征空间中，使非线性模式在其中呈现线性模 式，核函数直接利用输入计算特征空间的内积。 3 华东师范大学硕士学位论文 第1 章 核方法的研究背景与研究现状 算法程序将被调整为接受输入之间的内积。然后，把这种方法和核函数结合， 核函数计算特征空间的两个输入之间的映像的内积，从而使高维空间实现这一算 法成为可能。同一个算法可以用任何一个核配合，从而可以用于任何数据域。图 1 2 显示了核方法应用涉及的阶段。数据处理过程用核构造一个核矩阵，然后用 模式分类算法处理核矩阵，得到一个模式函数。再用这个函数处理未见过的例子。 数据 1 3 1 内积空间 模式分类 核矩阵 算法 1 决策 1 图1 2 显示了核方法应用涉及的阶段 返回某个特征空间中的两个输入的映射之间的内积的函数是核函数。那么我 们来看一下什么是内积空间。 力获空彻定义在实数集r 上的向量空间r ”，x ，z r ”是一个内积空问( i n n e r p r o d u c ts p a c e ) ，如果存在一个实值对称的双线性( 对于每个变量来说都是线性的) 映射 ，满足 0 ，这一双线性映射被称为内积、点积或者标量积。 此外，我们说内积是严格的，如果给定个严格的内积空间，我们可以在空间x 上定义一个范数，其形式为州l ：= 【1 1 】。 两个向量x ，z 之间的距离由d ( x ，z ) = u x z l i ：定义。对于向量空问r ”，标准 内积 = 5 ：薯乏由给出。 百 具有完备性和可分性的内积空间被称为希尔伯特空间( h i l b e r ts p a c e ) 。完备 这一性质是柯西收敛。通常我们要求特征空问是完务且可分的内积空间，也即特 征空间是希尔伯特空间。这表明可以为它给出一个坐标系统。在实际情况中，我 们通常会采用对偶表示形式，因此并不需要真正构造这些特征向量。 4 华东师范大学硕士学位论文 第l 章核方法的研究背景与研究现状 1 3 2 核的定义 我们考虑一个嵌入映射 矽：x r i - - ) 矽( x ) ：f r 疗 选择从x 到f 的映射矽的目的是把非线性关系转化为线性关系。 核( k e r n e l ) 是这样一个函数k ，这个函数对于所有的五ze x ，满足 k ( x ，z ) = 从核的定义中我们就可以看出，核函数隐式地定义了一个特征空间。核函数 计算在两个数据点的嵌入下的映像的内积。 1 3 3 核的性质 核函数和核矩阵的描述不仅仅对决定一个给定的候选核是否为有效核有用， 而且可以用来证明一系列用于操作核，并把简单的核组合成更复杂和更有用的核 的规则。换句话说，可以证明，一个或者多个核上的运算保持了有限半正定性这 一“核”性质。我们说这一类核函数在这些运算上都是封闭的。 励留丝厉设毛和乞是x x ，x r 上的核，口r + ，( ) 是x 上的一 个实值函数，矿：x 专r ，毛是定义在r 1 x r 上的一个核，b 是一个刀刀的 半正定对称矩阵。那么如下的函数也是核函数 1 1 ) ： ( 1 ) k ( x ，z ) = 毛( x ，z ) + 乞( x ，z ) ， ( 2 ) k ( x ，z ) = a k l ( x ，z ) ， ( 3 ) k ( x ，z ) = k l ( x ，z ) 哎( x ，z ) ， ( 4 )k ( x ，z ) = 厂( x ) 厂( z ) ， ( 5 ) k ( x ，z ) = 包( 矽( x ) ，矽( z ) ) ， ( 6 )后( 五z ) = x 7 b z 上述的这些性质可以使我们能够从简单的构造块中建立更复杂的核。这也是 在第三章中我们能够利用非线性多核学习支持向量机的理论基础。引入核的原始 5 华东师范大学硕士学位论文第l 章核方法的研究背景与研究现状 动机是利用由非线性特征映射建立的特征空间中的线性函数寻找非线性模式。虽 然式子( 6 ) 相当于线性特征映射，这看起来与这个动机无关，但是这种映射在 实际中却非常有用。因为它们可以缩放空间的几何形状，从而改变分配给不同线 性函数的相对权重。 1 3 4 常用的核 设x r ，同种多项式核表示为： 尼( 誓，一) = d ， 同种多项式核表示为( 其中盯 0 ) ： 眠刚一( 一呼) ， s i g m o i d 核表示为( 其中彭 0 ，d 0 ) ： 后( 薯，) = t a n h ( t c + u ) ， 同种多项式核表示为： 1 4 核矩阵 后( 誓，_ ) = ( + c ) d 给定训练集 ( ， ) ，f = 1 ，2 刀只 一1 ，1 ) ，x i r ”) 和核函数后( ，) ，若 矩阵k 的元素为= 后( 五，t ) ，其中f ，= l ，2 刀，则矩阵k 称为核矩阵或 者g r a m 矩阵。如果对于所有训练样本，它的核矩阵都是正半定的，即满足有限 正半定性，那么函数尼( ，) 就是有效核。这一事实使得我们操作核而无需考虑对 应的特征空间。 核机器内在的模块性也意味着如果核函数能产生对称的半正定核矩阵，那么 我们可以使用任意一个核函数；如果核算法能接收输入为这个矩阵以及任何必需 6 华东师范大学硕士学位论文第l 章核方法的研究背景与研究现状 的标签信息，那么我们可以应用任意一种核算法。换句话说，核矩阵充当着数据 输入与学习模块之间的界面。 根据我们对核的描述，可以很清晰得看出核矩阵是核方法中的最重要的部 分。除了不包含监督学习情况下的输出标签以外，它包含所有为了执行学习步骤 能够获得的信息。只有通过核矩阵，学习算法才能获得关于特征空间或模型的选 择的信息，以及训练数据本身的信息。 在核矩阵被传递到学习机之前，通过操作矩阵可以改进系统的整体性能。比 如，在核矩阵的对角线加入一个常数就相当于在分类或者等价的回归问题中的正 则化中引入软间隔。 1 5 本文的内容及组织结构 在脑机接口被广泛研究的今天，脑信号的分类和识别显得尤为重要。由于空 间过滤脑电信号的算法都因缺乏明确的目标函数而无法使人直观理解算法的重 要性和潜在价值。所以我们提出了一种称为极能差的方法来空间过滤提取脑电信 号特征。算法根据实际情况，区分了脑电信号是单源还是多源的情况。该方法是 基于两个不同脑活动模式的协方差的。 由于脑电信号通常存在着非线性的结构，采用线性的过滤器不足以处理复杂 的实际问题。由不同电极产生的信号的非线性组合也许可以提供更有判别力的特 征。因此，设计一个非线性空问过滤器就显得尤为重要。核函数可以改进特征空 间的内积的计算复杂度。换句话说，核函数可以在非常高维的特征空间中提供 高效的算法。因此，我们尝试极能差方法与核技术相结合，提出了核极能差方法。 根据实际情况，我们同样区分了脑电信号是单源还是多源的情况。 在支持向量机中，随着不同特征空间中数据的分布不同，支持向量机的性能 很大程序上取决于核函数以及核参数的选择。但是，至今却没有一种核函数及核 参数的选择方法可以获得理论上的支持。而且，传统的支持向量机只采用一个核 函数，这样它就不足以解决一些涉及多个不同数据源的复杂问题。多核向量机虽 然弥补了这个缺点，但是它们都忽略了不同核之间的相互作用，因为这些算法的 实质都是基于线性核组合的支持向量机。因此，我们提出了基于非线性核组合的 7 华东师范大学硕士学位论文第l 章 核方法的研究背景与研究现状 支持向量机且用于u c i 数据集的分类。 本文的结构是这样安排的。第二章中，我们按照脑电信号是单源还是多源的 情况，详细介绍了基于脑电信号协方差的有明确目标函数的极能差方法是如何提 取脑电信号能量特征的并通过实际b c i 数据集上的实验验证了极能差方法提取 的有效性。同时，我们还详细给出了结合核技术扩展极能差方法形成的核极能差 方法。第三章中给出了支持向量机的基本知识，详细介绍了基于非线性多核支持 向量机及其s d p ( s e m i d e f i n i t ep r o g r a m m i n g ；s d p ) 优化并且在u c i 数据集上进 行了对比实验。第四章给出了总结。 8 华东师范大学硕士学位论文第2 章脑电信号特征提取的极能差与核极能差方法 第2 章脑电信号特征提取的极能差与核极能差方法 前面对核方法进行了概述，我们发现核函数可以改进特征空间的内积的计算 复杂度。换句话说，核函数可以在非常高维的特征空间中提供高效的算法。因 此，核函数可以用于模式非线性可分的情况中。 脑电信号是人脑释放出的电信号，表征着神经活动。脑信号可以作为残疾 人与外界沟通交流的一种方式。一些不相同的脑活动会产生出可以区分这些过程 的脑电信号，一个可以随意产生这些脑活动的人就可以利用这些脑电信号和外界 交流。利用脑机接口，它使“意念控制机器”成为现实。人们想要做什么无需依 赖于自己的外部肌肉运动。因此提取脑电信号的特征对脑电信号分类就显得尤为 重要了。由于脑电信号通常存在着非线性的结构，采用线性的过滤器不足以处理 复杂的实际问题。 此时，我们就可以将核方法与脑电信号特征提取结合起来。 在本章中我们将介绍脑电信号特征提取的传统方法以及我们提出的极能差 算法。该算法克服了传统方法没有明确的判别函数而导致无法直观理解算法的缺 点。此外，我们将重点介绍核极能差方法提取脑电信号特征。核极能差方法是对 极能差方法在非线性性上的延伸。 2 1 脑电信号概述 我们的大脑无时无刻不在产生脑电波。早在1 8 5 7 年，英国的一位青年 生理科学工作者卡通( r c a t o n ) 在兔脑和猴脑上记录到了脑电活动，并发 表了“脑灰质电现象的研究”论文，但当时并没有引起重视。十五年后， 贝克( h b e c k ) 再一次发表脑电波的论文，才掀起研究脑电现象的热潮， 直至1 9 2 4 年德国的精神病学家贝格尔( h b e r g e r ) 才真正地记录到了人脑 的脑电波，从此诞生了人的脑电图。 人身上都有磁场，但人思考的时候，磁场会发生改变，形成一种生物 电流通过磁场，而形成的东西，我就把它定位为“脑电波 。脑电波是大脑 神经元活动的综合表现，是大脑神经电活动产生的电场在头皮上的电位分布。脑 1 0 华东师范大学硕士学位论文第2 章脑电信号特征提取的极能差与核极能差方法 电图反映了大脑组织的电活动及大脑功能状态 1 2 。生理、病理、认知和感知 ( 视、听、体感) 与脑电的联系也正在被揭示。传统的脑电研究和应用主要包括 三个方面：临床上评价神经活动的正常或异常，实验室内研究脑功能活动，以及 某些疾病的治疗。最近，脑电研究出现了一个新的热点，即所谓的脑一机接口 1 3 。 脑一机接口是一种大脑和外部设备进行直接通讯的方式。成功的脑一机接口 操作依赖于用于与脑一机接口之间有效的交互。受试者不通过外周神经和肌肉， 而是直接通过大脑和计算机或者其他外部设备通信。除了脑电信号外，各种检测 脑功能的设备都可以应用于脑一机接口系统中，如功能磁共振成像( f u n c t i o n a l m a g n e t i cr e s o n a n c ei m a g i n g ：f m r i ) ，正电了发射断层成像( p o s i t r o ne m i s s i o n t o m o g r a p h y ：p e t ) 和光学成像等。但这些设备都比较昂贵，且p e t ，f m r i 和光学 成像都依赖于血流的变化，时间常数较大，不足以达到在神经科学和某些生理病 理研究中所要求的毫秒级的时间分辨率。用贴片连接头部定点皮肤，用个人电脑 检测到的头部定点的脑电波反应了与各种脑活动有关的神经质的活动。而且，头 皮电极方式记录脑电信号相对来讲更方而，时间分辨率高，设备造价相对较低。 脑一机接口某种程度上搭起了人脑与外界设备直接沟通交流的桥梁。严格地 讲，现在所实现的脑一机接口所具有的大部分功能是完成人脑向外界发出信息。 脑一机接口完成人脑向外界发出信息的过程是通过这样几个步骤来实现的：提取 那些反映或包含有脑部意愿信息的生理信号，然后根据对这些信号的处理分析和 识别，进而把这些生物信号翻译成外界设备可以读懂的信息，最后发送出去。如 图2 - i 所示，虚框内的部分则是通常所说的脑一机接口系统部分。 十尔m 大学学忸沧文第2 章齄电口日# 提h * 枉 镕 图2 1 脑一机接口的系统组成 2 2 脑电信号特征提取的传统方法 当数宁化信号之后，需要提取出脑电信号的特征。提取的特征应该反映受试 者的思维、意识，提取特征后需要将特征转换成外设可以识别的命令。提取的方 法可以是空域滤波，脑电幅度，谱分析或者分离单神经元的电发放。1 1 前b c i 系 统采用的特征有时域、频域、空域或者它们结台的特征。 一般来说，b c i 系统的特征都和事件相关，如特定皮层神经元放电频率e 1 4 或者感觉运动皮层产生的m l l 节律 1 3 。有关这方面的神经生理学知识将对b c i 系统的设计有很大帮助。例如在测量皮层神经元放电频率时，怎样选择皮层上安 放电极的位置，又例如在m 1 节律产生巾受试者怎样控制节律的幅度，怎样消除 噪声的影响等。对于b c i 系统来说，也可以使用一些自适应的参数。这时，受试 者的注意和大脑活动特定事件没有很密切的关系。在这种情况下，需要注意选择 的特征应该和肌电，眼电或者其他噪声没有关系。 传统的提取脑电信号特征的方法有空日j 过滤、电压振幅度量、谱分析咀及单 神经元分离。 空间过滤方法提取脑电信号特征是通过舟并不同电极上的记录，通常这些电 华东师范大学硕士学位论文第2 章脑电信号特征提取的极能差与核极能差方法 极是相邻的。这样做是为了专注于特定空间分布上的脑活动。这类方法主要包括 主成分分析( p r i n c i p l ec o m p o n e n ta n a l y s i s ：p c a ) 1 5 ，共空域子空间分析 ( c o m m o ns u b s p a c es p e c i a ld e c o m p o s i t i o n ：c s s d ) 1 6 ，独立成分分析 ( i n d e p e n d e n tc o m p o n e n ta n a l y s i s ：i c a ) 1 7 ，共空间模式( c o m m o ns p a t i a l p a t t e r n s ：c s p ) 1 8 等。这几种方法都是以信号分解为基础的。 主成分分析是在统计、信号处理、神经计算等领域广泛应用的一种基于二阶 统计量的方法，它只根据信号的均值和协方差阵进行分析。二阶方法被广泛采用 主要有两个原因：一是信号处理中经常遇到的高斯信号可以只用二阶以内的统计 特征( 均值和方差等) 来描述；二是计算简单，只需要传统的矩阵运算。但是其 生理意义不明确。 共空域子空间的方法比较简单，它也是基于信号的均值和协方差阵进行分 析。它主要用于对两组对比实验作分析。一组是目标刺激诱发的脑电，另一组是 控制刺激诱发的脑电。目标刺激诱发脑电含有与特定事件相关的诱发脑电和与事 件无关的背景噪声。而控制刺激诱发脑电只含有与事件无关的背景噪声。通过对 这两组实验的对比，从而得到与目标刺激相关的诱发脑电成分。 独立成分分析主要用来分析信号内在的独立影响因子。在i c a 模型中，假设 观察数据是由一些源信号通过线性方式混合而成，并且混合的权重是未知的。同 时假设源信号是非高斯并且相互独立的，它们被称为观察数据的独立分量。不同 的源可以认为代表不同的生理机制。分析任务是由观察数据分解出各独立源。 共空间模式是1 9 9 0 年被提出来的。在该方法中主要涉及到两个操作：白化 变换和投影变换。脑电信号被线性地投影到最有区分能力的方向。这个最有区分 能力的方向是通过同时对角化两类的协方差矩阵得到的。 上述的传统脑电信号特征提取方法有一个共同的缺点。这个缺点就是这些方 法都没有一个明确清晰的目标函数。这样人们就不能很直观的发现该方法的重要 性以及该方法的潜在价值。 1 3 华东师范大学硕士学位论文第2 章脑电信号特征提取的极能差与核极能差方法 2 3 极能差对脑电信号进行特征提取 上一节中，我们简单介绍了传统的脑电信号特征提取方法并且发现它们都因 为缺乏目标函数而不易直观理解。因此，我们提出了极能差方法来空间过滤提取 脑电信号特征。该方法是基于两个不同脑活动模式的协方差的。 我们都知道观察到的脑电波信号弄脏了大脑皮质表面下某种内在信号源产 生的脑电活动。我们假设空间过滤的过程就是来恢复这些受损的信号源。这里的 能量特征因此可以看成是信号的方差。我对信号源是单一的和多源的加以区分， 分别提出目标函数得出相应的脑电信号识别算法。在整个算法中我们假设人们在 想象两种活动，比如左手重复运动和右手重复运动，也就是两类分类问题。想象 多种活动的多类分类问题完全可以看成是两类问题。我们把两类之间的能量差多 为目标函数，求取使目标函数最大的最佳空间过滤器。这样就可以对脑电信号进 行特征提取了，进而可以采用多种分类算法来分类脑电信号，从而确定人是在进 行哪种想象活动。 设两种想象活动分别是类彳和类b 。给定些脑电信号样( 一个样本可以 对应一次脐电信号试验) ，这些样本属于类a 和类b 。我们用巴和q 来表 示两类样本的协方差。无论是提取单源脑电信号的特征还是多源脑电信号的特征 都将用到协方法。 定义一个观测到的脑电信号样本为n t 的矩阵x 曲v ，其中是记录电 极的数目，丁是记录时间内点的点数。因此，在给定的时间内，一次快照的观测 值可以看成是维欧几里得空间中的点，一个脑电信号样板可以看成是丁个这 样的点的分布。因为脑电信号的常数部分通常会被频率过滤器过滤掉，所以脑电 信号样本的均值可以看成是零。此外，为了消除因记录时间不同带来的能量之间 的差异，事先我们都会对采集到的晦电信号弹样本进行规范化。经过规范化的样 本x 可以表示为x 全x 。如( i 霹枷1 2 ) “2 。 i = 1j = l 为了方便表示，在计算x 的协方差时，我们忽略了协方差公式中的乘子 l ( 丁一1 ) 。也即x 的协方差表示为c = 义x 。通常因为一类中会有许多脑电信 号样本点，因此，对应于两类的协方差c 。和c b 可以通过对所有单个样本的协方 差求均值来得到。取均值的好处在于这样估计出来的协方差更精确更稳定。 】4 华东师范大学硕士学位论文第2 章脑电信号特征提取的极能差与核极能差方法 2 3 1 极能差提取单源脑电信号特征 假设每一类脑电信号样本中仅有一个信号源需要恢复。设空间过滤器为 矽m ，则样本x 经过空间过滤后变为九。l x 。空间过滤之后信号的能量可以由样 本的协方差来表示。即( 矽x ) ( 7 x ) = 矽c 矽，这里我们同样为了便于计算而忽略 了协方差中的乘子1 ( r 一1 ) 。我们的目标就是要寻找这样的过滤器使得过滤之后 两类信号样本之间的能量差达到最大进而可以很好的对这两类进行区分。这也是 极能差( e x t r e m ee n e r g yd if f e r e n c e ：e e d ) 这个算法名字的由来。 现在，我们定义目标函数为： 尺( ) = 矽7 c _ 矽一矽7 c 0 矽 ( 2 1 ) 对于这样的优化问题，我们可以很轻易的通过拉格朗日乘子法来求得可以使 目标函数足( 矽) 达到最大值或者最小值的矽。这里，我们对过滤器九。添加约束 条件矽矽= 1 ，这个约束条件实际上是相当于对过滤器九。进行规范化操作。 假设目标函数的拉格朗日式为： 三( 矽，七) = r ( 矽) + | j ( 矽一1 ) ， 其中k 0 是拉格朗日乘子。对三( 矽，后) 求关于矽和k 的偏导并且令求导后的式子 为零，我们得到： 群圳 亿2 ， 从等式( 2 2 ) 中，我们可以看出七是( g a ) 的特征值而且矽是相对应特征 向量。 将式子( 2 2 ) 代入式子( 2 1 ) 中，可以求得r ( 矽) = - k 。因此， 1 5 华东师范大学硕士学位论文第2 章脑电信号特征提取的极能筹与核极能差方法 i k ( 矽) = 一九；。 【心。( 痧) = 一k