(生物医学工程专业论文)二类任务下脑电波分类技术的研究.pdf_第1页
(生物医学工程专业论文)二类任务下脑电波分类技术的研究.pdf_第2页
(生物医学工程专业论文)二类任务下脑电波分类技术的研究.pdf_第3页
(生物医学工程专业论文)二类任务下脑电波分类技术的研究.pdf_第4页
(生物医学工程专业论文)二类任务下脑电波分类技术的研究.pdf_第5页
已阅读5页,还剩67页未读, 继续免费阅读

(生物医学工程专业论文)二类任务下脑电波分类技术的研究.pdf.pdf 免费下载

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

原创性声明 i i i i i i i i i ti i i i i i l l l l l y 1 7 9 0 5 8 5 本人郑重声明:所呈交的学位论文,是本人在导师的指导下, 独立进行研究所取得的成果。除文中已经注明引用的内容外,本论 文不包含任何其他个人或集体已经发表或撰写过的科研成果。对本 文的研究作出重要贡献的个人和集体,均已在文中以明确方式标 明。本声明的法律责任由本人承担。 论文作者签名: 日 关于学位论文使用授权的声明 本人同意学校保留或向国家有关部门或机构送交论文的印刷件 和电子版,允许论文被查阅和借阅;本人授权山东大学可以将本学 位论文的全部或部分内容编入有关数据库进行检索,可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文在解密后应遵守此规定) 论文作者签名:幽翌导师签名:釜2 垒垂!日期:趁生盘:乡 1 一 山东大学硕士学位论文 目录 摘要i a b s t r a c t i :【 符号说明i ii 第一章绪论1 1 1 引言;1 1 2 研究意义2 1 2 1 在医学领域2 1 2 2 在医学以外的其它领域3 1 3 研究现状3 1 4 问题提出5 1 5 实验设计6 1 6 论文研究的主要内容7 第二章支持向量机原理算法9 2 1 序言9 2 2s v m 简介10 2 2 1s v m 的提出10 2 2 2s v m 分类的数学原理12 2 2 3 基于线性规划的s v m 分类1 4 2 3s v m 分类器的几种数学模型16 2 3 1 线性分界面硬间隔1 6 2 3 2 线性分界面软间隔17 2 3 3 非线性分界面硬间隔1 8 2 3 4 非线性分界面软间隔1 9 2 4 小结1 9 第三章脑电特征提取及分类方法2 1 3 1 脑电信号的产生及其特点2 1 3 1 1 脑电信号的产生2 1 3 1 2 脑电信号的特点2 l 3 2b c i 研究中采用e e g 信号的类型2 2 3 2 1p 3 0 0 电位2 2 l 山东大学硕士学位论文 3 2 2 视觉诱发电位( v e p ) 2 3 3 2 3 事件相关同步( e r s ) 或去同步电位( e r d ) 2 4 3 2 4 皮层慢电位2 5 3 2 5 自发脑电信号2 5 3 3 脑电信号特征提取的方法2 6 3 4e e g 分类识别3 2 第四章脑电信号特征提取及其分类识别结果3 9 4 1 小波分解系数作为特征参量3 9 4 1 1 小波变换基本原理3 9 4 1 2e e g 特征的形成及分类过程4 0 4 1 3 分类结果及其结果分析4 1 4 1 4 信号趋势提取特征4 2 4 2 共空域子空间分解4 6 4 2 1 共空域模式( c s p ) 4 6 4 2 2 共空域模式提取原始脑电信号特征进行分类4 7 4 2 3 信号趋势分类方法4 9 4 3 批处理程序5 5 4 4 小结5 6 第五章总结与展望5 7 5 1 主要工作总结5 7 5 2 工作展望6 8 参考文献6 0 致谢6 2 2 山东大学硕士学位论文 摘要 随着计算机数据处理速度的飞速提升、存储容量的不断变大和信号处理技 术的长足应用,脑机接口( b c i ) 系统从实验室走向现实生活有望成为可能。b c i 系统是在人脑和计算机或其它电子设备之间建立的一种直接的信息交流和控 制通道,是一种不依赖于常规大脑输出通路( 外周神经和肌肉组织) 的全新的信 息交流系统。这种新的信息交换和控制技术将能为瘫痪病人,特别是那些丧失 了基本肢体运动功能但思维正常的患者,提供一种与外晃进行信息交流和控制 的新途径,因此正受到越来越多的重视。 目前,由于受到脑电信号分类识别准确率和分类识别速度的限制,b c i 系 统还没有能够从实验室走进现实生活中。本文研究的b c i 实验是基于b c i2 0 0 3 竞赛数据来对脑电信号分类。在本论文中,我们提出了一种脑电信号趋势的概 念,使用支持向量机( s v m ) 作为分类器的算法。首先将b c i 2 0 0 3 竞赛数据通过 中值滤波器和由小波函数构成的带通滤波器,然后用时间窗进行时域上的过 滤,选取对于大脑思维活动现象表现最明显的一段数据,再通过共空域子空间 分解( c s s d ) 从脑电信号中提取特征,最后基于提取的特征,通过s v m 训练后, 进行分类识别,分类识别率达到了8 5 一9 5 。实验中采用的特征提取方法和 分类方法对于脑电信号的分类识别准确率提高了不少。 论文中使用的分类算法是我们在前人的基础上改进的一种新的算法。实验 结果表明,这种算法具有较高的识别率,为脑电信号的分类提供了一种新思路 和新方法。 关键词:脑机接口;脑电信号趋势;共空域子空间分解;支持向量机。 山东大学硕士学位论文 = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = = ! = 竺= = = = = = = = = := = = = = = = = = = = = a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fc o m p u t e rt e c h n o l o g ya n da p p l i c a t i o no ft h e s i g n a lp r o c e s s i n g ,i ti se x p e c t e dt ob e c o m ep o s s i b l ef o rt h eb r a i n - c o m p u t e ri n t e r f a c e ( b c i ) s y s t e mg o i n gf r o mt h el a b o r a t o r yt ot h er e a lw o r l d t h eb c is y s t e m i sad i r e c te x c h a n g eo fi n f o r m a t i o na n dc o n t r o lc h a n n e lb e t w e e nb r a i na n dt o m p u t e r so ro t h e re l e c t r o n i cd e v i c e s i ti san e wi n f o r m a t i o ne x c h a n g es y s t e m ,w h i c hi sn o td e p e n d e n to nc o n v e n t i o n a lb r a i no u t p u tp a t h w a y s ( p e r i p h e r a ln e r v ea n d m u s c l et i s s u e ) t h en e we x c h a n g eo fi n f o r m a t i o na n dc o n t r o lt e c h n o l o g yw i l lb e a b l et op r o v i d eac o m m u n i c a t i o nw i t ht h eo u t s i d ew o r l da n dc o n t r o lt h en e wc h a n n e l sf o rp a r a l y z e dp a t i e n t s ,e s p e c i a l l yt h o s ew h ol o s tt h e i rb a s i cl i m bm o t o rf - u n c t i o n ,b u tt h i n k i n gi sn o r m a l ,w h i c hi so b t a i n i n gi n c r e a s i n g l ya n dm o r ea t t e n t i o n n o w ,f o rt h el i m i to ft h ea c c u r a c ya n ds p e e do ft h ec l a s s i f i c a t i o no nt h ee e g , t h eb c is y s t e mh a sn o tb e e nb r o u g h tf r o mt h el a b o r a t o r yi n t ot h er e a lw o r l d t h eb c i e x p e r i m e n ts t u d i e di nt h i sp a p e ru s e st h eb c l 2 0 0 3c o m p e t i t i o nd a t at oe 1 a s s i f yt h ee e g i nt h i sp a p e r ,w ep r o p o s eac o n c e p to fe e gt r e n d ,a n du s es u p p - a 山东大学硕士学位论文 b c i s v m c s s d a d f f t p 3 0 0 s s v e p s t f t s m o e e g e r p v e p e r s e r d s c p s 符号说明 脑机接口 支持向量机 共空域子空间分解 模拟数字 快速傅里叶变换 事件相关电位中第三个正相成分 稳态视觉诱发电位 短时傅里叶变换 序列最小优化算法 脑电图 事件相关电位 视觉诱发电位 事件相关同步电位 事件相关去同步电位 皮层慢电位 l l l 山东大学硕士学位论文 第一章绪论 1 1 引言 近几年来,脑机接口( b r a i n c o m p u t e ri n t e r f a c e b c i ) 技术的研究得到 了人们越来越多的关注,无论在理论还是应用上都取得了长足发展。所谓的b c i 是指在人脑与计算机或其它电子设备之间建立的直接交流和控制通道,通过这 种通道,大脑能够与外界进行信息交换与控制,从而人就可以直接通过大脑来 表达想法或操纵设备,而不需要语言或动作 卜2 。研究和发展b c i 技术最主要 的目的是想设计出一种通过脑电信号就可以帮助那些严重的残疾患者( 如肌萎 缩侧索硬化、脑干或脊髓损伤) 以及交流障碍者恢复控制和交流功能的控制装 置 3 - 5 。 b c i 技术是目前国际上一个十分活跃的研究领域,它形成于2 0 世纪7 0 年代 的一种交叉技术,它涉及到生物技术、纳米技术、计算机科学、信息技术、认 知科学、生物医学工程、神经科学和应用数学等诸多学科,因此也成为了众多 学科科研工作者的研究热点。 神经科学的科研工作者们通过研究发现,在大脑产生动作意识之后,动作 执行之前,或者受试主体受到外界刺激之后,其神经系统的电活动将会发生相 应的改变。神经系统的这种电活动变化可以用来作为判断即将发生动作的特征 信号。通过对这些特征信号进行分类、识别,就能够分辨出引发脑电变化的动 作意图,因此我们可以通过一定的装置把人的思维活动转变成命令信号来驱动 外部设备,实现在没有肌肉和外围神经直接参与的情况下人脑对外部环境的控 制。这就是b c i 的基本工作原理 6 9 。 b c i 系统通常由信号采集、信号处理、模式识别和控制装置四个部分组成, 其框架如图1 - 1 所示 10 。 图卜1 基于自发电位的b c i 系统的结构框图 山东大学硕士学位论文 ( 1 ) 信号采集部分:b c i 通过生理电极采集实验对象的脑电图( e e g ) 信号, 并传送给放大器。信号经过放大、预处理( 包括信号的滤波和模数( a d ) 转换) 后转化为数字信号进行存储。 ( 2 ) 信号分析和模式识别部分:b c i 系统利用快速福利叶变换( f f t ) 、小 波分析等信号处理方法,从经过预处理的e e g 信号中提取出与实验对象意图相 关的特定特征量( 如频率变化、幅度变化等) 后将特征量交给分类器进行分类, 分类器的分类输出作为控制器的输入。 ( 3 ) 控制器部分:此部分是将由分类器得到的代表实验对象意图的结果转 换为实际的动作,如在显示器上的光标移动、机械手运动、控制轮椅、开关电 器等,来实现大脑与外部的信息交换和沟通。 b c i 系统的工作过程如下:b c i 系统借助于信号采集系统从实验对象的头 皮或者大脑内部获取反映大脑思维活动的脑电信号,然后将脑电信号传送到放 大器,脑电信号经过放大、滤波、模数( a d ) 转换等前置处理后传送到计算机 中进行信号特征提取和模式识别,得到与实验对象意图相关的信号分类识别结 果,最终信号分类识别结果被转换成外界装置的控制命令。其中信号分析和处 理环节是b c i 系统的核心部分,这两个环节对于b c i 系统的分类识别结果起着 至关重要的作用,其功能是将输入的脑电信号转换成为控制外界装置的输出信 号。 1 2 1 在医学领域 1 2 研究意义 对于b c i 系统的研究,其最重要的目的就是为那些瘫痪或存在严重运动障 碍的人士提供一种新的通讯技术手段。从而借助这种通讯技术手段,患者可以 获得一个非肌肉通道用来向外部世界发送信息和指令,进而控制周围环境。即 病人借助b c i 系统用思维控制轮椅、机械手、虚拟键盘等,获得与外界交流甚 至达到部分生活自理的能力。借助这种系统能够帮助肢体障碍患者提高他们的 生活质量 10 。 2 山东大学硕士学位论文 1 2 2 在医学以外的其它领域 虽然目前b c i 系统主要应用于医学领域,特别是为残疾人提供帮助,但 是b c i 的用途决不是仅仅限于在医学领域中应用。b c i 系统在其它诸多领域 同样可以得到广泛的应用,尤其是那些不适宜人类操作的环境中的工作。 从理论上讲,只要有神经电参与并可分类的通信系统,都可以应用b c i 技 术 1 1 。 1 3 研究现状 对于b c i 的研究,目前尚处于起步阶段,绝大部分研究处于实验室( 研 究) 阶段,尚无大规模商业应用。19 9 9 年、2 0 0 2 年和2 0 0 6 年三次b c i 国际 会议的召开,为b c i 的发展推波助澜。下面简单列举一些国际上b c i 研究有影 响的实验室及他们的8 c i 研究方向 12 : 1 ) 、奥地利g r a z 理工大学 奥地利g r a z 理工大学的p f u r ts c h e l1e r 等 3 人采用事件相关同步电位 ( e r s ) 去同步电位( e r d ) 作为b c i 系统的信号输入。在他们的实验系统中, 受试者借助该实验室设计的b c i 系统可以控制光标的左、右移动。研究表明, 单边的肢体运动或想象运动,将在大脑对侧产e r d 电位,大脑同侧产生e r s 电位。 2 ) 、美国w a d s w o r t h 中心 美国w a d s w o r t h 中心一直研究如何用从运动感觉皮质测得的脑电信号控制 指针的一维或二维运动。另外,为了便于比较和评估,他们研制了b c i2 0 0 0 通 用系统,该系统已在世界上2 0 0 多个实验室中使用 3 ,7 ,13 ,14 。该系统通过训 练让受试者能够自由调节自身节律,并通过p 节律的变化来实现光标移动、 字母拼写和假肢控制等功能。但由于灵活控制自身节律变化比较困难,并不 是每个受试者都能学会使用这套装置,所以这套b c i 系统只能存在于实验室阶 段。 3 ) 、德国t u b i n g e n 大学 德国t u bin g e n 大学的w o lp a w 等人设计了一个名为思想翻译器的装置,该装 置利用生理电极通过获取大脑皮层慢电位的变化来实现对外界的控制,使用视 觉反馈,很好的实现了字母拼写等功能。 3 山东大学硕士学位论文 4 ) 、美国伊利若斯大学 美国伊利若斯大学的f a r w e l1 和d o n c h in 设计了一套b c i 试验系统。该试 验系统采用p 3 0 0 诱发电位作为b c i 系统的信号输入,在计算机显示屏上显示 一个6 x 6 包含3 6 个字母的格子,试验对象被要求选择一个特定字母,期间每 行和每列都在闪烁,闪烁频率为1o h z 。通过计算试验对象对每行和每列闪烁 时测量得到的p 3 0 0 幅值均值,发现试验对象对包含特定字母的行和列的反应 幅度最大,根据这个特性就可以从p 3 0 0 诱发电位中“找到 特定字母。 5 ) 、美国s m i t h k e t t l e w e l l 视觉科学研究所 美国s m it h k e t t1e w e l1 视觉科学研究所的s u t t e r 等人设计的b c i 系统是 以对视觉刺激反应中所产生的视觉诱发电位( v e p ) 来作为b c i 系统的信号输 入,通过诱发电位来选择计算机显示屏上某一特定部分,进而可以实现选择的 功能。 6 ) 、中国清华大学 中国清华大学生物医学工程研究所的高上凯等人在深入研究分析了稳态 视觉诱发电位( s s v e p ) 的特点后,提出了一套脑电特征提取方法,并设计出了 一种具有高传输速率的基于s s v e p 的b c i 系统。该系统可被用于残疾人的动作 控制或环境设备控制等领域。 4 以上几种b c i 系统间的比较如表1 - 1 所示 1 1 。 系统训练选项速度( 比特错误率持续性用户 时间个数分钟)满意度 奥地利 2 - 2 5 2n a 11 n an a g r a z 理工大学小时 美国几个 w a d s w o r t h 中心 小时 22 0l o n an a 德国 几个月 2 72 1 0 - 3 0 不好 间接反 t u bin g e n 大学 感 美国 几分钟 3 645 很好n a 伊利若斯大学 美国 1 0 - 6 0 6 43 010 很好还行 s m it h k e t t l e w e l l 分钟 视觉科学研究所 表卜1 不同b c i 间的比较,其中速度值为平均速度,n a 表示没有数 山东大学硕士学位论文 1 4 问题提出 目前对于b c i 系统的研究,美国、欧洲和亚洲都有专门的相关研究计划, 这些基于脑电信号的b c i 技术正处于快速发展阶段,某些方面的研究己经开始 进入应用研究阶段,例如日本国际电气通讯基础技术研究所( a t r ) 和日本本田 研究所( h o n d ar es e a r c hi l q s tit u t e ) 已经开发出了一种新型的“b c i ,通过 该b c i 接口系统使机器人可以根据人脑的活动进行解码和行动,该技术可被用 于打字、帮助残疾人和改善汽车安全性。该组织表示,他们开发的这种b c i 能够及时提取大脑思维活动时的脑电数据,实现了对机器人进行接近实时的操 控。该组织的研究人员报告称,他们的这套b c i 系统对于脑电信号的分类识别 准确率可以达到8 5 。我国清华大学医学院神经工程研究所的专家们也成功地 研制出了一套“b c i ”系统,并且借助这个系统已经实现了思维控制机器狗踢 足球的过程 12 。 对于b c i 系统研究的最终目标是要获得有实用价值的产品。而要想实现这 样的b c i 系统,有三个必要条件 11 : 第一,必须有一种能够可靠反映大脑思维的信号; 第二,这种信号能够被实时且快速的收集; 第三,这种信号有明确的分类。 这就需要b c i 系统对所获取的脑电信号有足够高的处理速度和识别的准 确率。 b c i 系统在从实验室演示向实际应用转化的过程中需要解决一系列面 临的具有挑战性的难题 15 之一就是信号的实时在线处理。 通常b c i 系统的处理速度和识别准确率之间存在着博弈关系。一方面为了 获得高速的处理过程就需要尽量少的信号采集通道和提取尽量少的信号识别 特征;另一方面为了获取足够高的识别准确率就需要获得尽量多的信号识别特 征,即目前还不能达到这两者兼得的理想目标。那么能不能在这两者之间选择 合适的平衡点使得速度和准确率都能有比较满意的结果呢? 这成为了b c i 从 实验室走向现实生活的制约点。 山东大学硕士学位论文 1 5 实验设计 本文的实验数据是采用b c i2 0 0 3 竞赛数据作为数据来源。 t t r i g g e r b e e p 图 1 - 2 图 1 - 3 该数据是由d e p a r t m e n to fm e d ic a l i n f o r m a ti c s ,i n s tir u t ef o r b i o m e d i c a le n g i n e e r i n g ,u n i v e r s i t yo ft e c h n o l o g yg r a z 提供。该组数据 是通过对一名身体健康的年龄为2 5 岁的女性进行实验获得的。实验者被要求 按自己习惯方式坐在电脑屏幕前,两只胳膊放松的放在椅子上,然后根据屏幕 上随机出现的左右箭头,来想象左右手的运动。本实验数据由7 组数据构成, 每组数据包含4 0 次试验,试验是在一天之内完成的,每次试验之间实验对象 可以休息几分钟。试验过程如图1 - 2 :开始2 秒钟实验对象保持平静状态,在 第二秒时刻,电脑屏幕上出现一个持续一秒种的十字箭头,第三秒时刻出现十 6 山东大学硕士学位论文 字箭头消失,随机出现一个左、右箭头与此同时实验对象根据屏幕上出现的箭 头想象左右手的运动,实验数据通过如图卜3 中的c 3 、c 4 通道获得。采样频 率为12 8 h z ,滤波器为带通滤波器,波段为0 5 - 3 0 h z 。数据存储形式:实验数 据被保存为m a t1a b - f i1e 格式,标记为x t r a in 的数据包含3 个通道的脑电 数据,共14 0 次试验数据,每次试验持续9 秒钟,标记为y t r a in 的数据包含 两个分类标记1 和2 ,分别表示左右手运动的标识,标记为x t e s t 的数据为 另外14 0 次试验。电脑屏幕上的箭头持续时间为第三秒至第六秒,而在此期间, 试验所获得的数据应该能被b c i 系统做出正确的左右分类识别。 1 6 论文研究的主要内容 从目前国内外的发展现状来看,b c i 系统的研究在残疾人的康复工程、人 脑功能研究、人的思维机理研究及其它科研领域都具有极其重要的意义。人们 已经认识到,b c i 研究是科学技术发展的一个新领域,它是多个学科的交叉点, 它需要多学科研究人员的共同努力,才能实现预定的目标。现在b c i 研究还主 要处于试验室阶段,其应用到现实生活领域还有很多问题需要解决。伴随着计 算机领域的飞速发展,如多核c u p 的应用,内存容量的扩大,使得计算机处理 数据的速度得到了很大的提高,从而为b c i 系统数据处理速度提供了硬件上的 支持。而b c i 系统识别分类准确性的提高就需要对数据特征提取和模式识别算 法上进行改进。本文通过对特征提取和分类方法的研究,提高了b c i 系统的识 别准确率。本文主要从以下几个方面展开研究工作: ( 1 ) 、对于脑电信号特征的提取; ( 2 ) 、小波提取最大幅值: ( 3 ) 、利用公用空间模型提取数据特征; ( 4 ) 、识别工具:支持向量机。 ( 5 ) 、通过编程将所用到的程序综合为一个批处理程序 论文内容安排如下: 第一章、给出了b c i 的基本概念及这一研究的实际意义,介绍了b c i 研究 的国内、外发展现状。根根目前b c i 研究中存在的一些问题,确定了本文的研 究目的和主要研究内容; 第二章、给出了支持向量机的原理算法,并对支持向量机进行了简单的分 析研究; 7 山东大学硕士学位论文 第三章、系统分析研究了脑电特征提取及分类方法; 第四章、采用共空域模式与支持向量机对降噪后的数据进行特征提取和分 类: 第五章、对全文工作进行了总结,列出了本文的创新点,并对今后研究进 行了展望。 山东大学硕士学位论文 第二章支持向量机原理算法 2 1 序言 支持向量机( s u p p o r tv e c t o rm a c h in e s ,简记为s v m ) 是在统计学习理论 基础上发展而来的一种新的机器学习方法,是基于结构风险最小化原则,保证 学习机器具有良好的泛化能力,较好地解决了小样本、非线性、高维数、局部 极小点等问题。其缺点是速度慢,不适合大型数据的分析。最小二乘支持向量 机是s u y k e n s 等提出的一种新型的支持向量机,它将最小二乘线性方法引入到 s v m 中,将标准s v m 中的二次规划问题转变成线性方程组求解,从而简化了计算 复杂性 13 。 s v m 在数据挖掘领域已经得到了非常成功的应用。这种学习算法能够非常 成功地处理模式识别( 分类问题、判别分析) 和回归问题( 时间序列分析) 等诸多 问题,进而可以推广应用到预测和综合评价等领域,因此受到理科、工科和管 理等多种学科的重视。目前国际上s v m 在理论研究和实际应用两方面都正处于 飞速发展阶段,它广泛的应用于统计分类以及回归分析中。 s v m 属于一般化线性分类器,它们通常被认为是提克洛夫规则化方法的 一个特例。这种分类器的特点是能够在最小化经验误差的同时最大化几何边缘 区,因此也称s v m 为最大边缘区分类器。 通常我们希望分类的过程是一个机器学习的过程。针对于n 维实空间 中分属不同类的数据点,我们希望能够获得一个n 一1 维的超平面来对这些点进 行分类,一般这种分类器被称为线性分类器。许多分类器都符合这个要求,但 是我们希望找到使得属于两个不同类别的数据点间隔最大的那个超平面,该超 平面称为最大间隔超平面,这个分类器称为最大间隔分类器。 s v m 通过函数变换将待分类数据向量映射到一个更高维的空间里,然后在 这个更高维的空间里建立一个最大间隔超平面。在分开数据的超平面的两边建 立两个互相平行的超平面。建立方向合适的分隔超平面可使两个与之平行的超 平面间的距离最大化。其假定为分类器的误差大小与超平面间的距离有关,一 般来说平行超平面间的距离或差距越大,分类器的总误差越小。 所谓支持向量就是指那些在间隔区边缘的训练样本点。这里的“机 ( m a c hin e ,机器) 实际上是一个算法。在机器学习领域,人们通常把一些算法 看做是一个机器。 9 山东大学硕士学位论文 s v m 与神经网络类似,都是学习型的机制,但其与神经网络的不同之处是 s v m 使用的是数学方法和优化技术。 2 2 1s v m 的提出 2 2s v m 简介 s v m 分类方法是美国的v a p n ik 教授于2 0 世纪9 0 年代初期提出的,并于 2 0 世纪9 0 年代中后期得到了全面深入地发展,现在已经成为很受欢迎的一种 机器学习方法。它的工作原理是将输入样本集合通过函数变换映射到高维空 间,从而使得样本的分离性状况得到很大改善。s v m 的结构酷似一个三层感知 器,这也是构造分类规则的通用方法。s v m 方法的贡献在于,一方面,它使人 们可以在非常高维的空间中构造出好的分类规则,为分类算法提供了统一的理 论框架;另一方面,s v m 还从理论上解释了多层感知器的隐蔽层数目和隐节点 数目的作用,从而也将神经网络的学习算法纳入了核技巧范畴。 核算法是构成s v m 理论的重要模块。核算法有两个吸引人的优点:一个优 点是它在一定程度上使得逼近理论的问题与学习理论的问题相互独立,这样就 可以用一种通用的和自包含的方式来研究核表示方式的性质,并且在不同的学 习理论中使用它们:另一优点是学习算法和理论可以很大程度上同应用领域的 特性分开。这些特性可以在设计合适核函数时加以考虑。 使用s v m 分类方法的关键是构造出核函数。构造核函数通常需要一定的核 技巧,所谓核技巧就是寻找一个用来代替在特征空间中进行内积( 驴( x ) ,妒( y ) ) 计算的核函数k ( x ,y ) ,该核函数一般满足条件k ( x ,y ) = ( 妒 ) ,t k ( y ) ) 。使用核函数 是因为对于非线性分类而言,一般都是先找到一个非线性映射妒,通过映射妒将 输入数据映射到高维特征空间,从而使得这些输入数据的分离性状况得到很大 改观,此时在该高维特征空间中能够对输入数据进行很好的分类,然后再返回 原空间,就得到了原输入空间的非线性分类。但是由于引入了内积运算使得计 算量大增,从而降低了分类识别的速度,这是我们不想看到的。而通过核技巧 就避免了由于内积运算而产生的过大计算量,从而减少了运算时间,提高了分 类速度。 特别地,对特征空间日为h il b e r t 空间的情形,设k ( x ,y ) 是定义在输入空 间r ”上的二元函数,设日中的规范正交基为锄( x ) ,如( x ) ,九( x ) 。如果 1 0 山东大学硕士学位论文 k ( x ,y ) = 口七2 ( 驴。( x ) ,。( y ) ) , h ) j 2 , 量= l 那么取咖( x ) = 嘶晚( z ) 为所求的非线性嵌入映射。由于核函数k ( x ,y ) 的定义域 k = l 是原来的输入空间,而不是高维的特征空间。因此巧妙地避开了计算高维内积 ( ( 力,妒( y ) ) 所需付出的计算代价。在实际计算中,我们只需选定一个函数 k ( x ,y ) ,而并不需要去重新构造嵌入映射妒( x ) = q 九( x ) ,所以寻找对称且非负 k = i 的核函数k ( x ,y ) 就成了主要任务。现实中满足以上条件的核函数有很多,例如: d 阶多项式k ( x ,y ) = ( 1 + x y ) d ,其中y 为固定元素;径向函数 k ( x ,y ) = e x p ( ix - - y1 1 2 e r 2 ) ,其中y 为固定元素:神经网络惯用的核函数 k ( x ,y ) = t a n h ( c , c x y ) + c 2 ) ,其中y 为固定元素。 一般地,核函数的存在性只依赖于如何寻找一个平方收敛的非负序列 吼 。这样的序列并不难得到,在j 2 空间的正锥,“= q ,2 a k 0 ,v k 中的任 一序列都满足这种要求。研究表明,分类问题的分类准确度并不过度依赖于核 函数本身,而重新构造一个核函数并不是一件简单的事情。因此实际操作中, 我们不需要考虑如何去构造核函数,通常就在上述三类函数中挑选一个作为核 函数来使用。 s v m 可用下面的结构示意图来表示。 ! x ( 1 ) xq ) x 缸1 ) z 白) y 图2 - 1 支持向量机结构示意图 由图2 1 可以看出s v m 具有的三层感知器结构:第一层是用来存贮输入样 l l 山东大学硕士学位论文 本集数据的输入层,在该层不对输入样本数据集作任何加工运算;第二层通过 对样本集的学习来选择合适的核函数k ( x ,鼍) ,待l ,2 ,3 ,三;最后一层就是构造 分类函数 y = s g n ( y f l ,k ( x ,) + 6 ) i - - 1 s v m 工作的整个过程等价于在特征空间中构造一个最优超平面的过程。 s v m 在解决小样本、非线性及高维模式识别问题中表现出了许多特有的优 势。尤其是在非线性s v m 中通过引入核函数,不仅将原始空间的非线性问题转 化成为了特征空间的线性问题来求解,大大降低了运算量,而且核方法的引入 从理论上较好的解决了经验风险最小化原则下统计学习的一致性条件。 2 2 2s v m 分类的数学原理 设二分类样本集为 ( ,只) ix i r ”;以 - 1 ,+ 1 ,i = l , ,我们的目的是寻找 个能够将标签为+ 1 和一l 两类点分开,且分得间隔最大的最优超平面三。 在r 维欧几里德空间中就可以对样本集实现线性分离,也即存在超平面工 将样本集按照标签一1 与+ 1 分在三两边。由于在刀维欧几里德空间中超平面三 可用一个线性方程 + 6 = 0 作为其数学表达式,其中w 为系数向量,x 为 甩维变量, 内积,b 为常数。因此空间中点蕾到超平面三的距离d 可以 表示为d ( x t ) :j 三号导熹型。欲使得d ( ,) 最大,也即等价于使得i 11 1w l l 2 最小。 l iw | | z 于是,得到一个在约束条件下的极值问题: j m i n 扣w | 1 2 , 【y j ( + b ) 1 ,f = 1 ,2 , 引入l a g r a n g e 乘子a = ( a l ,a 2 ,a ,) ,可以解得关于该参变量的方程 1 2 |l q ( a ) = a ,一专a ,aj y ,y j i = l ,j = l 称之为l a g r a n g e 对偶函数。其约束条件为: l a ,少f = 0 ,口f 0 ,i = 1 2 , 在此约束条件之下,使得q ( a ) 达到最大值的a 的许多分量为0 ,不为0 山东大学硕士学位论文 的a ,所对应的样本薯就称为支持向量。运就是支持向量的来历。 当在输入空间中不能对样本集按照标签一1 与+ 1 实现线性分离时,假设 我们找到了非线性映射妒将样本集 ( 薯,只) l r ”;只 - 1 ,+ 1 ,i = l , 映射到 高维特征空间h 中,我们能够在高维特征空间h 中对原始样本数据集合 ( ( 薯) ,只) l 毛r ”;只 一l ,+ 1 ) ,i = l ,) 进行线性分类,即在高维特征空间日中构 造超平面三,其权系数w 满足类似的极值问题。因为允许部分点可以例外, 所以可以引入松弛项,即改写为: j m i n i l lw | 1 2 + c l 知 1 一f = 1 【y f ( + 6 ) l 一考f ,考,0 ,f = 1 ,2 , 最终转化为一个二次型在约束条件下的二次规划问题: m i n a 三口。忱“口, 【j o t = 0 ,0 口= ( a 1 ,口,) 7 a = ( c ,c ) 7 , 其中y = ( m ,乃) 7 ,c = ( 一l ,一1 ) 7 ,d = ( k ( ,一) 一乃) 。轧,s ,k ( x ,s ) 是核函数。 一分类问题是一个极端情形但却非常有用,它可以表示为如下数学模型: 设 薯ix , r ”,i = l ,) 为空间r ”的有限观测点,找一个以口为球心,以r 为半径 的包含这些点的最小球体。因此一分类是求一个化合物成分的最小包络曲面的 最佳方法。与前面完全相同的手法,设咖是由某个核函数k ( x ,s ) 导出的从输入 空间到特征空间中的嵌入映射,最后可以得到二次规划问题: 扣口吉a 。忱托a , 【y o t = 0 ,o 口= ( a l ,a ,) 7 a = ( c ,c ) 7 , 其中y = ( 乃,”) 7 , c = ( - 1 ,- d r , d = ( k ( t ,_ ) 只乃) 。s f ,口为矩阵,k ( x ,s ) 是核 函数。此时 因而几乎所有的点都满足厂( x ) r 2 。参数c 用来控制落在球外点的数目,变化 区间为l l c l 。 、- 、 ,l 、 k仅a 瑚 闩 + 、 毛 ,f 、 kq 工瑚 2一 、 xx ,ji、 k = 、 x 一一 , 山东大学硕士学位论文 2 2 3 基于线性规划的s v m 分类 由于分类问题的自然推理过程都会归结到二次规划求解,计算复杂度相对 较高。如果能将其简化为线性规划而且没有较大的误差,那么计算量将急速 减少。于是提出了基于线性规划的s v m 分类。此方法经过数学严格推理,是合 理的。因此产生了基于线性规划一分类、二分类、多分类。此处仅给出基于线 性规划的s v m 分类的最终形式: f ,训c 虹 , j = l j = 1 ,三;= i ;a f ,色0 工 解出口- qp ,则得出决策函数厂( x ) = a ,k ( ,一) 以及阈值。参数c 控制着 满足条件f ( x ) p 的样本数量。特别地,当核函数取为径向函数时,参数盯2 越 小,精度越高。在求解大规模分类问题的s v m 算法实现时,需要以下辅助手段: 停机准则 由于分类问题等价于求对偶问题在约束条件下的极值 ma xya ,一 _ 一 ,= l 上 “a ,y ,- _ 口,a ,y ,y ,k ( x ,x a = 0 ,0 a ,c ,i = i ,2 ,l 而k k t 条件 ia ,【y ,( + 6 ) 一1 + 考f 】= 0 , l i ( c a ,) 毒,= 0 ,f = 1 ,2 ,三 是收敛的充分必要条件。因此通过监控k k t 条件来得到停机条件: 少,c 粪a j y ,k ct,x,+6,三i11 ; 少,( ,k ( x ) + 6 ) = , j = l 1 a ,= 0 ,v i , 0 a f 一 、 一,l ka 汹 m 。 蚕 儿 ,r1【 2_ = c 0 , k = 0 。 选取初始工作集w oc t ,记其对应的样本 点的下

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论