（运筹学与控制论专业论文）心电图的分类和神经网络的vc维.pdf

学位论文独创性声明 本人所呈交的学位论文是我在导师的指导下进行的研究工作及取得的 研究成果。据我所知，除文中已经注明引用的内容外，本论文不包含其他个 人已经发表或撰写过的研究成果。对本文的研究做出重要贡献的个人和集 体，均已在文中作了明确说明并表示谢意。 作者签名：萤警迪 学位论文使用授权声明 本人完全了解华东师范大学有关保留、使用学位论文的规定，学校有权 保留学位论文并向国家主管部门或其指定机构送交论文的电子版和纸质版。 有权将学位论文用于非赢利目的的少量复制并允许论文进入学校图书馆被 查阅。有权将学位论文的内容编入有关数据库进行检索。有权将学位论文的 标题和摘要汇编出版。保密的学位论文在解密后适用本规定。 学位论文作者签名：涨嘶乱 导师签名： 日期：q 生l ：22 日期： 麦玩 摘要 心电图是医院的一项常规检查手段，具有非常重要的临床价值：特别对t - 心脏外科 更显得非常重要；但是传统的采取的人工诊断办法受到个人专业知识和临床经验的很大 限制，并且速度慢l 而计算机在信号处理方面已经具有广泛的应用并且运行速度快， 因此建立计算机识别分类方法对心电图进行快速、准确的分类将在临床诊断上具有很重 要的意义。本文利用支持向最机、神经网络等：f ：具建立计算机识别分类方法来对心电图 进行分类判断。 本文主要：r 作： ( 1 ) 利用小波函数对心i 乜图进行多层小波分解，分析和提取各层的信号特征，实现 心电图的特征提取以及数据压缩。然后利用支持向量机对特征提取后的心电图 进行两分类。 ( 2 ) 提山一种新的b p 神经网络，并利用b p 算法训练网络系数，用于心电图的分 类。并与心电图的支持向擐机分类作比较；同时相对于人们通常的心电图的两 分类，提出了基于b p 神经网络的三分类，并且取得了较好的结果。 ( 3 ) 最后从几何角度讨论了用于分类的前馈神经网络v c 维的问题，尤其是利用超 曲面排列针对非线性神经网络的v c 维进行了探讨。 本文的创新点： 建立了一种用于心电图两分类的b p 神经网络，尤其是一种可以进行心电图三 分类的b p 神经网络，具有一定的实际价值。 利用超曲面排列的方法探讨了前馈神经网络的v c 维。 关键词：小波变换，支持向最机，人工神经网络，超曲面排列，v c 维。 3 a b s t r a c t a sar o u t i n em e d i c a lc h e c k - u p ，e c gi so fi m p o r t a n t l yc l i n i c a lv a l u e ； e s p e c i a l l yf o rh e a r tc h i r u r g e r y ；b u tt h et r a d i t i o n a lm e t h o do ff a l s ed i a g n o s i si s l i m i t e db yi n d i v i d u a lp r o f e s s i o n a lk n o w l e d g ea n dc l i n i c a le x p e r i e n c e ；a tt h es a m e t i m et h es p e e do ff a l s ed i a g n o s i si sv e r ys l o w h o w e v e rn o wt h ec o m p u t e rh a s b e e na p p l i e db r o a d l yi ns i g n a lp r o c e s s i n g ；s oi ti sm e a n i n g f u lt oe s t a b l i s han e w m e t h o db a s e do nt h ec o m p u t e rt oc l a s s i f ye c gf a s ta n de x a c t l y i nt h i sp a p e r s u p p o r tv e c t o rm a c h i n e ( s v m ) a n dp r o b a b i l i s t i cn e u r a ln e t w o r k ( p n n ) a r eu s e d t oe s t a b l i s han e wm e t h o dt oc l a s s i f ye c g t h em a i nw o r ko f t h ep a p e r ： ( 1 ) w i t ht h em u l t i - r e s o l u t i o na n a l y s i so fw a v e l e t ，t h ed i f f e r e n tf r e q u e n c y i n g r e d i e n t sa r ed i s t i n g u i s h e d ；t h e nt h em a i nc h a r a c t e r so fe c gi s b u i l tu p a f t e r w a r dt h ee c gc l a s s i f i c a t i o ni si m p l e m e n t e dw i t h s v m ( 2 ) an e wb pn e u r a ln e t w o r ki sp u tf o r w a r dt ob eu s e dt or e a l i z et h e c l a s s i f i c a t i o no fe c g ；e s p e c i a l l y , an e u r a ln e t w o r ki sc o n s t r u c t e d t ob eu s e dt or e a l i z et h em u i i c l a s s i 矗c a “o no f e c g ( 3 ) f r o m ag e o m e t r ya n g l e ，t h ev a p n i k - c h e r v o n e n k i sd i m e n s i o no f f e e df o r w a r d n e u r a ln e t w o r ki sd i s c u s s e d ；e s p e c i a l l y ，t h ev cd i m e n s i o no fn o n l i n e a r n e u r a ln e t w o r ki sd i s c u s s e dw i t ht h eh y p e r s u r f a c ea r r a n g e m e n t n e wc r e a t i o n so f t h ep a p e r ： c o n s t r u c t i n gn e w b pn e u r a ln e t w o r k st oc l a s s i 旬t h ee c g e s p e c i a l l yan e u r a l n e t w o r kb eu s e df o rm u l t i c l a s s i f i c a t i o no fe c gi so fac e r t a i np r a c t i c a l v a l h e d i s c u s s i n g t h ev cd i m e n s i o no f n e u r a ln e t w o r kw i t ht h eh y p e r s u r f a c ea r r a n g e m e n t k e y w o r d s ：w a v e l e tt r a n s f o r m ，s u p p o r tv e c t o rm a c h i n e ，a r t i f i c i a ln e u r a ln e t w o r k ， h y p e r s u r f a c ea r r a n g e m e n t ，v a p n i k - c h e r v o n e n k i sd i m e n s i o n 4 第一章心电图的支持向量机分类 1 1 心电图的基本概念 常规心电图是医院的一项基本的常规检查手段，具有非常重要的l 临床价值；特别对 于心脏外科更显得非常重要：与其它高精尖的医学检查手段相比，心电图具有无创性、 可重复性、快速、准确等优点。它对于某些疾病特别是心血管疾病的诊断具有重要的意 义。其应用范围如下： 1 、对心律失常和传导障碍具有重要的诊断价值。 2 、对心肌梗塞的诊断有很高的准确性，它不仅能确定有无心肌梗塞，而且还可确定 梗塞的病变期部付范围以及演变过程。 3 、对房室肌增大、心肌炎、心肌病、冠状动脉供血不足和心包炎的诊断有较大的帮 助。 4 、能够帮助了解某些药物( 如洋地黄、奎尼j ) 和电解质紊乱对心肌的作用。 5 、心电图作为一种电信息的时问标志，常为心音图、超声心动图、阻抗血流图等心 功能测定以及其他心脏电生理研究同步描记，以n - t ：确定时间。 6 、心电监护已广泛应川于手术、麻醉、j f j 药观察、航天、体育等的心电监测以及危 重病人的抢救。 在心电图仪纪录纸上纪录一个完整的心电图波形如( 图一) 所示主要包括：p 波、 q r s 复合波、t 波；图中各波峰以及备波峰间的变化反映了心脏跳动的整个过程。医学 工作者就是根据心电幽的波形变化米分析、诊断心脏疾病的：但是人上诊断受到个人专 业知识和临床经验的很大限制，同时诊断速度也慢，不能适时处理：而计算机在信号处 理方面已经具有广泛的应州，外且运行速度快；因此建立计算机识别分类方法对心电圜 进行自动正确分类将会在临床诊断上具有很重要的意义。 r 0 2 支持向量机介绍 厂一q _ t 问期 图一- 支持向量机是在小样本学习理论统计学习理论的基础上发展而来的一种新的通 用学习方法，具有很多独特的优点。它克服了传统统计分类方法的许多缺点，具备较高 的泛化能力，较好她解决了小样本的分类问题 因此受到了越来越广泛的重视。近年来， 支持向量机在模式识别、回归分析、函数逼近、信号处理等领域得到了许多应用， 正成为继神经网络研究之后新的研究热点。支持向量机将优化问题转化为一个凸二次规 划问题，二次规划的解是唯一解且是全局最优解。 支持向量机算法是从线性可分情况f 的虽优分类平面发展而来的，基本思想可以用 圈二中两维情况说明图中的叉和点代表两类样本h 为分类线， q ，彳2 为过各类 中的离分类线最近的样本且平行于分类线的直线：它们和分类线间的距离叫做边缘间距 ( m a i g i n ) ， h ， ；m a 2 i 川m 训 图二 6 所谓最优分类线就是要求分类线不但能将两类正确分类，而且使边缘间距最大。分类线 方程是( w 工) + b = 0 ，可以对它进行归一化使得对线性可分的样本集 。，y 。) f = 1 , 2 ，x f r ”，y ， + 1 ，一1 t 满足： y ， ( w x ) + b 】，i = 1 , 2 ，l 此时分类边缘间距等于l i l 叫i ，使边缘间距最大等价于使0 州1 2 最小满足( 1 ) 且使0 叫1 2 最小的分类线就叫做展优分类线；h l ，1 1 2 上的训练样本点叫做支持向量这里使边缘 间距晟大实际上就是对推广能力的控制，这是支持向量机的核心思想之一。统计学习理 论指出：在n 维空间中，设样本分布在一个半径为r 的超球范围内则满足条件0 叫i a 的正则超平面构成的指示函数集f ( w ，x ) = s g n ( w x ) + b ( s g n o y , j 符号函数) 的v c 维满足下面的界： h m i n ( r2 a2 】，) + 1 因此使8 | 2 鼹小就是使v c 维的上界垠小，从而实现s r m 准则中对函数复杂性的选择。 所以上面的晟优分类面问题可以表示为如f 的约束优化问题： 在条件y f ( w x ) + 6 】1 ，f = l ，2 ，l 、，求函数庐( w ) = = 1 ( w w ) 0 9 撮4 、值。 为求解上述优化问题，引入l a g r a n g e 函数i 。： 三( w ，岫) ：；m w ) 一圭州( w 喁) 删- 1 ) ( 2 ) 其中a ，0 ，为与每个样本对应的l a g r a n g e 乘子。根据l a g r a n g e 函数的优化条件函 数【。的极倩应满足如f 条十i ： 于是可得到 一o l ( w , b , a ) 0 o b 丝! ! ：! ! 型：o 口w 嘣y = o ，w = y ，q x 把( 3 ) 式代入l a g r a n g e 函数( 2 ) 中并化简，则原问题可转化为如下的对偶问题 ， 在约束条件 。y 。= 0q 0 ，i = 1 2 ，l 下求下面函数的最大值 j = l ( 3 ) 7 m ，= 参一；静哕加， 忙l，一i 这是一个不等式约束f 二次函数的极值问题，存在唯一解。 ( 4 ) ， 如果口? ，f = 1 , 2 ，为擐优解i ) 1 1 w o = ? 一x ，即昂优分类面的法向壤h 是训 练集中的向量的线性组合。根据传统的k u h n t u c k e r 条什，这个优化问题的解需满足条 件： a 【( x ，忉一b y ，一1 ) = 0 ，i = 1 , 2 ，1 因此对于多数样本的a ，值为零，少数不为零的口。对应丁使( 1 ) 式等号成立的样本成为 支持向量，他们通常是全体训练样本的很少一部分，但决定了最终的分类结果，因此按 ( 4 ) 式求出问题的解后，得到的最优分类函数是 m ) = s g n ( y 玎? ，x ) + b o ) 支特向量 其中x ，是支持向量，d ? 是支持向量对应的l a g r a n g e 乘子，b o 是阈值。 然而在实际中某些样本不能满足约束条件( 1 ) 因此可在( i ) 式中增加一松弛变量 点，f - 1 , 2 ， 变为： y ，【( w x ) + 6 】1 一舌，i = 1 , 2 ， 综合考虑最小化错分样本数利最大边缘间距则目标函数改为 = 抄小毒f ( 5 ) 其中c 0 是一常数，控制对错分样本的惩罚程度，则求解在两值线性不可分的情况下 的广义最优分类面，就是求解( 5 ) 式约束条件下，式( 6 ) 的二次优化问题，最终可转 化为与两值线性可分情况下相同的问题，即根据求解l a g r a n g e 函数转化为求解原问题 的对偶问题( 4 ) 武，只是约求条件a ，0 ，i = 1 , 2 ，；改为0 a c ，i = 1 , 2 ， 即： ( d ) = 圭q 一；圭叩崩y ，( 一 i t l i , j - i s t 0 a 。c ，i = 1 , 2 ，l y = 0 i = 1 这种在线性不可分情况的支持向量机通常被称作软边缘间距支持向量机 这也是本文所用的支持向量机算法。这种情况下的最优分类函数是： ，( x ) = s g n ( y 盯? ( x ，x ) + b o ) 。 1 3 软边缘问距支持向量机算法 l s v m ( l a g r a n g es u p p o r t v e c t o r m a c h i n e ) 算法是0 l m a n g a s a r i a n 等人提出的一种 具有线性收敛性的软边缘间距支持向量机算法。这一算法是源于0 l m a n g a s a r i a n 等人 在1 9 9 3 年提出的隐拉格朗日公式。由于求解( 6 ) 式的二次优化问题，写成矩阵形式则 为： m i nc 丛+ 土w w( 7 ) 22 s , t d ( a w e b ) + 善e 其中c 为正的惩罚系数，e 为一单位列向量，善为松弛向最，a 为由输入向量形成的 坍甩矩阵( 即由m 个维数是1 1 的输入向量构成的矩阵) 。 d 为由输出变量构成的m 肌对角阵( 即对角线上元素为l 或一1 ，其余为0 ) 。 0 l m a n g a s a r i a n 等人将n 维空间中求解分类超平面的问题转化为在疗+ 1 维空间进行。 即将目标函数式( 7 ) 改为： m 叭譬+ 扣w + b 2 ，22 、 7 s t d ( a w e b ) + 掌e 于是它的对偶形式为： m ；n 吉盯( 吾+ 。( 彳。十e e 。) 。) d e 口 ( s ) s t 0 r “ 此时原问题的的w ，亭，b 可有如f 算式求得： w ：a d 玎，f ：旦，b ：一口d a 如果令h = d e a p 】， q ：三+ h h 则( 8 ) 式变为 m i n 姜日。q 一p d “i “妒叫d s t 0 d r ” 因此其最优解条件为： q 4 e = m a x ( 0 ，( ( q 口一p ) 一m ) ) 由此导出i , s v m 算法迭代公式： a ”1 = q 。1 ( m a x ( 0 ，( e + ( ( q a 一e ) 一m ) ) ) ) ，i = 1 , 2 ， 从上式可见它不需要采用通常的线性规划或二次规划算法，其主要算法在于求一矩阵的 逆。所以l s v m 算法实现起来简单方便 1 4 基于软边缘问距支持向量机的心电图分类 将支持向量机应用于心电图分类。我们所用心电图是十二导联常规心电图，其中 8 个是基本的，其余4 个可从已有的8 个导山，每个导联通常采集l o 秒钟的心电数据， j c 寸应于一个5 0 0 0 维的向量。所有的心电图主要分为两类：正常和不正常：其中不正常 主要是t 心肌梗塞和高血压。 对于大多数心脏疾病而言都会在心电图某儿个导联上表现山显著的变化，而在其它 导联上的表现却相对不太明显，医疗工作者也是主要根据某些导联上的心电图波形的显 著变化来诊断心脏疾病的；因此我们可以从心电图的八个导联中选择病理特征较强的导 联用于针对j e 常和异常两类的支持向量机训练和测试。对于所j _ j 数据中的两类病：高血 1 0 压和心肌梗塞。根据临床病例的心电图观察，在其胸导联v 5 上常表现出q r s 波群发生 变异，s t 段抬高，t 波倒置或直立等显著特征。例如图三所示： 图三，t 波倒置 所以对于每个原始的心电图数据样本我们都选取v 5 导联，由于心电图的每个导联的波 形都呈周期性变化( 如图三所示) ，每个周期对应于一次心搏；因此从v 5 导联中随机选 择一个心搏周期的波形，即p 波、q r s 波群、s t 段和t 波作为一个新的心电图的样本。 图四单个心搏 1 4 1 心电图的小波特征提取 由于单个心搏常伴随噪声、基线飘移、人体活动等因素的影响。因此为了设计一个 有效的支持向量机分类器就必须对原始的心l 乜图进行特征提取。根据文献f l 仲对心电信 号、噪声的频谱分析以及与小波变换的尺度的关系可知： ( 1 ) q r s 复合波的能量主要集中在尺度为2 3 ，2 4 的尺度上：在大于2 4 的尺度上则 1 l ( 2 ) ( 3 ) 人人的减小。 运动伪迹，基线飘移( 主要是变化相对缓慢的低频信号) 的能量大部分集中于 大于2 5 的尺度l 。 噪声的能罐主要集i _ f jr 较舟的捌骷上，住较低的频一淞上能拦则显著的减小。 根据以上的分析，我们使刚d b 4 小波函数对心电图单个心搏进行四层小波分解，并 综合考虑尺度2 3 ，2 4 上的小波系数。小波分解的结果为 l 封了1 图中自左至右分n t j ：原信号s 第四层低频系数a 4 ，第【! ；| 层高频系数酗，第三层高频 系数a 3 第二层高频系数a 2 ，第一层高频系数a 1 。从图中可以看出在第四层低频上明 显的具有q r s 复合波以及倒置的t 波。 义由于人体心l 乜信号属丁低频信号，绝人多数人的e c g 频谱能量集中1 ：0 2 5 1 l z 到 3 5 h z 间，因此为了提取心电信号的特征，提山以卜算法： ( 1 ) 计算原信号s 的r 峰狂小波变换符尺度上相麻的何冒。 ( 2 ) 把第四层底频系数提山放入一个维数为2 3 的向量中。 ( 3 ) 以r 峰在第四层高频系数中相应的位置为中心两边备取4 个点，放入一个维数为9 的向量中。 ( 4 ) 以r 峰在第三层高频系数中相应的位置为中心两边并取5 个点，放入一个维数为11 的向量中。 ( 5 ) 将上述三个向量合成个4 3 维向簧作为单分心搏的特征向最。 对1 0 0 个不同心电图的中的v 5 导联中的单个心搏利用上述算法提取特征后进行重构 平均相对误差率为0 7 0 。在图六( 虚线”_ - 表示重构信号，实线“”表示原信号) 给 出了其中一个比较结果，相对误差率为o 9 8 。因此对原单个心搏进行小波变换不 仅可以提取原有信号的主要特征，而且实现了压缩数据特征维数的目的。后面章节所用 2 的数据都经过此方法进行了特征提取。 1 5 仿真结果 图六重构信号与原信号的比较 为了更好的检验支持向量机的泛化能力，我们采用交叉检验方法来训练并进行测 试。总共的样本数目为2 3 0 0 个包括正常心屯图( 1 4 0 0 个) 、高血压和心肌梗塞( 9 0 0 个) 。 对于正常心电图和异常心电图的分类，我们把样本分为5 组，其中正常心电图为3 组， 其中的样本数目分别为：4 0 0 、5 0 0 和5 0 0 ；异常心电图分为两组，其中样本数目为：4 0 0 个和5 0 0 个。进行实验时，随机的取两组( 包括正常心电图与异常心电图) 作为训练样 本，另取两组( 包括正常心电图与异常心电图) 作为测试样本。对于高血压和心肌梗塞 的两分类，两类样本总共5 9 2 个，分为4 组，其中高血压两组：样本数目为1 9 6 和1 0 0 心肌梗塞两组，样本数目为：1 9 6 和1 0 0 ，实验时，分别取2 组( 包括高血压和心肌梗 塞) 作为训练样本，另取两组作测试样本。这里对于高血压乖j 心肌梗塞而言由于两者都 在心电图的第五导联上有着类似的波形变化，因此需要综合考虑八个全部导联的波形变 化，因此对于我们对每个导联都提取个心搏的波形，经过小波方法进行特征提取后， 串联起来共同作为一个心电图的数据样本。我们用m a ( 1 a b 语言实现上面的算法，这里 所有样本均有人工临床诊断结果。由于两类不可能无著错的被区分开，所以需要预先确 定惩罚系数c 值。这里c = 3 ，最终得到的正常心电图和异常心电图总的平均分类正确率 为：6 7 5 ，对于高血压和心肌梗塞的总的平均分类正确率为：5 7 4 4 部分结果如下表 实验数据 一 心电图类型训练样本测试样本测试正确率( ) 正常心电图 4 0 05 0 0 7 3 异常心电图 4 0 05 0 06 6 4 实验数据 二 心电图类型训练样本测试样本测试正确率( ) 高血压 1 9 61 0 06 2 心肌梗塞 1 9 61 0 05 4 表 一 从上表可以看出支持向量机对心电图数据具有一定的分类能力，但分类准确度不高，究 其原因在于各类心电图数据之间交叉分布很多，如下图所示的正常心电图和高血压心电 图的分布；因此当采用超平面进行分类时，将会把交叉部分的许多样本错误分类造成 分类准确率不高；而实际上心电信号的两分类的界面应该是不规则的曲面，因此应当采 用分类界面为曲面的分类1 具去进行分类从而可以逼近实际的分类界面。人工神经网 络作为一种对人类大脑的模拟是一种具有学习能力的以及极强的非线性映射能力的学 习机。它可以对样本集进行曲面划分，形成各种复杂的决策界面，因此在模式识别和分 类上具有显著的优越性。【1 7 】己经证明即使在模式空问中各样本分布相互交错的复杂区 域内。也只需要三层的b p 人工神经网络就能实现样本的正确分类。因此下一章我们将 使用人工神经网络对心电图进行分类。 图七两类心电图的分布 “ 第二章基于b p 神经网络的心电图分类 2 1人工神经网络 人工神经网络是由人：i j 神经元互联组成的网络，它是从微观结构和功能上对人脑的 抽象、简化，是模拟人脑智能的一条重要途径，反映了人类功能的若干基本特征，它可 以通过学习实现网络的期望输入、输出关系，从而适应环境的变化。神经网络所具有的 特殊的拓扑结果决定了它的特点： ( 1 ) 结构化；神经网络有许多神经元组成，是一种结构化的模型。 ( 2 ) 分布式、全息性、鲁棒性；神经网络是以它的连接权值存储信息的，因而网络的信 息能够相互支持、相互补充，冈而网络贝有较强的容错能力和i 联想能力，不会由于 部分神经元的损坏或者输入信号受到噪声污染而严重打 曲其输出，即，具有鲁棒性。 ( 3 ) 并行性；神经网络能够高速的并行处理输入信息。 ( 4 ) 非线性t 神经网络可以实现输入输山数据问的高度的非线性的映射。 2 2l i p 神经网络 前馈多层神经网络是目前应州摄广，发展展迅速的人 ：神经网络之一，它广泛的应 用于模式识别与分类、预测、控制、图像处理等问题，由于这类神经网络的网络权值阈 值的确定常采用误差反向传播算法( b a c kp r o p a g a l i o n ，简称作b p 算法) ，所以通常称这 类基于b p 算法的前馈网络为b p 网络。它是由r o m e l h a r t 雨lm c c l e l l a n d 在1 9 8 5 年提 出的。具有一个隐层的b p 网络结构如下图： 隐层 图八单隐层的b p 网络的结构 输出层 也可以具有多个隐层。b p 网络有输入层、隐层和输山层组成，同一层神经元节点之间 没有连接，前一层节点与后一层节点之间有充分的连接。对于输入信息，要先向前传到 隐含层的节点上，经过各单元的非线性函数( 如s i g m o i d 函数、双曲正切函数等) 激活函 数运算后，把隐含层节点的输出信息传播到输出节点，最后给出输出结果。b p 网络的 学习过程有正向传播和反向传捅两个过程组成。在正向传于礴过程中，输入信息从输入层， 由第一隐层开始逐层的计算井向下一层传递，寓至输出层。每一层的神经元的状态只影 响下一层的神经元的状态。如果输山层不能得到期望的输出，就是实际输出值与期望输 出之间有误差，则转入反向转捕，将误差信号沿原来的连接通路返回，在返回过程中， 通过修改各层神经元问的权值和阈值，逐层的向输入层传播并进行计算，然后再进行正 向传播过程；这两个过程反复的运用，使的误差最终满足预定要求。 2 2 1b p 算法 b p 算法是在有导师指导下，适合于多层前馈神经网络的一种学习算法。 我们以单隐层神经网络为例来说明b p 箢法。没n 为输入层节点个数，m 为隐层节点数， 一为输入层节点f 的输入，0 分别为隐层节点与输入层节点i ，输出层节点七 与隐层节点，的连接权，乱为隐层节点的闽值；则，隐层节点的输入为： ，= w g x ，+ o jt ( f - 1 ，2 ，仃) ( 1 ) 隐层节点i 的输出为： o ，= ，( 1 ) ，( j = 1 , 2 ，m ) ( 2 ) 其中，( ) 采用双曲正切函数： m ) = t a n h ( 加筹 它的值在一l 1 之问 输t l t 节点七的输出为： m y i = 厂( v 业o ，) ， ( = l ，2 ，f ) - i ( 3 ) 1 6 由隐层至输出层的权值修正公式为： a v m o + 1 ) = r 1 5 k o ，+ a a v j k ( t ) ( 4 ) 由输入层到隐层的权值修正公式为 式中 a w f o + 1 ) = q s j x f + a a w ( f ) 瓯= f ( v o 戌疋一y k ) j - l 6 i = f jt i i 既v | k 6 k 女t l ( 5 ) ( 6 ) ( 7 ) 其中r 表示迭代次数，瓦表示期望输出，r 表示学习率，在0 1 之间取值，口表 示冲量，一般取值在0 9 左右。 网络的总误差为 f ：昙杰( & 一川： 二k - 1 ( 8 ) b p 算法的训练步骤为： ( 1 )随机给山网络权值的初值； ( 2 ) 从训练数据集中选一对数据输入到网络输入层中； ( 3 ) 按照( 3 ) 式计算网络的输出值； ( 4 ) 按照( 8 ) 式计算网络的训练误差 ( 5 ) 判断训练误差是否满足所需的精度，如果不满足的话。执行步骤( 6 ) ，否 则转到步骤( 7 ) ： ( 6 ) 利用公式( 4 ) ( 5 ) 对权值修正后，执行步骤( 3 ) ： ( 7 ) 返回步骤( 2 ) 。 2 3b p 神经网络分类器的建立和对心电图的分类 神经网络通过火量样本数据的学习，从不同类心电图数据中获取心电图的特征信息 和分类知识，这些知识以网络连接权值以及阈值的形式分布存放于网络结构中，随着训 练样本的增加，神经网络在其学习能力允许的范围内的知识也在不断的增加，它根据不 同的特征的心电图的波形，自动调整网络的结构参数，提取隐含在心电图中对分类有意 1 7 义的信息；在此基础上完成模式分类的任务。 神经网络训练结束后对于神经网络学习 过的样本，网络可以正确的进行分类；对网络没有学习过的心电图波形，如果该波形与 学习过的心电图的波形类似，则神经网络也可以正确的对其分类( 即为：神经网络的推 广性) ，当该波形与学习过的波形相差较大时，神经网络需要继续的学习，获取新的知 识，以适应新的心电图样本的分类要求。 尽管b p 网络迄今在分类问题上已经表现出显著的优越性，但其隐层数和隐层节点 数目的确定却至今没有通用的方法，要靠网络设计者的经验进行选择。但是从理论上来 说，一个隐层的b p 网络可以实现任意的判决分类问题，两个隐层的网络则足以获得 任意要求的判决界面以实现分类。对于两个隐层的b p 网络而言，1 9 8 8 年k u a r y c k i 根 据其实验发现，在高维输入时，第一隐层对第二隐层的最佳节点数的比例为3 ：1 左右。 根据以上理论以及在实验中的选择。我们采用的b p 网络的结构为：双隐层网络，第一 隐层节点数为1 6 ，第二隐层：岿点数为1 5 ；输入层和输山层的节点的数目由分类问题本 身决定，输出层采用一个输出节点输入层由样本的维数确定，我们所用的数据为第一 章中所采用的数据，其维数为4 3 维。神经网络的激活函数采用双曲正切函数，所以网 络的输出值在一l 1 之间，神经网络的输山火于0 的被认为是“+ l ”，输出小于0 的被 认为是“- l ”。这里学习率为o 2 ，冲量a 取为0 8 ，总的误差上限为0 1 ，当网络开始 训练后，当输出误差小于给定的误差上限的话，训练停止。为了更好的检验网络的泛化 能力，我们采用交叉检验方法来训练网络并进行测试。样本的情况和第一章中的所用相 同。总共的样本数目为2 3 0 0 个包括止常心电图( 1 4 0 0 个) 、高血压和心肌梗塞( 9 0 0 个) 。 对于正常心电图和异常心电图的分类，我们把样本分为5 组，其中正常心电图为3 组， 其中的样本数目分别为，4 0 0 、5 0 0 和5 0 0 ；异常心电图分为两组。其中样本数目为：4 0 0 个和5 0 0 个。进行实验时，分别随机的取两组( 包括正常心电图与异常心电图) 作为训 练样本，另取两组( 包括正常心电图与异常心电图) 作为测试样本。对于高血压和心肌 梗塞的两类样本总共5 9 2 个，分为4 组，其中高血压两组：样本数目为1 9 6 和1 0 0 ；心 肌梗塞两组，样本数目为：1 9 6 和1 0 0 ，实验时，分别取2 组( 包括高血压和心肌梗塞) ， 另两组作测试样本。这里对于高血压和心肌梗塞而言由于两者都在心电图的第五导联上 有着类似的波形变化，因此需要综合考虑八个全部导联的波形变化，因此对于我们对每 个导联都提取一个心搏，经过小波方法进行特征提取后，批同作为一个心电图的数据样 本。 1 8 2 4 仿真结果与分析 利用交叉检验法。最终上面所建立的b p 神经网络剥于正常心电图和异常心电图 总的平均分类正确率为：7 4 3 6 对于高血压年心肌梗塞的总的平均分类正确率为： 6 8 6 6 。部分具体的结果如f 表： 实验数据一 心电图类型训练样本测试样本测试正确率( ) 正常心电图 4 0 05 0 07 3 异常心电图 4 0 05 0 08 3 4 实验数据二 心电图类型训练样本测试样本测试正确率( ) 高血压 1 9 61 0 07 1 心肌梗塞 1 9 61 0 07 2 表 二 通过上面的实验可以看山采_ l f ；| 双曲正切函数的b p 网络对于网络没有学习过的心电图 样本的分类取得了较好的结果，即，推广+ 性较好：其分类准确率也比其使用软边缘间距 支持向量机进行分类有了明显的提高。表明了基于b p 网络的心电图分类方法，比较充 分的利用了神经网络的学习能力和推广能力，根据具有不同特征的心电图训练样本，通 过学习获得心电图分类知识，然后对于训练样本之外的心电图有了较好的分类能力。 同时b p 网络还可以实现心电图的多分类，这相对于心电图的分类具有更大的实际 意义；我们采用正常心电图2 0 0 个、商血压心电图1 4 0 个、心肌梗塞心电图2 0 0 个作为 训练样本；然后使用正常心电图2 0 0 个，高血压心电图1 5 0 个、心肌梗塞心电图2 0 0 个 作为测试样本来检验网络。这里每个样本都含有心电图的八个导联的特征数据，数据的 处理方法同上述的对高血压和心肌梗塞的分类所采用的数据处理方法相同。我们采用单 隐层的b p 网络输入层节点数等于心电图样本的维数；隐层节点数为1 0 ，输出层一个 节点，隐层和输出层采用双曲正切函数作为激活函数；当网络输出值在0 4 一l 之间时， 输入样本是属于正常的心电圈当网络的输出值在一o 3 0 4 之间时，输入样本是属 于心肌梗塞的心电图，当输出值在一1 一o 3 之间时，输入样本是属于高血压的心电 图；学习率为o 叭误差上限为0 1 ，冲摄口取为0 8 。当输山误差小于给定的误差上 限时，训练过程结束。最终得到的测试样本的止确率为下表所示 心电图类型训练样本测试样本测试正确率( ) 正常心电图 2 0 0 2 0 0 8 7 5 高血压 1 4 01 5 0 6 0 心肌梗塞 2 0 02 0 08 2 5 表三 从以上仿真试验可以看山，b p 神经网络对于心电图的分类有着比较好的效果，特别对 于心电图的三分类也有比较好的分类结果，这使得n j - i - t 神经网络对心电图的分类有着实 际的应用价值。但是由于神经网络的拓扑结构的确定没有通用的方法可以遵循，以及给 出网络的结构后，训练集规模如何确定都是凭经验而确定的，缺乏理论上的指导。如果 能为神经网络的应用提供一些指导性的分析方法，不仅可以促进该领域的理论研究，而 且可以在应用领域取得更大的成就。而统计学习理论的核心内容v c 维可以在确定神经 网络的容量、推广能力、训练集的规模等关系上发挥重要的作用；如果可以计算出神经 网络的v c 维，则我们可以估计出训练该网络的训练集的规模；反之，如果知道训练集 的规模以及最大近似误差时，我f j 可以确定所需的网络结构。因此神经网络v c 维的计 算的研究将会对神经网络的发展产生极大的推动作用。所以下一章我们将对神经网络的 v c 维做出一些探讨。 2 0 第三章神经网络v c 维的探讨 3 1v c 维的概念 v c 维是v a p n i k 等人在建立小样本学习理论一统计学习理论中提出的影响学习机器 推广性能的指标；它同时也是函数集复杂度的度景。模式识别中v c 维的直观定义是 定义3 1 ：对于一个指示函数集，如果存在h 个向量能够被函数集中的函数以所有可能 的2 “中方式分离，则称函数集能够把h 个向量按类分离，函数集的v c 维就是函数集 能按类分离的最大向量数h 。如果对任意数目的向量都有函数可以把它们按类分离， 则函数集的v c 维是无穷大。 ， 滚xix3 。 ， x 图九 y 。 暑萨 ， x 平面中直线的v c 维的等于3 ，因为它们能够按类分离3 个向量而不能分离4 个， 例如向量而，x 4 不能被直线与向量而，x 3 分开。 v c 维反映了函数集的学习能力，v c 维越大学习机器越复杂。这里我们只针对简 单的二类模式识别问题进行分析。设给定的训练集为 ( x l ，y 1 ) ，( _ ，乃) ，其中 r “，是n 维的得输入向量；儿 1 , 0 为相应输出；并且训练样本独立同分布， 2 l 那么模式识别的问题就是在个函数集 f ( x ，口) ，g t a ) ，求山一个最优参数，使得期 望风险( e x p e c t e dr i s k ) 尺位) = j 1 y 一，( j ，c o ld f ( x , y ) 最小。其中f o ，y ) 为训练样 本和测试样本的概率分布。但实际上f ( x ，y ) 通常是未知的，因此无法求出r ( a ) ，因 此统计上采用经验风险最小化的准则， 即定义经验风险： ( 口) = 一f ( x ，口) i ，作为对矗 ) 的估计即利用使兄， ) 最小的函数 f - l f ( x ，) 来逼近使矗( 口) 最小的函数，0 ，) a 这类方法有一个基本的假设，即如果 胄w ( 口) 收敛于矗位) 则r 。w ( 口) 的最小值也收敛于r ( 口) 的最小值v a p n i k 证明该 假设成立的充要条件是函数集 f ( x ，c o ，a 仨a ) 的v c 维是有限值。 同时v a p n i k 还证明了期望风险与经验风险之间的关系，即推广性的界，经验风险 凡。( a ) 和期望风险胄 ) 之间以至少1 一，7 ( 0s 叩 1 ) 的概率满足下列关系： r ( a ) s r 。 ) + 其中h 是v c 维，l 是训练样本数。上式右侧第二项称作置信范围，从上式可以看出在 v c 维与训练集的规模的比值较大时即使经验风险很小，也无法保证期望风险矗( 口) 较 小，即无法保证系统有较好的推广性；只有当二者同时比较小时，期望风险r ( 口) 才能 够比较小。因此要得到一个推广性能较好的学习系统，需要在v c 维和训练集的规模 问达成一定的均衡。 3 2 神经网络v c 维的概念 由于神经网络也是一种基于统计的学习方法，同时从功能上说，每一个权值，闽值 等参数都已确定的网络就相当于一个函数，若假设网络有n 个输入神经元。m 个输出神 经元( 二类模式识别输出通常取1 个神经元) 则该网络对应于一个函数f r ”斗r “ ，若用口表示所有权值、阈值等可调参数的集合，a 表示该集合的取值范围则神经 网络的学习过程就可看作通过选择一个最优，来确定函数( x ，) 。这样如果求出 该函数集的v c 维，就得到了神经网络的v c 维。由于神经网络的v c 维取决于网络的 参数，而这又由神经网络的拓扑结构确定，因此神经网络的v c 维与拓扑结构之间有必 然的联系。如果在给定训练集的情况f 如能求出网络的v c 维，则可以帮助确定网络 的结构，反之。在给定网络结构的情况下。如能求出网络的v c 维，则可确定合适的训 练集的规模。因此v c 维对于神经网络的性能的确定有着非常重要的作用。 下面我们将针对用于两分类前馈网络从网络的几何角度出发探讨其v c 维。 3 3 神经网络的几何解释 在神经网络中常用的激活函数有 ( 1 )阈值函数 m ，书拦 ( 2 ) s i g m o i d 函数( s 形函数) ( 4 ) 双曲正切函数 我们首先考虑一种特殊的 前馈神经网络一单层感知船。 单层感知器是指只有一层 计算单元的的感知器，其 结构如右图： f ( x ) = 击 i + e 他) - l a n h ( 加筹 x l _ ：亍 x n d l 0 ， 0 m 圈十单层感知器 图中的输入层也成为感知层，有n 个神经元节点，这些。霄点负责引入外部信息，自身无 信息处理能力；输出层有m 个神经元节点，每个节点均有信息处理能力。两层之间的 连接权值用权值列向量眠表示，i n 个权向量构成单层感知器的权值矩阵。因此输入、 输出、权值这三个列向量分别表示为 x = ( z 1 ，x 2 ，z ，x h ) 7 0 = ( 0 i ，0 2 ，o ，d 。) 1 w = ( w l ，w 2 j ，) 7 ，j = l ，2 ，m 此时网络的输出为；o j = ( 坳而一够) ，其中够为神经元j 的闽值。 f 为阈值函数。 于是有： ll 窆x ，一嘭o o j = 0 w q x ，一q o l，一1 下面考虑单计算节点感知器的分类功能 ( 1 ) 当输入向量x = ( 一，z 2 ) 时，两个输入分量在几何上构成一个二维平面，节点j 的输出即为： f 1 w l ，_ + w 2 ，x 2 一口，0 q 2 1oi 一+ w 2 ：p 彰 o 则由方程，+ w 2 一q = 0 确定的直线成为二二维输入模式空间上的一条分界线线上 方的样本用衰示t 它们使j + 心j 一只0 从而使输出为1 ，线下方的 样本用。表示它们使+ w 2 ，- o , o 从而使输山为0 ：见下图 。 。 t 00 0 r 0 图十一单计算1 卜点感知器对二维样本的分类 显然，由感知器权值和阈值确定的卣线疗样规定了分界线在模式空问的位置，从而也确 定了如何将输入样本分为两类。 ( 2 ) 当输入向最x = ( x 19 x 2 ，_ ) 7 时，3 个分量的输入分量在几何上构成了一个三维 向量。节点j 的输山为： q = ：w u ，一x i + + w w ：2 ，j x x ：2 + + 嵋w 3 ，j 屯x 3 一- - 岛口j -