（计算机应用技术专业论文）基于人工免疫网络的神经网络集成方法及其应用研究.pdf

上海大学硕士学位论文 摘要 从2 0 世纪9 0 年代中期开始，有关神经网络集成的理论研究受到了极大的 关注和重视，大量研究者涌入该领域，理论和应用成果层出不穷，使得神经网 络集成成为目前国际机器学习和神经计算界的一个相当活跃的研究热点。其理 论研究主要集中在提高集成的多样性。 同时人工免疫网络作为一门新兴的人工智能学科，也得到了长足的发展， 涌现了许多人工免疫算法，出现了许多人工免疫网络算法的应用实例。 本文开展了基于人工免疫网络算法的神经网络集成技术及其应用研究，提 出了一个基于人工免疫网络的神经网络集成方法a i n e n ( m i f i c i a lh i 】m 硼e n 咖l ，o r kb a s e dn e u r a ln e 噼o r ke i l s 铘l b l e ) ，并探讨了其在隧道施工地表沉降预测 中的应用。 文中首先介绍了神经网络集成的国内外发展状况，并分门别类的介绍了神 经网络集成方法，重点介绍了选择性神经网络集成，因为选择性集成是本文的 理论基础。同时介绍了一个经典的选择性集成方法g a s e n ，并指出这种被动型 集成方法的不足，在此基础上提出了一种主动型神经网络集成。另一方面，由 于人工免疫网络也是本文的理论基础，所以又介绍了人工免疫算法，其中重点 是人工免疫网络理论及其经典算法a i n e t ，在这里也指出了a i n e t 算法存在的 两个不足，一个是不区分b 细胞和抗体，一个是变异算子不能快速的收敛。 在介绍了以上两个理论的基础上，论文提出了a i n e n 神经网络集成方法， 并介绍了该方法的基本思想以及针对上面提出的两个不足的地方的解决方案， 给出了实现的详细步骤。然后将a i n e n 与g a s e n 算法在标准数据上做了包括实 验分类和回归的对比实验。实验结果表明a i n e n 在回归实验和分类比较多的实 验中得到的泛化误差比g a s e n 要低很多。在分类比较少的实验中，a i n e n 的泛 化误差和g a s e n 的泛化误差差不多。 最后本文分析了隧道施工地表沉降预测问题，并建立了对应的预测模型， 然后在m a t l a b 上，按照a i n e n 方法的思想进行了实验，取得了较好的应用效果。 关键词：神经网络集成，人工免疫网络，隧道纵向沉降 v 上海大学硕士学位论文 a b s t r a c t t h es t u d yo fn e t w o r ke n s e r n b l e l c o r yh a sa t t r a c t e dg r e a ta 竹e n t i o n 锄dc 0 n c 锄 s i i l c em i d - 19 9 0 s a l o n gw i t l lt l l el 鹕em l l i l b e ro fr e s e a r c h e r s j o i l l i n gi i lt l l ef i e l d ，t l l e l e 0 d ra n da p p l i c a t i o no fm er e s e a r c hr e s u l t sh a v ep u b l i s h e do n eb yo n e ，b r i n 百n g m en e u r a ln e t w o r ke i l s 翎曲1 et 0av e r ya c t i v eh o t s p o ti i li n t e r i l a t i o i l a lm a c l l i n e l e a n l i n ga n dn e m mc o m p u t i n g i t st l l e o r e t i c a ls t u d yf o c u s e do ni i n p r 0 v i n gm e d i v e r s i t yo fe n s 锄b l e a t l es 锄et i m e ，a r t i f i c i a li m m _ u n en e t w o r k ，弱an e w d i s c i p l i n eo fa n i f i c i a ln e l l i g 铋c e ，h 嬲d e v e l o p e db yl e a p sa n db o u n d s m a l l y a r t i f i c i a li 加m u n ea l g o r i t l l r n sw e r ep r o d u c e d ，觚dan u m b e ro fa p p l i c a t i o ne x a l 玎【p l e s o fa r t i 6 c i a li m m u n en e m o r kw e r e 嘎l b l i s h e d t 1 1 i sp a p e rc 戤矗e do u tm er e s e 硼c ho na r t i f i c i a li n u n u n en e t w o r kb a s e dn e u r a l n e t w o r ke i l s e m b l et e d m o l o 翟；y 趾di t sa p p l i c a t i o n w bp r o p o s o dan e u r a ln 印7 i r o r k 铋s e m b l em e t l l o dn 锄e da i n e n ( a n i f i c i a lh r 吼u n en e 觚o r kb a l s e dn e u r a ln e 帆o r k e n s 锄b l e ) b a s e do na na r t i f i c i a li m m u n en e t 、阳r k ，a n de x p l o r e di t sa p p l i c a t i o no n s u r f a c es u b s i d e i l c ep r e d i c t i o no f t b n n e lc o n s 仃u c t i o n a tf i r s t ，m ep a p e ri n t r o e l u c e d 1 ed e v e l o p m a l ts i t u a t i o no fr l e u r a ln e 铆o r k e i l s a n b l ea t1 1 0 m e 锄da b r o a d ，l i s t e d l en 唧a ln 鲍v o r ke n s e m b l ea p p r o a c hb y c a t e g o r y ， 趾df 0 c l l s e do ns e l e c t i v en e l l r a ln e t w o f ke n s e n l b l e ，b e c a u s es e l e c t i v e e n s e m b l ei s t l l et l l e o r e t i c a lb a s i so f l i sp a p e r a tm es a m et i m ew ei n t r o d l c e da c l a s s i cs e l e c t i v ei n t e 野a t i o nm e t h o d 彻m e dg a s e n ， 锄dp o i i l t e do u ti t s i 1 1 a d e q u a t e n e s so fp a u s s i v ei i l t e 霉a t c d o nn l eo m e rh 觚d ，a na n i f i c i a lj m m u n e a _ 1 9 0 r i t b m ，p a n i c u l a r l yac l a s s i c a la l g o r i t h ma i n c t ，i si n t r o d l l c e db e c a u s em e a r t i 矗c i a li m m u n ei l e t w o r l ( i sm em e o r e t i c a l1 0 u 1 1 d a t i o no fm ep a p e r w bp o i n t e do u t m ei i l a d e q u a t e i l e s so fa i n e t o n ei st l l a tt 1 1 e r ei sn 0d i s t i i l c t i o nb e t w e e nbc e n s 觚d 锄t i b o d i e s ；t l l eo t h e ri st l l a t 血ec o n v e r g 锄c eo fm u t a t i o no p e r a t o ri sn o tr a p i d e n o u 曲 a r e ri i l n o d u c i n gm et w ot l l e o r i e sm 饥t i o n e da b o v e ，a i n e ni sp u tf o n ) l r 蕊 w h i c hi san e l l l a ln e t w o r ki n t e 野a t i o nm e t l l o d t h ep a p e ri n t r o d u c e dm eb a s i c t h i n k i n go ft l l em e m o d ，m es o l u t i o nf o r 也et w oi n a d e q u a t e i l e s so fa i n e t 锄dt l l e d e t a i l e ds t e p so fm ea l 留o r i t h m t w oc 0 h l p a r ee x p e r i m c i l t sw e r ec o n l p l e t e db a s e do n t l l es t a l l ( 1 a i l td a t af o ra i n e na n dg a s e n t h ee x p e r i m e n t s 证c l u d et l l ec l a s s i f i e d e x p 舐e n c ea i l dt l l er e 野e s s i o ne x p e r i m e n t t h ee x p e r i m e n tr e s u l t ss l o wt 1 1 a tm e g e l l e r a le r r o ro fa i n e ni sm u c hl o w e rt 1 1 a n l eo n eo fg a s e ni l lr e 2 r e s s i o n e x p 咖e n t 觚dn l ec l a s s i f i o de x p e r i m e n tw i n lm u c hm o r ec l 嬲s e sn d e dt 0b e c a l s s i f i e d t l l eg e n e r a le n o ro fa i n e na i l dg a s e ni so nm es 锄el e v e l 访t l l e c l a s s i 6 e de x p 耐m e n tw i lf e w e rc l a s s e sn e e d e dt ob ec l a s s i f i e d f i i l a l l y ，m e1 、m n e lc o n 鼬m c t i o ns l 】r f a c es u b s i d e n c ep r e d i c t i o nq u e s t i o ni s a i l a l y s e d w ee s t a b l i s h e dt l l ec o r r c s p o n d i n gp r e d i c t i o nm o d e l ，觚dm e nd i dm e e x p 甜m e n t sf o l l o w i n gt h et h i n l ( i n go f a i n e ni i lm a t l a b ，a c l l i e v e dg o o de 艉c t k e y w o r d s ： n e u r a ln e 铆o r k 硒s e m b l e ，a n i f i c i a li m m u n en e t 、o r k ，t u 衄e l v e n i c a ls u b s i d c l l c ep r e d i c t i o n 上海大学硕士学位论文 原创性声明 本人声明：所呈交的论文是本人在导师指导下进行的研究工作。 除了文中特别加以标注和致谢的地方外，论文中不包含其他人已发 表或撰写过的研究成果。参与同一工作的其他同志对本研究所做的 任何贡献均己在论文中作了明确的说明并表示了谢意。 签名：呈缝垒犟日期：巡丝：三：够 本论文使用授权说明 本人完全了解上海大学有关保留、使用学位论文的规定，即： 学校有权保留论文及送交论文复印件，允许论文被查阅和借阅；学 校可以公布论文的全部或部分内容。 ( 保密的论文在解密后应遵守此规定) 期： 上海大学硕士学位论文 第一章绪论 1 1 课题研究的目的和意义 随着经济的发展，城市交通压力越来越大，地下交通在城市交通中发挥了 很大的作用n 1 ，从国外来看，美国纽约市地铁在世界上运营线路最长( 4 4 3 公 里) ，车站数量最多( 5 0 4 个) ，每天接待5 1 0 万人次，每年接近2 0 亿人次。在 国内，上海今年以来轨道交通网络运营客流增势迅猛，卜8 月，全市轨道交通 日均客运量达到2 1 4 8 万人次，较去年同期增长2 5 6 。进入9 月份，日均客 流提升至2 3 2 9 人次，较去年同期增长2 3 7 。 随着地下空间开发的程度不断加深，盾构法隧道施工在城市建设中发挥的 作用也日益增大。但盾构法在上海这样的软土地层中掘进隧道会引起地层移动 而导致不同程度的沉降和位移，由于施工技术质量及周围环境和岩土介质的复 杂性，即使采用最先进的盾构法，其施工引起的地层移动也不可能完全消除。 当地层移动和地表变形超过一定的限度时，就会影响到盾构隧道和地表建筑物 的正常使用和安全运营。尤其对于城市地铁，盾构法掘进的隧道一般都穿越城 市中心地带，由于地面建筑物密集，地下管网密布，地面交通繁忙等各种条件 的限制，盾构施工对环境的控制要求更为严格。因此，在施工过程中，正确预 测可能发生的地面变形，以便选择合理的沉降施工控制技术是使工程顺利进行 的重要保证。本课题的内容之一，就是研究一种基于人工免疫网络的神经网络 集成方法a i n e n ，并将该方法应用到盾构施工地面沉降预测中。 1 2 国内外研究概况 1 2 1 神经网络集成 1 9 9 0 年，h a n s e n 和s a l 锄o n 2 1 开创性地提出了神经网络集成( n e u r a ln e t w o r k e n s e m b l e ) 方法。他们证明，可以简单地通过训练多个神经网络并将其结果进行 合成，显著地提高神经网络系统的泛化能力。由于该方法易于使用且效果明显， 上海大学硕士学位论文 即使是缺乏神经计算经验的普通工程技术人员也可以从中受益，因此它被视为一 种非常有效的工程化神经计算方法。在h a n s e n 和s a l 锄o nn 1 之后，很多研究者都 进行了这方面的研究。但研究工作主要集中在如何将神经网络集成用于具体的应 用领域。从2 0 世纪9 0 年代中期开始，有关神经网络集成的理论研究受到了极大的 关注和重视，大量研究者涌入该领域，理论和应用成果层出不穷，使得神经网络 集成成为目前国际机器学习和神经计算界的一个相当活跃的研究热点。 k e a r n s 和v a l i a n t 指出，在p a c 学习模型中，若存在一个多项式级学习 算法来辨别一组概念，并且辨别正确率很高，那么这组概念是强可学习的；而如 果学习算法辨别一组概念的正确率仅比随机猜测略好，那么这组概念是弱可学习 的。k e a r n s 和v a l i a n t 提出了弱学习算法与强学习算法的等价性问题，即是否可 以将弱学习算法提升成强学习算法。如果两者等价，那么在学习概念时，只需找 到一个比随机猜测略好的弱学习算法，就可以将其提升为强学习算法，而不必直 接去找通常情况下很难获得的强学习算法。上述等价性问题可视为神经网络集成 思想的出发点。1 9 9 0 年，s c h a p i r e 5 1 通过一个构造性方法对该问题作出了肯定 的证明，其构造过程称为b o o s t i n g 。在神经网络集成的研究中，始终存在着两方 面的内容：一方面，研究者们试图设计出更有效的神经网络集成实现方法，以直 接用于解决问题；另一方面，研究者们试图对神经网络集成进行理论分析，以探 明这种方法为何有效、在何种情况下有效，从而为实现方法的设计提供指导。除 此之外，还有很多研究者将神经网络集成应用到实际问题域中，取得了很好的效 果。 目前神经网络集成技术也在很多领域中得到了成功的应用。 南京大学周志华与微软中国研究院的合作者一起，将神经网络集成用于图 像在深度方向上发生偏转的多姿态人脸识别“1 ，将预测结果分解成多个特征向 量的加权和，建立多视角特征空间，为每一视角的特征空间各训练一个神经网 络，用另一个神经网络对其结合。 s k m s h 0 1 1 i 和i n 仃a t o r 利用神经网络集成进行地震波分类7 1 ，他们采用了二 级集成方式，地震波信号的三种不同表示分别被输入到采用不同网络结构的三 个集成中，每个集成都被赋予一个可信度，第二级集成就以该可信度为权值， 2 上海大学硕士学位论文 通过加权平均对第一级的三个集成进行结合。 l i i l e r ，r a m a n u j 锄，g 1 1 0 s h 等用i m f 网络集成进行早期癌细胞检测8 。 此外，神经网络集成还在语言识别、文本过滤、疾病诊断等多个领域成功地得 到应用。 在神经网络集成的研究中，也存在很多待解决的问题。例如，现有研究成 果表明，当神经网络集成的个体网络差异较大时，集成效果较好，但如何获得 差异较大的个体网络还值得进一步探索。另外，神经网络集成在训练样本上产 生个体网络，训练样本的有限性以及如何尽可能充分利用训练数据等问题也都 是值得研究的重要课题。 1 2 2 人工免疫算法 目前关于免疫算法与免疫工程应用方面的研究己有很多，人工免疫系统与 算法的应用研究己经涉及到了很多重要领域，如优化问题求解“1 0 1 、欺骗检测 n 、异常检测“明、计算机与网络安全1 3 1 4 1 、机器人控制n 钉、模式识别1 6 1n 、 数据挖掘1 8 1 9 1 、机器学习9 1 6 1 以及故障检测与耐受伽2 等。在人工免疫系 统研究方面，国外代表性的工作包括：f o 仃e s t 等人于1 9 9 4 年基于生物免疫系统 中t 细胞的产生过程提出了一种异常检测算法，即阴性选择算法1 盯。d a s g u p t a 等人基于阴性选择算法提出了一种时序数据异常检测算法n 2 1 和实值阴性选择算 法吻1 。m 等人评估了阴性选择算法在网络入侵检测中的作用n 钉。d e c a s 们 等人基于生物免疫系统的克隆选择学说提出了一种免疫学习算法，即克隆选择 算法阳1 。m u s i l e k 等人基于免疫克隆选择原理提出了一种免疫编程算法，并将其 用于函数建模方面砰。n i c o s i a 和t i i 砌i s 等人依照克隆选择原理提出了一种用 于蛋白质结构预测问题( p s p ：p r o t e i i ls 咖c n 珊p r e d i c t i o n ) 的免疫算法2 。t 觚g 提 出了一种多值免疫网络模型协1 ；t i m m i s 等人基于免疫网络调节理论指出，基 于免疫网络的数据分析是可行和有效的，并提出了包括资源受限的r j a i s 算法 在内的多个免疫网络算法；d e c a s 缸d 研究了基于免疫网络模型a n e t 的高维原 始数据聚类分析n 钉；飚m 等人将静态克隆选择、动态克隆选择、基因库进化和 阴性选择结合在一起进行了大量的研究工作“；g o n z a l e z 等人提出了一种自适 上海大学硕士学位论文 应阴性选择算法，主要思想是采用自适应变异技术来调节检测器集合进化过程 中的变异概率阳1 ；t i n u n i s 等人研究了用于阴性选择的各种不同的检测器生成方 法，并对比分析了时间与空间复杂度m 1 。 在国内，中国科学技术大学的王煦法教授率先开展了人工免疫方面的研究， 主要研究免疫遗传算法、进化硬件、入侵检测、优化计算等领域汹3 7 1 。目前在 人工免疫系统研究方面的团队除了王煦法教授领导的小组外，西安电子科技大 学、哈尔滨工程大学、浙江大学、武汉大学、西安交通大学、四川大学、华中 科技大学等多所国内高等院校均有研究人员专门从事该领域研究。其中，西安 电子科技大学焦李成教授提出了具有较完备理论基础的免疫克隆算法及一系列 改进算法，在国际上较早提出了新颖的免疫遗传算法汹3 盯；武汉大学梁意文教 授在计算机免疫系统方面进行了一定的研究m 1 “；四川大学李涛教授在计算机 免疫系统方面的研究也很引人注目心1 ；哈尔滨工程大学莫宏伟副教授在免疫计 算数据挖掘应用方面进行着有益的探索，编辑出版了国内该领域的第一本著作 4 3 1 。目前国内免疫计算研究的主要特点和优势是在免疫优化算法及理论方面以 及计算机免疫系统方面。虽然人工免疫系统己经被广大研究者逐渐重视，然而 在免疫机理的认识、免疫算法的理论数学基础、免疫算法的设计与工程应用方 面的研究都还处于一个比较低的水平，值得我们的进一步研究。 1 2 3 盾构风险知识管理及盾构沉降预测 自上个世纪7 0 年代以来，在隧道及地下工程领域，风险分析的应用研究取 得了一定的成果，科技工作者和工程技术人员分别从风险规划、风险识别、风 险评估、风险分析、风险决策、风险应对和风险监控等方面进行了广泛的研究。 美国m i t 的e i l l s t e 证h h 教授是较早从事隧道工程风险分析的代表人物，他利 用可靠度方法对岩石隧道工程进行了风险分析和决策的研究并撰写多篇有价值 的文献。主要贡献是指出了隧道工程风险分析的特点和应遵循的理念，诸如 g e 0 1 0 西c a lm o d e lf o rt u 衄e lc o s tm o d e l ( 1 9 7 4 ) 。在e i l l s t e i i l 研究的基础上，剑 桥大学的s a l a z 筑gf ( 1 9 8 3 ) 脚卜在其博士论文“隧道设计和建设中的不确定性 以及经济评估的实用性研究中，将不确定性的影响和工程造价联系起来。 4 上海大学硕士学位论文 另外，风险分析在隧道工程方面得以迅速的应用。b n i l s e i l ( 1 9 9 2 ) 1 等 对复杂地层条件下的海底隧道的风险进行了相对深入地研究。国际隧协( m ) 委员h e i i l z ( 1 9 9 6 ) 对穿越海峡的隧道、穿越阿尔卑斯山的隧道如何进行风险 评估进行了探讨。2 0 0 2 年t o n o n 和m a m m j n o 等“利用模糊理论和随机理论研 究了隧道工程建设中风险分析和决策的多目标优化问题。 此外，在隧道建设中采用风险管理的方法对隧道推进对周围环境如道路房 屋的影响评估进行了研究。其中的代表人物是英国剑桥大学的b u n a n d j b 。他 从工程项目角度出发，从风险评估的项目实施中寻求规律。其主要贡献在于对 隧道工程对环境影响的评估上给出了评估方法和程序，并将该研究成果应用于 伦敦j u b i l 线路延伸工程中，在线路规划阶段就计算出沿线建筑物可能造成的 损伤情况并给出了相应的加固措施。 可以看出，风险管理在隧道工程中的应用研究在欧洲己经相当普遍，己成 为隧道及地下工程领域必须实施的一项重要内容。 我国在隧道及地下工程的风险管理研究方面由于工程的研究和实践时间相 对比较短、风险管理的应用研究还比较少；即使研究也是仅从管理方面进行的 初步研究。 同济大学的丁士昭教授4 8 对我国广州地铁首期工程、上海地铁一号线工 程等地铁建设中的风险和保险模式进行了研究。上海隧道设计研究院的范益群 博士蚰1 以可靠度理论为基础，提出了地下结构的抗风险设计概念，计算出基坑、 隧道等地下结构风险发生的概率以及定性评价风险造成的损失，并提出改进的 层次分析方法；香港的l m c f c a t s m i t l l 嘲1 提出了亚洲复杂地质条件下隧道工 程的风险评估模式，根据发生频率的高低将风险分为五级，根据风险发生影响 后果也将风险分为五级。上海大学的胡珉博士等人脚1 根据隧道盾构施工的特点， 将多极神经网络应用到盾构施工参数控制，建立了相应的模型。 黄宏伟等脚1 开展了在地铁建设和运营阶段的风险管理研究，给出了地铁不 同阶段中的风险因素、分析和控制的整体思路；杨林德“5 1 等用可靠度理论对隧 道管片构件耐久性失效风险进行了研究；陶履彬“7 1 等从技术的可行性和工程的 可造性方面进行风险分析，对长江口越江工程桥隧方案进行比选风险评估；苏 5 上海大学硕士学位论文 燕哪! 研究地层作用下隧道及其周围上层的动力可靠性，针对上海某越江隧道风 险评估提出了隧道抗震风险评估的基本思路并提出相应的防震控制措施。 可以看出，目前风险管理在我国隧道及地下工程领域已经得以实质性的应 用，取得的部分成果己经服务于工程项目的决策。在这样的形势下，中国土木 工程学会隧道及地下工程分会风险管理专业委员会也于2 0 0 4 年1 1 月成立，标 志着我国隧道及地下工程的风险管理在逐渐步入稳步发展的道路。 1 3 本文的内容安排 本论文是以作者攻读硕士学位期间承担课题的工作为基础，将所学理论应 用于工程实践的研究结果。主要研究内容如下： 第一章阐述了课题研究目的、意义以及神经网络集成、人工免疫算法和基 于神经网络的规则抽取的国内外研究现状。 第二章阐述了神经网络集成方法的分类，其中包括结论生成方法和个体生 成方法的分类。对于个体生成方法重点介绍了b a g 百n g 方法，接下来介绍了选 择性集成，重点介绍了g a s e n 算法，然后提出了该算法不足的地方。 第三章阐述了人工免疫的相关知识。人工免疫是近年来兴起的又一门以自 然规律为基础的人工智能学说，本章首先介绍了自然免疫与人工免疫，并介绍 了人工免疫的三大主要理论，其中包括免疫进化算法、阴性选择算法和人工免 疫网络。本章还以人工免疫网络为主，重点介绍了n e t 算法，并指出对a i n e t 进行改进的地方，以适用于后面进行的神经网络集成。 第四章提出了基于人工免疫网络的神经网络集成方法a i n e n 。本章首先介 绍了a i n e n 的基本步骤，其中的一些基本概念，然后介绍了方法中的一些运算， 最后将其与g a s e n 方法进行实验对比，包括分类实验和回归实验，分析了该 方法在某些方面优于g a s e n 的原因。 第五章探讨了a i n e n 方法在盾构风险知识管理系统中的应用。本章以本人 攻读研究生期间参与的“盾构风险知识管理系统为基础，将a i n e n 方法应用 到系统中，用于预测盾构推进过程中的隧道纵向沉降。 第六章总结了本文的研究成果，并对该领域未来的发展情况做了简单介绍。 6 上海大学硕士学位论文 1 4 小结 本章介绍了本课题研究的目的和意义，介绍了神经网络集成、人工免疫网 络以及盾构风险知识管理及盾构沉降预测的国内外研究概况，最后简单介绍了 本文的主要内容。 7 上海大学硕士学位论文 第二章神经网络集成 2 ：l 神经网络集成概要 在机器学习领域，很多研究者致力于p a c ( p r o b a b l ya p p r o x i 髓t e l y c o r r e c t ) 学习模型的研究。在p a c 学习模型中，学习算法通过一些关于未知概 念的例子来对概念进行学习。k e a r n s 和v a l i a n t 指出，在p a c 学习模型中，若 存在一个多项式级的学习算法来识别一组概念，并且识别正确率很高，那么这 组概念是强可学习的；而如果学习算法识别一组概念的正确率仅比随机猜测的 略好，那么这组概念是弱可学习的。k e a r n s 和v a l i a n t 还提出了弱学习算法和 强学习算法的等价性问题，即是否可以将弱学习算法提升成强学习算法。如果 两者等价，那么在学习概念时，只需要找到一个比随机猜测略好的弱学习算法， 就可以将其提升为强学习算法，而不必直接去找通常情况下很难获得的强学习 算法。 上述等价性问题可视为神经网络集成思想的出发点。通过神经网络集成的 方法，我们可以找到强弱学习算法之间的一种转化途径。分类器或神经网络的 集成通常要比单个的分类器或神经网络更精确，而且集成能获得更好的泛化能 力。神经网络集成比构成集成的任一个个体( 即单个神经网络分类器) 有更高 的精度的充要条件是： 个体有较高的精度( a c c u r a t e ) 并且个体是互不相同的( d i v e r s e ) 。 其中，个体有较高精度是指：对一个新的数据进行函数逼近或分类，它的 误差率比随机猜测要好；而两个个体互不相同是指：对于新的数据点进行函数 逼近或分类，它们的误差率不同。对该充要条件的说明如下例所示。 假设有三个分类器的集成慨，j j l z ，i l ， 以及一个新的事例x 。如果三个分类器 是等价的( 与互不相同的概念相对应) ，那么当( x ) 错误分类时，( 力、j 1 3 ( x ) 的分类结果也是错误的。而如果分类器的误差率是不相关的，那么，z l 【砷分类结 果错误时，坞( 力、坞( 功有可能是正确的，这样用多数投票法可能对x 正确分类。 8 上海大学硕士学位论文 更精确一些来说，如果假设空间r 上的分类器呜的错误分类率都是p l 2 ，并 且错误率不相关，那么多数投票法分类错误的概率服从错误率大于r 2 的二项 分布。 图2 12 1 个分类器错误分类的概率分布图 由2 1 个分类假设构成的集成的模拟结果如图2 1 所示。如果图中每个分类 器的错误率为0 3 ，那么可以看到1 1 个以上的分类假设同时出错的概率为 o 0 2 6 ，远比单个分类假设出错的概率要少。 2 仁丧。眇”矿j - o 嘶 p - o 3 亿， 当然如果单个分类假设互不相关的错误率大于0 5 ，集成的错误概率也会 增加。因此，集成方法能否奏效的一个关键也在于构建错误率低于o 5 的互不 相关的分类器。 数学家们也已研究证明，个体有合理的竞争性，而集体的评判优于个体。 在实践中可以构建性能良好的神经网络集成，来获得比单个网络好的学习 性能和泛化能力。上述结论可以从下列两个角度进行分析： 2 1 1 算法计算( c o m p u t a t i o n ) 很多学习算法通过进行局部搜索获得问题的解，因此也容易陷入局部极小 9 上海大学硕士学位论文 值。例如，神经网络学习算法用梯度下降的方法使训练集上的误差函数值最小， 决策树算法用贪心法则生成决策树。在这些例子中有足够多的训练数据，但从 计算的角度来说，学习算法仍然很难找到假设空间的最佳假设解。实际上，神 经网络和决策树的优化训练都是n p 问题。 如图2 2 所示，集成通过从不同的出发点开始局部搜索，和单个的分类器 相比，可以对未知函数给出更好的逼近效果。 c o m p u t a i o 船l h 图2 2 从算法计算角度进行分析的示意图 2 1 2 表示法( p r e s e n t a t i o n ) 在机器学习的大多数应用当中，函数f 不能被空间h 中的任何一个假设所 表示。如图2 3 所示：通过对空间h 得出的假设结果加权求和，可能扩展要表 示的函数空间，即泛化能力的增强。 对假设空间h 有很多学习算法，因此表示法的论点有些微妙。例如，神经 网络和决策树都是很灵活的算法。给出足够的训练数据，它们将探测到所有可 能的假设空间，对此渐进表示原理( a s y m p t o t i cr e p r e s e n t a t i o nt h e o r e m s ) 已得到证明。但对于有限的训练样本，这些算法只能搜索到有限的假设空间， 如图2 3 所示，当它们找到适合训练数据的假设就会停止搜索。 1 0 上海大学硕士学位论文 r e p r 群e n t a t i o n m 图2 3 从表示法角度分析的示意图 这两个方面的分析也体现了现有学习算法不能取得很好的学习效果的两个 主要原因，因此集成方法有理由能够克服现有学习算法在这两个方面的缺陷。 2 2 神经网络集成方法的分类 对神经网络集成实现方法的研究主要集中在两个方面，即怎样将多个神经 网络的输出结论进行结合，以及如何生成集成中的各网络个体。 2 2 1 结论生成方法的分类 当神经网络集成用于分类器时，集成的输出通常由各网络的输出投票产生。 通常采用绝对多数投票法( 某分类成为最终结果当且仅当有超过半数的神经网络 输出结果为该分类) 或相对多数投票法( 某分类成为最终结果当且仅当输出结果 为该分类的神经网络的数目最多) 。理论分析和大量实验表明，后者优于前者。 因此，在对分类器进行集成时，目前大多采用相对多数投票法。 当神经网络集成用于回归估计时，集成的输出通常由各网络的输出通过简单 平均或加权平均产生。p e 玎0 n e 等人认为，采用加权平均可以得到比简单平均更 好的泛化能力。但是，也有一些研究者认为，对权值进行优化将会导致过配 ( o v e r - f i t t i n g ) ，从而使得集成的泛化能力降低，因此，他们提倡使用简单平均。 此外还存在多种结合方式。例如，有些研究者利用神经网络这样的学习系 统，通过学习来对多个预测进行结合；有些研究者通过对一组子网进行进化， 使各子网都可以较好地处理一个输入子空间，从而一步步地进行结合。结论生 上海大学硕士学位论文 成也有多种方式。有的用神经网络这样的学习系统，通过学习来对多个预测进 行合成；有的通过对一组子网进行优化，使各子网都能较好地处理个输入子 空间，从而进一步进行合成；有的使用一些随个体网络输出的确定程度而变化 的动态权值来产生最终的分类；有的以最小化分类误差为标准选择出相对于每 个输出分类的最佳网络，然后估计出最优线性权，将个体网络集成起来形成理 想分类器。 2 2 2 个体生成方法的分类 在生成集成中个体网络方面，最重要的技术是b a g g i n g 4 9 1 和b o o s t i n g 洲。 它们是基于可重复取样技术中的两个代表憔的生成集成中个体网络的方法。 b a g g i n g 方法中，各神经网络的训练集由从原始训练集中随机选取若干示 例组成，训练集的规模通常与原始训练集楣当，训练铡允许重复选取。这样， 原始训练集中某些示例可能在新的训练集中出现多次，而另外一些示例则可能 一次也不出现。8 氇g g 主鞋g 方法逶过重新选取训练集增加了神经网络集成的差异 度，从而提高了泛化能力。b r e i m a n 指出，稳定性是b a g g i n g 能否发挥作用的 关键因素，b a g g i n g 能提高不稳定学习算法的预测精度，丽对稳定的学习算法 效果不明显，有时甚至使预测精度降低。学习算法的稳定性是指如果训练集有 较小的变纯，学习结果不会发生较大变化，例如，l 1 ( j f ) = 弼m l 缸c l a s 施蕊 一 ，d t 蒜x 时 图2 4g a s e n 算法 下面我们以回归任务为例来阐释g a s e n 。 假定第f 个学习器的权重为嵋，w 满足式( 2 4 ) 和( 2 5 ) ，则可写成权向量 w = w l ，w 2 ，】r 。最优权指派将使得集成的泛化误差最小化，根据式( 2 1 5 ) ， 最优权向量可表示为： = 鹕只洫陲叶岛 亿3 2 ， = a r g m i i l l w f 叶岛i ( 2 3 2 ) ” j = l - l， 的第七( 七= l ，2 ，忉个分量w 匆可通过拉格朗日乘子法求解： 式( 2 3 3 ) 可简化为： 由于i 满足式( 2 5 ) ，可得： ( 2 3 3 ) ( 2 3 4 ) 、一 一 一 心 一剑 ，。一 力 一 2 一i 一 一 叫 q 瓦 m 一 掣 旦 诺一 力 = 龆 上海大学硕士学位论文 叼 坨。h = 是产一 ( 2 3 5 ) m 0 矗= 寿- 1 f 一 【z j 6 j g 1 j 皇l _ ，- i 从理论上来说，由式( 2 3 5 ) 就可以直接求出最优权向量，但在真实世界 问题中这却通常是不可行的。这是因为实际的集成中往往会出现相同或相似的个 体学习器，此时相关矩阵( g ) m 不可逆或者为病态矩阵，这就使得式( 2 3 5 ) 难以 求解。 考虑到式( 2 3 5 ) 实际上是一个优化问题，鉴于遗传算法在优化领域所取得的 巨大成功，我们把权向量w = h ，w 2 ，r 作为遗传种群中的个体，利用遗传 算法来产生最优权向量，并通过一个预设阈值对的分量进行筛选，从而 实现学习器的选择。值得注意的是