（控制科学与工程专业论文）基于输出误差曲线差异度计算的神经网络集成.pdf

_，h。 学位论文数据集 学位论文数据集 川l i | | l l i | i i i | 1 1 1 1 | l i i | l i i l l l i l i i l l i i 帅 y 18 7 7 4 8 1 中图分类号 t p 2 7 学科分类号 4 1 3 1 0 论文编号 1 0 0 1 0 2 0 1 1 0 8 0 0密级公开 学位授予单位代码 1 0 0 1 0 学位授予单位名称北京化工大学 作者姓名杨阳 学号 2 0 0 8 0 0 0 8 0 0 获学位专业名称控制科学与工程获学位专业代码 0 8 1 1 0 0 课题来源自选课题研究方向智能控制与神经网络 论文题目基于输出误差曲线差异度计算的神经网络集成 关键词神经网络集成，输出误差，差异度 论文答辩日期 2 0 1 0 5 2 6 论文类型应用研究 学位论文评阅及答辩委员会情况 姓名职称工作单位学科专长 指导教师朱群雄教授北京化工大学智能系统与数据挖掘 评阅人l 楚纪正教授 北京化工大学 过程建模与仿真 评阅人2靳其兵教授北京化工大学先进控制及应用 评阅人3 评阅人4 评阅人5 撇员蝴曹柳林教授北京化工大学流程工业建模与控制 答辩委员1楚纪正教授北京化工大学过程建模与仿真 答辩委员2靳其兵教授北京化工大学先进控制及应用 答辩委员3刘政娟教授北京化工大学过程性能监督与优化 答辩委员4李大字副教授北京化工大学人工智能与先进控制 答辩委员5张金会副教授 北京化工大学 网络化控制 注：一论文类型：1 基础研究2 应用研究3 开发研究4 其它 二中图分类号在中国图书资料分类法查询 三学科分类号在中华人民共和国国家标准( g b t1 3 7 4 5 9 ) 学科分类与代码中 查询 四论文编号由单位代码和年份及学号的后四位组成 摘要 基于输出误差曲线差异度计算的神经网络集成 摘要 神经网络集成通过训练多个神经网络并将其结论进行结合，从而 达到大幅提升网络泛化能力的效果。然而神经网络具有“黑箱子”特 性，绝大多数的研究从网络结构上寻找差异度，具有一定盲目性，并 在一定程度上限制了神经网络集成的发展。因此本文提出了一种基于 神经网络输出误差曲线的差异度定义方法，单纯的从各个网络的输出 误差曲线出发，寻找网络间的差异度，避开了涉及神经网络内部结构 的问题。 本文借鉴了文本匹配中向量相似度的计算方法，并在原有差异度 算法的基础上进行改进，把每个网络的输出误差曲线看作向量，从而 进行差异度的计算。算法避免了传统算法探讨和研究网络内部结果的 缺陷，而直接从网络的输出入手进行差异度的计算，直观且高效简单。 由于原有算法仅仅考虑了网络之间的数值差异，而没有考虑到网 络间的空间差异，因此，本文进而使用聚类算法对原有算法进行改进， 使得算法同时考虑到网络间的数值和向量差异，从而取得了更好的效 果。 作为测试，选取了3 组标准u c i 数据集，对算法进行检验，并 把实验结果与经典的b a g g i n g 算法作为比较，通过实例验证了本方法 的有效性及优越性，取得了很好的成果。p t a 作为日常化工重要原料， 对国民经济起着重要的决定因素，本文最后使用一组p t a 工厂实际 生产的数据对算法进行测试。通过建模测试，发现本文提出的算法在 实际工业数据中依旧具有很高的稳定性和优越性，为神经网络集成发 展提供了一种新思路。 关键词：神经网络集成，差异度，聚类，文本匹配，p t a ，u c i a b s t r a c t an e u r a ln e t w o r ke n s e m b l em e t h o dw i t hn e wd e f i n i t i o no f d i v e r s i 够b a s e do no u t p u te r r o rc u n r e a b s t r a c t n e u r a ln e t w o r ke n s e 如【b l ec 锄 s i g n i f i c a n t l yi m p r o v es y s t e m s g e n e r a l i z a t i o na b i l i t yb yt r a i n i n gs e v e r a ln e t 、舳f i 【sa n dc o m b i n i n gt h e i r o u t p u t s h o w e v e r ，b e c a u s eo ft h e “b l a c kb o x c h a r l c t 嘶s t i co fn e u r a l n e 铆o r k ，d e 6 n i n gd i v e r s i t yo ni n n e rs t n l c t u r eh a sc e r t a i nb l i n d n e s s m o r e o v e r ，i t1 i m i t st h ed e v e l o p m e n to fn e u r a ln e t w o r ke n s e n l b l ei ns o m e d e g r e e b a s e do nt h i sp o i n t ，ac e r t a i nm e t h o do fd e f i n i n gd i v e i s i t yb a s e d o nt h eo u t p u t so f1 1 e 1 j r a ln e 咖r o r k si s p r o p o s e d i to n l yc o n s i d e r st h e o u t p u t so fe a c hn 酿o f k ，d e f i n i n gd i v e r s i t yw i t h o u tc o n s i d e r i n gi n n e r s t n l c t l l r eo fn e u r a ln e t w o f i ( s f u n h e n n o r e ，i te x t e n d st h em o u g h t so fm e d e v e l o p m e n to f 如t u r en e u r a ln e t _ w o r ke n s e n l b l e t h i sp a p e rr e f e r sa n di n l p r o v e ss o m ea l g o r i t h mf 如mt e x tm a t c h ， c o n s i d e r se v e 巧n e 咐o r ko u t p u tc u r v ea sav e c t o ra n dc a l c u l a t e sd i v e r s i 哆 t h i sa l g o r i t h l l la v o i d st h ed i s c u s s i o no nn e 俩o t ki n n e rs t m c t u r ea sm o s t 北京化工大学硕士学位论文 t r a d i t i o n a la l g 耐t h m sd o r e s u l t ss h o wt h i sa l g o 删mi sh i g h l y - e 仃e c t i v e b e c a u s eo r i g i n a la l g o r i m mo n l yc o n s i d e r st h ed i v e r s i t yo nt h ev a l u e a n dt h e d i v e r s 毋o nm es p a c ei sn e g l e c t e d ，p 印e ru s e sc l u s t e n n g a l g o r i t h mt oi m p r o v eo r i g i n a la l g o r i t h m t h u s ，a l g o r i t h mc o n s i d e r sb o t h v a l u ea n d s p a c ed i v e r s 时a n db e 仕e rr e s u l t sa r ea c h i e v e d f o r t e s t i n g ，t h e r eu c is t a n d a r dd a t as e t sa r eu s e d c o m p a r e dw i t h t r a d i t i o n a lb a g g i n ga l g o r i t h m ，t h ea l g o r i t h mp r o p o s e di nt h i sp a p e rc a n g e ti n u c hb e t t e rr e s u l t s p t ai so n ei m p o r t a mc o m p o n e n ti nc h e m i c a li n d u s t i nt h el a s t p a n ，p a p e ru s e sa c t u a l i n d u s t r i a ld a t a s e t 舶mp 7 i af a c t o 巧f o rt e s t i n g b y m o d e l i n ga n dt e s t i n g ，i ts h o w sa l g o r i t h mi nm i sp a p e r h a sh i 曲s t a b i l i t y a n d p d o r i 哪 k e yw o i m s ： n e u r a ln e 俩o r ke n s e m b l e ，d i v e r s i 坝c l u s t 甜n g ，t e x t m a t c h ，p 1 a ，u c i 2 1 神经网络的发展5 2 2b p 网络5 2 3 神经网络集成9 2 3 1 神经网络集成原理9 2 3 2 神经网络集成主要研究方向1 1 2 3 2 1 神经网络集成的机理研究1 l 2 3 2 2 神经网络集成中个体生成方式的研究1 2 2 3 2 3 结论生成方式的研究1 3 2 4 选择性神经网络集成13 2 4 1 个体网络的生成策略1 3 2 4 2 选择性神经网络集成：1 4 2 4 - 3 结论生成方式1 5 第三章基于输出误差曲线差异度计算的神经网络集成1 7 3 1 基于输出误差曲线的差异度计算一0 e c s e n ( o u t p u te 盯0 rc u r v eb a s e d s e l e c t i v ee n s 锄b l e ) 17 3 2 差异度的度量方法18 3 2 1 距离差异度测量1 9 3 2 2 差异函数差异度测量19 北京化工大学硕士学位论文 3 3 基于余弦相似度的差异度计算公式2 0 3 4 基于扩展j a c c a r d 相似度的差异度计算公式2 1 3 5u c i 标准数据测试2 2 3 5 1 数据选取及网络生成2 3 3 5 2b a g 百n g 算法2 3 3 5 3 算法具体步骤2 4 3 6 实际试验结果2 7 3 6 1 余弦差异度算法试验结果2 8 3 6 2 扩展j a c c a r d 算法试验结果。3 0 3 7 本章小结一3 3 第四章利用聚类算法改进后的差异度计算j 3 5 4 1 聚类算法改进差异度计算i o e c s e n ( h n p r o v e dq 邱u te n o rc u r v eb a s e d s e l e c t i v ee n s 锄b l e ) 3 5 4 1 1 聚类算法3 5 4 1 2 使用聚类改进原算法的原因3 5 4 1 3k m e a n s 聚类算法。3 6 4 2 聚类改进差异度具体算法一3 7 4 3 实验结果3 8 4 4 本章小结4 l 第五章应用实例4 3 第六章总结4 7 6 1 研究总结一4 7 6 2 未来研究展望4 8 参考文献51 致谢。5 3 2 目录 研究成果及发表的学术论文5 5 作者和导师简介5 7 2 3 1p r i n c i p l eo f n e r a ln e i = 、) l ，0 r ka l s 锄曲l e 。9 2 3 2r e s e a r c hb r a n c ho fn e 阳r a ln e r ke n s e i n b l e 11 2 3 2 1m e c h a n i s mr e s e a i c ho nn e u r a ln e t w o f ke ：l l s 锄b l e 1l 2 3 2 2r e s e a r c h0 ng 吼e r a t i o nm e n l o d so fi n d i v i d u a lr l e 铆o r k 12 2 3 2 3r e s e a rc _ ho ng e n e m t i o nm e t l l o d so f n e t w o r ko u t p u t 1 3 2 4s e l e c t i v en e u r a ln e t 、) i r o f ke n s e n l b l e 。13 2 4 1g e i l e r a t i o ns 仃a 垂e g ) ro f i i l d i d u a ln e 帆o r k 1 3 2 4 2s e l e c t i v en e u r a ln e t w o r l 【e n s e n l b l e 1 4 2 4 3g e i l e 枷o nm e 1 0 d so f n e t 、) i ，o r k 帅u t 1 5 c h a p t e r3n e u r a ln e t w o r ke n s e m b l ew i t hn e wd e 6 n i t i o nm e t h o d b a s e do no u t p u te r m rc u r v e 1 7 3 1d i v e r s i t yc a l c u l a t i o nb 嬲e do no u t p u te r r o rc u r v e 1 7 3 2m e a s u r 锄e n to fd i v e r s i t 、r 。18 3 2 1d i s t a n c ed i v e r s i t vm e 鹊u 懈n 胁t 1 9 3 2 2d i v e r s i t v 如n c t i o nm e a 吼l r e i n a l t 19 3 3d i v e r s 埘c a l c i l l 撕o nb 嬲e d0 nc o s i i l es i m i l 撕2 0 3 4d i v e ：f s i 够c a l c u l a t i o nb 舔e do ne x t e i l s i v ej a c c a r ds i i l l i l a i i t y 2 2 3 5u c is t 锄d a r dd a t at e s t 。2 2 北京化工大学硕士学位论文 3 5 1d a t as e l e c t i o na 1 1 dn e t w o r kg e r a l i z a t i o n 2 3 3 5 2b a g 舀n ga l g o r i t l l m 2 3 3 5 3s t 印o f b a g 百n ga l g o r i m m 2 4 3 6t b s t i n g 麟 u l t s 2 7 3 6 1t e s t i n g 姗l t so fc o n s i a l g o r i t h m 2 8 3 6 2t e s t i n g 瞅m l t so fe x 锄塔i v ej a c c a r da 1 9 0 r i l i n 3 0 3 7c h 印t e r 跚【m m 孤y 3 3 c h a p t e r4i m p r o v e dd i v e r s i t yc a l c u l a t i o nb a s e do nc l u s t e r i n g 3 5 4 1h n p r o v e dd i v e r s 时c a i c u l a t i o nb a s e do nc t 嘶n g 。3 5 4 1 1c l u s t e r i i 玛m e t l l o d 。3 5 4 1 2r e a s o no f u s i n gc l u s t e r i n gm e m o d 3 5 4 1 3k - m e a n sc l u s t e r i n gm e 恤o d 3 6 4 2d e t a i l e da 1 9 0 r i l 】【i lo fi m p r o v e dd i v e r s 时c a l c u l a t i o n 3 7 4 3t b s t i r 培r e s u l t s 。3 8 4 4c h a p t c rs w m a r y 4 l c h a p t e r5a l g o r i t h mu s e si np t af a c t o r y 4 3 c h a p t e r6c o n c l u s i o n 4 7 6 1r e s e a r c hs u m m a 巧4 7 6 2f u t u r er e s e a r c _ ho u t l o o k 4 8 r e f e r e n c e s 51 a c k n o w l e d g e m e n t 5 3 r e s e a r c hr e s u l t sa n d p a p e r sp u b l i s h e d 5 5 a u t h o ra n di n s t r u c t o rb r i e f 。5 7 第一章绪论 第一章绪论 1 1 课题来源及意义 神经网络已经在很多领域得到了成功的应用，但由于缺乏严密理论体系的指 导，其应用效果直接决定于用户的经验。虽然h o m i k 等人【1 】证明，仅有一个非线 性隐层的前馈网络就能够以任意精度逼近任意复杂度的函数，但一些研究者【2 ，3 】 指出，对网络的配置和训练是一个n p 问题。因此在实际的应用中，由于缺乏对象 的先验知识，往往需要经过大量费力耗时的实验摸索才能确定合适的神经网络模 型、算法以及参数设置，并且其应用效果完全取决于使用者的经验。因此1 9 9 0 年，h a i l s e i l 和s a l 锄o n 【n 】提出了全新的神经网络集成的理念，通过简单的将多个 神经网络的结果进行合成，得到比单个网络更高的性能及泛化能力。更重要的是， 这种方法即使是对没有太多实际操作经验的工作人员也能从中受益，因此是一种 极有发展潜力和应用实例的可靠的系统建模方法。 1 2 课题研究的主要内容 对于神经网络来说，其泛化能力是我们最为关注的一个性能，它直接关系着 系统建模的精度和可靠性。神经网络集成通过对多个网络进行集成，得到更高的 泛化精度。本文提出了一种基于输出误差曲线差异度定义的神经网络集成，首先 通过多组标准u c i 数据的测试，取得了比传统b p 网络及一般的神经网络集成方法 更好的结果。再使用实际的p t a 薄膜蒸发器的数据加以建模测试，所建成的模型 具有更高的稳定性及精度，为p t a 生产中存在的问题的解决，提供了便利。 本课题研究的主要内容有： ( 1 ) 由于传统神经网络建模的精度不高，泛化性能不够强，造成实际应用中 采取传统神经网络建模会造成模型不稳定等一系列问题，因此提出使用神经网络 集成的方法解决诸如泛化性低，建模精度不够高、稳定性弱，建模需要大量先验 知识等问题。 ( 2 ) 神经网络集成的方法有很多，最普遍的研究集中于差异度的定义及个体 网络的挑选上。本文通过分析神经网络的特点，得出神经网络内部结构难以深入 探讨的结论，转而从神经网络的输出误差曲线上入手，得到差异度的定义，进而 挑选网络。这种方法避开了研究网络内部结构，仅考虑最直观的输出误差曲线， 方便操作，并且取得了极好的试验结果。 ( 3 ) 把本文提出的方法应用于标准u c i 数据，试验结果表明该方法具有更强 的泛化能力和泛化精度。并利用该方法对p t a 工厂的薄膜蒸发器进行建模，解 决了单个模型精度和泛化能力低的问题。 北京化工大学硕士学位论文 1 3 本文应用的主要技术 l 、神经网络 神经网络作为目前主流的建模方式，有着其独特的优点。特别在建立“黑箱 子”及“灰箱子”模型的问题上，有着明显的优势。相比之下，数学建模虽然能得 到及其高的精度和稳定性，但是在一般的化工过程中，往往难以对一个反应器进 行数学建模。对于一个工业过程来说，更多的是对一个“灰箱子”进行建模，因此， 往往只能得到过程的输入输出变量，因此更适合用神经网络进行建模。由于神经 网络在传统非线性系统的辨识和建模中的巨大优势，在系统建模和辨识中有着极 为广泛的作用。神经网络具有通过学习过程从而无限逼近任意非线性函数的能 力，用在建模与辨识中，可以不受模型线性与非线性与否的影响。 2 、神经网络集成 神经网络在训练过程中，其网络结构的确定及网络权值的初始化都会对最后 网络的性能造成很大的影响。因此训练一个好的网络需要大量的试验，有时甚至 需要一定的先验知识，才能取得较好的结果。而神经网络集成完全避免了这个问 题，通过简单的训练多个网络，并用特定的算法对它们的输出进行合成，就可以 得到比单个网络更好更可靠的结果。在p t a 生产过程中，由于过程工艺及装置的 复杂程度，导致单个网络的泛化性能不尽人意，因此，本文将神经网络集成技术 应用于薄膜蒸发器的建模中，以得到更佳的建模效果。 3 、文本匹配 随着网络应用的发展，搜索引擎的大量使用，文本匹配成为了一个研究的热 点。通过对用户输入查询关键字与数据库的匹配，从而得到令用户满意的结果。 文本匹配在于寻找字段之间的相似度，通过对字段的不同处理，使问题变成解决 寻找向量之间的相似度，这与神经网络集成中的差异度的寻找有异曲同工之处。 只要把能表征神经网络特征的向量找到，就可以使用文本匹配的方法来寻找网络 之间的相似度。 1 4 本文的章节结构 本文的重点在于选择性神经网络集成的研究上，创新地提出了一种基于输出 误差曲线的差异度定义方法，以此为基础选择网络进行集成，并使用大量数据进 行试验证明该方法的有效性。本文后续结构如下： 第二章：神经网络和神经网络集成。 简单介绍神经网络的发展过程，以及其常见算法。神经网络发展了几十年， 一直是一个研究的重点，它有着许多不同的优点与缺点。它的优点很突出，可以 2 第一章绪论 不考虑对象实际的数理结构及机理，仅通过寻找输入输出之间的关系就可以对对 象进行建模。但其缺点同样明显，即需要大量先验知识作为指导，并且泛化性能 有待提高。因此本章紧接着提出了神经网络集成的概念，介绍其发展过程，基本 思想及其显著的优点，以及现在主流的神经网络集成的研究方向和取得的成果。 第三章：基于输出误差曲线差异度定义的神经网络集成。 选择性神经网络集成作为当前神经网络集成最主流的研究方向，其重点在于 网络之间差异度的定义及网络的选取。本文避免了如绝大多数研究者使用的方 法，从网络内部结构入手进行差异度的定义，转而对网络实际输出误差曲线进行 研究，从中定义差异度进行网络的选择。由于神经网络内部结构本身是一个“黑 箱子”，对内部结构的研究缺乏理论体系的支持，并且难以有一个透彻的研究， 得到令人满意的结果。然后网络的实际输出是直观可见的，网络的输出误差曲线 直接表明了各个网络的差异，另一方面，对曲线的研究是极其成熟的，可以借鉴 和参考的算法多不胜数。本章最后给出该算法的测试及试验结果，采用标准u c i 数据对算法进行验证，详细介绍了u c i 数据的属性以及具体算法进行运算的过 程，最后结果显示，算法取得了较好的结果。 第四章：利用聚类算法改进后的差异度计算。由于神经网络集成在差异度的 寻找过程中，与文本匹配中的相似度计算较为相似，因此考虑借用文本匹配的算 法对本文提出的算法进行改进。由于原算法仅仅考虑了网络输出数值上的差异， 而没有考虑到空间上的差异，因此使用聚类算法，对空间上的差异也进行了计算。 最后使用公式把空间差异和数值差异统一起来，形成最终集成差异度的计算。同 样在本章最末给出了改进后的算法在u c i 数据集上的试验结果，结果表明，改进 后的算法比原算法取得更优异的结果。 第五章：算法在p t a 工业装置建模中的应用。 简要介绍p t a 工厂中薄膜蒸发器的工作机理，通过分析薄膜蒸发器的输入输 出结构，确定神经网络的输入输出变量。并将本文提出的算法使用与薄膜蒸发器 的建模中，取得了较高的泛化能力，同单个神经网络及一般的神经网络集成算法 比较，也有很大的提高。 第六章：总结。 本章对所有工作进行了总结，总结了本文的创新之处，也提出了研究中的不 足，最后对未来继续研究的方向提出了一些想法与思路。 3 4 第二章神经网络及神经网络集成 第二章神经网络及神经网络集成 2 1 神经网络的发展 现代的计算机已经发展到具有很强的计算及信息处理能力，但是它对于模式 识别、感知和在复杂环境中作决策等问题的处理能力上却远远比不上人，特别是 它只能按人事先录入的程序按部就班地运行，缺乏学习环境、适应环境的能力。 因此人们自然会想到，大脑的生理结构和运行方式定有其独特之处，因此人们从 模仿人脑智能的角度出发，这就促使了人们开发出了人工神经网络系统。 当然这种人工神经网络只不过是对大脑的粗糙简易的模仿，无论是在规模 上、功能上与大脑相比都还差的很远。但它在一些科学研究和实际工程领域中， 已显示了很大的威力。对它的计算能力、对任意连续映射的逼近能力、学习理论 以及动态网络稳定性的分析，已经取得了丰硕的成果，其应用领域已经迅速扩展 到许多重要领域。 神经网络作为人工智能的主要分支，其应用极为广泛，特别是由于神经网络 能够对任意连续映射无限逼近，使得神经网络被广泛应用于系统建模中。但神经 网络本身存在的缺陷也很明显，例如需要极大量的训练数据对网络进行训练、网 络的训练结果和精度极大的取决于使用者的先验知识等，因此神经网络在实际应 用中受到了很大的局限。因此有学剖】想到了把多个网络集成在一起，通过结合 它们的输出，从而得到更可靠和准确的效果，从而提出了神经网络集成的概念。 2 2b p 网络 在众多的神经网络结构中，b p 神经网络是应用最广泛并且最广为人知的一 种神经网络算法，也是当前研究最广应用最多的神经网络模型。b p 网络的结构 是一种典型的前馈网络，由输入层、若干隐含层加输出层共同组成【4 】，如图2 1 所示就是单一隐含层的b p 神经网络( 或称三层b p 网) 。b p 网络的特点是：每一 层内的神经元都只和相邻层的神经元有连接，各层之间的神经元互相没有任何连 接，也没有反馈，除了输入层以外的每一层的神经元上都有一个传递函数和一个 阈值1 5 1 。 北京化工大学硕士学位论文 2 2 1b p 学习算法 输入屡瞳屡输出是 图2 1 单隐层b p 神经网络 f i g 2 - ls i l l g l eh i d d e nl a y e rb p n e t 、o d c 误差反向传播【6 】( b a c k p r 叩a g a t i o na 1 鲥m m ) 是b p 网络学习过程中采用的 算法，简称b p 算法。有导师学习是b p 算法的一大特点，其原理是：由训练数 据集获取网络的误差函数e ，误差来源于网络运算的实际输出与实际期望输出之 间的差异，而网络的实际输出与网络的权值系数形相关，通过不断调整职使 误差向减小的方向移动。网络的学习过程即为不断调整权系数，直至误差e 小于 某个预先设定的阈值。用公式( 2 1 ) 表示，有 毗：一玎挈 ( 2 - 1 ) 一玎焉 q 以 式中，w j i 是w j i 的增量。 输出节点的误差并不难获得，但相反想要得到隐含层点的误差就相对困难， 这也成为了阻碍神经网络发展的一大重要因素。b p 算法克服了这些困难，它的 学习过程分为前向传播和反向传播两个部分。在前向计算的过程中，输入数据经 过权值的传导，经过传递函数的计算最终传播到输出单元，当得到的输出值与期 望值不符时，产生误差数据并把这一误差数据原路传递回去，进而计算各隐含层 的误差，由此修改网络的传递权值，使得最后的误差不断减小。反向传播算法由 此得名。 b p 网络的学习过程如下： a 、随机设定网络的连接权值和阈值的初始值； b 、输入训练数据，对每一组数据重复进行c 、d 、e 步； c 、计算每一层的输出以及网络的最终输出鳅； d 、计算网络的误差6 浓； e 、更新权值； f 、判断网络是否收敛，并且误差e 满足预先设定的精度( e 鱼? ) ，若满足 预先设定的精度要求则网络训练结束，否则转b 继续学习。 6 第二章神经网络及神经网络集成 2 2 2b p 算法存在的缺陷 b p 算法的优点是算法的理论依据坚实，推导过程严谨，所得公式对称优美， 物理概念清楚，通用性强。由于这些优点，它至今仍然是多层前向神经网络的最 主要的学习算法。 但是，人们在使用过程中发现b p 算法也存在许多不足之处，主要有以下几 个方面【s 】： ( 1 ) 易陷于局部极小值。 ( 2 ) 学习过程收敛速度慢。 ( 3 ) 所设计的神经网络的泛化能力不能保证 ( 4 ) 隐含层和隐含层节点数难以确定。 ( 5 ) 网络初始权值难以确定。 2 2 3b p 算法的改进 该课题中采用的改进方法是加动量项算法： 为加速算法的收敛，可考虑引入动量项，即 “n + 1 ) = 以疗) + 刁( 刀) d ( ，z ) + 砒w ( ，1 ) ( 2 2 ) 式中， m ) = - 焉 以刀) = w ( n ) 一以刀一1 ) = 刁( 刀一1 ) d ( 万一1 ) ( 2 3 ) ( 2 - 4 ) 这时权值修正量加上了有关上一刻权值修改方向的记忆。动量因子a 一般取 值o 1 o 8 。一般建议在碰到e o ，q ( n ) 应减小时，应让萨o 而去掉动量项，因 为原搜索方向很可能完全不合理；而当e 0( 2 5 ) = 1 ( 2 6 ) 口 假设数据集按分布p 俐任意抽取，网络口对输入x 的输出为矿口( x ) ，则神 经网络集成的输出为 矿( x ) = 矿口( x ) ( 2 7 ) 神经网络口的泛化误差e 8 和神经网络集成的泛化误差e 分别为 e 口= 且却( x ) ( 厂( x ) 一y 口( x ) ) 2 e = 卜吻( 力( ( 力一歹( 砷) 2 l o ( 2 8 ) ( 2 - 9 ) 第二章神经网络及神经网络集成 各网络泛化误差的加权平均为 e = 线彳口 ( 2 - 1 0 ) 口 神经网络集成的泛化误差为 e = e 一么 ( 2 - 1 1 ) 式2 1 1 中的彳表示的集成中各个体网络之间的差异度，假设该集成是具有 极度偏向性的，也就是说对于同一组输入数据，每个网络得到的结果都是相同或 者相近的，那么个体之间的差异度就接近于o ，集成的泛化误差就极度接近集成 中各个体网络泛化误差的平均值。反之，若集成中各网络的差异度很大，即对于 同一输入，每个网络的输出都有较大偏差，那么集成的泛化误差就有可能大大小 于各个体网络泛化误差的平均值。因此，要提高神经网络集成的泛化精度和预测 能力，增加集成中网络的差异度是最主要且最简单的方法【1 4 】。 2 3 2 神经网络集成主要研究方向 在发现神经网络集成应用的良好前景和前途后，很多学者紧接着在h a l l s e l l 和s a l 锄o n 之后进行了很多这方面的研究。2 0 世纪末期开始，人们越来越重视 神经网络集成的理论研究，神经网络集成的理论及应用成果不断出现在人们眼 j f 刖。 神经网络集成当前最主要的研究方向为以下三个方面【1 5 】：研究神经网络集 成工作机理的理论体制，二是研究构造神经网络集成的个体网络的生成方式，三 是研究神经网络集成的结论生成方式。 2 3 2 1 神经网络集成的机理研究 2 0 世纪9 0 年代h a l l s 和s a l 锄o n 【1 1 1 证明了对于分类问题，采用神经网络 集成能使其泛化能力大幅提升，并给出了采用神经网络集成算法的分类问题中， 错误发生的概率的计算公式。假定【1 1 】集成由n 个神经网络个体构成，每个网络 给出正确的分类问题的结果的概率为j 节，并且每个错误都互不相关，结论生成 方式为多数占优投票法，则采用神经网络集成算法的分类问题出现错误的概率 为： 驴七敬扣刊m 陋坳 在p 1 2 时，神经网络集成的错误概率匕随n 的增大而递减，因此，如果 北京化工大学硕士学位论文 每个神经网络的预测精度都高于5 0 ，且各网络的错误不相关，则集成中的神经 网络数量越多，神经网络集成的精度越高。 1 9 9 3 年，p e n 0 n 和c o o p 一1 3 】证明将神经网络用于回归估计时，如果采用简 单平均且各个网络的误差为期望为0 的独立随机变量，则集成的的泛化误差为各 网络泛化误差平均值的1 n ，其中为集成中网络的数量；如果采用加权平均， 通过权值的调整可能得到更好的泛化能力。 2 3 2 2 神经网络集成中个体生成方式的研究 以上的理论推导证明了，要想提高神经网络集成的泛化能力，最重要的方法 就是要提高集成中个体网络之间的差异度。然而，从理论依据上来说，差异度病 没有一个完整的全面统一的理论推导及计算公式，更不用说使网络间差异度增大 的方法。所有理论结果中，差异度只不过是一个神经网络个体误差内在的不相关 程度的描述，无法通过一个明显的函数描述用于拘役的算法中，因此，神经网络 差异度的研究无疑是神经网络集成的最重要的方向。但从神经网络训练的的过程 来看，若是每个网络训练后都收敛到了不同的解空间，即使收敛到局部极值点， 网络间的个体差异度也会增加；反之，若网络收敛于相同或相近的局部极值点， 那么无论每个网络的精确度如何，都将使集成后的性能变差。因此人们提出了如 下三种扩大差异度的方法，第一类是变换训练数据，第二类是改变神经网络特性 ( 如结构，算法等) ，第三类是变化群体生成方式( 采用各种优化算法) 【1 6 】。 ( 1 ) 变换网络的训练数据 在网络的训练过程中，对每一个子网的训练集都采用不同的方式进行选取， 通过增加训练数据间的差异以此增大网络间的差异度。主要有以下两种方法，采 取变换训练数据的方法，即在训练集中选取不同的数据构造成训练网络个体的子 集，另一种方法是特征选择，引入特征子集，选取特定的数据用于训练子网络。 ( 2 ) 改变网络的内在特征 这类方法是通过改变网络的内部结构，以获得差异度大的个体网络构造集 成，如具有不同拓扑结构的个体网络、改变每个网络训练时的初始权值以及改变 每个网络的传递函数的方法，以此获取不同的神经网络【2 0 1 。 ( 3 ) 改变集成的结论生成方式 选择性神经网络集成最早由我国学者周志华【2 2 】教授提出，他认为，所有网 络个体全部参加集成并不一定能保证神经网络集成泛化性能的提高，同时给出了 选择性集成往往好于全体个体参加集成的理论分析。 目前常用方法有用遗传算法从已训练好的神经网络中选择差异度的个体构 建集成，以及基于聚类的神经网络集成方法、选择性网络二次集成方法、免疫学 1 2 平均或简单平均产生。p e 仃o n j l 3 】认为采用加权平均可以得到比简单平均更好的 效果。但有一些研究者则认为对权值进行优化会导致泛化性能的降低。s c o l l i c h 和胁曲旧认为在神经网络集成规模较大时简单平均较好，而神经网络集成的规 模较小时，采用加权平均可以有效地提高神经网络集成的泛化能力。 2 4 选择性神经网络集成 选择性神经网络集成由于其在适应性，组合性，推广性以及模型简化等方面 的优点，成为最具应用前途的集成学习方法之一。选择性的集成方法一般分成两 个步骤：( 1 ) 训练生成一定数量的候选神经网络个体；( 2 ) 采用一定的目标和策略 选择部分神经网络按照一定的组合方法( 如简单平均法或多数投票法) 构成神经 网络集成【2 3 】。 2 4 1 个体网络的生成策略 b o o s t i n g 和b a g 舀n g 算法作为神经网络集成最经典的算法，已经成为衡量其 他算法性能的指标。 本课题中个体生成策略采用的是由b r e i m a i l 【1 刀提出的b a g 西n g 算法，其核心 是可重复取样( b o o t s 的ps 锄p l i i l gw i mr 印l a c e l i l e n t ) 。在该方法中，各神经网络的 训练集由从原始训练集中随机独立选取若干示例组成，训练集的规模可以与原始 训练集一样，也可以不同，训练示例允许可重复选取。显然b a g 酉n g 算法是利用 不同的训练集以期获得差异度大的网络构建神经网络集成。 典型b a g 西n g 算法如下【1 7 】： 训练阶段： ( 1 ) 初始化： 1 3 北京化工大学硕士学位论文 给定原始训练集d = 眠，y 。x k ，y ：) i k ，少。) ) ，n 为原始训练集的容量，假 定神经网络集成的容量为t ，设初始神经网络集成e 为空集： ( 2 ) 对仁1 ，2 ，t 循环： 从训练集d 中自助采样n 个样本形成训练集d t ； 根据训练集d t 训练神经网络h t ： 将神经网络h t 加入神经网络集成，即e = e ud 。 ( 3 ) 返回神经网络集合e = h t ) ，t = l ，2 ， t 但b a g g i n g 算法也存在缺点，b