（管理科学与工程专业论文）基于协同进化的rbfnn学习研究.pdf

基于协同进化的r b f n n 学习研究 r e s e a r c ho nr b f n n l e a r n i n g w i t h c o e v o l u t i o a n a r ya l g o r i t h m 一级学科 学科专业 作者姓名 指导教师 管理科学与工程 管理科学与工程 田滓 李敏强教授 天津大学管理学院 二零零八年五月 摘要 从2 0 世纪8 0 年代神经网络的研究再次复苏并形成热点以来，发展非常迅速。 理论研究包括计算能力、对任意连续映射的逼近能力、学习理论等取得了丰硕的 成果，其应用已迅速扩展到经济与企业管理、金融工程、模式识别、医疗诊断及 众多数据挖掘领域。其中较为常用的是径向基函数神经网络( r a d i a lb a s i s f u n c t i o nn e u r a ln e t w o r k ，i m n m ) ，具有结构简单、泛化能力强和收敛速度快 等特点。本文结合数据挖掘和机器学习中的分类任务，针对r b f n n 学习亟需解 决的关键问题，应用协同进化算法进行了深入系统地研究。主要研究内容包括： ( 1 ) 介绍了神经网络学习的统计性能和r b f n n 基本原理，评述了相关研究 进展和典型r b f n n 中心确定算法。概括了协同进化算法理论基础、整体框架以 及发展现状。 ( 2 ) 提出了基于合作型协同进化的r b f n n 算法。在标准网络结构中加入一 个聚类层，对初始隐节点聚类，把性质相似的隐节点聚集成隐节点群，以聚类后 的隐节点群作为子种群进行协同进化操作。各子种群间相互作用、相互影响。实 验结果表明，该算法能够在一定程度上克服用传统优化算法进行网络训练耗时长 的不足，且构建的r b f n n 具有较小的网络规模，较强的泛化能力。 ( 3 ) 提出了基于协同覆盖的e b f n n 算法。该算法把隐层剥离出来，直接由 覆盖的情况确定分类结果，从而较好地增强e b f n n 可理解性，同时省去标准网 络中隐层到输出层权值的求取，简化了网络结构；通过协同进化算法与启发式算 法的局部搜索的有效结合，采用启发式搜索自动增减隐节点个数，进一步改进网 络结构。实验结果表明，该算法在初始隐节点在样本中随机选择的前提下，能够 充分利用e b f n n 覆盖域特点，达到较好的样本覆盖效果以及分类结果。 ( 4 ) 提出了带有特征选择的双种群r b f n n 分类算法。将输入向量的特征选 择和r b f n n 优化过程协同进行，一并获得较优的网络结构和约减的输入向量维 数，有效降低特征空间的维数，利用较小的网络结构获得较高的分类精度。实验 结果表明，该算法对于大规模高维数据可以选择出切实有效的特征属性，避免复 杂网络结构的生成，且算法快速有效，具有较强的复杂样本分类能力。 ( 5 ) 提出了多种群协同进化神经网络集成算法。将神经网络集成和协同进化 算法相结合，每个个体神经网络对应于协同进化中的一个子种群，可保证每个个 体网络自身进化和个体网络之间相互影响相结合；然后根据r b f n n 特点，借鉴 多数投票方法和最大值决定方法，对结论生成方式进行改进。实验结果表明，该 算法优于目前常用的一些神经网络集成算法。 关键词：径向基函数协同进化领域覆盖特征选择神经网络集成分类 a bs t r a c t t h er e s e a r c ho nn e u r a ln e t w o r k 仆m 1b e c a m er e s u s c i t a t e di nt h ee a r l y19 8 0 sa n d s i n c et h e nh a sb e e nah o tf i e l d t h e r eh a v eb e e nal o to fr e s e a r c h e so nt h ec o m p u t i n g c a p a b i l i t y , t h ea p p r o x i m a t i o nc a p a b i l i t y , a n dt h el e a r n i n gt h e o r yo fn n e s p e c i a l l y , t h ea p p l i c a t i o n so ft h en na c h i e v e dp l e n t yo ff r u i t si nd i v e r s i f i e dd o m a i n s i n c l u d i n g e c o n o m i ca n de n t e r p r i s em a n a g e m e n t ，f i n a n c i a le n g i n e e r i n g ，p a a e r nr e c o g n i t i o n , m e d i c a ld i a g n o s i s e t c t h em o s t l ya d o p t e dn e u r a ln e t w o r ki sr a d i a lb a s i sf u n c t i o n n e u r a ln e t w o r k ( r b f n n ) d u et oan u m b e ro fa d v a n t a g e so v e ro t h e rt y p e so f n n ，s u c h a s s i m p l e rn e t w o r ks t r u c t u r e s ，b e a e rp r e d i c t i o nc a p a b i l i t i e s ，a n df a s t e rl e a r n i n g p r o c e s s a n dt h u si th a sb e c o m eo n eo ft h em a j o rm e t h o d si nm a c h i n el e a r n i n ga n d d a t am i n i n g i nt h i sd i s s e r t a t i o n t h em a i ni s s u e si n v o l v i n gt h er b 删l e a r n i n ga r e i n v e s t i g a t e d a n dt h ei 强删l e a r n i n ga l g o r i t h m sh a v eb e e np r o p o s e db a s e do nt h e c o e v o l u t i o n a r ya l g o r i t h mf o rc o m p l e xc l a s s i f i c a t i o np r o b l e m s 。t h em a i nc o n t r i b u t i o n s o ft h i sd i s s e r t a t i o na r es u m m a r i z e da sf o l l o w s ： f i r s t l y , t h es t a t i s t i c a ll e a r n i n gt h e o r yo f n n i si n t r o d u c e d ，a n dt h ei 氇n 州m o d e l ， i n c l u d i n gt h ec o n c e p ta n ds t r u c t u r ei sd e f i n e d t h er e s e a r c h e so nl m f n na n dm a j o r m e t h o d st od e t e r m i n et h eh i d d e nn o d e sa r er e v i e w e d t h et h e o r y , t h eg e n e r a lf i a m eo f t h ec o e v o l u t i o n a r ya l g o r i t h m , a n di t sa p p l i c a t i o n sa r ea l s op r e s e n t e d s e c o n d l y ，an e wr b 删l e a r n i n ga l g o r i t h mi sp r e s e n t e d w h i c ha t t e m p t st o c o n s t r u c tt h er b 删m o d e l sw i t hac o o p e r a t i v ec o e v o l u t i o n a r ya l g o r i t h m ( c o - c e a ) a c l u s t e r i n gl a y e ri si n s e r t e dt od i v i d et h ei n i t i a lh i d d e nn o d e si n t om o d u l e st h a ta r e r e p r e s e n t e da ss u b p o p u l a t i o no ft h ec o c e a t h e s em o d u l e si n t e r a c ta n dd e p e n do n e a c ho t h e rt of r e dt h eo p t i m a lr b 删m o d e l c o l l a b o r a t i o n sa m o n gt h e ma r ef o r m e d t oo b t a i nc o m p l e t es o l u t i o n s e x p e r i m e n t a lr e s u l t si l l u s t r a t et h a tt h ea l g o r i t h mi sa b l e t op r o d u c er b 删m o d e l si nf e w e re v o l u t i o n a r yt r i a l sw h i c hh a v eb e r e rp r e d i c t i o n a c c u r a c i e sa n ds i m p l e rs t r u c t u r e st h a nt h ec o n v e n t i o n a la l g o r i t h m s t b i r d l y , an e wh y b r i ds c h e m eo ft h ee l l i p t i c a lb a s i sf u n c t i o nn e u r a ln e t w o r k ( e b f n n ) m o d e lc o m b i n e dw i t ht h ec o c e aa n dd o m a i nc o v e r i n gm e t h o di s p r o p o s e d n ea l g o r i t h md e t e r m i n e st h es a m p l el a b e ld i r e c t l yb yt h ec o v e r i n gd o m a i n o ft h eh i d d e nn o d e s ，w h i c hc a l li m p r o v et h ei n t e l l i g i b i l i t yo ft h eh i d d e nn o d e sa n d o m i tt h ew e i g h t sb e t w e e nt h eh i d d e nl a y e ra n dt h eo u t p u tl a y e r m o r e o v e r , t h e h e u r i s t i cs t r u c t u r e r e f i n i n gp r o c e s s i s p e r f o r m e d w i t ht h e s p e c i a ld e s i g n e d c o n s t r u c t i n ga n dp r u n i n go p e r a t o r s 1 1 1 ec o m b i n a t i o no ft h ec o e v o l u t i o n a r ya l g o r i t h m a n dt h eh e u r i s t i cm e t h o de n f o r c e st h es 廿e n g t ho fb o t hm e t h o d s e x p e r i m e n t a lr e s u l t s i l l u s t r a t et h a tt h ea l g o r i t h mc a nm a k ef u nu s eo ft h ee b 肿e l l i p s o i d a lc o v e r i n g d o m a i na n da c h i e v eg o o dc l a s s i f i c a t i o np e r f o r m a n c ew i t ht h ei n i t i a lh i d d e nn o d e s s e l e c t e dr a n d o m l yi nt h et r a i n i n gs a m p l e s ， f o u r t h l y , t oa d d r e s st h ep r o b l e mt h a ti r r e l e v a n tf e a t u r e sa les i g n i f i c a n t l yd e g r a d e t h el e a r n i n ga c c u r a c yi nt h er e a l w o r l dc o m p l e xc l a s s i f i c a t i o nt a s k s ，ah y b r i dl e a r n i n g a l g o r i t h mb a s e do nc o c e aw i t hd u a lp o p u l a t i o n sf o rd e s i g n i n gt h er b f n nm o d e l s w i t ha ne x p l i c i tf e a t u r es e l e c t i o ni sp r e s e n t e d t h i sa p p r o a c ha t t e m p t st oc o m p l e t et h e r b f n nc o n s t r u c t i o na n dt h ef e a t u r es e l e c t i o n s i m u l t a n e o u s l y t h ep r o p o s e d a l g o r i t h mu t i l i z e st h ec o - c e a sd i v i d e - - a n d - - c o o p e r a t i v em e c h a n i s m , i nw h i c ht h et w o s u b p o p u l a t i o n s ，c o r r e s p o n d i n gt ot h eh i d d e nl a y e rs t r u c t u r ea n dt h ed o m i n a t ef e a t u r e s r e s p e c t i v e l y , a l ec o e v o l v e d b ye v o l u t i o n a r ya l g o r i t h me x e c u t i n gi np a r a l l e l e x p e r i m e n t a lr e s u l t si l l u s t r a t et h a tt h ep r o p o s e da l g o r i t h mi sa b l et oa c h i e v eb o t h g o o dr b f n n s t r u c t u r ea n dp r o m i n e n tf e a t u r e sw i t hh i g h e rp r e d i c t i o nc a p a b i l i t y f i n a l l y , an e u r a ln e t w o r ke n s e m b l ea l g o r i t h mw i t ham u l t i - p o p u l a t i o nc o c e ai s p r e s e n t e d e a c hi n d i v i d u a ln e t w o r ki nt h ee n s e m b l ec o r r e s p o n d st oas u b p o p u l a t i o ni n t h ec o - c e a w i t ht h ed i v i d e a n d - c o o p e r a t i v em e c h a n i s m , t h ei n d i v i d u a ln e t w o r k s e v o l v ei nt h e i rs u b p o p u l a t i o n sa n dc o l l a b o r a t ew i t he a c ho t h e rt of o r mt h ee n s e m b l e m o d e l m o r e o v e r , am o d i f i e dc o n c l u s i o ng e n e r a t i o nm e t h o di sa d o p t e db yu s i n gt h e m a j o r i t yv o t i n gm e t h o da n dm a x i m u md e t e r m i n a t i o nm e t h o d t h ep r o p o s e da l g o r i t h m c a l le f f e c t i v e l yb u i l dt h ee n s e m b l em o d e lw i t hh i g h e rp r e d i c t i o nc a p a b i l i t yt h a n c o n v e n f i o n a lo n e so nt h eu c id a t a s e t sa n dr e a l w o d dp r o b l e m s k e yw o r d s ：r b f n n ，c o e v o l u t i o n a r ya l g o r i t h m , d o m a i nc o v e r i n g ，f e a t u r e s e l e c t i o n , n e u r a ln e t w o r ke n s e m b l e ，c l a s s i f i c a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得鑫盗盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 一虢恻宇撕肌耐咐刚日 学位论文版权使用授权书 本学位论文作者完全了解墨盗盘堂有关保留、使用学位论文的规定。 特授权墨盗盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位做作者答名：即i 事 签字日期：讼析年夕月日 导师签名： 签字日期：口。孑年厂月“日 天津大学博士学位论文 基于协同进化的r b f n n 学习研究 第一章绪论 本章首先阐明了论文所选课题的研究背景及其具有的研究价值，其次介绍了 径向基函数神经网络的发展历史及国内外研究现状，然后列举了常用方法中存在 的问题，最后说明了本文的主要研究内容和创新点。 1 1 选题背景与研究意义 随着信息技术的发展和经济社会信息化进程的加快，电子化数据越来越多， 例如企业信息化程度的提高，职能部门电子化事务处理技术的运用，以及数据收 集工具和技术的提高等等，此外互联网的发展更是带来巨量的数据和信息，但存 储的大量数据已远远超出人的理解和概括能力，人们面临“数据丰富而知识贫乏 的问题。八十年代末兴起的数据挖掘( d a t am i n i n g ，d m ) 技术为解决此问题开 辟了一条道路。数据挖掘是在大量的数据中抽取隐含的、以前未知的有用信息， 发现有价值的模式和数据间关系( 知识) 的过程。数据挖掘能自动分析数据，发 现数据中存在的模式和趋势，并将这些模式和趋势收集在一起，定义为挖掘模型， 帮助决策者做出正确的决策。在一些新兴的信息系统形式中，例如在线服务和 w e b 查询系统等，数据挖掘能够帮助更好地理解用户的行为和发现用户消费意 图，从而扩大商业营销机会和提高市场占有率。因此，如何自动有效地从巨量信 息中获取知识，是目前各类信息系统面临和亟待解决的问题。而正确地对定义和 发现知识，即分类问题则是其中需要解决的一项重要任务。 分类问题旨在找出用于描述和区分知识的分类模型，以便能够使用该模型把 数据库中的数据项映射到给定类别中的某一个，即预测类标记未知的对象类【。 分类问题作为数据挖掘中的基本问题，已经成为该领域中一个热点研究课题【2 一， 其基础理论包括监督学习、半监督学习、p l s 路径建模和分类、集成分类技术、 多标签分类和p r e f e r e n c e 学习、多事例分类等，相关的分类研究包括文本分类、 w e b 页面分类，时间序列分类、图像与视频检索、计算机视觉分类和生物特征识 别分类等。由于分类问题受到广泛研究，现在已有许多较完善的分类方法。例如 决策树归纳分类、贝叶斯分类、k 近邻分类、支持向量机和神经网络分类等。 决策树的传统学习算法从一棵空决策树出发，通过增加新的判定结点来改善 原来的决策树，直至该决策树能够正确地将训练数据分类为止。在此基础上一些 学者提出了改进算法，例如i d 3 和c 4 5 。决策树分类算法不需要使用者了解很 第一章绪论 多背景知识，而只要训练数据集能够用“属性结论 的方式表达【5 j ，因此算法简 单，得到的树结构容易转换成分类规则。决策树算法对于规模较小的数据集非常 有效，但当应用于大型数据集时有效性和伸缩性就会大大降低。 贝叶斯学习方法是以贝叶斯定理和贝叶斯假设为基础，用概率来表示形式的 不确定性，学习或其他形式的推理都用概率规则来实现。学习结果则表现为随机 变量的概率分布，即对不同可能性的信任程度。从理论上讲，与其他所有分类方 法相比，贝叶斯分类具有最小的出错率，但往往由于对其应用假定的不准确，以 及缺乏可用的概率数据，造成实际情况与理论的不一致【l j 。 尽近邻分类方法是一种基于类比的学习方法，对于待分类样本，寻找k 个 与之距离最近的训练样本，并以样本间距离大小作为邻近程度的比较。根据k 个邻近样本所属的类概率，决定待分类样本所属的类。该方法存放所有样本，直 到未知样本需要分类时才建立分类【l 】，被称为懒散的学习方法。因此当存在大量 与待分类样本邻近的点时，可能导致较高的计算开销。此外该方法对每个属性指 定的权重均相同，当存在相关属性时，算法可行性和可解释性受到质疑。 支持向量机( s u p p o r tv e c t o rm a c h i n e ，s v m ) 是建立在统计学习理论基础上 的学习算法，根据有限的样本信息在模型的复杂性( 即对特定训练样本的学习精 度) 和学习能力之间寻求最佳折衷，以期获得最好的推广能力【6 】。近年来支持向 量机用于两类分类问题的研究有了很大进展，但该理论的内在机理决定了对于多 类分类这一复杂问题，仍须分类逐步进行，不能一次实现所有类别的同时区分。 神经网络( n e u r a ln e t w o r k ，n n ) 理论是一门边缘性交叉学科，是巨量信息 并行处理和大规模平行计算的基础，神经网络理论既是高度非线性动力学系统， 又是自适应组织系统【7 j 。神经网络应用于分类研究，是通过提供的训练样本及样 本所属的类，对神经网络的参数进行调整，从而使该神经网络具有对其它样本数 据进行分类的能力。神经网络具有对噪声数据的高承受能力，对未经训练的数据 模式进行分类的能力，以及能对多类问题同时分类等优点。 从2 0 世纪8 0 年代初神经网络的研究再次复苏并形成热点以来，发展非常迅 速，从理论上对其计算能力、对任意连续映射的逼近能力、学习理论以及动态网 络的稳定性分析上都取得了丰硕的成果，特别是在应用上已经迅速扩展到许多重 要领域：如模式识别、图像处理、医疗诊断、金融预测、企业管理、知识发现以 及众多数据挖掘领域 8 q 0 。现在较常用于分类问题求解是径向基函数神经网络 ( r a d i a lb a s i sf u n c t i o nn e u r a ln e t w o r k ，r b f n n ) 。r b f n n 具有分类精度高、网 络结构简单、收敛速度快等特点【7 1 ，具有较强的分类能力，可有效解决数据挖掘、 模式识别等领域中的实际问题。 建立快速有效的神经网络学习算法，能够提高网络性能、增强网络处理信息 天津大学博士学位论文基于协同进化的r b f n n 学习研究 的能力、加快网络学习速度，是利用神经网络解决各类问题的前提。本文的研究 工作受国家自然科学基金( 项目号：7 0 1 7 1 0 0 2 和7 0 5 7 1 0 5 7 ) 资助，以r b f n n 为主要研究对象，结合协同进化思想，目的是进一步改善网络性能，改进训练效 果，从而构造出优质的r b f n n 分类模型。此外，本课题研究的r b f n n 分类学 习算法具有一定的可扩展性，与聚类、预测问题结合，可广泛应用于数据挖掘、 数据分析等方面，在管理、金融、互联网、工程等各行业都有较高的实用价值。 1 2 神经网络学习的统计性能 学习的目的是通过向有限个样本的学习找到隐含在样本背后的规律，通过学 习解决问题是神经网络的一个主要特点。v a p n i k 给出了学习问题的明确定义6 】： 学习问题就是利用有限经验数据( 训练样本) 来寻找其中存在的依赖关系。神经 网络学习的统计性能，是研究能否通过有限样本学到其中的规律，即明确能否学 习的问题。 1 2 1 经验风险最小化学习 学习问题就是基于训练样本x r ”和目标输出y ，从一组结构已定的网络 j ( x ，口) ( 口a 表示网络参数) 中选择某一特定网络，使得输出在某种统计意义上 最佳逼近目标输出y 。对前述学习模型，存在如下问题：给出的训练样本中是否 包含足够的信息，使学习后的网络具有良好的推广能力，对于此问题的回答要用 到v a p n i k 和c h e r v o n e n k o 的经验风险最小化理论【l l 】。 令l ( y ，i ( x ，口) ) 表示某输入x 的网络输出j ( x ，t ；g ) 和目标输出y 之间的损 失。在模式识别问题中，以两类分类问题为例，y o ，1 ) ，i ( x ，口) ( 口人) 为指 示函数集合( i n d i c a t o r f u n c t i o n s ，输出仅为0 或1 ) ，相应的学习损失函数定义为： 三( 弘( x ，口) ) = ：) ；二；：( 1 - 1 ， 在回归估计问题中，y r 取实数数值，i ( x ，口1 人) 为实函数集合，学 习损失函数定义为： 三( 少，j ( x ，口) ) = ( 少一厂( 工，口) ) ( 1 - 2 ) 则学习的真实损失为【1 2 】： r ( 口) = j l ( y ，s ( x ，口) ) d 尸( x ，少) ( 1 3 ) 该函数称为风险泛函( r i s kf u n c t i o n a l ) 。其中p ( x ，y ) 为x 与y 的联合分布， 当p ( x ，y ) 已知时，可以计算真实损失。 按照风险泛函的定义，可以给出学习问题统一的一般化表示：在空间z 上存 第一章绪论 在未知的概率分布函数p ( z ) ，考虑使用函数集合q ( z ，口) 人) 进行学习，则学 习过程或学习机的最小化风险泛函： m l nr ( a ) = 卿i q ( z ，a ) d p ( z ) ( 1 - 4 ) 口e a口e ， 其中需要 z 。，z 2 ，z 是在空间z 上依尸( z ) 随机抽取的独立同分布样本，代表 ( 葺，乃) ，( 而，儿) ，( h ，y n ) ；q ( z ，口) 是学习问题的损失函数。学习的目的是寻 找最小化风险泛函，即使月似) 值最小的学习机。 由于概率分布函数p ( z ) 未知，唯一的信息来源是训练样本，所以很难计算 真实风险r ( a ) ，因此在实践中通常采经验损失度量，表示为： ( 口) = 寺比，口) ( 1 - 5 ) v t = l 称为经验风险泛函( e m p i r i c a lr i s kf u n c t i o n a l ) 。以样本 z l ，z 2 ，知) 为基础，不需 要明确p ( z ) ，便可以计算任意q ( z ，口) 的学习过程的经验损失。 经验风险最小化学习可表示为： m 砌i n ( 口) - m 砌a n 专善q ( z ，口) ( 1 - 6 ) a 。 口e ，、_ 也称为经验风险最小化( e m p i r i c a lr i s km i n i m i z a t i o n , e r m ) 而建立学习机的过程， 或e r m 归纳原则的学习过程( e 1 w 学习过程) 。 用( 口) 代替真实风险r ( a ) ，令为使( 口) 达最小的网络参数，a o 为 使r ( a ) 值达最小的网络参数。对于某一固定的参数口，风险函数r ( a ) 确定了 q ( z ，口) 的数学期望，而经验风险函数足叩 ) 则是q ( z ，口) 的均值。经验风险 k ) 最小化原理简述如下【1 3 】： 令表示使经验风险足叩 ) 最小化的参数，则在经验风险 ) 一致收 敛于真实风险r ( a ) 的条件下，尺( 吼。) 以概率收敛于r ( a ) 的可能最小值。其中一 致收敛是指若经验风险( 口) 以误差占一致逼近于r ( 口) ，则( 口) 的最小值与 r 位) 的最小值的偏差不超过2 s ，即对任何口人和占 0 ，下述概率关系成立： 尸 蛐p 旧( 口) 一( 口) l s 专o ，当n - - o o 时( 1 - 7 ) 这等价于对任何艿 0 ，有 ，、 尸 s u p r ( a ) 一足叩( 口) l f 2 占 万( 1 - 9 ) 必定成立。此条件是经验风险具有一致性的充要条件。所谓的经验风险最小化的 一致性可理解为，当样本趋于无穷时，使经验风险最小化的对应的期望风险， 也几乎为最小。 天津大学博士学位论文基于协同进化的r b f n n 学习研究 可以证明，对任何复杂的连续( 实际上包括具有可数个的不连续点) 函数， 总存在一个三层前馈网络，可任意逼近所给函到1 4 】。经验风险最小化理论说明在 一定条件下，这个逼近可以通过向样本学习达到。 1 2 2 结构风险最小化学习 上述原则在理论上奠定了经验风险最小化的可行性，但实际上不可能无 穷大，因此还需要研究收敛的速度问题，这要用到一个重要概念“v c 维数”【1 3 】， 它代表的是函数类( 分类函数簇) 的容量这一概念。函数类厂的v c 维数定义为 能被厂细分的样本集合s 的最大元素数，也可把v c 维数理解为学习机能学习的 可以由其分类函数正确给出所有可能二值标识的最大训练样本数。 用推广误差圪( 口) 表示学习机对训练样本以外样本上的误差，h 为判别函数 类 ( x ，口) ；口a 对于输入空f - j 的v c 维数，则圪似) 将以概率1 一万小于某一称 之为“保证风险”的k ( 口) ，且有 圪( 口) = y ( 口) + 蜀( ，h ，万，矿) ( 1 1 0 ) 其中z ( a ) 仍指训练集上的误差。当固定时，y ( 口) 随着v c 维数h 的增加单调 下降，置信区间蜀随着h 单调上升，而k 会出现极小值，在达此极小值前学习问 题是超定的，即学习机的容量比训练样本少；过了极小值变为欠定的，即学习机 的容量相对于训练样本来说过大。因此学习问题在于应使学习机的容量( v c 维 数) 与已有训练样本数“匹配”。结构风险最小化就是通过控制学习机的v c 维 数来达到这一目的的。 为此，v a p n i k 和c h e r v o n e n k i s 提出了结构风险最小化归纳原则( s t r u c t u r a l r i s km i n i m i z a t i o n ，s r m ) ，该原则要求同时最小化经验风险和v c 维数。 对于函数集合q ( z ，口) ( 口a ) ，设s 表示该函数集合上存在的一个结构，由 刀个有序嵌套函数子集构成：瓯= 0 ( z ，口) ，口 ，k = 1 ，2 ，刀， s jc & c cs，“c表示“包含于”，且具有如下性质：o ( 1 ) s = u 。& ，在s 中处处稠密的； ( 2 ) 任何函数子集& 的v c 维数h k 是有限的，且满足曩 红 ； ( 3 ) 最仅包含有界非负函数：0 q ( z ，口) b ，( 口a ) 。 则称s 为容许结构( a d m i s s i b l es t r u c t u r e ) 。 随着k 增大，基于函数子集瓯= 汜( z ，口) ，口a 。) 的学习机的逼近误差越小， 但是其v c 维数越大，置信范围越大，学习机的拟合函数越复杂。如图1 1 所 示。 第一章绪论 围 险 图l 一1 结构风险最小化归纳原则 因此，s r m 归纳原则建议在函数逼近质量和逼近函数的复杂性之间进行折 衷。对于给定的样本集合f z 。，z ：，z l ，该原则要求从使得真实风险最小化的函 数子集s k 中，选择经验风险最小化的函数q ( 乙a k ，) ( a 。) 。故s r m 归纳原 则按下述方式进行【l2 j ： ( 1 ) 使经验风险( 训练误差) 最小，选出对应较小v ( a ) 的子集厂。 ( 2 ) 对厂确定( 1 1 0 ) 式右端相互矛盾的两项之值。其方法是寻找一个网络结 构，使得在训练误差增加尽可能小的条件下降低v c 维数。 s r m 原则保证了学习过程可以以概率1 快速收敛于真实风险，且与概率分 布函数无关，故是强一致的。 在2 0 世纪9 0 年代，已证明神经网络学习机的v c 维依赖于神经网络的拓扑 结构、神经元函数( 如s i g m o i d 函数) 和神经元连接权重。当神经网络的拓扑结 构确定时，其v c 维非常大但是有限的。 考虑神经网络使用的函数集合： ( x ，w ) ，w w ，其中拓扑结构已经确定， ，w 是神经元连接权重。定义函数集合上的一个容许结构： s p = j ( x ，) ，f f 临0 ，且c l g e 。基于传统损失函数，在函数子集 s 。实现真实风险最小化，可以选择适当l a g r a n g e 乘子：乃 乃 ，将作 为一个新的聚类中心点q “卜毛，设也+ 】卜融) ，n u m k + 】卜1 ，且保持n u ( j = l ，2 ，k ) 不变。 s t e p5 所有参与训练的输入数据被归类后，此训练过程即告结束，网络中心确定完毕。 该算法快速有效，不需要事先确定隐节点个数，但对于给定的数据集，聚类 半径的初始值不易确定。本文第3 、5 、6 章所提出的算法就是利用该方法确定网 络初始隐节点中心。 2 1 3 4 有监督学习选取r b f n n 中心 该类算法中r b f n n 中心以及网络的其它参数都是通过非线形优化方法如梯 度下降法和共轭梯度法等有监督的方法来确定的。对许多应用就目前存在的训练 1 6 天津大学博士学位论文基于协同进化的r b f n n 学习研究 方法，梯度下降法的性能最好。该类算法对r b f n n 存在三类参数， 9 ，网络宽度q 和网络权值 的梯度下降更新式如下： ) - w ；f ) + 艺p 汁，加尸 即网络中心 ( 2 - 7 ) c；7+1)=c；7)+，+”善i!i：铲l+嘭+1)血：7 ( 2 8 ) t 州，= 一计+ 砖“，委n - 1l 型兰铲l + 膨+ 1 ，一力( 2 9 ) 其中w ( f ) 、c ( ，r 1 、矿；f ) 及w ：+ l 、c y 、仃；f + l 分别为f 时刻和r + l 时刻网络第_ ，个 隐节点对应的权值、中心和径基宽度；( f + 1 为各参数f + 1 时刻的学习步长；p j 为f 时刻的残差；一种为f 时刻隐含层节点j 对输入矢量的响应。 这种算法容许中心的选择与梯度下降学习法的收敛性和训练的r b 卧烈性能 之间的平衡直接联系，但也因此使得网络的逼近精度变差，泛化特性下降。 2 1 4 构造型神经网络设计方法 传统神经网络学习算法经历了众多阶段，最初由上面介绍的聚类算法确定网 络中心，到9 0 年代一些学者提出的许多基于启发式构造型算法。 常见的构造型学习方法有三种：试凑方法，在工程中应用较为广泛。针对要 求解的问题，设计者利用己有的经验知识，构造不同结构、规模的若干网络；依 此进行连接权的学习；通过反复试验，直到获得满意的学习网络。这种方法依赖 设计者的经验，适合于小规模网络设计。 构造法即生长法，是从一个小规模的网络开始学习，依据训练过程中网络的 性能，逐步增加网络结构的规模或复杂性，直到获得满意解。这种方法存在的问 题是，如果对网络规模增长的控制不当，则会得到规模过大的学习网络。虽然可 以满足训练的要求，但学习网络的其它性能( 如泛化能力、实现代价等) 可能很 差。 修剪法是从一个结构规模比最小规模解网络大的初始网络开始学习，在网络 训练过程中，依据一定的性能准则对得到的满意网络逐步进行结构删减，删除不 必要的连接或节点，直到网络的性能变差，停止训练，得到所满意的学习网络。 修剪法得到的学习网络结构精简、性能好。存在的问题是：初始网络的规模选取 比较困难，要得到一个合适的初始网络，又要用试凑方法；另外与构造法相同的 一个问题是，得到的学习网络很可能是局部最优解。 随着问题规模或复杂程度的提高，神经网络的设计可能更加复杂。进化计算 以其固有的优点群体优化搜索为神经网络设计提供了新的途径，初步的研究 第二章r b f n n 和协同迸化算法理论基础 已显示出独特的优越性。 2 2 基于进化算法的神经网络学习 进化算法，特别是遗传算法( g e n e t i ca l g o r i t h m ，g a ) 与神经网络相结合的 研究取得了大量的成果，显示出一定的优越性 2 4 - 2 7 】。遗传算法建立在自然选择和 自然遗传学机理基础上，是一种迭代自适应概率性搜索算法，模拟了自然选择和 自然遗传过程中的选择、交叉、变异现象，根据适者生存、优胜劣汰的自然法则， 利用遗传算子，逐代产生优选个体，最终搜索到较优的个体，具有不需要求梯度、 能得到全局最优解、算法简单、可并行处理等优点。利用进化算法进行神经网络 学习包括神经元、连接权、网络结构以及学习算法与进化算法相结合等几方面p 4 1 。 2 2 1 神经元的进化 神经元是神经网络结构的重要组成部分，其传递函数对学习网络的性能( 收 敛性及泛化能力) 有很大影响 35 1 。s t o r k 等人首次将g a 用于神经元传递函数的 进化【3 6 】；l i u 等将神经元节点及网络连接作为一个完整的结构进行进化，改进了 神经网络的学习性能3 7 1 。 2 2 2 连接权的进化 二进制编码g a 最先用于连接权的学习。由于编码长度对连接权学习精度、 速度的影响，交换操作对学习收敛很不利，因此，有人开始考虑用实数编码g a ， 实现连接权学习。m o n t a n a 提出的实数编码g a ，首次成功地用于较大规模网络 的权学习【38 1 。连接权的进化学习有很多独到的优越性。例如，进化学习不依赖于 导数信息、并行度高，善于处理解空间为复杂多峰值地形的全局优化问题。但进 化学习也有不足之处。例如，进化学习往往要花费较长的时间，才得到满意解。 2 2 3 结构进化 结构进化研究进展主要体现在结构编码方法及算子的变化上。主要有直接编 码和间接编码两种方法。直接编码方法将神经网络中每个隐节点、连接权分别用 一个二进制位表示，值为l 表示存在，为0 表示不存在。所有这些结构信息由一 定长的二进制位串一对一完全描述。直接编码方法是一种强表示方法，特点是简 单、直观，适合于结构规模确定的神经网络进化学习。间接编码方法只编码体现 网络结构的重要参数( 如层数、每层的节点数、连接度、允许的反馈连接数、节 点类型等) ，是种弱表示方法。特点是编码网络