（计算机应用技术专业论文）改进的遗传神经网络算法在肺癌诊断中的应用.pdf

摘要 肺癌是当今世界各国常见的恶性肿瘤，已成为绝大多数国家癌症死亡的主 要原因。肺癌早期多无症状或症状轻微，不易发现，待到发现时往往已有转移。 因此，提高早期肺癌的检出率是提高肺癌患者生存率和降低死亡率的必要手段， 也是肺部疾病检测诊断的难点之一。c t 是目前应用比较广泛的肺癌诊断手段之 一，但是由于肺癌c t 片表现的复杂性和其他不确定因素，使临床医生在观察有 些肺c t 片时并不容易做出正确诊断。 人工神经网络在医学领域已经有了广泛地应用，但对神经网络的结构设计 和初始权值的设置尚缺乏理论支持，以及经典b p 算法收敛慢、易陷入局部极小 等都是需要改善的问题，遗传算法( g a ) 全局搜索能力强，正好可以弥补b p 网络的缺陷。很多学者提出了g a 与b p 网络的融合算法，但传统的g a - b p 算 法往往是只对神经网络的权值或结构一个方面进行优化，这样就可能导致优化 权值后的网络仍存在结构冗余，或者优化网络结构之后没有达到最佳权值分布， 针对此问题，本文引入了多物种协同进化( c g a ) 思想，将结构和权值同时编 码在染色体中；另外由于遗传算法局部寻优能力不强，传统的g a - b p 算法在快 速收敛到最优解邻域时却迟迟找不到最优解，以至于迭代次数太多，因此本文 分别在适应度函数和变异算子上引入了模拟退火算子( s a ) ，确保其局部随机搜 索能力，加速向最优解收敛；在对遗传算子的选择方面本文采用了自适应改变 交叉概率和变异概率的方法，在初期取较大的变异算子而维持种群的多样性， 防止出现早熟现象，在已接近最优解邻域时，使变异算子减小，从而获得网络 的最优设计。这种方法避免了依靠经验确定网络结构的困难，克服了由于神经 网络初始权值的随机性和网络结构确定过程中所带来的网络振荡，有效提高了 神经网络的泛化能力。 本论文在分析大量肺癌患者数据的基础上，综合考虑诸多复杂影响因素， 用改进的g a b p 算法得出与患肺癌关系最为密切的8 大危险因素，并对肺癌c t 影像的特征作了分析与研究。m a t l a b 仿真实验证明了改进g a - b p 算法的预测 结果准确率为9 7 5 ，比传统g a b p 算法( 9 4 2 ) 高，比放射医师的正确诊断 率( 9 6 7 ) 略高，其收敛速度也大大提高。使用该算法可以极大地扩大医生有 限的个人知识和经验，有效地对肺癌与其他肺部病变的c t 片特征加以区别鉴 定，尽可能早的发现肺癌，为肺癌的早期诊断提供一条有效的决策依据。 关键字：b p 神经网络、遗传算法、模拟退火算法、肺癌 a b s t r a c t l u n gc a n c e r ，a sac o m m o nm a l i g n a n tt u m o ri nt h ew o r l dt o d a y ，h a sb e c o m et h e m a j o rr e a s o no fc a n c e rl e a d i n gt od e a t h i nt h ee a r l yp e r i o do fl u n gc a n c e rt h e r ea r e n oo rf e ws y m p t o m s ，s oi ti sd i f f i c u l tt of i n d ，w h e nd e t e c t e du s u a l l yi th a st r a n s f e r r e d t oo t h e rp a r to ft h eb o d y s ot h ee a r l yd i a g n o s i sa n dt r e a t m e n ti sa n e c e s s a r ym e t h o d t oi m p r o v i n gt h es u r v i v a lr a t ea n dr e d u c i n gm o r t a l i t yo ft h ep a t i e n t sw i t hl u n gc a n c e r , a n di ti sa l s oad i f f i c u l tt e c h n o l o g yo fl u n gd i s e a s ed e t e c t i o n c ti sw i d e l yu s e di n d i a g n o s i so fl u n gc a n c e r ，b u tf o rd o c t o r sm a k i n gc o r r e c td i a g n o s i si sn o te a s yb e c a u s e o ft h ec o m p l e x i t yo fc ta n do t h e ru n c e r t a i nf a c t o r s a l t h o u g ha r t i f i c i a ln e u r a ln e t w o r kh a sh a daw i d e ra p p l i c a t i o ni nt h em e d i c a l f i e l d ，t h ed e s i g no ft h es t r u c t u r eo ft h en e u r a ln e t w o r ka n dt h ei n i t i a lv a l u eo ft h e w e i g h ta r es t i l ll a c ko fs u p p o r t ，a n dw i t hs l o wc o n v e r g e n c e ，c l a s s i cb pa l g o r i t h m e a s i l yf a l li n t oal o c a lm i n i m a ，a l lt h e s ep r o b l e m sn e e dt os o l v e g e n e t i ca l g o r i t h mh a s as t r o n gg l o b a ls e a r c hc a p a b i l i t y ，a n dt h i sc a nm a k eu pf o r t h ef l a w so fb pn e t w o r k m a n ys c h o l a r sh a v ep u tf b n hag aa n db pn e t w o r ki n t e g r a t i n ga l g o r i t h m ，b u tt h e t r a d i t i o n a lg a - b p a l g o r i t h m o f t e n o p t i m i z eo n l y o n e a s p e c to f n e u r a l n e t w o r k - w h e t h e rt h ew e i g h t so rt h es t r u c t u r e i nt h i sw a yt h en e t w o r km a yu n d e ra r e d u n d a n c ys t r u c t u r ea f t e ro n l yo p t i m i z i n gt h ew e i g h t s w a l u e ，a n da n o t h e rm e t h o d c a nn o tm a k es u r et oa c h i e v et h eb e s t w e i g h tv a l u ea f t e ro n l yo p t i m i z i n gt h e s t r u c t u r e t os o l v et h i s p r o b l e m ，t h i sp a p e ri n t r o d u c e s c o e v o l u t i o ng e n e t i c a l g o r i t h m ，s t r u c t u r ea n dw e i g h t sa r ea tt h es a m et i m ee n c o d e di nt h ec h r o m o s o m e ； a n db e c a u s eg ah a sn o tas t r o n gl o c a ls e a r c h a b i l i t y ，t h et r a d i t i o n a lg a - b p a l g o r i t h mc o u l dn o tf i n dt h eo p t i m a ls o l u t i o na ss o o na sp o s s i b l ew h e nf a s t l y c o n v e r g et ot h en e i g h b o r h o o do ft h eo p t i m a ls o l u t i o n ，a n dw h i c hl e a dt os om u c h t i m e so fi t e r a t i o n s s ot h i sp a p e ri n t r o d u c e ss i m u l a t e d a n n e a l i n ga l g o r i t h m ，t oe n s u r e t h el o c a lr a n d o ms e a r c hc a p a b i l i t i e s ，w h i c hw i l la c c e l e r a t ec o n v e r g e n c et ot h eo p t i m a l s o l u t i o n t h i s p a p e ra l s o u s e st h e a l g o r i t h m o fa d a p t i v ec h a n g i n gc r o s s o v e r p r o b a b i l i t ya n dt h em u t a t i o np r o b a b i l i t y ，i nt h ei n i t i a lp e r i o dc h o o s eal a r g e rm u t a t i o n p r o b a b i l i t yt om a i n t a i nt h ed i v e r s i t yo ft h ep o p u l a t i o n ，w h e nn e t w o r ki sc l o s et ot h e n e i g h b o r h o o do ft h eo p t i m a ls o l u t i o n ，r e d u c i n gt h em u t a t i o np r o b a b i l i t yt oo b t a i nt h e o p t i m a ln e t w o r kd e s i g n t h i sm e t h o da v o i d sr e l y i n go nt h ee x p e r i e n c et od e c i d et h e n e t w o r ks t r u c t u r e ，o v e r c o m e st h er a n d o m n e s so ft h ei n i t i a l i z a t i o no fw e i g h t s w a l u e a n dt h eo s c i l l a t i o ni nt h ep r o c e s so fd e t e r m i n i n gt h en e t w o r ks t r u c t u r e ，a n de f f e c t i v e l y e n h a n c e st h eg e n e r a l i z a t i o na b i l i t yo ft h en e u r a ln e t w o r k i n t h i sp a p e r ，al a r g en u m b e ro fe x p e r i m e n t a ld a t ao fl u n gc a n c e rp a t i e n t sa r e a n a l y s e do nt h eb a s i so fc o m p r e h e n s i v ec o n s i d e r a t i o no fm a n yc o m p l e xf a c t o r s ，a n d a ni m p r o v e dg e n e t i ca l g o r i t h mo p t i m i z i n gn e u r a ln e t w o r ki su s e dt oe s t a b l i s ht h e n e u r a ln e t w o r km o d e l ，a n df i n a l l yr e c e i v e dt h em o s tc l o s e l y8m a j o rr i s kf a c t o r s a s s o c i a t e dw i t hl u n gc a n c e r , a n dt h ec h a r a c t e r i s t i c so fl u n gc t i m a g e sw e f ea n a l y z e d a n dr e s e a r c h e d t h em a t l a bs i m u l a t i o ne x p e r i m e n tp r o v e dt h a tt h ea c c u r a c yr a t eo f t h ei m p r o v e m e n tg a - b pa l g o r i t h mi s9 7 5 ，i sh i g h e rt h a nt r a d i t i o n a lg a - b p a l g o r i t h m ( 9 4 2 ) ，a n dal i t t l eh i g h e rt h a nt h ec o r r e c td i a g n o s i sr a t e ( 9 6 7 ) o f d o c t o r s ，i t sc o n v e r g e n c er a t ei sa l s og r e a t l yi n c r e a s e d u s e i n gt h i sa l g o r i t h mc a bh e l p h e l pd o c t o r sa v o i dt h ec o n s t r a i n t so ft h ek n o w l e d g ea n de x p e r i e n c ea n ds u b j e c t i v i t y ， a n dh a v ea ne f f e c t i v ed i s t i n g u i s ha n di d e n t i f i c a t i o no fc tf e a t u r e sw i t hl u n gc a n c e r a n do t h e rl u n g - d i s e a s e ，t od i s c o v e rl u n gc a n c e ra se a r l ya sp o s s i b l e ，a n dp r o v i d ea n e f f e c t i v ew a yo fd e c i s i o ni nt h ee a r l yd i a g n o s i so fl u n gc a n c e l k e yw o r d s ：b a c k p r o p a g a t i o nn e u r a ln e t w o r k s ，g e n e t i ca l g o r i t h m ，s i m u l a t e d a n n e a l i n ga l g o r i t h m ，l u n gc a n c e r i i i 独创性声明 本人声明，所呈交的论文是本人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得武汉理工大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 研究生签名：苎灸日 ，名 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定，即学校有权 保留、送交论文的复印件，允许论文被查阅和借阅；经作者同意学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 一张n 一名：陧日 期：吵渺 武汉理工大学硕士学位论文 1 1 研究背景和意义 第1 章绪论 肺癌是最常见的癌相关性死因，全世界每年有超过1 0 0 万人死于肺癌。在 中国，肺癌的发病率己上升为恶性肿瘤的第二位，其病死率在城市人口恶性肿 瘤中居首位，且其发病率呈逐渐增高趋势i l 2 1 。肺癌早期的表现一般都是结节， 之后发展到大小不一的肿块，到晚期不同种类的癌症发展情况不一，像小细胞 癌经常会在短时间内迅速增大，给治疗带来了不小的难度1 3 , 4 1 。尽管近3 0 年来肺 癌各种治疗技术有了很大的进步，但肺癌的长期生存率仍然只有1 0 1 5 ，其 主要原因是8 0 的肺癌患者就诊时己属于晚期，治疗效果差；如果肺癌能在早 期被诊断和治疗，其5 年生存率将从1 4 上升到4 9 1 5 j 。因此，早发现、早诊 断、早治疗是提高肺癌患者生存率、降低死亡率的关键。 对无症状肺癌高危人群进行筛选检查，是发现早期肺癌的有效办法。要提 高肺癌患者的生存率，就应该更早的预知肺癌。 1 2 国内外研究现状 1 2 1 算法现状 人工神经网络( a n n ) 力图模拟人类处理问题的方式去理解和利用信息， 具有大规模的并行处理和分布式的信息存储能力，并有良好的自适应、自组织 性以及很强的学习功能、联想功能和容错功能。但b p 网络训练速度较慢，全局 搜索能力又弱，易陷于局部极小。遗传算法( g a ) 是借鉴生物界自然选择和自 然遗传机制的随机搜索算法，这种全局搜索能力可以优化神经网络的结构、权 值和学习规则。 在遗传算法优化神经网络结构的算法方面： 有学者采用二进制编码的带基因突变的遗传算法( m g g a ) 1 6 j ，实数编码的 带受损基因的遗传算法( d g g a ) 7 1 和带退化的遗传算法( g a d ) i 引。这些算法 通过减少神经网络中的不必要参数，对神经网络的结构有一定的优化能力，也 武汉理工大学硕十学位论文 可以避免陷于局部最优解。但由于搜索空间的离散和遗传算法本身的特点，这 些方法计算量太大，而且退化简化的程度不易掌握【9 j 。遗传算法用于网络的结构 寻优的表示方法中，采用连接权值矩阵表示的直接编码方法对于大结构的神经 网络解搜索空间过大，寻优时间长而且结构寻优效果不理想；只对结构有关信 息进化的间接编码方法也存在进化规则复杂，与权值寻优不能同时进行的问题 1 1 0 l o 对遗传算法的改进方面： 阶梯遗传算法1 1 1 】( h g a ) 将n n 个样本分成n 个子种群，每个子种群独立 运行各自的遗传算法，在每个子种群运行到一定代数之后，将n 个遗传算法的 结果种群记录到二位数组尺n ，丑，珂】中，同时将n 个结果种群的平均适应 度值记录到数组彳阻，n 】中。这种改进的算法不但在每个处理器上运行着遗传 算法，同时对各处理器不断生成新种群进行着高一层的运算和控制。 e s h e l m a n 于1 9 9 1 年提出了c h c 算法【1 2 l ，第一个c 代表跨世代精英选择策 略，h 代表异物重组，第二个c 代表大变异。c h c 算法牺牲了基本遗传算法( s g a ) 的单纯性，换取了遗传操作的较好效果，并强调有优良个体的保留。 微种群算法( 1 z g a ) 1 1 3 l 不按平均特性来评价种群的行为，而是根据至今最 好的个体来评价和完成算法。g g a 在进化过程中，以合理的间隔通过“启动再启 动”过程，不断的引入恒定数目新种群，寻求较好的个体。 双种群遗传算法( d p g a ) 1 3 j 用两个种群分工协作：全局种群寻找可能存在 最优点的区域；局部种群搜索全局种群划定的区域，找到最优点。d p g a 比单纯 使用l z g a 的搜索速度快，因为d p g a 能将寻优范围局限在含有最优点的区域， 不需要搜索其他无关区域。 1 2 2 肺癌诊断技术现状 影像学检查是肺癌早期检出的重要环节，可直接显示病变，有助于临床治 疗，因而备受关注。近年来肺癌的各种影像检查方法有了很大进展，使得诊断 水平明显提高，肺癌的影像学方法包括：x 光片、c t 、m r 、血管造影及介入性 放射学等，其中c t 成为肺癌筛检最有效的影像学方法。 删在医学领域里已被用在疾病临床诊断、疾病筛查和辅助诊断、疾病相 关因素研究、预测疾病的发病风险、生存分析、基因识别和d n a 、r n a 序列分 析、蛋白质结构分析等，a n n 在放射学也有广泛的应用，主要表现在胸部疾病 2 武汉理工大学硕士学位论文 的影像诊断。 l e e 等人提出的基于遗传算法( g a ) 的模板匹配方法，检测出了9 8 个孤立 性肺结节中7 1 个，检出率在7 2 左右f 1 4 l 。 s u z u k i 采取超大训练的人工神经网络( m a s s i v et r a i n i n ga r t i f i c i a ln e u r a l n e t w o r k s ，m t f f 蝌n ) ，通过构建二级的的神经网络，对标注的6 种良性、1 种恶 性结节数据分析，共6 3 组病例，1 7 6 5 张c t ，7 1 个结节，最后结果对于结节检 测的准确率达到了9 8 3 。该方法没有对肺结节特征进行提取，而是直接采取标 记区域的像素值作为特征【1 5 1 。 d a w t u n gl i n 等人设计了一个模糊神经网络模型来检测肺结节，用了2 9 人 的共5 8 3 张c t 切片来学习，其中对r o i 区域提取面积、平均亮度、环状测度 特征，根据特征和先验知识，设定一些模糊规则。结果为r o c 曲线面积达到 0 9 6 3 ，敏感度达到8 9 3 i x 6 1 。 张洪升将人工神经网络应用在肺癌c t 的辅助诊断中1 1 7 1 ，将肺c t 片的影像 学特征结合临床上的性别、年龄、吸烟史等参数构成输入项，对网络进行训练， 并用盲法测试，随后用于辅助诊断。结果表明b p 神经网络对预测集诊断的准确 度9 0 9 ( 4 0 4 4 ) ，比放射医师的准确度9 3 2 ( 4 1 4 4 ) 稍低，但是二者r o c 曲线下面积比较无统计学意义( p = o 5 6 8 ) 。 顾萍掣1 8 】对影响肺癌临床诊断的主要因素进行了单因素m a n t e l h a e n s z e l 以 及多因素非条件l o g i s t i c 模型分析，结果表明临床表现发生率由高到低依次为： 咳嗽、血痰、胸痛、发热、气促、消瘦、乏力和食欲减退、肿瘤局部扩散和远 处转移。 目前国内外的研究技术多集中在对肺癌c t 的图像处理方面，通过对肺癌 c r 图像特征的提取等技术来判断肺癌患病几率。但是对于现在国内的大多数医 院来说肺癌的检测主要通过医生的经验和对病人c t 及临床表现的观察，对一些 经验不足的医生来说，肺癌c t 的特征尤其复杂，可能稍有一点疏忽就会给诊断 带来很大的失误。如何提高肺癌的早期诊断率是一个迫切的问题。 1 3 本文的主要研究内容 人工神经网络尤其是b p 网络在医学方面已经得到了广泛地应用，但b p 网 络训练速度较慢，全局搜索能力又弱，易陷于局部极小，所以用其他算法来优 3 武汉理工大学硕士学位论文 化神经网络是本文研究的主要方向。遗传算法( g a ) 从解空间的多点开始搜索， 很容易收敛于全局最优解，收敛速度也比b p 网络快很多，所以用g a 优化b p 网络可以使其具有全局自学习、自组织、自适应和自进化的能力。但是传统的 g a b p 算法又存在着迭代次数太多、无法同时优化b p 网络的结构和权值等多种 问题，因此如何选取一种有效的算法来克服这些缺点是本文的主要研究工作。 本文的研究内容主要包括以下几个方面： 1 介绍了神经网络的基本知识，研究了b p 网络训练过程中存在的问题，总 结了一些改进方法和b p 网络的训练技巧。 2 介绍了遗传算法的基本知识，总结了遗传算法的一些改进方法，并对遗 传算法的寻优能力进行了m a t l a b 仿真实验。 3 总结了g a 优化b p 网络的一般方法及其不足之处，引入多物种协同进化 ( c g a ) 和模拟退火( s a ) 的思想，提出了一种改进的g a 优化b p 网络结构 和权值的算法，并用m a t l a b 仿真实验证明了该算法在寻优方面优于传统 g a - b p 算法。 4 将改进的g a 优化b p 网络的输入用于肺癌的发病危险因素方面的研究， 主要对病人的居住环境，饮食习惯、体质特征及临床表现等作了分析，得出与 肺癌发病关系最为密切的八个因素，为医生的临床诊断工作提供辅助诊断信息。 5 将改进的g a - b p 算法用于肺癌c t 的诊断中，把患者c t 的主要特征作 为输入因子，用改进的g a 算法同时优化b p 网络的权值和结构，将预测结果分 别与文献【1 7 】的b p 算法、传统g a b p 算法和放射医师的预测进行了对比。 1 4 本文解决的关键问题 鉴于传统g a - b p 算法存在的众多不足，本文提出的改进的g a b p 算法将 解决一下几个关键问题： 1 传统g a b p 算法往往是对b p 网络结构或权值的单一方面优化，但是优 化结构后的网络不一定能达到最佳权值分布，优化权值后的网络也可能存在冗 余结构，针对上述问题，本文引进了多物种协同进化的思想，将几种不同结构 的b p 网络作为不同物种放到同一种群中作为整体进化，包括同一结构的网络内 部的权值的进化和不同结构的网络之间的进化。该思想主要体现在编码方面， 首先按经验公式确定的最大隐层节点数作为网络结构的编码标准，将二进制编 4 武汉理工大学硕士学位论文 码作为开关作用于隐层节点，再结合权值的实数编码，即同时将隐层节点和权 值编码在染色体中。 2 由于g a 的全局搜索能力强，传统的g a - b p 算法往往可以很快达到最优 值邻域，但是却经常无法跳出局部最优，达不到误差所要求的精度。所以本文 引入了模拟退火思想，因为模拟退火算法具有较强的局部搜索能力，可以从局 部最优解中跳出，更有可能求得优化问题的全局最优解。本文使用了两种改进 的g a b p 算法分别应用在肺癌研究的两个方面，即将模拟退火算子分别应用在 适应度函数的拉伸变换和变异之后，这样在进化初期即能够保证群体的多样性， 又能防止早熟，从而使进化的后期最优个体能够保留下来。 3 将改进算法一应用于肺癌危险因素的研究中，即用模拟退火思想对适应 度函数作拉伸变换，以提高个体间的竞争性，遗传操作采用轮盘赌和跨世代精 英选择策略，以及两点交叉和自适应多点变异的方法，来优化b p 网络的输入， 最后得出的最佳输入组合即肺癌的八大危险因素。 4 将改进算法二应用于肺癌c t 影像诊断中，选用竞争选择和精英保留策 略，用自适应调整交叉概率和变异概率的方法对染色体进行遗传操作，将模拟 退火算子用于变异之后，使之在到达最优解邻域时快速跳出局部最优解。将放 射医师提供的2 6 项显著的肺癌c t 特征作为输入因子，得出预测结果并计算相 对误差。 5 武汉理工大学硕士学位论文 第2 章b p 神经网络及改进 2 1 人工神经网络的模型与特点 人工神经网络( a r t i f i c i a ln e u r a ln e t w o r k s ，简写为a n n ) 简称为神经网络 ( n n ) ，是对人脑或自然神经网络若干基本特性的抽象和模拟。人工神经网络模 型是模仿人脑神经的活动力图建立脑神经活动的数学模型，即把对信息的储存 和计算同时储存在神经单元中，所以在一定程度上神经网络可以模拟动物神经 系统的活动过程。它具有高度非线性、学习和自适应性、联想记忆、并行分布 处理、数据融合、多变量系统等特点，这是其他方法所不具备的。图2 1 给出了 一个三层神经网络结构。 毛+ 屯+ 毛+ 厶+ y 。 输入层 ( m 个) 图2 - 1 人工网络结构示意图 其输入输出关系可描述为【1 9 1 ： j 即善啉一嘭 ( 2 1 ) ly ，一f ( x j ) 式中，x i 代表神经元的输入信息；以是输入的数目，睨代表了该神经元与 第个神经元的连接权值；p ，是神经元的阈值，为传递函数。 6 武汉理工大学硕士学位论文 人工神经网络是互连的神经元构成的网络，是通过对人脑的研究而得到的 一门交叉学科，它的研究使诸如生物学、认识科学、非线性科学等基础学科与 计算机、人工智能、信息处理、模式识别等工程学科有机地结合起来，并具有 非常广泛的应用前景，它具有以下特点1 2 0 】： 1 自组织和自学习能力。 2 推广能力。 3 能以任何精度逼近任何非线性函数。 4 高度并行，即大量的相似或独立的运算都可以同时进行。 5 很强的信息综合能力，能同时处理定量和定性的信息，能很好的协调多 种输入信息融合和多媒体技术。 2 2b p 神经网络的数学描述 b p 网络即误差反向传播神经网络( b a c k p r o p a g a t i o nn e u r a ln e t w o r k ) ，它的 思想是把一组样本的i o 问题变为一个非线性优化问题，使用了优化中最普通的 梯度下降法，用迭代运算求解权对应于学习记忆问题，加入隐含层节点使优化 问题的可调参数增加，从而得到更精确的解。b p 神经网络模型是人工神经网络 模型中最具代表性和广泛应用的模型。确定b p 神经网络评价模型时涉及隐含层 节点数、转移函数、学习参数和网络模型的最后选定等问题。基于这个特点， b p 模型能解决诸如模式分类、映射及其他模式分析问题【2 n 。 下面简单介绍一下基本b p 算法相关数学描述1 2 2 2 3 j ： b p 网络学习是典型的有导师学习，其学习算法是对简单的学习规则的推广 和发展。b p 网络实现了多层网络学习的设想，其学习过程包括正向传播和反向 传播两部分。在正向传播过程中，给定网络的一个输入模式时，输入信息从输 入层经过隐含层逐层处理，并传向输出层，每一层神经元的状态只影响下一层 神经元的状态，由输出层单元产生一个输出模式，这是一个逐层状态更新过程， 称为前向传播。如果输出响应与期望输出的模式误差值不满足要求，那么就转 入误差反向传播，将误差值沿连接通路逐层传送并修正各层连接权值。对于给 定的一组样本，不断用一个个训练模式进行学习，重复前向传播和误差反向传 播过程，当各个训练模式都满足要求时，b p 网络训练完毕。 7 武汉理工大学硕士学位论文 2 3b p 算法存在的问题及改进 b p 网络是一种有效的自学习神经网络，但是也存在以下五个主要问题1 2 1 ，2 3 l ： 1 易陷入局部极小。 2 隐含层中的节点数目难以确定，并无准确的理论指导，具有很大的盲目 性。 3 学习算法的收敛速度慢，而且收敛与否也与初始化的权值和阈值有关。 4 网络的泛化性差。通常情况下，样本和样本之间的特征值不能相差太大， 否则网络容易不收敛。 5 网络对初始值很敏感。同一b p 网络不同的初值会使网络的收敛速度差异 很大，若初始值选取不合适，训练起始段就会引起震荡。 针对b p 网络的以上四个缺点，很多学者从各方面着手都提出了有效的改进 方法。如：加上动量项、参数自动优选等等，而且实验和实践证明这些方法在 一定程度上可以优化b p 网络的训练，提高网络的性能。本节主要针对动量项、 网络结构的优化、容错神经网络等来改进b p 网络1 2 1 2 6 l 。 1 动量项 在实际应用中，步长r 的选择很重要，7 大则收敛快，但过大则可能引起不 稳定，r 小可避免振荡，但收敛速度变慢，解决这一矛盾的最简单方式是加入动 量项口，即权值修改公式为： a w i j ( n + 1 ) - - 以( 刀一1 ) + r g ，( t 1 ) 0 口 e j ( 4 1 ) 并用一组称为“冷却进度表”的参数合理地控制算法进程。通过m e t r o p o l i s 接受准 m 1 ，k 眈 ，rl1【 e = 和 只 臣 为 “u单刀分量匕匕自的者 武汉理工大学硕士学位论文 则使算法在搜索过程中能在某种程度上容纳过渡性的非最优解，并通过扰动不 断越出局部最优解，寻求全局最优解。开始时t 值大，可能接受较差的恶化解； 随着t 值的减小，只能接受较好的恶化解；最后在t 值趋于零值时，就不再接受 任何恶化解【2 5 1 。已经证明，只要初始温度足够高，退火过程足够慢，算法就能 收敛到全局最优解。因此s a 除接受优化解外，还在一个限定范围内接受恶化解， 这是模拟退火算法与局部搜索算法的本质区别所在。 遗传算法的局部搜索能力较差，但把握搜索过程总体的能力较强。而模拟 退火算法具有较强的局部搜索能力，并能使搜索过程避免陷入局部最优解，但 模拟退火算法却对整个搜索空间的状况了解不多，不便于使搜索过程进入最有 希望的搜索区域，从而使得模拟退火算法的运算效率不高【3 6 j 。如果将遗传算法 与模拟退火算法相结合，互相取长补短，则有可能得到性能优良的新的全局搜 索算法。 本文讨论的遗传退火优化神经网络有两种方法： ( 1 ) 适应度拉伸 遗传算法仅使用由目标函数值变换来的适应度函数值确定进一步搜索的方 向和范围。在遗传初期，一些适应度大的超常个体控制选择过程，影响了算法 的全局优化性能。在遗传后期，由于种群中个体适应度差异较小，算法易收敛 到某个局部解。为了克服这种现象，本文采用p a u l ls t o f f a 提出的适应度拉伸方 法，以提高个体之间的竞争性。改进后，第i 个个体的适应度为： 五一 e x p ( f 。r ) , 善e x p ( f t 丁) ( 4 2 ) 其中t r o 0 9 9 ”1 。 ( 2 ) 为使遗传算法能对某一重点区域进行局部搜索，对变异之后的群体应 用模拟退火算子，即s a 确定的保留概率为： 只= e x p ( ( e 。一互一。) r ) ， ( 4 - 3 ) 如果新产生的群体优于上一代群体则保留；反之则按照模拟退火算子的保 留概率，决定是否保留新一代群体。这样在进化初期即能够保证群体的多样性， 又能防止早熟，从而使进化的后期最优个体能够保留下来。 武汉理i t 大学硕士学位论文 4 3 改进的g a b p 算法同时优化神经网络的结构和权值 用遗传算法单纯对权值参数进行优化时，因为权值是在一个预先给定的可 能存在冗余的结构下训练，不但会增加网络训练的负担，还可能降低网络的泛 化能力，因此我们有必要对神经网络的结构也进行优化。而遗传算法在用于网 络的结构寻优时一般有两种基因表示方法：一种是采用连接权值矩阵表示的直 接编码方法，这样对于大结构的神经网络解搜索空间过大，从而导致寻优时间 长而且结构寻优效果不理想的问题；另一种是只对结构有关信息进化的间接编 码方法，但是也存在进化规则复杂，与权值寻优不能同时进行的问题【1 0 l 。 针对遗传算法在优化神经网络时存在的问题，本文提出了一种改进的遗传 算法同时优化神经网络的权值和结构，以避免结构寻优过程中出现的搜索空间 过大以及进化规则复杂等问题，缩短寻优的时间。 4 3 1 初始种群的设定 对于三层b p 网络来说，输入节点和输出节点的数目是由实际问题本身决定 的，确定网络结构实际上就是确定隐层节点的数目。对于初始网络结构的选取 我们可以针对不同的实际问题依靠经验或者有效的理论，例如k o l m o g o r o v 定理， “大拇指规则”( r u l e so ft h u m b ) 或“金字塔规则”( g e o m e t r i cp y r a m i dr u l e ) 等， 但目前尚无很好的理论公式可求。由于节点数过多网络会倾向记忆所有的训练 数据，反而会降低网络的泛化能力，因而还要遵循以尽量少的节点数实现尽量 好的泛化逼近能力的原则。本文采用以下经验公式【2 2 】确定一个大致的数， ( 4 4 ) 其中朋，以，h 分别表示给定问题所确定的输入、输出和隐层节点数，a 为1 到1 0 之间的常数。由于不同物种( 网络结构) 交叉后会使部分物种的个体数量减少 ( 尤其是隐层节点多的结构) ，而另一部分物种的个体数量增加，为了避免部分 优秀物种在未充分进化前就被过早地淘汰，维持进化的初始阶段群体中不同物 种的平衡，本文根据经验知识，使几种结构的个体在一定的权值分布范围内按 比例随即产生初始种群，受群体规模限制，网络结构的种类不宜选取过多。 武汉理t 大学硕士学位论文 4 3 。2 编码方案及初始解空间的确定 遗传编码对于有效利用遗传算法进行网络设计和学习有着非常重要的作 用。就神经网络来说，g a 所处理的每个个体是单独一个网络，所涉及的参数( 连 接权值、阈值等) 均为实数。采用二进制编码虽然可以再转化为实数，但会引 入了量化误差；而间接编码