（控制理论与控制工程专业论文）基于神经网络的智能预测系统及应用.pdf

摘要 一一 - 一 - - - - - 一 - - - - 一 一 - - ab s t r a c t . 曰 a rt i f i c a l n u e r a l n e t w o r k ( a n n ) h a s b e e n c a t c h i n g t h e w o r l d s a t t e n t i o n s i n c e i t c a m e i n t o b e i n g i n t h e f o rt i e s o f t h e t w e n t i e t h c e n t u ry . n o w i t h a s b e e n d e v e l o p e d t o b e a u s e fu l n o n - l i n e a r p r o c e s s i n g t o o l , a n d i s u s e d w i t h g r e a t s u c c e s s i n m a n y f i e l d s . p r e d i c t i o n i s o n e o f i m p o rt a n t a p p l i c a t i o n f i e l d s o f a n n . s i n c e m o s t o f th e g e n e r a l p r e d i c t i n g m e t h o d s a r e b a s e d o n l i n e a r a n a l y s i s , w h e n i t c o m e s t o n o n - l i n e a r c a s e s t h e y m e t m a n y d i f f i c u l t i e s , w h i l e a n n i s c o m p e t e n t f o r n o n - l i n e a r p r o c e e d i n g f o r i t s e x c e l l e n t n o n - l i n e a r c h a r a c t e r . p r e d i c t i n g m e t h o d s b a s e d o n a n n e x t e n d t h e s p a c e o f p r e d i c t i n g r e s e a r c h . t h e f o l l o w i n g a r e w h a t t h i s p a p e r h a s d o n e i n t h e f i e l d o f p r e d i c t i o n e s p e c i a l l y u n e m p l o y m e n t p r e d i c t i o n . t h i s p a p e r s o l v e d s o m e p r o b l e m s i n d e s i g n i n g t h e n e u r a l - n e t w o r k - b a s e d i n t e l l i g e n t p r e d i c t i v e s y s t e m i n c l u d i n g d a t a p r e t r e a t m e n t , p r i m a ry f a c t o r s a n a l y s i s , a n d a n n s s t r u c t u r e d e s i g n . b e f o r e u s i n g a n n t o p r e d i c t , t h e d a t a h a v e t o b e p r e t r e a t e d . i n s o m e c a s e s , o n e v a r i a b l e o f s a m p l e i s g r e a t d i ff e r e n t t o o t h e r s i n s c a l e , s o t h e y h a v e t o b e s t a n d a r d i z e d in t h e s a m e s c a l e . a n d w h e n t h e c as e i s t h a t s a m p l e s d o n o t d i s t r i b u t e i n t h e s a m e in t e r v a l , s o m e s a m p l e s n e e d t o b e i n s e rt e d i n t o b la n k p o i n t . t h e p r e t r e a t m e n t p r o v i d e s t h e f o u n d a t i o n f o r t h e f o l l o w i n g p r e d i c t i o n . wh e n p r e d i c t i o n w i t h l itt le t r a i n i n g s a m p le s e t a n d la r g e v a r i a b l e s i z e i s c o n c e r n e d , t h i s p a p e r a b s t r a c t s t h e p r i m e f a c t o r s fr o m t h e t r a i n i n g s a m p l e s e t , t h e n o n l y i n p u t s t h e p r i m e f a c t o r s i n t o a n n i n s t e a d o f p r i m a ry v a r i a b l e s . t h i s d i m i n i s h e s t h e s i z e o f a n n w i t h l i tt l e i n f o r m a t i o n l o s s , w h i c h m a y r e s u lt i n i m p r o v i n g t h e g e n e r a l i z a t i o n in t h e c a s e o f i n s u f f i c i e n t t r a i n i n g s a m p l e s . g e n e t i c a l g o r it h m i s i l lu s t r a t e d i n t h e p a p e r t o o p t i m i z e t h e s t r u c t u r e o f a n n . a n d t h e n , t h e n e u r a l - n e t w o r k - b a s e d i n t e l l i g e n t p r e d i c t i v e s y s t e m i s d e s i g n e d a n d u s e d i n t h e r e s e a r c h o f c h i n e s e u n e m p l o y m e n t p r e d i c t i n g . a c c o r d i n g t o c h i n e s e u n e m p l o y m e n t p r e d i c t i o n , t h r e e m o d e l s i s b u i l t i n t h e p a p e r b a s e d o n h i e r a r c h i c a l d i a g o n a l n e u r al n e t w o r k , d i a g o n a l e l m a n n e u r a l n e t w o r k , a n d a n n p r e d i c t i v e m o d e l f o l l o w i n g p r i m e f a c t o r s a b s t r a c t i n g . in t h e e n d o f t h e p a p e r , t h e s o ft w a r e o f t h e n e u r al - n e t w o r k - b a s e d i n t e l l i g e n t p r e d ic t i v e s y s t e m i s c o m p i l e d w i t h m a t l a b 5 .3 v e r s i o n , a n d u s e d t o p r e d i c t c h i n e s e u n e m p l o y m e n t . t h e s o ft w a r e a c h i e v e s g o o d p r e d i c t i o n p e r f o r m a n c e . 摘要 一一一一一一一一一一 k e y w o r d :n e u r a l n e t w o r k s , o p t i m i z i n g n n s t r u c t u r e , g e n e t i c a l g o r i t h m , i n s u f f i c i e n t s a m p l e s t r a in i n g , p r i m a ry f a c t o r s a n a l y s i s , h i e r a r c h i c a l d i a g o n a l n e u r a l n e t w o r k , d i a g o n a l e lm a n n e u r a l n e t w o r k u n e m p l o y m e n t p r e d i c t i o n , i n t e l l i g e n t p r e d i c t i o n 第一章绪论 第一章 绪论 “ 凡事预则立， 不预则废” 和 “ 人无远虑， 必有近忧” 等成语都说明预测iy j 重要 意义。人类从事对未来的研究活动山来己久，它和人类历史一样源远流长。在人类 的生产劳动和社会生活中充满着各种各样的推断和设想。针对预测方法的研究，引 起了众多学者的注意。经典的预测多以线性预测为主，近代在非线性领域取得了两 项引人瞩目的成果:神经网络理论和模糊理论。它们为非线性系统的建模与预测的 研究开拓了广阔的视野。神经网络理论是随着生物科学的进步发展起来的一门利学， 自 它诞生之日起就倍受瞩目，它的发展虽然历经挫折但始终表现着强大的 1 - 命力 现在神经网络作为有效的非线性工具，已 在许多重要领域被广泛应用，并已取得了 辉煌的成果。 1 . 1预测学简介 利学家们为了探索自 然界的奥秘， 提出了无数的科学假说和预测: 揭开未来社会的奥秘， 一直在预测和设想人类的未来世界和理想1 和社会的发展趋势以及发展前景的探测及描述， 无论它是否科学， 思想家们为了 这种对自 然界 一直存在于人类活 动的各个领域之中。 但是千百年来， 人们并没有把这种探索未来的活动作为一门1 门 学科来研究。 只是到了近代， 特别是第二次世界大战以后， 由于科学技术的飞速发展， 为人类社会带来了许多新事物、 新问 题， 使人们越来越关心未来可能出 现的前景。因 为人类面临着越来越复杂的决策问题， 人们己经深深地感到科学地研究和预测未来的 必要性和迫切性。 要想有正确的决策， 就必须先要有科学的预测，预测学正是在这样 的客观环境下产生和发展起来的。 促使预测学形成和发展的另一个原因是科学技术的 发展为预测学提供了有效的、 可靠的科学预测手段。 从本世纪四十年代开始，i j . 到 七 卜 年代末， 终于形成了一门自 成体系的、 有现实感的综合性学科。 它是社会利 一 学和自 然科学的交叉学科。 预测学以预测活动，也就是以 研究社会和科学技术发展变化规律的活动为刘象， 并 根据社会和科学技术的发展规律， 预报社会和科学技术在未来的发展变化。 这门新 兴的学科， 运用科学的方法和工具，根据事物的发展规律， 对社会、 经济、科学、技 术、 军事等五个主要方面的发展变化作出预测， 同时估计山于这种发展变化而对末来 可能产生的影响，设计应变的对策和行动方案。 预测学除了有它独特的研究对象以外， 还具备两个条件:一 个是利 学的理论4i 1d i , 另 一 功能 个是利学的预测方法。 这两个条件使预测学具有很强的社会功能， 它主要有e l 个 第一， 未来研究和预测是为决策服务的: 第二， 它能够获得尽可能大的经济效n ? 第一 橇绪论 第三， 它能够探测科学技术的发展趋势， 帮助人们确定需要发展的重点; 第四， 它可 以促进各个学科和领域间的合作， 有利于促进科学技术和社会经济发展的统一: 第住 ， 它1可 以监视和发现事物未来发展过程中的新问题、 新情况。 为了更好地发挥顶测学的 社会功能，各国的预测学家和未来研究工作者都在积极地从事未来研究和预测工作， 并己在许多领域中获得了引人注目 的成果。 1 . 2 神经网络的发展及应用 1 . 2 . 1神经网络的发展 神经网络的研究从4 0 年代初开始，至今己有半个多世纪的历史，大致可分为爪 个阶段。 ( 1 ) 1 9 4 3 - 1 9 6 9 年为初创期 1 9 4 3 年，心理学家mc c u l l o c h 和数学家p ic t s 首先提出了形式神经元模型 ( 简称 m p模型) ，把神经元作为双态开关，并应用布尔逻辑的数学工具研究客观事件的形 式神经网络的模拟。1 9 4 8年，wi e n e r在发表的 控制论著作中，多次谈到他和 m c c l l u o c h , p i tt s 以 及r o s e n b l a t t 等人在生物神经系统、信息、控制等方而的亲切讨 论、交流和合作。可以说wi e n e r 的杰出工作对神经网络的研究起到了重要的推动作 用。1 9 4 9 年， 心理学家h e b b 提出了 神经元的学习规则， 使神经元具有了可塑性。 到 1- 1 前为止，大部分神经网络的学习规则仍采用了h e b b 规则或它的改进型。1 9 5 8 年， r o s e n b l a tt 提出了 感知器( p e r c e p t r o n ) 模型， 指出 感知 过 程具有统计分 离性， 利用教 师信号可以对感知器进行训练， 试图模拟人脑感知能力和学习能力。1 9 6 2 年， b l o c k 用解析法证明了感知器的学习收敛性;同年 wid r o w 提出了自适应线性元件 ( a d a li n e ) ， 是一 连续取值的神经网 络， 主要用于自 适应系统。 m i n s k y 和p a p e r 经过 对感知器模型的深入研究，在 1 9 6 9 年发表了 感知器一书，严格证明了简单的线 性感知器功能的局限性，并且指出多层感知器还不能找出有效的学习方法。日本的 中野在1 9 6 9 年提出一个联想记忆模型， 同年， m a r t 提出小脑功能机器学习法则的小 脑感知机模型，这是一项神经网络与神经生理学相结合的研究成果。 ( 2 ) 1 9 7 0 - 1 9 8 6 年为过渡期 自 从m in s k y 和p a p e r t 的 著 作 p e r c e p t r o n ) 1 1 发 表 后， !曾 一 度 使 神 经网 络的 研 究 处于低潮，但是这项研究并未就此中断。东京大学甘利教授从7 0 年代起就对神经网 络的性质及其局限性作了许多理论研究。1 9 7 2 年芬兰k o h o n e n 发表了一个与 感知器 不同的线性神经网络模型，比起非线性网络模型，它的分析要容易得多。1 9 7 5年福 岛提出一个自 组织识别神经网 络模型。 1 9 7 6 年， 美国 波斯顿大学教授g r o s s b e r g 根据 对生物学和心理学的研究，提出了几个非线性动力系统结构，对神经网络的研究起 第一章绪论 到了重要的 推动作用。1 9 8 0 年， 芬兰k o h o n e n 提出了自 组织映射理论0 1 9 8 2 年，美 国 加州工学院物理学家 h o p f i e l d对神经网 络的 动态特性进行了 研究，引入了 能量函 数的概念，给出了网络的稳定性判据，提出了用于联想记忆和优化计算的新途径。 这项研究成果为神经网络的研究注入了新的活力。1 9 8 4年，多 伦多大学教授 h i t o n 等人把神经元的输出函数与统计力学中的波尔兹曼分布联系起来， 提出了b o l t z m a i m 机模型。从8 0 年代初神经网络的研究再次复苏并形成热点以来发展非常迅速，在理 沦上对它的计算能力，对任意连续映射的逼近能力，学习理沦及动态网络的稳定,if 等都 取 得了 丰硕的 成果。 1 9 8 6 年r u m e l h a rt 12 1 等人 提出了 误差 反向 传播的神经网 络， 简称b p 神经网络， 它是一种能朝着满足给定的输入输出关系方向进行自 组织的神经 网络。b p 网络目前已成为广泛使用的网络，并以此为基础作了许多改进，发展了某 些快速收敛算法。 从1 9 7 0 年至1 9 8 6 年间经过许多科学家长 期不懈的努力和潜心研究， 取得了突破 性的重要成果，使得神经网络领域的研究工作摆脱了困境，并步入健康发展的新时 期。 ( 3 ) 1 9 8 7 年至今为发展期 1 9 8 7 年6 月在圣地亚哥召开了第一届世界神经网络会议，标志着神经网络研究 在ili - 界范围形成了高潮。 美国国防部预研计划管理局 ( d a r p a ) 在1 9 8 7 年8 月组织 了大规模调研及论证，并于 1 9 8 8年 1 1 月开始了一项投资数亿美元的发展神经网络 及其应用研究的八年计划。此后许多国家也制定了相应计划发展神经网络。 进入9 0 年代后， 神经网络的国际会议接连不断， 1 9 9 1 年在美国西雅图召开了国 际神经网络学术会和i e e e联合年会。1 9 9 2 年国际神经网络学会在美国旧命山举行。 1 9 9 4 年首次将模糊系统、 神经网络和进化计算三个方面内容的会议综合在一起召开， 被称为 9 4 1 e e e全球计算智能大会 ( wc c i ) 在美国奥兰多召开，并决定这样的大会 母三年举行一次， 在这期间各学会仍单独召开年会。 1 9 9 5 年在澳大利亚的p e rt h召开 i c n n和i c e c会议，1 9 9 6 年在美国华盛顿召开i c n n会议。 1 9 8 9 年我国在广州召开了全国第一届神经网络一信号处理会议。 1 9 9 0 年我国八 个一级学会联合召开了神经网络首届全国学术会议 ( 北京) 。 1 9 9 1 年在南京召开了中 国第二届神经网络学术大会。此后，在 1 9 9 2 , 1 9 9 3 , 1 9 9 4 , 1 9 9 5 年又分别召开了第 三、四、五、六届神经网络学术大会。 总而言 之，神经网络的研究无论是在国际和国内，都受到了空前的关注) t 引起 了许多 领域研究人员的极大兴趣。 尤其是进入9 0 年代以来， i e e e神经网络汇刊问世， 各种专著逐年增加，许多期刊上不断推出了研究专辑。可以说，在世界范围内已经 形成了研究神经网络的前所未有的热潮。可以预言，神经网络的研究将会有更大的 突破 。 第一帝绪论 1 . 2 . 2神经网络的应用 神经网络的发展受到了全世界的瞩日，在应用上已迅速扩展到许多重要领域， 以!; 根据文献的介绍列出 一些主要的 应用领域13 1 14 1 ( 1 ) 模式识别与图 像处理 印刷体和手写体字符识别， 语音识别， 汉字识别， 指纹识别，人脸识别， 癌细胞 检测，心电图和脑电图分类，r n a和d n a识别，油气贮藏勘测，加速器事故检测， 目 标检测与识别，图像压缩，图像复原等。 ( 2 ) 控制与 优化 化工过程控制，机械手运动控制，电弧炉电极控制，半导体生产掺杂控制，石 油精炼，食况 . 工业中优化控制，v l s i ( 超大规模集成电路)布线设计等。 ( 3 ) 预测与管理 股票市 场预测，有价证券管理，借贷风险分析，信用卡管理，机票管理。 ( 4 ) 通信 自 适应均衡，回波抵消，路由选择，a t m网络中的呼叫接纳识别及控制等。 1 . 3本文所做的工作 木文在己有的预测和神经网络技术成果的基础上，介绍了预测的基本方法和神 经网络的基本理论。并对神经网络的泛化能力等内容进行了探讨。对小样本多指标 对象的神经网络建模问题，提出了用主元分析、网络分割等方法来减小网络规模提 高泛化能力的有效方法。最后设计了一个基于神经网络的智能预测系统，并将之应 用于我国失业预测的研究之中，建立了两个基于神经网络的失业预测模型，用 ma t l a b 5 . 3 编程，编制了我国失业预测系统，取得了较好的效果。 1 . 4本文的结构与安排 本文第一、二章主要介绍了神经网络和预测技术的基本状况和基本方法。第三 章着重讨论了神经网络的泛化能力和优化神经网络以提高泛化能力的方法，并11 次 使用主元分析法减少神经网络输入结点数量， 有效地降低了多输入神经网络的规模， 从而提高了神经网络的泛化能力。第四章介绍了预测方法及其应用，阐述了神经网 络在预测特别是经济预测中的应用。然后提出了基于神经网络的智能预测系统的基 木结构。在第五章中把神经网络预测模型应用在我国失业预测研究中。第六章则用 ma t l a b 5 .3实现了基于神经网络的智能失业预测系统。第七章总结了全文井提出了 些有待解决的问题。 第-t 5 神经网络的结构和算法 第二章 神经网络的结构和算法 2 . 1人工神经网络的构成 人工神经网络从拓扑结构上可以 看成是以 处理单元p e ( p r o c e s s i n g e l e m e n t ) 为结 点，用加权有向弧连接而成的有向图。其中处理单元是对生理神经元的模拟，有向 弧的权值标志着两处理单元相互影响的强弱，综合全部有向弧形成的互连强度矩阵 对应于人脑中信息的长期记 忆。处理单元用非线性函数实现单元输入与输出间的非 线性映射，其激活函数值对应于人脑中信息的短期记 忆。 2 . 1 . 1人工神经元模型h ) 图2 . 1 表示作为人工神经网络的基本处理单元的神经元模型。 输入信号 图2 . 1 神经元模型 它有三个基本要素: ( 1 )一组连接权 ( 对应于生物神经网络的突触) ，连接强度由各连接权上的权 值表示，权值为正表示激励，反之表示抑制。 ( 2 )一个求和单元，用于求取各输入信息的加权和 ( 线性组合) 。 ( 3 )一个非线性激励函数， 起非线性映射作用并限制神经元输出在一定范围内 (一 般限制在( 0 , 1 或卜 l , + 1 之间) 。 另 外还有一个 0 1 值b , . 用数学式可以表达以上描述的神经元模型 u , = 万c o 4 x i / = c z . t) v k = u * 一 b , ( 2 . 2) 第_ _ 节 神经网络的结构和算法 y k = w ( v k )( 2飞) 式中x , , x , 气为 输 入 信号 ， (o k i ， 。 * 2o) kl 为 神 经 元k 的 权 值， 。 为 线性组合结果，b * 为闭 值。诚 ) 为 激励函 数，y * 为 神经元k 的 输出。当 然也 可以 把 闪值当作一个输入信号来处理。 激励函数可以有不同的形式，可以 是符号 函数，分段函数或s i g m o i d 函数。 ( 1 ) ia l 值函数 ( 2 . 4 ) ，1 1- 丫!r! - ， v 了t 尹 ( 2 )分段函数 1 , a ( 1 + v ) , 0 , v 1 一 i v 1 v . 阻尼最小二乘法、d a v i d o n 最小二乘法、局部最小二乘法等。 除以上几种常用的学习算法外还有很多种神经网络学习算法，如随机梯度法、 模拟退火算法、卡尔曼滤波器算法等。 第二命神经网络的泛化能力 第三章神经网络的泛化能力 3 . 1泛化能力是神经网络的重要技术指标 泛化 ( g e n e r a l i z a t i o n ) 能力是 指经训练后的网 络对同一样本集中非训练样本仍能 给出正 确的输入输出关系的能力d q 。学习不是简单的记 忆己 学过的输入，而是 通过 训练样本学习隐含在样本中的有关环境本身的内在规律性，从而对未出现在训练集 i i ， 的输入也能给出正确反应。 神经网络的泛化能力是人们最关心的问题，没有泛化能力的神经网络是没有任 何价值的。由于泛化问题的重要性，它己成为近年来国际上十分关注的理论问题， 也 引起了国内一些学者的注意1 12 1 。目 前，己 经出 现了一些提高神经网络的泛化能力 的 算 法 113 1 3 . 2影响神经网络泛化能力的主要因素 如果把学习过程看作一个曲线拟和过程， 泛化相当于非线性内插。 正确训练的网 络， 即使对训练样本有一点误差， 也可以对未出现在训练样本中的输入给出正确反应。 相反， 如果学习了过多的特殊样本， 且过分追求训练集内误差小， 就会丧失泛化能力， 出现所谓过拟合现象。 这是因为学习过多时， 往往记住了个别特例以至某些噪声，从 而学到的不是输入样本的内在规律，大大降低了神经网络的泛化能力。 神经网络的泛化能力依赖于网络结构( 主要是隐结点数， 隐层数和隐结点的函数 特性) 和训 练样本的 特性1 4 1 。 因 此， 影响 泛化能 力的因 素主 要有 1 2 1 :第一， 训 练样 本的质量、 数量和样本的代表性; 第二， 神经网络本身， 包括网络的结构和学习算法 两个方面。这样就存在两类问题: ( )网络结构一定 ( 根据问题由经验选定) 时，为达到较好的泛化能力，需 要多少训练样木。 ( 2 ) 训练样本量一定( 许多实际问 题获取样本有一定困 难或要花费昂贵代价) 时，如何确定网络结构以保证有较好的泛化能力。 对于第一类问题总结现有的成果，作为粗略估计，为获得良好的泛化能力样本 最 应 满 足 m 一 叹， 其 中 m 为 需 要 的 样 本 量 ， : 为 对 其 它 样 本 的 错 分 率 ， w 为 叮 调 参数个数。若二 为1 0 % ，则样本量应大于可调参数的1 0 倍。这是按最坏情况考虑的， 考虑平均情况时没有这么严重。但一般说来，样本量应比可调参数数量大儿倍，学 习结果才是可靠的。 对第二类问题， 网络结构选择对网络的泛化能力是一个关键问题， 一般说 来网络 结构一定时，其中待学习的参数是有限的，参数学习是在这个有限维空间中的搜索 第三章 神经网络的泛化能力 没有先验知识时结构的搜索空间要大得多，而对应于每个结构又有许多可能的组合， 所以搜索空间很大。 结构设计比参数学习要困难， 它相当于系统辨识中确定未知模型 的形式， 对此至今没有确定可行的直接方法可循。 一个公认的指导原则是在没有其他 的经验知识时， 能与给定样本符合的最简单的网络就是最好的选择， 这相当于 使样木 点的偏差在允许范围条件下，用最平滑的函数去逼近未知的非线性映射。 多数实际问题的主要困难来自 样本量有限。 当样本量有限时会带来以下几个值得 注 意 的 问 题 115 1 : ( i )训练样本质量不高。训练后的网络在其他样本上的误差与在训练样本 卜 的 误差不一致。 ( 2 )网络规模不合适。网络规模过大，则会出现过拟合现象，此时随着训练次 数增加，虽然网络在训练集上的误差不断降低，但在其他样本上的误差可能反而_二 升 ( 泛化能力下降) 。反之，神经网络无法充分反映实际对象的内 在特征，其泛化能 力也不会高。 ( 3 )输入变量个数很重要，不重要的输入变量不但无益反而有害，所以在设 - !寸 首先要仔细选择变量，以减少输入变量维数 ( 相当于降低问题本身的规模) 。 3 . 3提高神经网络泛化能力的方法 从以上对影响网络泛化能力的因素的分析中可以发现，要提高神经网络的泛化 能力可以从以下几个方面着手: 3 . 3 . 1选择训练策略 样本质量是指训练样本分布反映总体分布的程度，或者说是整个训练样本集所 提 供的 信息 量。 p a r tr id g e 1) 6 1对 用 于 分 类的 三 层b p 网 络的 研究中 发 现， 训 练 样 本对 泛 化能力的影响甚至超过网络结构对泛化能力的影响。 对于绝大多数实际问题样本量是有限的，因此如何充分利用己有样本对神经网 络进行有效的训练是一个非常重要的问题。 ( ) 在训练样本中加噪声 在神经网络的学习中如果有足够大的训练集，可以把这些样本不重复地输入到 神经网络中让神经网络进行学习。但实际情况是经常没有如此充分的训练集，这就 必须将有限的训练集样本循环地输入到神经网络中进行学习，这会使神经网络精确 地拟合训 练数据， 但却 产生 过 拟合 现象。 s i e t s m a 1 7 1提出 在样本中 添 加随 机噪声的方 法，当训练数据被循环输入时每次添加的噪声不同，相当于增加了样本量，平沿了 噪声，可以 防止过拟合现象发生。 ( 2 ) 选择适当的时间结束神经网络的学习 当训练样本较少时， 如果过分追求拟合误差， 而过多地训练神经网络会产生过拟 合现象，如果拟合误差过大就结束训练又会出现训练不充分的现象，这两者同样都 第二章神4 h 网络的泛化能力 会影响网络的泛化能力。针对如何确定合 适的训练时间，也 有许多学者作出了探讨 w a n g 1 18 19 1在 对单 隐 层神 经网 络的 动 态 过 程 进行 分 析 后 发 现， 在 训 练的开 始 阶 段泛 化 误差单调减小，此后泛化误差存在波动，而最小泛化误差也出现在这一阶段，最后 泛化误差又单调增大。这说明如果在适当的时候停止网络学习，将使神经网络具有 最好的 泛化能力。 最 优停止法就是 根据这一 现象 提出的 1 2 1用 最优停止 法设 计神经 网络的关键是确定学习算法在何时停止学习。为了得到最优停止点把样本分为训练 样木和检测样本，把训练样本输入神经网络进行训练，并在侮一组训练结束后把检 测样本输入网络进行检测。当网络在检测样本上达到最小检测误差时停止学习。这 种方法又p l 交叉检测法 ( c r o s s - v a l i d a t i o n ) . 3 ) 分块模拟 对于发展规律比较明显和简单的系统，神经网络不但对训练样本的模拟程度较 好，而且对未训练样本的拟合效果也比较理想，即网络泛化能力较强。而对复杂系 统，要想使神经网络对系统的模拟程度提高，一般的方法是在添加训练样本的通知 增加神经网络的隐结点个数，这样使神经网络自身变得复杂，很可能导致过拟合现 象，虽然可以使网络对训练样本的拟合程度提高，但对未训练样本的泛化能力 厂 降 虽然一个复杂系统从整体上来说发展规律不明显， 但在系统发展的各个阶段 一 般 规律比较明显。因此可以将系统进行分块模拟，即将复杂的系统按其发展的多个阶 段，分为几个比 较简单的子系统， 然后对各个子系统分别进行模拟，这样就可以使 用几个结构简单的神经网络对整个系统进行分块模拟，提高神经网络的泛化能力。 这类似于非线性问题处理过程中分段线性化的思想。在实际的预测中，it 以按样本 的分布将输入空间划分为几块，对每一块用一个小型的神经网络来模拟，在预测时 先通过输入判断应该用哪一个神经网络预测。 3 . 3 . 2优化神经网络的结构 在使用神经网络解决实际问题之前，往往要首先确定神经网络的类型和规模口 设计者对问 题本身要有很深的了 解，才能定出合适的网络模型。还有，在理论上， 如果存在一个较小的神经网络能解决一个实际问题，那么再在此网络上加一些多余 的连接形成的新网络也同样能解决此问题。这样就存在最优神经网络问题，如何能 确定最优的神经网络结构呢? 神经网络的构造和训练可以归结为:确定网络的权值和闭值，使网络输出与样 本输出之间的误差达到最小，即求解非线性优化问题。由于非线性全局最优解的求 取非常困难，网络使得神经网络在学习和训练过程中容易陷入局部极小点。而神经 网络结构越复杂，所要求解的非线性优化问题就越复杂，网络陷入局部极小点的可 能性就越大， 这是造成复杂网 络不如简单网 络泛化能力强的主要原因12 0 1因此，无 沦是线性闭值神经网络，还是函数逼近神经网络，给定一组训练样本，都存在和样 本复杂度相匹配的最小规模的神经网络，该结构下的神经网络将有最好的泛化能力 第二令神经网络的泛化能力 i 12 1这一原 理与奥 卡姆剃刀 ( o c a m s r a z o r ) 原则也 是一 样的，即 在 所有达到给定学习 精度神经网络中，结构越简单泛化能力就越好。因此只有神经网络结构复杂性与 样 本的结构复杂性相协调，神经网络刁 可能有较好的泛化能力。 神经网络的结构优化方法主要有:剪枝法、构造法、进化法和信息论方法。在 选择使用神经网络时主要有两个方面的困难:第一，当输入、输出较多时，神经网 络的可行解空间太大，全局最优解求解比较困难;第二，神经网络的最优解与 i , 问题密切相关，某一神经网络不可能适应所有不同性质的对象，所以应针对某 一 实 际对象来寻求最优解。遗传算法很适合在大空间内并行地多点寻优，理论上能无限 i 妾 近全局最优解。而且遗传算法的寻优能力不受实际问题性质的影响 ( 适应度函数 应根据实际对象确定) 。因此用遗传算法来进行神经网络的结构优化，引起了很多专 家学者的兴趣。 用遗传算法设计优化神经网络也有很多方法，有的用遗传算法来设计神经网络 打 1 扑结构和学习参数，有的用遗传算法同时寻找神经网络的结构参数和连接参数 s w a p a n 2 1 用 遗 传算 法 修剪 神 经 网 络 拓扑 结 构时 ， 把 神 经网 络看 成是 很多 神 经元 通过前馈连接而成。传统的神经网络中某一层里的神经元和与该层相联系的层， i 所 有神经元都有连接，但实际上这些连接不一定都有必要。对于给定问题，最理想的 神经网络模型是能很好地解决这一问题的最简模型。换言之，就是可以把相关联的 两层神经元中的某些连接剪除，而不用全连接。 用遗传算法来对神经网络进行寻优，算法应该是封闭的。即t4一个个体都应该 有意义。 在交叉和变异的 过程中 所产生的 新个体应该仍然处在可行解空间中。 s w a p a n 把网络的拓扑结构以参数的形式进行编码，然后连成一个基因串 ( 染色体) 。他的编 码方法如下图所示: a- ne ur on n e u r o n i da - c o n n e c t i o na - c o n n e c t i o n b i a s .一(a)一二彻 c o n n e c t i o n i d c o n n e c t i o n w e i g h t ( c ) 图3 . 1 神经网络拓扑图编码 基因 链是 所有神经元码组成的， 如图3 . 1中 ( a ) 所示， 而每个神经元码又是由该 神经元的i d 、与该神经元有关的所有连接和该神经元的阐值组成，如图3 . 1 t( b ) 所 示。侮一个连接的编码则是由 连接i d和连接权值组成 ( 如图3 . 1 ( c ) ) . 这样基因链的长度为: (3) l = n n x ( n d , + n c x ( n d , + n d z ) + n d z ) 第二帝 神经网络的泛化能力 其中 n n为最大的可能神经元数; n c为每个神经元最大可能存在的连接数; n d 、 为神 经 元i d 编 码民 度， 与n n有关 : n d , 为 权值或闭 值编码 长度， 一 般取8 - 1 2 位。 在 遗传 过程中 基因 链 被解码为 - 1 .0 , 1 .0 ) 之间的一个 标准值， 然 后再根据实际问 题 扩 展为其他范围内的数。 为 保 证算 法 在 解空 间 中 封闭 ， s w a p a n 规定了1 3 条 规则 12 1 1 来 约束 这种 算 法。 在这种方法中，神经网络的可能单元数和每个单元的可能连接数都是固定的。 另外一个弱点是，在这种方法中，基因链长度是固定的，使得编码的粒度也固定了 下来。这对于不同问题所要求的权值粒度不能自 动满足，而编码的粒度直接影响神 经网络的寻优质量和速度。 这种方法因为只允许信息从低层到高层流动，而不允许反向流动。因此只适用 于多 层前 馈神经网 络，而不适用于回 馈网 络。 对于回 馈网络 p e t e r 声 沟吏 用进化算法 构建回馈神经网络。 v . m a n i e z z o 2 3 1 设计了一种进化神经网络结构和连接权值的方法。在他的方法中 首 先选定一个较大的神经网络模型规模，然后依此规模随机初始化一个神经网络群 体 ( 未必是全连接的神经网络，但连接可能出现在任意两个神经元之间) 。然后再对 此群体进行遗传操作。 他用的基因链是变长的，在构造基因链时他将基因链的粒度也作为一个基因进 行编码。基因链结构如下 g r a n u l a r i ty c o n n e c t i v i t y bi t c o n n e c ti v i ty we i g h t c o n n e c t i v i ty 日i t c o n n e c t i v i t y we i g h t 图3 .2 v . ma n i e z z o 构造的基因链 一个基因 链就代表一个个体，即 一个神经网 络。 其中g r a n u la r it y 是此个体的粒度，表 示每一连接权值要用几位二进制来表示，紧跟其后的是一串连接，每一连接在神经 网络中的位置取决于 它处 在基因 链中的 位置， 每一个连接包含连接位 c o n n e c t iv ity b it f a 连接权值c o n n e c t iv ity w e ig h t 两部分， 连接位c o n n e c t iv it y b it 占 一位( 1 表示此连接存 在于神经网 络中， 0表示此连接在神经网 络中并不存在) ， 连接权 c o n n e c t iv it y w e ig h t 表 示此连接的 强度其位数由g r a n u l a r ity 决定。 从基因 链结构可以 看出m a n ie z z 。 是 将所 有可能的连接都编码到基因链中，然后根据遗传算法优化改变连接位的值，以达到 剔除某个或某些连接的目的。在此算法中，一个连接被剔除仅表示在基因链i ii 此连 接的连接位是0 ，不是将这整个连接从基因链中除去。 因为不同个体的粒度可能不同，因此在进行交叉操作时会有困难，为此需要将 l 8 第三章神经网络的泛化能力 粒度值较小的个体进行扩充。具体方法如下例所示: 假设 有两个个体x , , x 2 , 其 中 x ， 的 粒度是5 , x 2 的 粒度是3 ， 因为x ， 的 粒度较小 所以 要把x : 进行 扩充以 使两者 长度相同， 将x 2 的 每一 连接权值 码后面加5 - 3 = 2 个零。 这样就使两个个体具有相同长度来进行交叉。在交叉结束后，因为交叉后粒度司 一 能 产 l 新的变化，所以要对两个新个体重新进行长度调整，调整方法是:如果粒度变 小，则扩充，反之要截掉冗余部分。 在新 一 代个体产生后， 可以利用 b p 算法或遗传算法等对每一个体进行局部寻优 ( 权值学习) ，以充分挖掘此种拓扑结构的潜力。 此种方法表现出了很强的剪除冗余连接和冗余神经元的能力。在ma n i e z z o 的论 文中有两个仿真例子。 第一个是求异或问题 ( 用2 - 2 - 1 前向神经网络可以很好地实现 异或问题的分类) ，ma n i e z z 。 把神经网络初始化为 2 - 2 - 2 - 1 的形式，运行结果是算法 自 动将后一个隐层剔除了 ( 如图 3 . 3 ( a ) 所示) 。第二个例子是学习一个四输入单输出 的对象模型，然而人为地增加一个白噪声输入作为第五个输入，看算法如何处理， 结果 算法结束时这个随 机输入被完全除去。 如图3 .3 ( b ) 所示。 这说 明此算法对于优化 神经网络的结构是非常有效的。 o ( b ) 图3 . 3 m ani e z z o 的两个实例结果 3 . 3 . 3划分子网络 在实际预测中特别是经济预测中往往会出现指标较多的情况，这就意味着神经 网络的输入结点会很多，从而会加大神经网络的规模，使小样本下的预测增加了困 难。而在这些指标中往往有一些具有较强的相互关联，而有一些则相对 一 比较独立。 因此可以将原指标分组，把相互关联较强的指标分在同一组中。这样可以忽略指标 问的比较弱的关联，降低了系统复杂性，降 低神经网络规模。 例如在本文中就我国1 9 9 0 -2 0 0 0 年失业数据利用划分子网络的方法简化了神经 网络 ( 详见第五章) 。 第二章神经网络的泛化能力 3 . 3 . 4通过主成分分析减少神经网络的输入层结点数 经济预测中往往会出现指标较多的情况，这些指标往往是相关的，因此有必要 在尽量减少信息丢失的前提下减少指标的个数 ( 降维) ，达到减少神经网络输入的口 ia 勺 。 上