（计算机软件与理论专业论文）人工神经网络在空气质量预测中的应用研究.pdf

山东大学硕士学位论文 摘要 随着社会经济的发展、城市人口的膨胀，大气污染问题日趋严重。为了更好 地反映环境污染变化趋势，加强空气污染防治，预防严重污染事件发生，研究空 气质量预测方法、开展大气污染预测意义重大。济南市环境保护监测站自1 9 9 9 年开始进行了城市空气质量自动监测工作，积累了大量的空气质量监测历史数 据，这些数据对整个城市环境空气质量进行分析和预测具有十分重要的意义，随 着空气质量实时监测系统和重点污染源实时在线监测系统的建立，监测数据的增 长更加迅速。由于大气环境系统自身复杂多变且已经积累了海量历史监测数据， 传统预测方法难以充分挖掘历史数据中的有用信息实现比较精确的预测。本文将 人工神经网络应用到空气质量预测领域中，借助神经网络的非线性处理能力和容 噪能力，根据实际应用，对常用的神经网络模型做相应的改进并应用到特定环境 中，分别建立了基于样本自组织聚类的误差反向传播( b a c kp r o p a g a t i o n ，b p ) 神 经网络空气质量预测模型和基于隐节点剪枝的资源分配网络( r e s o u r c e a l l o c a t i n gn e t w o r k ，r a n ) 空气质量预测模型，为环境管理决策提供及时、准确、 全面的空气质量信息。 本文所做的主要工作有以下几个方面： ( 1 ) 研究了b p 神经网络和径向基( r a d i a lb a s i sf u n c t i o n ，r b f ) 神经网络的 结构、学习方法，对b p 神经网络存在的缺陷进行了分析，对r b f ： o 经网络的各种 学习算法进行了探讨。 ( 2 ) 根据空气质量预测实际应用中神经网络训练样本通常具有内在特征和规 律性，提出一种基于样本自组织聚类的b p 神经网络预测模型。通过自组织竞争网 络的聚类特征，改善样本训练对b p 网络性能的影响。b p 神经网络采用收敛速度较 快和误差精度较高的动量一自适应学习速率调整算法。并通过基于这种模型的空 气质量预测，表明基于样本自组织聚类的b p 神经网络预测模型首先会提高收敛速 度，其次会减少陷入局部最小的可能，提高预测精度。 ( 3 ) 针对空气质量预测中多种非线性因素对预测精度的影响，及空气污染的 时变性，采用能够在线学习的资源分配网络算法；并结合隐节点相关性剪枝方法 和无用隐节点删除策略，精简网络结构，提高泛化能力；建立一种结构简单，并 且具有在线学习能力的空气质量预测模型。通过对网络模型的训练和测试，结果 山东大学硕士学位论文 表明基于隐节点剪枝的r a n 预测方法不仅简化了r a n 的网络结构，而且预测精度 也好于普通r a n 。 关键词：b p 神经网络；聚类：资源分配网络：剪枝；空气质量预测 i i 山东大学硕士学位论文 a b s t r a c t w i t ht h ed e v e l o p m e n to fs o c i e t ya n de c o n o m ya n dt h ep o p u l a t i o ne x p a n s i o no f t h ec i t y ，a i rp o l l u t i o nb e c o m e sm o r ea n dm o r es e r i o u s ，t h e r e f o r e ，i ti ss i g n i f i c a n tt o s t u d ya i rq u a l i t yf o r e c a s t i n gs o a st ou n d e r s t a n de n v i r o n m e n t a lv a r i a t i o nt r e n d , p r e v e n ta n dc o n t r o la i rp o l l u t i o n j i n a nc i t ye n v i r o n m e n tm o n i t o r i n gh a sc a r r i e do n u r b a na i rq u a l i t ym o n i t o r i n gs i n c e19 9 9t os t a n d ，h a v i n ga c c u m u l a t e dal a r g ea m o u n t o fh i s t o r i c a ld a t ao fm o n i t o r i n g t h eh i s t o r i c a ld a t aa n dp r e d i c tt ot h eq u a l i t ya n a l y s i s o fw h o l eu r b a ns u r r o u n d i n ga i rh a sv e r yi m p o r t a n tm e a n i n g s w i t ht h es e t t i n g - u po f r e a l - t i m em o n i t o r i n gs y s t e ma n dr e a l - t i m eo n l i n em o n i t o r i n gs y s t e mo fp o l l u t i o n s o u r c e so fa i rq u a l i t y , t h eg r o w t ho ft h ed a t ai sf a s t e r g e n e r a l yt h ea t m o s p h e r i c e n v i r o n m e n t a ls y s t e mi sc o m p l e x , a n dn o wm a s sh i s t o r i c a lm o n i t o r i n gd a t ah a s a c c u m u l a t e d , t h e r e f o r e ，t h et r a d i t i o n a lf o r e c a s t i n gm e t h o d sh a v ed i f f i c u l t y i n e x c a v a t i n gu s e f u li n f o r m a t i o nf r o mt h em a s sd a t at of o r e c a s t i n gp r e c i s e l y t h i sp a p e r a p p l i e dt h ea r t i f i c i a ln e u r a ln e t w o r k ( a n n ) i nt h ea i rq u a l i t yf o r e c a s t i n g ，p r e s e n t e da l l a i rq u a l i t yf o r e c a s t i n gm e t h o db a s e do na r t i f i c i a ln e u r a ln e t w o r k si nv i r t u eo ft h e a n n sg o o dn o n l i n e a rp r o c e s s i n ga b i l i t ya n df a u l t - t o l e r a n ta b i l i t y ，a c c o r d i n gt ot h e a c t u a la p p l i c a t i o n ，i m p r o v e m e n tc o m m o n l yu s e dm o d e la n da p p l i c a t i o nt oas p e c i f i c e n v i r o n m e n t , b a c kp r o p a g a t i o nn e u r a ln e t w o r k ( b a n n ) a i rq u a l i t yf o r e c a s t i n gb a s e d o ns a m p l e ss e l f - o r g a n i z i n gc l u s t e r i n ga n dr e s o u r c ea l l o c a t i n gn e t w o r k ( r a n ) a i r q u a l i t yf o r e c a s t i n g m o d e lb a s e do nh i d d e nn o d ec o r r e l a t i o np r t m i n gw e r e c o n s t r u c t e d ，a n dt h e np r o v i d e daa c c u r a t ea n dc o m p r e h e n s i v ee n v i r o n m e n t a l a i r q u a l i t yi n f o r m a t i o nf o rm a k i n gd e c i s i o n t h em a i nw o r ko ft h i sp a p e ri sl i s t e da sf o l l o w s ： ( 1 ) r e s e a r c ho nt h ee r r o rb a c kp r o p a g a t i o nn e u r a ln e t w o r ka n dr a d i a lb a s i s f u n c t i o nn e u r a ln e t w o r k ( r b f n n ) o ft h es t r u c t u r ea n dt r a i n i n gm e t h o d s ，a n a l y z eb p n e t w o r kd e f e c t s ，e x p l o r eav a r i e t yo fr b fn e u r a ln e t w o r kl e a r n i n gm e t h o d ( 2 ) t r a i ns a m p l e st ou s u a l l yh a v ei n h e r e n tc h a r a c t e r i s t i ca n dr e g u l a r i t ya c c o r d i n g t ot h en e u r a ln e t w o r ki np r a c t i c a la p p l i c a t i o n ，t h i sp a p e rp r e s e n t sab pn e u r a ln e t w o r k p r e d i c t i n gm o d e lb a s e do ns a m p l e ss e l f - o r g a n i z i n gc l u s t e r i n g i m p r o v et h ee f f e c to f s a m p l e st r a i n i n go nb pn e u r a ln e t w o r kp e r f o r m a n c ew i t ht h ec l u s t e r i n gc h a r a c t e r i s t i c o fs e l f - o r g a n i z i n gc o m p e t i t i v en e t w o r k b pn e u r a ln e t w o r ku s ea d a p t i v el e a r n i n gr a t e m o m e n t u ma l g o r i t h mh a sf a s tc o n v e r g e n c er a t ea n dh i 曲e l r o rp r e c i s i o n a n d a c c o r d i n gt ot h ea i rq u a l i t yf o r e c a s te x p e r i m e n tb a s e do nt h i sk i n do fm o d e l ，i n d i c a t e i i i t 1 1 a tb pn e u r a ln e t w o r kp r e d i c t i n gm o d e lb a s e do ns a m p l e ss e l f - o r g a n i z i n gc l u s t e r i n g i m p r o v ec o n v e r g e n c e r a t ea tf i r s t ，s e c o n d l yw i l lr e d u c et h ep o s s i b i l i t yo fg e ti n t ol o c a l m i n i m u m ，i m p r o v et h ep r e d i c t i o na c c u r a c y f 3 ) a i rq u a l i t yf o r e c a s t f o rav a r i e t yo fn o n l i n e a rf a c t o r so nt h ei m p a c to f p r e d i c t i o na c c u r a c y , a n dt h ea i rp o l l u t i o nt i m e v a r y i n gp r o p e r t y , a d o p t e d t or e s o u r c e a l l o c a t i o nn e t w o r ka l g o r i t h mf o ro n l i n el e a r n i n g ，c o m b i n e dw i t hh i d d e nl a y e rn o d e s c o r r e l a t i o np r u n i n ga l g o r i t h ma n dd e l e t i n gs t r a t e g yo fu s e l e s sh i d d e nn o d e ，s i m p l i f y t h en e t w o r ks t r u c t u r e ，i m p r o v et h eg e n e r a l i z a t i o na b i l i t y , e s t a b l i s has i m p l es t r u c t u r e a i rq u a l i t yf o r e c a s tm o d e lw i t ho n l i n el e a r n i n g t h r o u g ht r a i n i n ga n dt e s t i n gn e t w o r k s n l o d e l t h er e s u l t ss h o w st h a tr a nf o r e c a s t i n gm e t h o db a s e d o nh i d d e nn o d ep r u n i n g a l g o r i t h mi sn o to n l ys i m p l i f i e st h en e t w o r ks t r u c t u r eo f r a n ，b u ta l s ot h ep r e d i c t i o n a c c u r a c yi sb e t t e rt h a nr a n k e y w o r d s ：b p n e u r a ln e t w o r k ；c l u s t e r i n g ；r e s o u r c ea l l o c a t i o nn e t w o r k ； p r u n i n g ；a i rp o l l u t i o nf o r e c a s t i n g i v 原创性声明和关于论文使用授权的说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导 下，独立进行研究所取得的成果。除文中已经注明引用的内容 外，本论文不包含任何其他个人或集体已经发表或撰写过的科 研成果。对本文的研究做出重要贡献的个人和集体，均已在文 中以明确方式标明。本声明的法律责任由本人承担。 论文作者签名： 关于学位论文使用授权的声明 本人完全了解山东大学有关保留、使用学位论文的规定，同 意学校保留或向国家有关部门或机构送交论文的复印件和电子 版，允许论文被查阅和借阅；本人授权山东大学可以将本学位论 文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或其他复制手段保存论文和汇编本学位论文。 ( 保密论文 论文作者签名期凋够知 山东大学硕士学位论文 第一章绪论 1 1 研究背景 由于全球社会经济和工业化过程的发展，以及世界城市化飞速发展，能源、 交通规模的扩大，城市人口的膨胀，大型工业开发区的建立等为大气环境带来了 前所未有的巨大压力。以颗粒物、二氧化硫、氮氧化物等为主要污染物的大气环 境污染问题日趋严重，对资源、环境的巨大冲击威胁着可持续发展的基础。我国 是发展中国家，能源结构不尽合理，使城市大气污染不断加重。因此，如何防治 大气污染，减轻大气污染的危害与影响，成为当今重大而紧迫的研究课题。 在这种形势下，开展空气质量预测的研究具有重要意义。开展空气质量预测 不仅可以更好地了解空气污染变化趋势，掌握及时、准确、全面的空气质量信息： 而且对城市环境管理、污染控制、环境规划、城市建设及公共卫生事业均有重要 的实际应用价值。 济南市环境保护监测站已经建立起了一套基本完整的城市环境空气质量监 控系统，包括环境空气质量实时监测系统和重点污染源在线监控系统，使得全市 的环境空气质量监测数据和重点空气污染源排放的各种空气污染项目数据都能 直接通过i n t e r n e t 网络到达中心控制室，并保存在城市环境空气质量数据库和 污染源监测数据库中。目前对这些数据所做的工作主要局限于实时监测、日报、 月报、年报等的生成，数据的其他价值还没有被开发利用。 另一方面，空气污染物浓度的时空分布受到气象场、排放源、复杂下垫面、 理化生过程的耦合等多种因素的影响，具有较强的非线性特性魄1 。以往在空气质 量预测领域中常用的统计预测方法，虽然建立简单，业务运行方便、易普及，但 缺乏坚实的物理基础，需要大量的长时间的监测资料；数值预测虽然物理基础坚 实，预测结果全面，但模式所需要的边界、初始条件不易给出，难度大，计算时 间长，预测结果精度不高。人工神经网络是在现代神经科学研究成果的基础上提 出的，它具有自学习、自组织、自适应和较强的容错性等特点，是描述和刻画非 线性现象的一种有效的工具。如果能将人工神经网络技术引入到空气质量预测领 域，不需要建立反映系统物理规律的数学模型，而是依据输入的数据创建模型， 将可望借助神经网络的非线性处埋能力和容噪能力，较好地解决这一问题。另外， 由于实际情况千差万别，目前还不存在适用于各种环境和情况的通用人工神经网 山东大学硕士学位论文 络模型，为了解决实际问题，构建特定情况下的人工神经网络模型，就必须将常 用的人工神经网络做相应的改进并应用到特定的环境中，解决遇到的实际问题。 因此，设计基于人工神经网络的空气质量预测模型，结合空气质量预测的实际应 用，改进网络结构，弥补传统算法的不足之处，提高网络的泛化能力不仅是可行 的，而且具有十分广阔的应用前景，可以为环境管理工作提供一些新的思路方法， 同时也可以为充分利用环境信息管理系统中的海量数据提供决策依据，寻找一种 切实可行的方法。 1 2 国内外相关研究 人工神经网络起源于2 0 世纪4 0 年代，是9 0 年代以来活跃于工程领域并迅速发 展的一门前沿科学噼1 。作为一门高度综合的交叉学科，它的研究和发展涉及神经 生理科学、数理科学、信息科学和计算机科学等众多学科领域眦1 。近十年来，针 对神经网络的学术研究大量涌现，它们当中提出或用及数百种的神经网络，已经 被广泛应用于众多的科学领域5 稍1 。2 0 世纪9 0 年代初，人工神经网络逐渐引入 空气质量预测领域啪1 。目前，人工神经网络主要应用于空气污染物浓度的短期预 测，尤其适用于当前无法开展空气污染数值预报的城市；空气污染指数的预报以 及与其他预报方法的比较。此外，随着预报要求的不断提高，为确定最佳网络结 构、改进网络泛化能力，一些学者采用新技术新方法改进和优化神经网络模型， 改善预测结果也逐渐开展起来。 国内方面，王俭等们根据大气污染物含量与气象要素的关系建立了大气污染 物含量的b p 神经网络预报模型。郎君等n 妇结合灰色理论和b p 神经网络的特点，提 出有机灰色神经网络预测模型。金龙等n 毛1 3 1 提出了采用主成分分析构造神经网络 低维学习矩阵的预报建模方法，与传统神经网络预报建模方法及逐步回归预报模 型相比泛化能力有显著提高。刘罡等n 钉在对大气污染物浓度预报研究中，以r b f 神经网络为工具预n n o 。和0 。的日均值，着重考察了神经网络捕捉混饨时间序列内 在确定性和规律性的能力，研究表明，r b f o 经网络在非线性时间序列预报中具 有独特的优越性，逼近精度高，学习速度快，对资料长度要求不高，适用于大气 环境和气候预报。 吴小红等n 印在传统b p 模型中引入自适应调节动量值的算法对空气污染指数 进行预测，经仿真对比后发现，该算法的学习速率和精度均高于传统算法，并 2 山东大学硕士学位论文 且随着学习样本不断增加，其预测精度也会进一步提高。李祚泳等n 们用遗传算法 对大气环境质量评价b p 网络模型参数进行优化。 国外方面，y i 等n 们建立了一个用于预报北美一工业区臭氧浓度的多层感知器 模型。模型采用早晨臭氧浓度、日最高温度、c 0 。、n 0 ，n 0 。和n o x 质量等级、风向 以及风速作为模型的输入来预测最大臭氧浓度，预测结果要好于常规空气质量预 报的统计回归模型。 p e l l i c c i o n i 等引使用一个3 层b p 网络模型进行c o 、n 0 2 浓度的预测，激励函 数中参数的选取将由输入输出变量统计分析后得到。 s a n g 等n 们以b p 网络为统计模型预测汉城大气中臭氧浓度，以8 项指标( 包括： 臭氧、n q 、c o 、s 0 2 j 、时平均浓度，气温，风速，光照强度，湿度) 的时间序列共 3 0 个变量作为输入，未来时间序列( 6 个时刻) 的臭氧浓度作为输出，设计1 个隐含 层( 5 0 个节点) ，对该地区臭氧浓度时间变化趋势作模拟，实现了汉城各分区臭氧 浓度时间及空间上的精确预测，该研究对大气污染物时空变化趋势的精确预测提 供了一种新思路。 j e o n g - s o o kh e o 等盼们将模糊专家系统与人工神经网络结合起来预报韩国汉 城4 个监测点的最大臭氧浓度，其中模糊专家系统用以预报第二日高臭氧浓度的 可能性，用人工神经网络预报第二日最大日臭氧浓度。 随着神经网络理论和技术的不断发展，它在空气质量预测领域的应用也越来 越广泛，以下两个方面的研究越来越受到更多关注呻3 。 ( 1 ) 研究网络输入因子选取的方法。建立空气质量预测的神经网络模型，关 键是找出隐含于各气象要素和污染物浓度之间的规律，设计最佳网络结构。空气 污染受气象条件、污染源的变化、季节、人口密度、交通等多种因素的影响。充 分考虑影响空气污染物浓度的各种因素，采用合适的方法选取网络的输入因子， 是确定网络结构必不可少的一个重要环节。 ( 2 ) 探索适合于空气质量预测使用的神经网络模型和算法，进一步提高网络 的泛化能力。目前神经网络在空气质量预测领域中的应用研究，尤其在国内，大 多还是集中在传统b p 算法的尝试和应用方面，对于模型和算法的优化所做的工作 较少，网络的泛化能力还有待提高。网络的泛化能力是评价网络预测性能的一个 重要指标，神经网络模型对于历史样本数据拟合的精度高并不能说明网络预测效 3 山东大学硕士学位论文 果就一定很好，还需要考虑网络对于将来未知数据的预测效果。因此，获得更高 的预测精度、更快的收敛速度、更小的误差、更高的泛化能力，将是今后神经网 络在空气质量领域应用的重要研究内容。 1 3 论文主要研究内容 对于神经网络而言，我们关注的指标主要有网络的训练时间、训练后的网络 结构复杂度和网络模型的泛化能力( 用测试样本的误差来衡量) 。 神经网络的泛化能力是用来表征网络对不在训练集中的样本仍能正确处理 的能力，影响泛化能力的主要因素是网络结构和训练样本，那么，如何提高泛化 能力，关键在于采用何种模型结构和从样本提取多少信息量，才能较精确地描述 污染物浓度变化的内在规律。 基于以上原因，本论文的研究重点是将人工神经网络的研究与空气质量预测 的实际应用有机的结合起来，以济南市空气污染物常规监测数据为研究对象，通 过对人工神经网络常用训练算法的研究与分析，结合空气质量预测领域的实际应 用，分别建立了基于样本自组织聚类的b p 神经网络空气质量预测模型和基于隐节 点剪枝的r a n 空气质量预测模型，对传统的b p 神经网络和r b f 神经网络做出了一些 改进，以适合空气质量预测领域的实际需要。 论文的主要研究工作包括以下内容： ( 1 ) 研究了b p 神经网络和r b f 神经网络的结构设计、网络训练方法，较为详细 地分析了b p 神经网络存在的不足，对r b f 神经网络的各种学习算法对网络性能的 影响进行了探讨，介绍了神经网络样本数据标准化的方法。 ( 2 ) 根据实际应用中神经网络训练样本通常具有内在特征和规律性，提出一 种基于样本自组织聚类的b p 神经网络预测模型。先通过自组织竞争网络对训练样 本进行聚类，再使用聚类的样本训练b p 神经网络。b p 神经网络采用收敛速度较快 和误差精度较高的动量一自适应学习速率调整算法。并把这种模型应用于空气质 量预测，从预测精度、网络收敛速度、网络性能的改善等方面与普通b p 神经网络 的空气质量预测进行比较。 ( 3 ) 针对空气污染的时变性和多种非线性因素对空气质量预测的影响，采用 能够在线学习的资源分配网络；并根据r b f 网络结构设计的核心问题即设计满足 精度要求的最小结构神经网络，结合隐节点相关性剪枝方法和无用隐节点删除策 4 山东大学硕士学位论文 略对网络结构进行简化，建立一种具有在线学习能力的空气质量预测模型。通过 对网络模型的训练，描述了网络结构的变化过程；通过对网络模型的测试，与普 通r a n 模型和数值预测的预测结果进行了比较。 1 4 论文的组织结构 本文组织结构如下： 第二章介绍了人工神经网络的基本理论，常用的两种前馈网络：b p 神经网络 和r b f 神经网络。对b p 神经网络存在的缺陷进行了分析，对r b f 神经网络各种学习 算法进行了探讨，介绍了神经网络样本数据标准化的方法。 第三章提出一种将自组织竞争网络并1 3 b p 网络结合，基于样本自组织聚类的b p 神经网络预测模型。首先介绍了自组织竞争神经网络，其次叙述了对b p 神经网络 进行改进的动量一自适应学习速率调整算法，最后构建了基于样本自组织聚类的 b p 网络空气质量预测模型。并通过网络测试和预测结果的比较说明了这种网络预 测模型在实际应用中的优越性。 第四章将r a n 学习算法和隐节点相关性剪枝方法、无用隐节点删除策略相结 合建立空气质量预测模型。首先介绍了r a n 的网络结构和学习算法。其次对神经 网络隐节点之间的相关情况进行了分析，介绍了隐节点合并方法和无用隐节点删 除策略。最后通过样本训练建立一个基于隐节点剪枝的r a n 空气质量预测模型， 对网络模型进行了测试，并将测试结果与没有经过改进的r a n 测试结果和数值预 测结果进行了比较。 第五章对本文的工作做了一个总结，指出本文的不足，并对下一步的研究 工作进行展望。 山东大学硕士学位论文 第二章神经网络理论和数据标准化方法 人工神经网络是指用大量的简单计算单元( 即神经元) 构成的非线性系统，它 在一定程度和层次上模仿了人脑神经系统的信息处理、存储及检索功能，因而具 有学习、记忆和计算等智能处理功能。神经网络具有一些显著的特点：具有非线 性映射能力；不需要精确的数学模型；擅长从输入输出数据中学习有用知识：容 易实现并行计算；由于神经网络由大量简单计算单元组成，因而易于用软硬件实 现等等。目前，神经网络的理论和应用研究得到了极大的发展，而且已经渗透到 几乎所有的工程应用领域。 2 1 概述 2 1 1 人工神经元模型 在人工神经网络中，神经元常被称为处理单元，或者从网络的观点出发，把 它称为节点。换言之，神经网络理论就是对生物神经元的信息处理过程进行抽象、 对其结构和功能进行模拟，并用数学语言加以描述，用神经元这种抽象的数学模 型来描述客观世界的生物细胞阻1 。 神经元是神经网络的基本处理单元，它一般是一个多输入单输出的信息处 理单元。而且，它对信息的处理是非线性的。一个典型的人工神经元模型如图2 1 所示： x j 图2 - 1 人工神经元模型 _ ( 歹= l ，2 ，刀) 为神经元l 的输入信号，w 扩为联接权值。是由输入信号线 性组合后的输出，是神经元f 的净输入。谚为神经元的阈值或称为偏差，用6 f 表 示，m 为经偏差调整后的值，也称为神经元的局部感应区。 址w 撕( 2 _ 1 ) j 山东大学硕士学位论文 v f = 钇f + b i ( ) 是传递函数，y i 是神经元f 的输出。 ：厂 手w 撕也 传递函数( ) 可取不同的函数，但常用的基本传递函数有以下三种： ( 1 ) 阈值函数 i1 ，1 ，0 弛) = 协 o 此外，符号函数s g n ( t ) 也常常作为神经元的传递函数。 跏c 咖笔 ( 2 ) p u r e l i n 函数 厂( v ) = 1 ， ( 3 ) s i g m o i d 函数 s i g m o i d 函数也称为s 型函数。到目前为止， 递函数。s 型函数的定义如下： 1 巾) 2 雨妄丽 或 ( 2 - 2 ) ( 2 - 3 ) ( 2 - 4 ) ( 2 5 ) ( 2 - 6 ) 它是人工神经网络最常用的传 ( 2 - 7 ) ( v ) = 篇 ( 2 - 8 ) 其中a 为s 型函数的斜率参数，通过改变参数g ，可以获取不同斜率的s 型函数。 2 1 2 神经网络的结构 通常所说的神经网络结构，主要指它的连接方式。从拓扑结构上考虑，神经 网络属于以神经元为节点，以节点间的有向连接为边的一种图。人工神经网络连 接方式和其拓扑结构多种多样，但总的来说有两种形式，即分层型和互连型神经 网络。 ( 1 ) 分层型神经网络 分层结构的神经网络将所有神经元按功能分成若干层，一般有输入层、中间 层( 也称为隐层) 和输出层，各层顺序相连。输入层各节点负责接收来自外界的输 入信息并传递给各隐层节点；隐层是神经网络的内部信息处理层，负责信息变换， 根据不同处理功能要求，隐层可以有多层( 一般不超过两层) ，也可以没有；最后 一个隐层传递到输出层各节点的信息经过进一步处理后即完成一次从输入到输 7 山东大学硕士学位论文 出的信息处理，由输出层向外界输出信息处理结果。 分层型神经网络又可分为简单前馈网络、反馈型前馈网络和内层互连前馈网 络。 简单前馈网络：前馈网络通常包括许多层，其特点是只有前后相邻两层之 间的神经元存在相互连接，各神经元之间没有反馈。每个神经元可以从前一层接 收多个输入，并只有一个输入送给下一层的各神经元。 三层前馈网络分为输入层、隐含层和输出层。在前馈网络中有计算功能的节 点称为计算单元，而输入节点无计算功能。 反馈型前馈网络：输出层到输入层有连接，即每个输入节点同时接收外来 输入和来自其输出节点的反馈输入，这种反馈网络的每个节点都是一个计算单 元。 内层互连前馈网络：在同一层内引入神经元间的侧向作用，使得能同时激 活的神经元个数可以控制，以实现各层神经元的自组织。 ( 2 ) 互连型神经网络 互连型神经网络在任意两个神经元之间都可能有连接。在无反馈的前向网络 中，信号一旦通过某个神经元，该神经元的处理过程就结束了。而在相互结合网 络中，信号要在神经元之间反复传递，网络处于一种不断改变状态的动态之中。 从某个初试状态开始，经过若干次的变化，才会达到某种平衡状态。根据网络的 结构和神经元的特性，网络的运行还有可能进入周期振荡或其它如混沌等平衡状 态乜引。 2 1 3 神经网络的学习 人工神经网络的学习过程，实际上就是调节权值和偏置阈值的过程。修改神 经网络的权值和偏置阈值的方法和过程称为学习规则( 也称为训练算法) ，其目的 是为了训练网络来完成某些工作。当大量处理单元集体进行权值调整时，网络就 呈现出智能特性，其中有意义的信息就分布的存储在调整后的权值矩阵中。 现在有很多类型的神经网络学习规则，大致可以将其分为三大类：有教师学 习、无教师学习和强化学习。 ( 1 ) 有教师学习( 监督学习) 在学习训练过程中需要不断给网络成对提供一个输入模式和一个与之对应 山东大学硕士学位论文 的输出模式的“正确答案”，即网络期望输出。神经网络学习系统根据一定的学 习规则进行学习，每一次学习过程完成后，“教师”都要考察学习的结果，即网 络实际输出同期望输出的差别( 误差) ，由此决定网络是否需要进一步学习，并根 据误差的方向和大小按一定规则调整权值使网络实际输出与期望输出的误差随 着学习的反复进行逐渐减小，直至达到要求的性能指标为止。 ( 2 ) 无教师学习( 无监督学习) 无教师学习的训练样本集中，只有输入而没有目标输出，学习是靠神经网络 本身完成的。通过不断给网络提供动态输入信息，它能根据特有的内部结构和学 习规则来调整自身参数或结构( 这是一种自组织过程) ，其结果是使网络的输出能 反映输入的某种固有特性，比如能对属于同一类的模式进行聚类或反应其某种统 计上的分布特征。经过训练好的网络能够识别训练数据集以外的新的输入类别， 并相应获得不同的输出。 ( 3 ) 强化学习( 再励学习) 强化学习介于上述两种情况之间，外部环境对学习后的输出结果只给出评价 信息( 奖或惩) ，而不给出正确答案。神经网络学习系统通过强化那些受奖励的动 作来改善自身的性能。 另外，神经网络的学习算法根据参数修正发生的时间可以分为两类：离线学 习算法和在线学习算法。 离线学习算法，采用批处理学习，即只有用全部训练样本进行了一次完整的 学习即一个e p o c h 之后才对网络的参数进行调整，批处理学习的过程是一个e p o c h 接着一个e p o c h 进行的，直到网络参数趋于稳定并且整个训练集上的平均输出误 差收敛到某一个最小值时，网络的学习过程才结束。 与离线学习算法不同，在线学习算法中所有的训练样本数据顺序( 一个接一 个) 地进入到神经网络中：任何时刻，只有一个训练样本可见，并用于学习；进 入网络的训练样本，训练结束后，即被丢弃；学习开始之前，没有先验知识，并 不知道有多少个训练样本。 在实际应用中，这两类学习算法根据应用特点适合于不同的应用环境。离线 学习算法适用于静态的应用环境，即训练样本一次给出的情况。在线学习算法适 用于实时的应用环境。 9 山东大学硕士学位论文 2 2 误差反向传播神经网络 误差反向传播神经网络是一种多层前馈神经网络，它可以实现从输入到输出 的任意的非线性映射。由于其权值的调整是利用实际输出与期望输出之差，对网 络的各层连接权由后向前逐层进行校正的计算方法，故而称为反向传播( b a c k p r o p a g a t i o n ) 学习算法，简称为b p 学习算法。b p 学习算法主要是利用输入、输出 样本集进行相应训练，使网络达到给定的输入输出映射函数关系。算法常分为两 个阶段：第一阶段( 正向计算过程) 由样本选取信息从输入层经隐含层逐层计算各 单元的输出值；第二阶段( 误差反向传播过程) 由输出层计算误差并逐层向前算出 隐含层各单元的误差，并以此修正前一层权值。b p 网络主要用于函数逼近、模式 识别、分类以及数据压缩等方面。 2 2 1b p 网络结构 b p 网络通常至少有一个隐含层，其中，隐层神经元通常采用s i g m o i d 型传递 函数。如输出层采用s i g m o i d 型传递函数时，整个网络的输出就被限制在一个较 小的范围内；采用p u r e l i n 型传递函数，则整个网络输出可以取任意值。如图2 - 2 所示的是一个具有r 个输入和一个隐含层的b p 神经网络模型。 隐含层输出层 p 1 图2 2 具有一个隐含层的b p 网络结构 2 2 2b p 学习算法 设有含r 个节点的任意网络，各层的传递函数为s i g m o i d 型。c l 。，为隐含层节 点i 的输出；a ：七为输出层节点k 的输出；t k 为输出层节点k 对应的教师信号；玎 为节点j 和节点f 间的连接权值；w ：舸为节点i 和节点七间的连接权值；6 h 为隐含 层节点i 的阈值；6 2 。为输出层节点k 的阈值。b p 学习算法网络结构如图2 2 所示。 b p 学习算法的学习过程主要由以下四部分组成： ( 1 ) 输入样本正向传播 、 输入样本正向传播也就是样本由输入层经隐含层向输出层传播计算。这一过 程主要是由输入样本求出它所对应的实际输出。 山东大学硕士学位论文 隐含层中第j 个神经元的输出为 = 石卧m 输出层中第k 个神经元的输出为： 口2 七：五r 量w 矶+ k ， i = 1 i = 1 , 2 ，j 1 ( 2 9 ) k = l ，2 ，s 2 ( 2 1 0 ) 其中z ( ) ，五( ) 分别为隐含层和输出层的传递函数。 ( 2 ) 输出误差逆向传播 在第一步的样本正向传播计算中我们得到了网络的实际输出值，当这些实际 的输出值与期望输出值不一样时，或者说其误差大于所限定的数值时，就要对网 络进行校正。 首先，定义误差函数 f ( 暇功= 昙壹o 。一口：七) ： ( 2 1 1 ) 其次，给出权值的变化 输出层的权值变化 从第j 个输入到第k 个输出的权值为： a w 2 舡= - r 嚣砷饥0 r l ( 刁为学习系数) ( 2 - 1 2 ) 其中： 氏= 以。 ( 2 1 3 ) e r r = t k a 2 ( 2 1 4 ) 隐含层的权值变化 从第- ，个输入到第j 个输出的权值为： a w o = - 1 7 嚣砷帅，0 o ，x 0 ) ( 2 2 1 ) 薄板样条函数o ( x ) = x 2l o g ( x ) ( 2 2 2 ) 以上四种函数都是径向对称的，最常用的是高斯函数。 网络输出层第k 个结点的输出为隐层结点输出的线性组合： y k = g i + b k ( 2 2 3 ) f 式中是隐含层节点i 到输出层k 节点的连接权值，既是第k 个输出节点的 阈值。 2 3 2r b f 网络构成的基本思想 用径向基函数作为隐单元的“基”构成隐含层空间，这样就可以将输入矢量 直接( 即不通过权值连接) 映射到隐含层空间。当径向基函数的中心点确定后，这 种映射关系也就确定了。隐含层空间到输出层空间的映射是线性的，即网络的输 出是隐含层结点输出的线性加权和。从总体上看，网络由输入到输出的映射是非 线性的，而网络输出对可调节参数而言又是线性的。这样，网络的权值就可由线 性方程组直接解出或用最小二乘方法递推计算，从而大大加快了学习速度并避免 局部极小问题。 2 3 3r b f 网络学习算法 r b f 网络的学习算法主要解决以下问题：结构设计，即如何确定网络隐节点 数；确定各径向基函数的数据中心仁及扩展常数q ；输出权值修正。理论和数值 分析表明，r b f 网络的性能主要由隐层的中心决定而不管隐层神经元究竟用什么 样的径向基函数乜副。即r b f 网络的结构特点主要由隐层的中心位置和个数决定。 因此，根据网络径向基函数中心的确定方法不同，在设计r b f 网络上有不同的学 1 4 山东大学硕士学位论文 习策略。 r b f 神经网络学习算法也分为离线学习算法和在线学习算法两类。离散学习 算法主要有随机选取中心算法、正交最小二乘( o l s ) 算法、k - m e a n s 聚类方法、梯 度训练方法等。 随机选取中心算法的径向基函数宽度为设定的一定值，中心位置用随机方式 从训练数据集合中选取。随机选取中心算法中，由于隐结点位置选取的随机性， 要满足相应的逼近性能需要大量的隐结点，这造成网络结构的复杂和庞大。同时 中心随机选取还有一个很大的缺陷是，如果所选取的数据对在数值上非常接近， 容易造成隐层输出矩阵的列近似线性相关，即产生病态矩阵，这样通过最d , - - 乘 法求解权值矩阵就得不到正确的解。 k - m e a n s 聚类方法是最经典的r b f 网络学习算法，由m o o d y 与d a r k e n 提出嘲。 它是一种径向基函数中心的自组织选择方法，其主要思想是先用无监督学习( 用 k - m e a n s 算法对样本输入进行聚类) 方法确定r b f 网络中所有隐节点的数据中心， 并根据各数据中心之间的距离确定隐节点的扩展常数，然后用有监督学习( 梯度 法) 训练各隐节点的输出权值。k - m e a n s 聚类方法的优点是能根据各聚类中心之 间的距离确定各隐节点的扩展常数。但它们只适用于静态模式的离线学习算法， 即算法有效的基础是事先必须获得所有可能的样本数据，不能用于动态输入模式 的在线学习算法；且确定数据中心时只用到了样本输入信息，而没有用到样本输 出信息；另外这两种方法也无法确定聚类的数目( r b f 网络的隐节点数) ，学习前 输入数据的中心个数即r b f 网络隐节点数要人为地确定。 梯度训练方法与b p 网络学习算法的原理类似，是通过最小化目标函数实现 对各隐节点数据中心、扩展常数和输出权值的调节，r