（概率论与数理统计专业论文）bp神经网络在经济预测中的应用.pdf

硕士学位论文 m a s t e r st h e s i s 中文摘要 经济预测受多个影响因素的共同影响，且各个因素之间有着比较复杂的关系， 是具有高度不确定的非线性系统。利用传统的预测方法有着诸多限制，而采用神经 网络的方法则能够较好地克服这些限制，实现良好的非线性预测。 为了提高网络的泛化能力，本文提出先用主成份分析对原始变量提取信息，简 化输入，然后用b a y e s i a n 正则化算法优化网络。b a y e s i a n 正则化算法是对标准b p 算法的基础上的有益改进，其通过改变目标函数在原有目标函数上增加权值这 一项，然后利用贝叶斯方法自动选取参数，从而提高泛化能力。本文通过对湖北省 1 9 8 5 年一2 0 0 5 年关于经济发展水平的数据进行分析，并与其他方法进行比较。结果 表明采用该方法对经济预测有良好的预测效果，利用该网络进行经济增长预测可以 为宏观经济部门决策提供可靠的依据。 关键词：b p 神经网络；贝叶斯正则化；经济预测；主成分分析 硕士学位论文 m a s t e r s t h e s l s a b s t r a c t i h es y s t e mo fe c o n o m i cf b r e c 嬲t sl sah i 曲l yu i l c e r t a l nn o n l m e a rs y s t e m i ti s a n - e c t e db yan 啪b e ro ff a c t o r s ，w h i c hh a v ec o m p l i c a t e dc o r r e l a t i o n s o ，t h et r a d i t i o n a l f o r e c a s t i n gm e t h o d sa b o u te c o n o m i cf o r e c a s t sh a v eal o to fs h o n c o m i n g s b u tb pn e u r a l n e 似o r kc 锄o v e r c o m et h e s ec o n s 仃a i n t sa n da c h i e v ep r e c i s ef o r e c 嬲tn o n l i n e 缸 t h i sp a p e rf i r s t l yu s e st l l ep r i n c i p a lc o n l p o n e n t sa i l a l y s i st oa b s h a c tt h ei n f - o m a t i o n ， t h e n 仃a m st h en e tb yt h ea l g o r i t i l i y lb a s e do nb a y e s i 觚r c g u l a t i o n t h ea l g o r i m mb a s e d o nb a y e s i a l lr c g u l a t i o ni sb e t t e rt h a i lt h es t a n d a r db pa l g o r i t h m ，b yc h a n 舀n gi t so b j e c t i v e 如n c t i o na i l du s i n g b a y e s i a nm e t h o d st o s e l e c tp 娥吼e t e r sa u t o m a t i c a l l y t h e r e b y e n h a n c i n gg e n e r a “z a t i o n t h i sp 印e ra n a l y s i s t h ed a t ao nt h el e v e lo fe c o n o m i c d e v e l o p m e n t 舶m19 8 5t o2 0 0 5o nh u b e ip r o v i n c eb yb pn e u r a ln e t w o r kb a s e do n b a y e s i a l lr e g u l a t i o n t h er e s u l t ss h o wt h a tt h ew a yo fm en e u r a ln e 铆o r kh a sag o o d p r e d i c te - e c ta n d i ti sa b l et op r 0 v i d ear e l i a b l es u p p o r tf o rd e c i s i o n m a l ( i n g k e yw o r d s ：b pn e u r a ln e t w o r k ；b a y e s i a l lr e g u l a r i z a t i o n ；e c o n o m i cf o r e c a s t ； p r i n c i p a lc o m p o n e n t sa n a l y s i s 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：压饱军日期：2 叩8 年参月知日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 储签名：否穗写 日期：2 0 1 9 8 年5 月2 0 日 导师始傅劾芎 日期：翮牌厂月岁。日 本人已经认真阅读“c a l i s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库 中全文发布，并可按“章程 中的 规定享受相关权益。圃耋途塞量变蜃澄后；旦兰釜；旦二生；亘三生蕉查! 作者签名： 参谗车 日期：夕o o 暑年5 月2 勺日 硕士学位论文 m a s t e r st h e s l s 1 前言 1 1 问题的提出 经济增长是人类社会演进和发展过程中永恒的主题。就一个国家或地区而言， 经济增长是反映该国或地区发展和进步的重要指标，是社会各项事业发展基础，是 各国政府和经济学界非常重视的课题。对于中国这样一个发展中的大国来说，经济 预测就更具有特殊的重要的意义。经济预测是一项非常重要而复杂的工作，它可以 为政府、企业及其他有关部门把握未来经济运行状况、判断发展后劲、制定发展战 略提供科学的依据。 经济预测就是要依据历史资料和现状，按照一定的理论及方法，对事物的发展 趋势进行推断。近年来，国内外对经济预测进行了大量研究，提出了许多预测方法。 现有的预测方法中，时间序列预测和回归预测是两种最常用的统计方法。而经济系 统受多个影响因素的共同影响，且各个因素之间有着比较复杂的关系，是具有高度 不确定的非线性系统，加上经济建模所需的历史资料不稳定、不明确、 不完整， 这就使得利用传统的预测方法解决这类问题十分困难。 神经网络是用大量的简单计算单元( 神经元) 构成非线性系统，在一定程度和 层次上模仿了人脑神经系统的信息处理、存储以及功能，其特有的非线性适应信息 处理的能力，能克服传统处理方法对于数据方面的缺陷，使之在预测领域得到成功 的应用。其中，b p 神经网络是神经网络的代表，其结构简单、理解容易，具有优良 的非线性逼近能力，在处理缺失值和非线性问题时有着明显的优越性。b p 神经网络 在函数逼近、模式识别、智能控制等众多领域，特别是经济预测方面有着广泛的应 用。 人工神经网络的功能主要由两方面决定：一是网络学习和运行规则，即调整网 络连接权值的算法：二是网络的结构，也就是各人工神经元间相互联结的方式。 然而标准b p 算法存在着易形成局部极小、收敛速度很慢和过度训练等问题。 为此，人们在标准b p 算法的基础上进行了许多有益的改进，如动量法、牛顿法、共 轭梯度学习算法及l i e b e n b e r gm a r q u a r d t 优化方法等。这些算法对于网络泛化能 力的提高都有一定的局限性。 网络的结构是影响网络泛化能力的重要因素。网络结构优化一般都只是考虑隐 层的优化，对输入层的讨论较少。但是作为网络结构的重要组成部分，输入层的确 定也至关重要神经网络的输入层结点个数一般都由具体问题决定，即有多少个影 硕士学位论文 m a s t e r st h e s l s 响因素就设置多少个输入结点但如果问题的影响因素很多，直接将所有影响因素 都作为输入项输入网络，一方面会使网络过于复杂，不利于网络计算：另一方面也 会割裂一些相关因素之间的联系，影响对问题的分析如何既能减少网络的输入层 结点数，简化网络结构，又能不损失太多的原始信息呢? 目前对该类问题的研究 较少。 1 2 问题研究综述 8 0 年代以来，神经网络在预测领域取得了丰硕的研究成果，自l p a d e e s t 和f a b r e 首先应用了神经网络技术进行预测以来，神经网络的预测方法日益成为人们关注的 热点。 w e i g e n d 等人将神经网络与回归方法作了比较，表明了神经网络预测优于统计 预测。1 9 9 1 年，m a t s u b a 等人发表了有关应用神经网络进行股票预测的文章。 c h a k r a b o r t y 等人关于神经网络多变量时间序列预测的文章中，用简单的神经网络 模型进行了预测，结果比统计学方法好得多。神经网络还应用于股票收益、汇率、 经济转折点预测、银行倒闭的判定、商品价格预测、国际航空旅客预测、经济建模 与预测研究中的变量选择、宏观经济指针和自适应时间序列建模与预测等研究中， 都得到了较好的结果。 我国国内学者文新辉和牛明洁较早介绍了神经网络在经济预测中的应用，并与 传统方法进行了比较。石山铭和刘豹研究了神经网络用于多变量时间序列预测的原 理与方法，提出了组合多种信息的综合预测方法，结果表明神经网络模型用于多变 量时间序列预测，其精度和趋势均较传统统计方法有所提高：随之国内众多学者开 始关注和进行了神经网络预测的研究。黄小原提出了经济增长的神经网络模型，并 给出了经济系统的神经网络预测，与计量经济学方法比较得到了较高的预测精度。 唐焕文将神经网络应用于地区宏观经济预测，都取得了比一般统计方法更好的结果。 1 3 本文的主要研究工作 人工神经网络的功能主要由网络算法和网络的结构决定。本文针对影响网络好 坏的两个方面，提出先用主成分简化网络的输入，减少输入节点，再用b a y e s i a n 正则化算法训练网络。 利用主成分分析的方法，综合出新的、数目较少的变量，作为网络的输入项， 较好的解决了网络输入层结点过多的问题，进而优化网络结构提高网络的泛化能 力。而b a y e s i a n 正则化算法通过在目标函数增加权值这一项，然后利用贝叶斯方 法自动选取参数，在保证网络误差平方和最小前提下，能够有效地控制网络规模的 硕士学位论文 m a s t e r s1 h e s i s 复杂度，从而显著提高神经网络的泛化能力 本文主要分为三部分：第一部分简单介绍了神经网络及其三层b p 神经网络的 结构和一般算法。第二部分介绍了主成分分析方法和贝叶斯正则算法的思想。第三 部分本文对湖北省1 9 8 5 年一2 0 0 5 年关于经济发展水平的数据进行了仿真、预测， 并与其他方法的对比分析。结构表明先对网络的输入数据用主成份分析进行精简， 然后采用b a y e s i a n 正则化算法的神经网络对经济预测有良好的预测效果。 硕士学位论文 m a s t e r st h e s l s 人工神经网络的简单介绍 人工神经网络是最近发展起来的涉及多个学科的新的高科技领域，它涉及生理 学、心理学、计算机科学、数学、物理学、电子等学科，有着广泛的应用前景，这 一学科的发展对于目前和将来科学的发展将有重要影响。 2 1 人工神经网络的起源 人工神经网络( a n n ) 也简称为神经网络，是对人脑或自然神经网络( n a t u r a l n e t w o r k ) 若干基本特征的抽象和模拟。从解剖学和生理学的角度来看，人脑是一个 复杂的并行系统，它是由大量的细胞组合而成，这些细胞相互连接如图1 所示。神 经细胞与人体中的其他细胞的关键区别在于，神经细胞具有产生、处理和传递信号 的能力。 c | 1 l 喇土b 图1 神经元模型 人工神经元是高度简化了的生物神经元模型，它从工程实现的角度去模拟生物 神经元的结构和功能。人工神经网络是由大量的被称为节点的简单信息处理单元 ( 神经元、处理元件、电子元件) 广泛互联而成的网络。神经元是人工神经网络的基 本单元，它相当于一个多输入单输出的非线性阀值器件。 人工神经网络的功能主要由两方面决定：一是网络的结构，也就是各人工神经 元间相互联结的方式：二是网络学习和运行规则，即网络中连接权值的调整规则。 在人工神经网络的发展过程中，对生物神经系统己从不同的角度进行了不同层 4 硕士学位论文 m a s t e r st h e s l s 次的描述和模拟，提出了各种各样的神经网络模型，其中具有代表的网络模型有感 知器神经网络、线性神经网络、b p 网络、径向基函数网络、自组织网络h 叩f i e l d 网络、随机型人工神经网络、竞争型人工神经网络、自组织特征映射神经网络和对 向传播神经网络等。 2 2 印神经网络的介绍 b p 神经网络即误差反向传播网络，属于向前多层传播、有导学习的神经网络， 它利用误差反向传播算法对网络进行训练。b p 学习算法是r u m e l h a r t 等在1 9 8 6 年 提出的其结构简单、可塑性强、具有优良的非线性逼近能力，在处理缺失值和非 线性问题时有着明显的优越性。b p 神经网络在函数逼近、模式识别、智能控制等众 多领域，特别是经济预测方面有着广泛的应用。据统计，8 0 9 0 的神经网络模型 采用了b p 网络或者它的形式它是向前网络的核心部分，体现了神经网络理论中 最精华、最完美的内容。 2 2 1b p 神经网络的结构 b p 神经网络由输入层、隐含层和输出层及各层神经元之间连接组成。其中隐层 可以为单层，也可以是多层为了方便说明和研究，本文以一个单隐层的b p 神经网络 结构为例说明b p 神经网络的结构。 一个三层b p 网络由输入层、隐含层和输出层组成，各层神经元数分别为 、万，和，构成所谓玎一结构。输入层与隐含层、隐含层与输出层之间的连接 权值分别为。和m h 。连接权的大小体现神经元之间的连接强度。其结构图见图2 。 输入层 隐层输出层 图2 ：三层b p 网络结构 硕士学位论文 m a s t e r st h e s l s 2 2 2 即神经网络的基本训练方法 对网络进行训练是利用神经网络解决实际问题的前提，目的是由已知样本求得 网络的连接权值。b p 网络的训练方法属于有导式算法。其主要思想是：对于一组输 入样本，通过b p 神经网络计算实际输出，用b p 网络的实际输出与输出样本之间的 误差来修正网络的连接权值，直至二者的误差达到设定值。这一较小值称为拟合误 差，又称误差函数。一般用实际输出与输出样本之间的误差平方和表示，即 ，凡 2 肚去善( 气训 式中0 为样本输出值；z 。为实际输出值。 用b p 算法训练b p 网络的步骤如下： ( 1 ) 连接权值初始化 网络训练开始时连接权值为未知数，一般用较小的随机数作为各层连接权值的 初值。 ( 2 ) 计算各层神经元的输出值 乃= 石( w t ) ( = 1 ，2 ，z 2 ) 毛= 厶( 村乃) ( 尼= 1 ，2 ，z 3 ) = 0 式中：z 、正为激活函数，一般采用s i g m o i d 函数或线性函数。 ( 3 ) 连接权值的修正 连接权值的修正采用梯度下降法，每一次连接权值的修正量与误差函数的梯度 成正比，从输入层反向传递到各层。各层的连接权值修正量为： 毗灯一，7 嚣邓纯一m 乃 _ 1 ，2 ，蜘- 0 ，1 ，2 2 ) 眺一，7 羔印瓴q j 厶m “五 o = 1 2 ，彬_ o ，1 ，2 ，柑 式中：，7 为学习速率：石，五为激活函数石、厶的导数。 将初始权值与对应的调整量相加，计算出新的权值，如此循环直至输出层误差 平方和达到设定值为止。 6 硕士学位论文 m a s t e r st h e s l s 2 2 3 印神经网络的优缺点 b p 神经网络的结构及其算法，决定了其具有如下优点： ( 1 ) 非线性映照能力：神经网络能以任意精度逼近任何非线性连续函数。在建 模过程中的许多问题正是具有高度的非线性。 ( 2 ) 并行分布处理方式：在神经网络中信息是分布储存和并行处理的，这使它 具有很强的容错性和很快的处理速度。 ( 3 ) 自学习和自适应能力：神经网络在训练时，能从输入、输出的数据中提取 出规律性的知识，记忆于网络的权值中，并具有泛化能力，即将这组权值应用于一 般情形的能力。神经网络的学习也可以在线进行。 ( 4 ) 数据融合的能力：神经网络可以同时处理定量信息和定性信息，因此它可 以利用传统的工程技术( 数值运算) 和人工智能技术( 符号处理) 。 ( 5 ) 多变量系统：神经网络的输入和输出变量的数目是任意的，对单变量系统 与多变量系统提供了一种通用的描述方式，不必考虑各子系统间的解耦问题。 虽然b p 网络得到了广泛应用，但其自身也存在一些缺陷和不足，主要表现为： 标准b p 算法存在着易形成局部极小，b p 算法可以使权值收敛到某个值，但并不能 保证其为误差平面的全局最小值；收敛速度很慢，标准的b p 算法学习速率是固定 的，训练需要较长的时间；网络隐含层的层数和单元数的选择尚无理论上的指导， 一般是根据经验或者通过反复试验确定；容易产生过度训练。 硕士学位论文 m a s t e r st h e s l s 提高网络的泛化能力 经过训练后的网络，希望对于训练样本类似的模式，它能够得到很好的应用， 且输出的准确率要高一一即要求网络有比较好的泛化能力。泛化能力 ( g e n e r a l i z a t i o na b i l i t y ) 是指学习后的神经网络对测试样本或工作样本做出正确 反应的能力。神经网络的泛化能力是衡量网络性能好坏的重要标志。人工神经网络 的功能主要由两方面决定：一是网络的结构，也就是各人工神经元间相互联结的方 式：二是网络学习和运行规则，即网络中连接权值的调整规则。本文提出通过简化 输入层优化网络结构，通过贝叶斯正则化优化算法。 3 1 精简输入层优化网络结构 在利用神经网络研究实际问题时，为了全面、系统地分析问题，我们必须考虑 众多的影响因素因为每个影响因素都在不同程度上反映了所研究问题的某些信息， 并且影响因素之间彼此有一定程度的相关性，因而所得到的统计数据反映的信息在 一定程度上有重叠另一方面如果直接将所有影响因素作为输入项输入网络，无疑也 会使网络变得非常复杂，增加了分析问题的难度所以我们自然希望在训练、使用神 经网络时涉及的变量较少，而得到的信息又较多。主成分分析是解决这一问题的理 想工具，特别是在处理经济问题时，众多的变量之间既然有一定的相关性，就必然 存在着起支配作用的共同因素，根据这一点，通过对原始变量相关矩阵内部结构关 系的研究，找出影响某一经济过程的几个综合指标，使这些综合指标为原来变量的 线性组合综合指标不仅保留了原始变量的主要信息，彼此之间又不相关，又比原始 变量具有某些更优越的性质，使得我们在研究复杂的经济问题时容易抓住主要矛 盾。 3 1 1 主成分分析方法简介 主成分分析( p r i n c i p a lc o m p o n e n t sa n a l y s is ) 也称主分量分析，是由 h o t e l l i n g 于1 9 3 3 年首先提出的主成分分析是利用降维的思想，把多指标转化为 少数几个综合指标的多元统计分析方法 主成分分析的思想可简单概述为： 设所研究的问题涉及p 个指标，这p 个指标构成的维随机向量为 石= ( 西，j ：，工。) 对x 作正交变换，令y = u x ，其中u 为正交阵，y 的各分量是不 相关的，使得的各分量在整个问题中的作用容易解释，这就使得我们有可能从) ，的 硕士学位论文 m a s t e r st h e s l s 主分量中选择主要成分，剔除对原问题影响微弱的部分，通过对y 的主分量的重点 分析，达到对原始变量进行分析的目的) ，的各分量是原始变量的线性组合，不同 的分量表示原始变量之间不同的关系，由于这些基本关系很可能与特定的作用过程 相联系，所以主成分分析使我们能从错综复杂的数据关系中找出一些主要成分，以 便更有效地利用大量统计数据对问题进行分析。 3 1 2 主成分分析的一般数学模型 假设有n 个样品，p 个变量，这样得到原始数据矩阵为 x = 引 通常，这些指标具有不同的量纲，有的指标值数量级上也有很大差异，这些不 同的量纲和数量级会引出新的问题为了消除由于量纲、数量级的不同可能带来的一 些不合理的影响，在应用主成分方法分析、研究问题之前，先对数据进行标准化处 理，以使每一个变量的平均值为零，方差为变量的标准化公式为 巧2 焉撕= 1 ，2 ，棚护1 ，2 ，卯) 其中： 弓2 寺善勃v 呱_ ) 2 刍荟( 而一弓) 2 为方便，将数据标准化后的矩阵仍用x 表示，那么z = ( 五，屯，z ，) 的p 个 变量综合成p 个新变量，新变量可由原来的变量而，屯，石p 线性表示，即 i 咒1 = “l = “l l 1 + “1 2 2 + + “1 p j 少f 2 = “2 t = “2 l t l + “2 2 玉2 + + “2 p 1 【= “p t = “p l t l + “p 2 t 2 + + “印 并且满足：“；l + “；2 + + “三= 1 ，尼= 1 ，2 ，p 其中，系数由下列原则来确定： 9 l - = 一 ，。l 硕士学位论文 m a s t e r st h e s l s ( 1 ) 乃与) ，_ ，；f ，歹= l ，2 ，p ) 不相关； ( 2 ) y 。是 ，恐，x ，的一切线性组合中方差最大者是与，此是与九不相关的 ，屯，z 。的所有线性组合中方差最大者；其他新变量的确定依此类推 如此决定的综合变量m ，奶，y 。分别称为原变量的第一，第二第p 个主成分 在分析具体问题时，我们只挑选前几个方差最大的主成分，从而达到简化系统结构、 抓住问题实质的目的 3 1 3 利用主成份分析简化输入 假设所考虑的问题有p 个影响因素，即对应的神经网络输入层应该有p 个结点， 直接将这些因素做作为网络的输入项，无疑会使网络过于复杂，不利于问题的分析， 下面我们利用主成分分析的方法来简化输入其主要计算过程如下： 首先设这p 个影响因素指标为，而，j c 。，再设网络有n 组学习训练样本，其中 这样原始数据矩阵可以记为x 将原始数据进行标准化处理： 巧2 端o - 1 ，2 ，沪1 ，2 ，”力 其中： 弓2 寺善勃懈( _ ) 2 击善( 勤一弓) 2 然后计算标准化数据的相关矩阵r ： 尺：r 1 1 l 名。蚓 为方便，假定原始数据标准化后仍用x 表示，求相关矩阵的特征值及特征向 量，求得特征值a 五，以，其相应的特征向量为：，“：，“，。利用公式就可以求 出主成分m ，y ：，蚱并称 l 为第k 个主成份儿的贡献率乃以前m 个主 乃 扛1扣1 f = l 成份m ，儿，虼的累计贡献率 累计贡献率表明了前m 个主成分包含的总信息量的份额在实际应用中我们总 l o 硕士学位论丈 m a s t e r st h e s l s 选取聊 p ，使前m 个主成分的累计贡献率达到一定的比例( 如8 5 ) 这样用前m 个 主成分代替原来的全部变量既减少了网络输入项的个数，又包含了原来变量的绝大 多数信息，是网络输入的一种有效简化。 3 2 网络算法优化 标准的b p 算法存在很多的缺陷，为了弥补这些缺陷，为此，人们在标准b p 算法 的基础上进行了许多有益的改进，如动量法、共轭梯度学习算法及l i e b e n b e r g m a r q u a r d t 优化方法等。但是这些算法都是以均方误差函数为目标函数，权值问题不 能得到优化而贝叶斯正则化的b p 神经网络算法，在目标函数中增加权值这一项，并 用贝叶斯方法自动调节参数，优化网络结构，从而提高网络的泛化能力 贝叶斯正则化的b p 神经网络算法的基本思想是： 给定一组训练样本s = ( a ，f i ) ，( p ：，乞) ，( 见，乙) ) ，神经网络学习的目的寻找能 有效逼近该组样本的函数g ，使误差函数最小化。一般情况下，神经网络的训练误差 函数采用均方误差函数，这里假设误差函数为e n 。则有 易= 去( 一日f ) 2 ( 1 ) ，i f = l 上式中n 为样本数， 为期望输出，q = g ( 研) 为网络实际输出。 为了提高泛化能力，可以在目标函数里加上由网络权值的平方和均值，即目标 函数变为： f = | b e n + 0 c e w o 1m 其中岛= 专劬2 为网络权重的平方和， q 是神经网络连接权值，m 为神经 w 扛l 网络连接权的个数，e d 为网络响应和目标值的残差平方和，q 、p 是目标函数的参 数，参数的大小决定着神经网络的训练目标。若q b ，则训练算法目的在于使网络产生更为平滑的响应， 即尽可能减少有效的网络参数，以弥补较大的网络误差。 改进后的正则化方法的主要问题是如何确定有效的目标函数的参数。正则项系 数是一个重点，常规的正则化方法很难确定超参数q 、b 的大小，而贝叶斯正则化 方法则可以在网络训练过程中自适应地调整超参数的大小，并使其达到最优。 在贝叶斯框架下，将神经网络连接权值视为随机变量，认为训练集和网络连接 权集的先验概率服从高斯分布，依据贝叶斯准则，由后验概率最大化求解目标函数 的参数q 和b 值在贝叶斯理论框架下，可以推导出： 硕士学位论文 m a s t e r st h e s l s 口：上，：竺! ， 2 2 其中y = 刀一2 口护( 日) ，表示训练样本集的网络参数的有效权值个数， 日= 印2 + 口v 2 岛是目标函数的h e s s i a n 矩阵由于h 计算量很大，影响了网络的 收敛速度，故用g a u s s n e w t o n 法近似计算h e s s i a n 矩阵，降低计算量，从而提高网 络的收敛效果。采用贝叶斯正则化神经网络在训练过程中可以自适应调节y 的大小， 并使其达到最优。 贝叶斯正则化神经网络正是在保证网络误差平方和最小前提下，能够有效地控 制网络规模的复杂度，从而显著提高神经网络的泛化能力 1 2 硕士学位论文 m a s t e r st h e s i s 经济预测实例分析 经济预测受多个影响因素的共同影响，且各个因素之间有着比较复杂的关系， 具有高度不确定的非线性系统利用传统的预测方法有着诸多限制。本文先用主成 分分析简化网络输入，再采用正则化的b p 神经网络的方法对湖北省8 5 一0 5 年数据 进行分析，并与其他的方法进行比较，说明贝叶斯正则化神经网络该对网络的良好 泛化能力。 4 1 利用主成分分析的方法简化输入 本文以湖北省国内生产总值( 亿元) 表示湖北省的经济水平。在选取湖北省经济 增长的影响因素变量时，除了以经济学理论为基础和吸收已取得的研究成果之外， 还考虑了变量数据的客观性和可获得性，从要素角度、需求因素、产业角度三大方 面，选出了1 2 个变量作为影响湖北省经济增长的因素：x 。劳动投入( 万人) 、x ：人 力资本投入( 万人) 、x 。物质资本投入( 亿元) 、x 4 技术水平、x 。人口增长率、x 。进 口( 万美元) 、x ，出口( 万美元) 、x 8 外资( 万美元) 、x 。居民消费支出( 亿元) 、x 。 城乡结构( ) 、x ，。产业结构( ) 、x 。：政府消费支出( 亿元) 。其中技术水平( x 4 ) 以湖北省历年三项专利申请批准数量表示。所有数据均来自湖北省统计年鉴 ( 2 0 0 卜一2 0 0 6 年) 。数据见附表1 本文通过s a s 程序对原始数据进行主成份分析，本文的主成份分析程序均在 s a s 8 o 环境下实现。各变量的均值和标准差见表l 表1 ：原始数据的均值和标准差 相关系数矩阵的特征值及其累计贡献率见表2 。由表2 可知，前五个成分的贡 献率比较大，为保留足够的信息，本文选取前五个主成分进行分析 1 3 表2 ：相关系数矩阵的特征值及其累计贡献率 由上表可知：前五个特征值的贡献率达到9 9 1 7 。前五个特征值所对应的特征 向量见表3 ： 表3 ：特征值及其对应的特征向量 利用公式，把标准化后的变量数据减去其均值，再分别与对应的特征向量相乘， 就得到主成分数据 4 2 数据归一化处理 对主成分简化后的数据进行归一化处理由于数据的取值比较分散，采集的各 数据单位不一致，因而须对数据进行 一1 ，1 归一化处理，消除量纲的影响。所谓 1 4 硕士学位论文 m a s t e r st h e s l s 归一化化就是要把需要处理的数据经过处理后( 通过某种算法) 限制在一定范围内。 归一化是为了后面数据处理的方便，保证程序运行时收敛加快。 归一化的形式有很多，本文采用如下的公式：这些需要归一化处理指标可以 分为越大越好型和越小越好型，对于越大越好型指标的归一化，可按照式( 1 ) 进行： 对于越小越好型指标的归一化，可按照式( 2 ) 进行。 ，一x 一n z = 些 石m 戡一i n 二= 立坚二查 a ) 【一k i n 式中：工为原始样本值：x 为归一化的样本值：x 。n 孤、t n i n 为样本的最大 值、最小值。 4 3 贝叶斯准则下的b p 神经网络网络的建立 根据b p 网络的设计网络，一般的预测问题都可以通过单隐层b p 网络实现。故 本文采用三层b p 神经网络，输入向量有5 个元素，输出向量有1 个元素，所以网 络的输入层有5 个结点，输出结点1 个。根据k 0 1 m o g o r o v 定理，三层网络中， 隐含层神经元的个数码和输入层神经元的个数啊之间有以下的近似关系： ，z 2 = 2 刀i + 1 故网络中间层的神经元个数近似为儿个。为精确网络性能，本文分别选取9 个、1 1 个、1 3 个作为隐层节点，经过实际训练的检验来调整并最终选取。 网络中间层的神经元传递函数采用s 型正切函数t a n s i g ，输出层神经元传递函数 采用线性函数p u r e l i n ，训练方式为贝叶斯准则下的l m 算法。 其中选取9 个隐层节点网络训练的代码如下： n e t = i l e w 瞰m i m a x ( p n ) ， 9 ，l 】， t a i l s i g ，t p u r e l i n ) ，t r a i n b r ) ； 4 4 网络训练及测试 网络只有通过训练后，才有可能满足实际应用的要求。前1 8 组样本数据作为 学习样本，最后3 组作为检验用，学习精度为1 0 一。 网络训练的代码如下： n e t 仃a i n p a m m s h o w = 5 ； 硕士学位论文 m a s t e r st h e s i s n e t 缸m l p a r a m 印o c h s = 3 0 0 ； n e t 缸i i l p a m m g o a l - l e - 3 ； 【n e t ，叫气m i i l ( n e t ，p n ，t 1 1 ) ； 中间层的神经元个数是很难确定的，至今没有一个确定的标准，而隐层节点个 数又很大程度上影响着网络的预测性能。为精确网络性能，分别选取9 个、1 1 个、 1 3 个作为隐层节点，经过实际训练的检验来调整并最终选取。 经过对网络的收敛速度和误差大小的反复训练比较，隐层结点选用1 1 个。 隐层结点选用1 1 个的网络训练结果如下： 1 1 r a n 帕e p o c h3 0 ，3 0 0 ，s s eo o o l l l 7 7 3 o 0 0 l ，s s w1 7 3 7 9 4 ，胁d7 2 i e - 0 0 2 1 0 0 e 加1 0 ，卯a r1 3 1 叶o o l ，3 5 l t r a i n b r ，e p o c h3 i 3 0 0 ，s s e o 0 0 0 9 2 6 0 9 4 o 0 0 l ，s s w1 8 0 3 1 6 ，g r a d6 7 0 e 0 0 2 1 o o e 0 1 0 ，撑p 甜1 3 4 e + 0 0 l ，3 5 l 1 ra i n b 心p e 晌肌锄c eg o a l 眦t t r a i n i n as s e = 0 哪2 5 7 2 5 s q u a r e d w e i g h t s = 1 8 0 5 1 2 e f 陌c l h 9n u m b e r0 fp a r a m e i e r s = 1 34 2 7 6 图3 ：网络误差图 从训练结果可以看出：网络经过31 次训练就收敛，拟合精度达到o 0 0 0 9 2 6 0 9 4 ， 达到理想状态。从网络误差图也可以看出，网络的收敛速度快，学习效率高 图4 是关于网络误差图，说明网络输出值与实际值的差异。由图4 可以看出网络 的误差很小，1 8 组训练样本的误差最大为o 0 1 5 。说明训练后的网络对于训练样本 而言性能是优良的。这是b p 神经网络共有的优点：通过适当得调解参数，训练后的 网络能对训练样本无限的接近。 1 6 硕士学位论文 m a s t e r st h e s l s 图4 ：网络误差图 4 5 用训练后的网络对测试数据的预测 用训练后的网络对测试数据进行预测，然后输出的结果要进行反归一化。因为 输入数据是归一化后的数据，进行反归一化后，才能与原始数据进行比较。预测结 果表明，用8 5 0 2 年数据训练的网络，对0 3 年有很好的预测效果，但是对0 4 年、 0 5 年的预测，误差逐渐变大。经过分析，这是由于本文的样本数据较少，且经济发 展是连续的，我省最近几年经济发展迅速，前一年的数据对本年的经济预测非常重 要。故本文对0 4 年的预测，是在前1 8 年数据的基础上加入了0 3 样本对网络进行 了训练，对0 5 年的训练，训练样本也包括加入了0 3 、0 4 数据结果见图5 。 冬 姿 蓊 图5 ：数据预测 4 6 计算绝对百分比误差。 绝对百分比误差( a p e ) 是衡量预测结构好坏的一个重要指标。表4 是根据1 8 组训练样本和3 组预测样本的实际值与其预测值计算各年份的绝对百分比误差。 由表4 可以看出，其对前1 8 个样本拟合的平均绝对百分误差仅为o 5 1 ，对后 1 7 硕士学位论文 m a s t e r st h e s l s 3 组样本的预测平均绝对百分误差仅为1 6 8 。拟合效果和预测效果都很良好。 表4 ：绝对百分比误差 4 7 对比分析 先使用主成分分析简化输入，然后用贝叶斯正则化的l m 算法优化b p 神经网络， 对经济预测有很好的预测效果。为了说明该方法效果的优良，下面通过两种情况的 对比。 4 7 1 与直接用原始数据作为网络输入的网络效果对比 方法一表示直接使用原始数据作为网络输入的方法，方法二表示用主成份精简 硕士学位论文 m a s t e r st h e s l s 后的数据作为网络输入的贝叶斯正则化的b p 神经网络。网络参数均如下设置：精 度为0 0 0 1 ，最大迭代次数为3 0 0 。由于方法二的输入变量有1 2 个，即输入节点为 1 2 ，根据k 0 1 m o g o r o v 定理及实际训练结果的对比，其隐层节点选取2 5 个。预测结 果如下： 表6 ：训练步数及预测效果的比较 注：方法一表示直接使用原始数据作为网络输入的方法； 方法二表示用主成份精简后的数据作为网络输入的方法。 从表6 的数据可以看出当迭代误差( 本文中的误差均值网络实际输出值与理想 输出值之间的误差平方和) 达到0 0 0 1 时，利用主成分分析简化了输入的网络迭代 步数为3 1 次，而一般直接输入的方法步数为1 2 4 ，简化后的网络收敛速度明显快于 不精简的网络。预测值的相对误差看来，对2 0 0 3 年的预测，两种方法都有比较好 的预测效果，相对误差都比较小，但是，随着预测年限的增加，对于2 0 0 4 年、2 0 0 5 年的预测，方法一的预测效果明显差于方法二。表明精简输入后的网络对样本信息 有更好的概括，对测试数据有更好的预测能力。 4 7 2 与其他算法下的印网络效果对比 为了说明贝叶斯准则下的b p 神经网络算法的优良性，本文选用一般的梯度下 降法、l m 算法与贝叶斯准则下的l m 算法对预测结果进行对比分析。 通过训练样本发现，一般的梯度下降法，收敛缓慢，经过3 0 0 次训练，样本误 差仍不能达到期望的1 0 ，即在同等训练条件下，一般的梯度下降法训练精度不够， 且拟合曲线及其不光滑。 改进后的l m 算法，收敛速度快，经过8 次训练，就使网络误差达到7 8 8 6 2 3 1 0 一，拟合收敛。收敛速度快是l m 算法的一个特点但是通过拟和曲线可见，l m 算法的曲线极其不光滑，且对0 3 、0 4 、0 5 年预测效果不精确，出现了“过度拟和”。 “过度拟合是指所建的预测模型对训练样本集中的样本能给出误差精度很高的 “回响”值，但对新样本却给出很差的预测值存在过度拟合的网络虽然训练残差 较小，但结构臃肿，并未训练得到足够的信息。这会导致对于许多未知数据的预测 不起作用，泛化能力差。 1 9 而用贝叶斯准则下的神经网络，收敛速度快，经过3 1 次训练，网络误差达到 为9 2 6 0 9 4 1 0 q ，拟合收敛，且拟和曲线光滑。 表7 是三种方法对2 0 0 3 2 0 0 5 年的具体预测结果。从表7 可以看出，贝叶斯 正则算法的预测效果明显优于一般的梯度下降法、l m 算法。 l r 牲 v 锌 * 臻 笃殍 时间 图6 ：三种算法的拟合效果图 表7 ：三种方法分别对0 3 、0 4 、0 5 年预测 年梯度下降法l m 算法 贝叶斯正则化 份真实值 预测值相对误差预测相对误差预测 相对误差 2 0 硕士学位论文 m a s t e r st h e s l s 结束语 经济预测是一项非常重要而复杂的工作，它可以为政府、企业及其他有关部门 把握未来经济运行状况、判断发展后劲、制定发展战略提供科学的依据。经济预测 受多个影响因素的共同影响，且各个因素之间有着比较复杂的关系，具有高度不确 定的非线性系统，利用传统的预测方法有着诸多限制。 本文提出通过主成份分析精简输入节点，既保证了原始数据的绝大多数信息， 又能简化网络结构；再采用b a y e s i a n 正则化算法神经网络的算法，较好地克服各 因素之间的复杂关系的限制，实现精确的非线性预测 当前世界上正面临着一场新的技术革命，对我国经济发展，既是一个机遇，也 是一场挑战。我们要抓住机遇，迎接挑战，必须减少盲目性，增强科学预见性，通 过科学的方法开展经济预测，为实现宏伟的经济发展战略目标而努力。 2 l 硕士学位论文 m a s t e r st h e s l s 参考文献 1 湖北省统计局湖北统计年鉴( 2 0 0 5 年) m 北京：中国统计出版社，2 0 0 5 2 湖北省统计局湖北统计年鉴( 2 0 0 6 年) m 北京：中国统计出版社，2 0 0 6 3 汪灵枝，吴建生，吴春梅偏最小二乘回归的贝叶斯正则化神经网络集成模型在 证券分析预测中的应用 j 数学的认识与实践，2 0 0 7 ，3 7 ( 1 4 ) ： 1 9 7 2 0 5 4 孟庆德基于过程神经网络的市场评价 j 技术经济，2 0 0 6 ，2 5 ( 7 ) ：7 卜7 3 5 m a c k a y ，d j c b a y e s i a i li n t e 甲o l a t i o n j 】n e u r a lc o m p u t a t i o n l9 9 2 ，4 ( 3 ) ：4 15 4 4 7 6 魏东，张明廉基于贝叶斯方法的神经网络非线性模型辩识 j 计算机工程与 应用，2 0 0 5 ，1 l ：5 1 1 7 肖健华区域经济发展智能预测方法 j 经济数学，2 0 0 5 ，2 2 ( 1 ) ：5 7 6 3 8 韩超，车永才，王继波改进的b p 神经网络煤炭需求预测模型 j 辽宁