毕业设计(论文)-人工神经网络BP算法在四川省GDP预测中的应用.doc

人工神经网络 BP 算法在四川省 GDP 预测中的应用 作者姓名 XXX 专业班级 数学与应用数学 指导教师 XXX 摘 要 GDP 与大家生活息息相关 没有 GDP 人们便无法反映一国的贫富状况和 人民的平均生活水平 无法确定一国承担的国际义务 享受的优惠待遇 如何 准确的测量未来的 GDP 走势 使其对国家政策的制定起到参考作用 这是大家 普遍关注的问题 然而 随着经济的高速发展 影响 GDP 的因素变得多种多样 GDP 预测模型具有很强的非线性 传统的线性预测模型难以实现对 GDP 较为准 确的预测 然而 实践证明人工神经网络对于建立预测模型十分有效 它能从 数据样本中自动学习以前的经验而无需复杂的查询和表述过程 并自动地逼近 那些最佳的数据蕴涵的规律 而在预测方面 BP 神经网络算法运用最为广泛 本文以人工神经网络理论为基础 BP 神经网络算法为依据 研究 GDP 的 预测 根据四川省 1997 年到 2007 年近 10 年来的 GDP 数据 建立了神经网络 预测模型 通过对 1997 到 2006 年的 GDP 数据分析 学习 对 2007 年 GDP 进 行预测 首先对输入数据进行预处理 再利用多层前馈神经网络 BP 算法来研 究人工神经网络在 GDP 预测中的应用问题 利用 MATLAB 数学软件对模型求 解 并将预测结果与传统模型相比较 结果表明 用人工神经网络建立的预测 模型在 GDP 预测方面具有一定的理论与应用价值 关键词 GDP 人工神经网络 网络 MATLAB The Forecast of Sichuan Province s GDP Based on ANN BP Methods Abstract GDP lives with everyone vitally related It will not be able to reflect the situation of a country s wealth and the average standard of people s living unable to determine a country s international obligations enjoy preferential treatment if there s no GDP The issue which common concern is that how to forecast the trend of the future s GDP accurately and make GDP play a reference role to the formulation of national policies However with the economics rapidly development the impact of GDP s factors has became variety GDP forecasting model has a strong non linear so traditional linear forecasting model of GDP is difficult to achieve more accurate forecasts However the Practice has proved that the establishment of artificial neural network prediction model is very effective it can automatically to study the experience of the past from the data without the complexity search and expression expression and it can automatically to close to the regulation which from the best data In the forecast BP neural network algorithm being used widely In this paper take artificial neural network as theory BP neural network algorithm as basis to study the forecast of GDP According to Sichuan Province from 1997 to 2007 nearly 10 years GDP data build up a neural network prediction model to predict GDP Through the 1997 2006 year GDP data analysis study to forecast the GDP of 2007 First of all pre processing the input data then use the multi layer feed forward neural network BP algorithm to study the artificial neural network in the GDP forecast s problem Use MATLAB mathematical software tool to solve the model And then take the results to compare with the traditional model And the results shows the ANN forecasting model we have established in the GDP forecast has a value on theory and application Key words GDP Artificial Neural Network BP Neural Network MATLAB 目 录 第 1 章 前 言 1 1 1 本论文研究背景 1 1 1 1 GDP 的定义及概述 1 1 1 2 四川省经济展状况 2 1 1 3 经济预测研究概况及经济预测方法 4 1 1 4 人工神经网络国内外研究状况 6 1 1 5 人工神经网络在经济预测中的应用 6 1 2 本论文主要研究内容及思路 7 第 2 章 人工神经网络基本模型及其功能 9 2 1 人工神经元的模型 9 2 2 人工神经网络的特性 10 2 3 人工神经网络的基本功能 11 2 3 1 联想记忆功能 11 2 3 2 分类识别功能 11 2 3 3 优化计算功能 12 2 3 4 非线性映射功能 12 2 4 人工神经网络的基本要素 12 2 4 1 神经元功能函数 13 2 4 2 神经元之间的连接形式 14 2 4 3 人工神经网络的学习 训练 16 第 3 章 BP 神经网络概述 18 3 1 BP 神经网络的结构 18 3 2 BP 神经元 18 3 3 BP 网络 19 3 3 1 正向传播 20 3 3 2 反向传播 20 3 4 BP 神经网路算法的改进 22 3 5 BP 神经网络设计的一般原则 24 3 5 1 BP 网络参数设计 24 3 5 2 BP 网络结构参数设计 25 第 4 章 四川省经济预测模型的建立 26 4 1 指标的选取 26 4 2 数据的预处理 27 4 2 1 数据预处理方法 27 4 2 2 数据的处理 29 4 3 神经网络预测方法设计 30 4 4 四川省 GDP 预测模型 31 4 5 预测模型实例求解及分析 32 4 6 神经网络预测与传统预测方法的比较 35 4 6 1 多元线性回归模型 35 4 6 2 神经网络预测与回归模型预测比较 35 结 论 37 致 谢 38 参考文献 39 附录 相关程序及数据表 40 第 1 章 前 言 1 1 本论文研究背景 1 1 1 GDP 的定义及概述 1 GDP 的定义 GDP 即英文 gross domestic product 的缩写 也就是国内生产总值 通常 对 GDP 的定义为 一定时期内 一个季度或一年 一个国家或地区的经济中所 生产出的全部最终产品和提供劳务的市场价值的总值 在经济学中 常用 GDP 和 GNI 国民总收入 gross national Income 共同来衡量该国或地区的经济 发展综合水平通用的指标 这也是目前各个国家和地区常采用的衡量手段 GDP 是宏观经济中最受关注的经济统计数字 因为它被认为是衡量国民经济发展情 况最重要的一个指标 一般来说 国内生产总值有三种形态 即价值形态 收 入形态和产品形态 从价值形态看 它是所有常驻单位在一定时期内生产的全 部货物和服务价值与同期投入的全部非固定资产货物和服务价值的差额 即所 有常驻单位的增加值之和 从收入形态看 它是所有常驻单位在一定时期内直 接创造的收入之和 从产品形态看 它是货物和服务最终使用减去货物和服务 进口 GDP 反映的是国民经济各部门的增加值的总额 2 GDP 的核算方法 1 用支出法核算 GDP 支出法核算 GDP 就是从产品的使用出发 把一年内购买的各项最终产品 的支出加总而计算出的该年内生产的最终产品的市场价值 这种方法又称最终 产品法 产品流动法 如果用 Q1 Q2 Qn 代表各种最终产品的产量 P1 P2 Pn 代表各种 最终产品的价格 则使用支出法核算 GDP 的公式是 Q1P1 Q2P2 QnPn GDP 用支出法计算 GDP 的实际公式 GDP C I G X M 在我国的统计实践中 支出法计算的是国内生产总值划分为最终消费 资 本形成总额和货物和服务的净出口总额 它反映了本期生产的国内生产总值的 使用及构成 通过支出法计算的 GDP 我们可以计算出消费率和投资率 所谓消费率就 是最终消费占 GDP 的比率 所谓投资率就是资本形成总额占 GDP 的比率 2 用收入法核算 GDP 收入法核算 GDP 就是从收入的角度 把生产要素在生产中所得到的各种 收入相加来计算的 GDP 即把劳动所得到的工资 土地所有者得到的地租 资 本所得到的利息以及企业家才能得到的利润相加来计算 GDP 这种方法又叫要 素支付法 要素成本法 按收入法计算的公式是 GDP 工资 利息 利润 租金 间接税和企业转移支付 折旧 从理论上讲 用收入法计算出的 GDP 与用支出法计算出的 GDP 在量上是相 等的 3 用生产法核算 GDP 用生产法核算 GDP 是指按提供物质产品与劳务的各个部门的产值来计算 国内生产总值 生产法又叫部门法 这种计算方法反映了国内生产总值的来源 运用这种方法进行计算时 各生产部门要把使用的中间产品的产值扣除 只计算所增加的价值 商业和服务等部门也按增值法计算 卫生 教育 行政 家庭服务等部门无法计算其增值 就按工资收入来计算其服务的价值 从理论上说 按支出法 收入法与生产法计算的 GDP 在量上是相等的 但 实际核算中常有误差 因而要加上一个统计误差项来进行调整 使其达到一致 实际统计中 一般以国民经济核算体系的支出法为基本方法 即以支出法所计 算出的国内生产总值为标准 在我国的统计实践中 收入法计算 GDP 分为四项 GDP 劳动者报酬 生产税净额 固定资产折旧 营业盈余 1 1 2 四川省经济展状况 四川地域广阔 人口众多 发展差异很大 改革开放 20 年来 虽然各个方面 取得了巨大的成效 经济社会有较快发展 时至我国 九五 计划结束和 十五 计划开始之际 2000 年四川经济运行状况为 20 世纪划上了一个较为圆满的 句号 全年国内生产总值首次突破 4000 亿元大关 GDP 完成 4010 25 亿元 增 长 9 0 较之全国平均水平高出 1 个百分点 纵观全年 一 二 三 四季度 增速分别为 6 3 10 3 9 1 9 4 GDP 季增速呈现出止滑回升 平稳增长 的态势 其中 投资 消费 出口 三驾马车 共同拉动经济增长是 2000 年四 川经济运行的一个显著特点 此外 长期致力于结构调整的政策措施在一定程 度上已使工业生产出现恢复性增长势头 步入 21 世纪 四川经济的发展仍面临着诸多机遇与挑战 一方面 尽管我 国已逐步摆脱了亚洲金融危机的不利影响 但国际宏观经济环境在 2001 年仍存 在许多不确定因素 农民增收问题依然是经济政策的一大难点 城乡市场失衡 的局面在短期内仍不会有根本性改观 四川工业结构 产品结构 企业组织结 构等深层次矛盾的真正解决也需要时日 2006 年 四川经济总体上保持了速度 较快 效益较好 通胀较低的良好运行态势 实现了 十一五 的良好开局 自 2003 年以来 全球经济步入了一轮新的经济周期的扩张期 经过连续三年较 强劲增长 在全球通货膨胀的压力将会成功地得到遏制 发达国家的内需增长 将更趋平衡以及全球金融市场将更趋稳定等有利因素的带动下 2006 年全球经 济保持了较快增长的良好势头 受多种因素影响 2007 年全球经济增速有所放 缓 四川经济发展的内生动力显著增强 2006 年 GDP 跃上了 8000 亿元的新台 阶 经济发展水平和经济增长质量都有了明显的改善 同时 全国在坚持宏观 调控政策中 将继续实施稳健的财政政策和稳定的货币政策 对煤电油运气等 瓶颈部门的投资力度将进一步加大 四川大型建设项目 重点建设项目增多 在新建及续建项目的推动下 投资规模必将进一步扩大 预计今年全社会固定 资产投资增长 20 以上 另一方面 消费需求稳中趋旺 2006 年全省社会消费 品零售总额增速创近 10 年来的新高 企业效益继续改善 城乡居民收入进一步 增加都将增强居民消费信心 消费需求仍将保持平稳增长态势 预计全年社会 消费品零售总额增长 13 左右 2008 年四川经济发展面临的主要问题 1 经济增长减速 物价涨幅回落 我省上半年 GDP 增速放缓 同比增长 9 1 增速同比回落 4 6 个百分点 受汶川大地震影响 经济增长速度明显减慢 同时 四川居民消费价格总水 平 CPI 同比上涨 7 4 CPI 涨幅在 2 月份冲高 8 1 后 虽已连续 4 个月回落 但物价高位运行的特征依然存在 2 经济效益不高 就业压力增大 仅以工业为例 1 5 月 全省实现工业利润 247 8 亿元 同比增长 14 8 增速比去年同期降低 19 5 个百分点 比前 4 个月回落 38 2 个百分点 其中 大型企业实现利润 63 7 亿元 比去年同期下降 26 2 六月末 全 省城乡就业人员比上年减少 29 1 万人 比一季度减少 31 8 万人 城乡登记 失业率为 4 8 比上年同期上升 0 5 个百分点 随着沿海经济的下滑 预计 有数百万农民工返乡 就业压力加大 汶川大地震对我省工业 农业 旅游 房地产等行业和就业 招商引资 财政收入等社会经济的方方面面都带来不同 程度的影响 而且影响会持续相当一段时间 必然会对我省经济发展产生直接 或间接的影响 灾后重建的一系列工作都直接与经济发展相关 1 1 3 经济预测研究概况及经济预测方法 经济预测是适应社会化大生产而发展起来的一门研究客观经济发展过程及 其变动趋势的科学 它是综合哲学 社会学 经济学 统计学 数学以及工程 技术等方面的方法 根据它自身科学的逻辑性 对经济过程及其各要素的变动 趋势做出客观描述的研究体系 运用于经济领域中的预测方法 常用的有时间序列分析 多元回归和经济 计量方法 1 2 用于预测某个特定变量值而收集的数据可分为两大类 时间序 列数据和横断面数据 经济领域中的时间序列数据的定义是 按照时间点顺序 排列的经济变量的一系列数值 对于这些连续值的预测早期运用较多的是回归 统计模型 另外一个应用较为广泛的分析方法是 ARMA 自回归移动平均模型 方 法和 ARIMA 自回归求和移动平均 方法 另一种常用的预测工具是经济计量方法 经济计量学把经济理论 统计分 析和为说明经济关系而建立的数学模型结合在一起 建立在经济计量学方法上 的预测模型与时间序列分析模型相比 具有一些明显的优点 最显著的优势就 是它们寻求被预测经济现象的实际解释 还有一种主流方法就是多元回归也称为向量自回归 VAR 方法 3 它是作 为大型结构预测模型的一种替代方法 结构模型是依靠复杂的经济理论对大量 的经济变量之间的明确关系建立的经济计量模型 与结构模型相比 VAR 模型 依靠经济数据中重复发生的历史方式来预测少数关键的宏观经济量 如国民生 产总值 通货膨胀和利息率 无约束的 VAR 模型在只需选择涉及变量及其滞 后长度的经济理论中特别有吸引力 此外 无约束的 VAR 的主要问题是自变量 的数目通常很大 由于经常出现多重共线性和自由度损失问题 VAR 模型在进 行预测研究时也没有特别好的表现 以上几种方法都是目前运用于经济领域的 主流的预报方法 均属于线性模型研究或者是用线性模型模拟现实生活中的复 杂系统 因此在处理非线性系统时效果显得十分一般 在过去的二十多年里 一些学者注意到线性模型的局限性并提出了一些非 线性模型 4 但这些预测方法还是属于传统预测方法 均属于模型驱动的方法 即首先研究系统的演化行为 设定预测模型 估计 检验及模型选择 最后找 出最佳模型 隐藏在传统预测方法背后的基本观念是 系统发展有一定的规律 而且是可以找到的 且过去或现在的因果关系或变化规律在未来仍然起主导作 用 建模与预测的目标在于从比较中寻找最佳模型 然而 由于多数复杂的系 统的非线性 使得这类方法从理论分析与实际应用上都有相当的局限性 在这 种情况下 人们把目光转向了近年来兴起的神经网络模型 T Hill 5 最早发表 了将神经网络应用于预测的文章 他们用非线性神经网络对计算机所产生的时 间序列仿真数据进行了学习和预测 后来 Werbos 和 Varfis 分别对实际经济 时间序列数据进行了预测研究 Weigend 6 等人利用神经网络研究了太阳黑子的 年平均活动情况 将神经网络与回归方法作了比较 其研究结果表明神经网络 预测优于统计预测 神经网络的预测方法日益成为人们关注的热点 目前 基于神经网络的预测研究主要集中在时间序列预测和回归预测方面 Sharda 和 Poil 运用 Markrudakis 7 等人收集的时间数据序列中 75 个对 ANN 和 ARMA 模型进行了比较 结果显示 ANN 和 ARMA 性能相当 Hill 等对 ANN 和传 统的统计模型进行深入的研究 包括了非季节化的单指数平滑模型 ARMA 组 合预测模型和自然预测模型以及一种基于主观判断的方法 比较结果表明 ANN 预测优于传统的统计方法和主观判断的方法 并且在进行多步预测时优势更为 明显 我国国内学者文新辉和牛明洁 8 较早介绍了神经网络在经济预测中的应 用 并与传统方法作了比较 石山铭和刘豹 9 研究了神经网络用于多变量时间 序列预测的原理与方法 提出了组合多种信息的综合预测方法 结果表明神经 网络模型用于多变量时间序列预测 其精度和趋势均较传统统计方法有所提高 随之 国内许多学者开始关注和进行了神经网络预测的研究 马超群 10 等探讨 了基于神经网络的时间序列预测模型的建立机制 然后又提出了将时差法和 BP 方法相结合进行的时间序列的自适应建模和预测 并以外汇汇率问题为例做了 试验 试验结果表明该方法是可行的 其预测精度高于一次性建模 1 1 4 人工神经网络国内外研究状况 11 12 20 世纪 80 年代 随着人工神经网络在世界范围内复苏 国内也逐步掀起 了研究热潮 1989 年 10 月和 11 月分别在北京和广州召开了神经网络及其应用 讨论会和第一届全国信号处理 神经网路学术会议 1990 年 2 月由国内 8 个学 会 即中国电子学会 人工智能学会 自动化学会 通信学会 物理学会 生 物学会 生物物理学会和心理学会联合在北京召开 中国神经网络首届学术会 议 这次大会以 八学会联盟 探智能奥秘 为主题 收到 300 多篇学术论文 开创了中国人工神经网络及神经计算机方面科学研究的新纪元 2004 年 10 月在合肥召开的 人工神经网络学术会议 已是第 14 届学术年 会 经过十几年的发展 中国学术界和工程界在人工神经网络的理论研究和应 用方面取得了丰硕成果 在国际上 1987 年 在美国加州召开了第一届国际神 经网络学术会议 此后每年召开的国际联合神经网络大会 IJCNN 成为神经网络 研究者的重要学术交流平台 另外 十几种国际著名的神经网络学术刊物相继 问世 如 IEEE Transactions on Neural Networks IEEE Transactions on Circuit and Systems Neural Networks 等 至此 神经网络理论研究在国际 学术领域获得了其应有的地位 经过近半个世纪的发展 神经网络理论在模式识别 自动控制 信号处理 辅助决策 人工智能等众多研究领域取得了广泛的成功 关于学习 联想和记 忆等具有智能特点过程的机理及其模拟方面的研究正受到越来越多的重视 目 前神经网络研究与发展主要集中在 神经生理学 神经解剖学研究的发展 与 之相关的数学领域的研究与发展 神经网络应用的研究与发展 神经网络硬件 的研究与发展 新型神经网络模型的研究 1 1 5 人工神经网络在经济预测中的应用 13 人工神经网络作为仿生学的杰出成果 广泛运用到了在社会经济等各个领 域 它是从微观结构与功能上对人脑神经系统进行模仿 抽象而形成的一类模 型 众所周知 人脑是由极大量的基本单元 称之为神经元 经过复杂的互相连 接而成的一种高度复杂 非线性 并行处理的信息处理系统 而人工神经网络 ANN Art1ficialNeuralNetwork 就是模仿人脑工作方式 继承了人脑的优良特 性 通过电子组件或者软件模拟仿真 实现在预测领域中的应用 人工神经网络在经济预测中有着广泛的应用 比如信贷分析 市场预测等 信贷分析 这类问题中 信用评估机构要针对不同申请公司各自的特点提出信 用评价 判断失误的例子经常发生 给信贷机构带来巨大的损失 采用神经网 络评价系统不仅可以使评价结果具有较高的可信度 而且可以避免信贷分析人 员的主观好恶和人情关系造成的错误 神经网络评价系统将公司贷款申请表中 的关键数据编码为输入向量 将实际的信用情况作为输出评价 用数以千计的 历史数据对网络进行训练后 可给出准确客观的评价结果 因此基于神经网络 的评价系统在金融风险分析领域应用十分广泛 市场预测 市场预测问题可归 结为影响市场供求关系的诸多因素的综合分析 以及对价格变化规律的掌握 应用神经网络进行市场预测的一个实例是期货市场的神经网络预测 其做法是 根据某期货市场每月平均期货价格 价格不定性和市场心理指标量等因素 建 立较为准确可靠的市场模型 模型的训练数据覆盖了多年时间 它不仅能判断 价格的未来趋势 而且能在走势持续一段时间后预测到价格的反转 神经网络 市场预测在股票走势预测中也有广泛的应用 1 2 本论文主要研究内容及思路 GDP Gross Domestic Product 是指在一定时期内 一季或一年 一个 国家或地区的经济中所生产出的全部最终产品和劳务的价值 GDP 的分析预测研 究 长期以来都是经济学家 数学家 计算机领域专家研究的重点和热点 GDP 的影响因素有 国家 GDP 财政支出 社会消费品零售总额 实际利用外资 财政收入 外贸出口总额和固定资产投资 目前的研究方法主要有线性预测方法 和非线性预测方法 建立在计量经济学理论基础上的线性方法 虽然在一定的条 件下能够有较好的预测效果 但难以描述 GDP 预测中的非线性现象 预测误差 过大 这些方法存在着一些共同的缺点 那就是 操作性差 计算复杂 需要分 析人员的经验知识 因为这些理论和方法都需要具有显式函数 而它们往往难 以找到 或只能凭经验近似表达描述 一般都有比较大的误差 再就是传统的 时间序列预测模型 线性回归 季节性预报模型似乎都很难解决多因子时间序 列的复杂非线性关系 非线性建模方法中 神经网络理论证明了在选择适当的隐 层数及相应的神经元数目下 前馈神经网络能以任意精度逼近任意非线性函数 本文根据历年四川省 GDP 数据 建立了神经网络预测模型 采用 BP 神经网络来 训练建立的模型 利用 Matlab 数学软件对模型求解 并将预测结果与传统模型 相比较 结果表明 我们建立的人工神经网络预测模型在 GDP 预测方面具有一定 的理论与应用价值 第 2 章 人工神经网络基本模型及其功能 2 1 人工神经元的模型 14 15 人工神经元的研究源于脑神经元学说 19 世纪末 在生物 生理学领域 Waldeger 等人创建了神经元学说 人们开始认识到 复杂的神经系统是由数目 繁多的神经元组合而成 神经元由细胞及其发出的许多突起构成 细胞体内有 细胞核 突起的作用是传递信息 作为引入输入信号的若干个突起称为 树突 或者 晶枝 而作为输出端的突起只有一个 称为 轴突 人工神经元是生物神经元的模拟与抽象 是构成人工神经网络的基本单元 因此构造一个人工神经网络系统 首先要构造人工神经元模型 一个具有 n 个输 入分量的单个神经元模型如图 2 1 所示 图图 2 12 1 单个人工神经元模型图 1 人工神经元的三个基本要素 1 一组连接 对应于神经元的突触 连接强度由各连接上的权值表示 权 值为正表示激活 为负表示抑制 2 一个求和单元 用于求取各输入信号的加权和 3 一个非线性激活函数 起非线性映射作用并将神经元输出幅度限制在一 定范围内 一般限制在 0 1 或 1 1 之间 此外还有一个偏差 即阈值 以上作用可分别以数学式表达出来 1 netfonet w p i n i i xf P1 P2 P3 wp i i net w1 w3 w2 netfnet 其中 net 为神经元的的输入总和 相当于生物神经元的膜电位 o 为神经 元的输出 表示第 i 个输入神经元到该神经元的连接权值 表示第 i 个 wi pi 输入神经元的输入分量 为神经元的偏差 即阈值 f x 为激活函数 表 示神经元输入 输出关系 2 2 人工神经网络的特性 人工神经网络由大量处理单元互联组成的非线性 自适应信息处理系统 它是在现代神经科学研究成果的基础上提出的 试图通过模拟大脑神经网络处 理 记忆信息的方式进行信息处理 人工神经网络具有四个基本特征 1 非线性 非线性关系是自然界的普遍特性 大脑的智慧就是一种非线性 现象 人工神经元处于激活或抑制二种不同的状态 这种行为在数学上表现为 一种非线性关系 具有阈值的神经元构成的网络具有更好的性能 可以提高容 错性和存储容量 2 非局限性 一个神经网络通常由多个神经元广泛连接而成 一个系统的 整体行为不仅取决于单个神经元的特征 而且可能主要由单元之间的相互作用 相互连接所决定 通过单元之间的大量连接模拟大脑的非局限性 联想记忆是 非局限性的典型例子 3 非常定性 人工神经网络具有自适应 自组织 自学习能力 神经网络 不但处理的信息可以有各种变化 而且在处理信息的同时 非线性动力系统本 身也在不断变化 经常采用迭代过程描写动力系统的演化过程 4 非凸性 一个系统的演化方向 在一定条件下将取决于某个特定的状态 函数 例如能量函数 它的极值相应于系统比较稳定的状态 非凸性是指这种 函数有多个极值 故系统具有多个较稳定的平衡态 这将导致系统演化的多样 性 人工神经网络中 神经元处理单元可表示不同的对象 例如特征 字母 概念 或者一些有意义的抽象模式 网络中处理单元的类型分为三类 输入单 元 输出单元和隐单元 输入单元接受外部世界的信号与数据 输出单元实现 系统处理结果的输出 隐单元是处在输入和输出单元之间 不能由系统外部观 察的单元 神经元间的连接权值反映了单元间的连接强度 信息的表示和处理 体现在网络处理单元的连接关系中 人工神经网络是一种非程序化 适应性 大脑风格的信息处理 其本质是通过网络的变换和动力学行为得到一种并行分 布式的信息处理功能 并在不同程度和层次上模仿人脑神经系统的信息处理功 能 它是涉及神经科学 思维科学 人工智能 计算机科学等多个领域的交叉 学科 人工神经网络是并行分布式系统 采用了与传统人工智能和信息处理技术 完全不同的机理 克服了传统的基于逻辑符号的人工智能在处理直觉 非结构 化信息方面的缺陷 具有自适应 自组织和实时学习的特点 2 3 人工神经网络的基本功能 2 3 1 联想记忆功能 由于神经网络具有分布存储信息和并行计算的性能 因此它具有对外界刺 激和输入信息进行联想记忆的能力 这种能力是通过神经元之间的协同结构及 信息处理的集体行为而实现的 神经网络通过预先存储信息和学习机制进行自 适应训练 可以聪不完整的信息和噪音干扰中恢复完整的信息 这一功能是神 经网络的图像复原 语音处理 模式识别和分类方面具有重要的应用前景 联想记忆又分为自联想记忆和异联想记忆两种 1 自联想记忆 假定有 m 个样本矢量 其中 i 0 1 2 m 1 若网络输入 表示 X i X X kj X k 第 k 个样本 是由于噪音 干扰或图形缺损等因素引起的误差 要求输出 即去掉偏差使信号按样本复原 2 异联想记忆 与自联想记忆不同 X k Y 它涉及两组样本 若样本与样本一一对应 当具有偏差的输入信号为 X k Z k 时 输出为 此联想为一联想功能 X X kj Z k Y 2 3 2 分类识别功能 神经网络对外界输入样本有很强的识别与分类能力 对输入样本的分类实 际上是在样本空间找出符合分类要求的分割区域 每个区域内的样本属于一类 假定神经网络输入 X 有 m 类样本 样本元素为 n 输入相应与 m 类样本之一 yk k 0 1 2 m 1 输入 X 与输出 Y 之间的关系如图 2 2 所示 图图 2 2 2 2 神经网络分类器图 对于 则 此关系表明 当输入样本与标准样本 Rj X jk jk yk 0 1 匹配时即可归类 神经网络完成分类功能 2 3 3 优化计算功能 优化计算是指在已知的约束条件下 寻找一组参数组合 使该组合确定的 目标函数达到最小 将优化约束信息存储于神经网络的连接权矩阵之中 神经 网络的工作状态以动态系统方程式描述 设置一组随机数据作为起始条件 当 系统的状态趋于稳定时 神经网络方程的解作为输出优化结果 2 3 4 非线性映射功能 在许多实际问题中 如过程控制 系统辨识 故障诊断 机器人控制等诸 多领域 系统的输入与输出之间存在复杂的非线性关系 对于这类系统难以用 传统的数理方程建立数学模型 神经网络在这方面有独到的优势 设计合理的 神经网络通过对系统输入输出样本进行训练学习 从理论上讲 能够以任意精 度逼近任意复杂的非线性函数 神经网络的这一优良性能使其可以作为多维非 线性函数的通用数学模型 2 4 人工神经网络的基本要素 在人工神经网络设计及应用研究中 通常需要考虑 3 个方面的内容 即神 经元功能函数 神经元之间的连接形式和网络的学习 训练 y2 ym 1 神经网络 y0 110 xxxn X 2 4 1 神经元功能函数 神经元在输入信号作用下产生输出信号的规律由神经元功能函数 f Activation Function 给出 也称激活函数 或称转移函数 它包含了从输 入信号到净输入 再到激活函数 最终产生输出信号的过程 综合了净输入 f 函数的作用 激活函数是一个神经元及网络的核心 决定着网络的功能 其基 本作用是 控制输入对输出的激活作用 对输入输出进行函数转换 将可能无 限域的输入变换成指定的有限范围内的输出 不同的人工神经网络模型 神经 元的激活函数也不相同 常用的激活函数如下 1 阈值型 硬限制型 阈值型激活函数将任意输入转化为 0 或 1 的输出 函数 f x 为单位阶跃 函数 如图 2 3 所示 图图 2 2 3 3 阈值型激活函数 具有此函数的神经元的输入 输出关系为 0 0 0 1 bPW bPW bPWfA 2 线性型 线性激活函数使网络的输出等于加权输入加上偏差 如图 2 4 所示 1 0 f 1 1 f 0 1 图图 2 2 4 4 线性激活函数 此函数的输入 输出关系为 bPWbPWfA 3 S 型 Sigmoid S 型激活函数将任意输入压缩到 0 1 的范围 如图 2 5 所示 图图 2 52 5 型激活函数 此种激活函数常用对数或双曲正切等一类 S 形状的曲线来表示 如对数 S 型激活函数关系为 而双曲正切 S 型曲线的输入 输出函数 exp 1 1 n f 关系为 S 型函数是连续可导的 反映了神经元的饱和特征 2exp 1 2exp 1 n n f 即函数的值域可以由研究者根据实际需要给定 当输入的值较小时 函数有一 个比较大的增益 当输入的值较大时 函数有一个比较小的增益 这样可以很 好地防止网络进入饱和状态 因此 S 型函数被广泛采用 2 4 2 神经元之间的连接形式 人工神经网络是由大量的神经元按照一定的模式 层内连接 循环连接和 1 1 0 n 1 f b 0 n f 1 0 n 1 f b 0 n f 1 f 0 n 层间连接 相互连接而成的 按一定的规则将神经元连接而成神经网络 才能 实现对复杂信息的处理与存储 经过几十年的兴衰 人们已经发展了上百种人 工神经网络 但大部分网络都是几种典型网络的变形和组合 一般地说 人工神 经网络的连接形式和拓扑结构可以分为两大类 即分层型和互联型神经网络 分层型神经网络的拓扑结构如图 2 4 所示 它又分为简单的前馈网络 反馈型 前馈网络和内层互联前馈网络 1 前馈网络 各种神经元接受前一层的输入 并输出给下一层 没有反馈 节点分为两类 即输入单元和计算单元 每一计算单元可以有任意输入 但只 有一个输出 它可以耦合到任意多个其他节点为其输入 通常前馈网络可以分 为不同的层 第 i 层输入值与第 i 1 层输出相连 输入和输出层节点与外界相 连 而其他中间层则称为隐含层 如图 2 6 所示 图图 2 2 6 6 分层型神经网络的拓扑结构 分层型神经网络按照将所有神经元按功能分为若干层 一般有输入层 中 间层 输出层 各层顺序连接 因为中间层不直接与外部输入和输出打交道 所 以又称为隐层 根据处理功能的不同 隐层可以有多层 也可以没有 a 一般前馈网络 b 反馈型前馈网 络 c 内层互联前馈网络 2 互联型神经网络的拓扑结构如图 2 7 所示 其网络的任意两个神经元都 相互连接 构成互联神经网络 如果不是全部的神经元彼此相互连接 则构成 局部互联神经网络 图图 2 72 7 互联型神经网络 在人工神经网络的发展过程中 对生物神经系统已从不同的角度进行了不 同层次的描述和模拟 提出了各种各样的神经网络模型 其中具有代表性的网 络模型有感知器神经网络 线性神经网络 BP 神经网络 径向基函数网络 自 组织网络 反馈网络等 2 4 3 人工神经网络的学习 训练 神经网络模型能够通过学习来动态修改各处理单元之间的连接权值 某一 特定的模式可以根据某一学习规则 提交修改处理单元之间的连接权值 存储 到神经网络模型中 并且通过学习后的神经网络模型识别新的模式或回忆过去 的记忆 神经网络的学习规则也就是连接权值的修正规则 两个比较经典的学 习规则是 Hebb 学习规则和 Delta 学习规则 几乎所有的学习规则都可以看作是 Hebb 学习规则的变形 在 Hebb 学习规则中 学习信号简单地等于神经元的输出 1 xw y i n i ij j f 权向量的调正公式为 2 1 x y wxww i j ijiijij tftt 1 式子表明 权值调整量与输入输出的乘积成正比 显然 经常出现的输入模式 将对权向量有较大的影响 在这种情况下 Hebb 学习规则需预先设置权饱和值 以防止输入和输出正负始终一致时出现权值无约束增长 Hebb 学习规则代表一种纯前馈 无导师学习 该学习规则至今在各种神经 网络模型中起着重要作用 典型的应用如利用 Hebb 规则训练线性联想器的权矩 阵 如果假定网络的权矩阵初始化为 0 然后将 m 个输入输出对依此应用式 2 1 取学习率 得权矩阵 W 1 XY T k m k k W 1 假设输入向量为标准正交向量 如果将输入到网络 则网络产生的输 XkXj 出为 2 2 11 XXYXXYXoj T k m k kj m k T kkjk W 由于为标准正交向量 则 Xk 1 X Xk T k 0 kjkj XXYoj T kkk 此时 网络的输出等于其相应的目标输出 也就是说 如果输入原型向量是标 准正交向量 Hebb 学习规则就能为每个输入生成正确的输出结果 假设输入向 量为单位向量但不是正交向量 则 2 2 式变为 Xk 11 XXYYXXYXXYXoj T k kj kkj T k m k kj m k T kkjk W 由于这些向量不是正交的 所以网络的输出有误差 误差的大小取决于原型输 入模式之间的相关总和 第 3 章 BP 神经网络概述 3 1 BP 神经网络的结构 16 BP Back Propagation 网络是 1986 年由 Rumelhart 和 McCelland 为首的 科学家小组提出 是一种按误差逆传播算法训练的多层前馈网络 是目前应用 最广泛的神经网络模型之一 BP 网络能学习和存贮大量的输入 输出模式映射 关系 而无需事前揭示描述这种映射关系的数学方程 它的学习规则是使用最 速下降法 通过反向传播来不断调整网络的权值和阈值 使网络的误差平方和 最小 BP 神经网络模型拓扑结构包括输入层 input 隐层 hide layer 和输 出层 output layer 如图 3 1 所示 图图 3 13 1 BP 神经网络结构示意图 3 2 BP 神经元 图 3 2 给出了第 j 个基本 BP 神经元 节点 它只模仿了生物神经元所具 有的三个最基本也是最重要的功能 加权 求和与转移 其中 分别代表来自神经元 1 2 i n 的输入 xxxx ni 21 则分别表示神经元 1 2 i n 与第 j 个神经元的连接强度 wwww jnjijj 21 即权值 为阈值 f 为传递函数 为第 j 个神经元的输出 bj y j 第 j 个神经元的净输入值为 SjbWbxwS jjji n i jij X 1 输入层 隐层输出层 图图 3 23 2 BP 神经元 其中 21 21 wwwwWxxxx jnjijjj T ni X 若视 即令 X 及包括及 则 bwx jj 00 1 Wjx0wj0 210 210 wwwwwWxxxxx jnjijjjj T ni X 于是节点 j 的净输入可表示为 Sj X WxwS ji n i jij 0 净输入通过传递函数 Transfer Function f 后 便得到第 j 个 Sj 神经元的输出 y j 0 XFff WxwS y ji n i jij j 式中 f 是单调上升函数 而且必须是有界函数 因为细胞传递的信号不可 能无限增加 必有一最大值 3 3 BP 网络 BP 算法由数据流的前向计算 正向传播 和误差信号的反向传播两个过程 构成 正向传播时 传播方向为输入层 隐层 输出层 每层神经元的状态只 影响下一层神经元 若在输出层得不到期望的输出 则转向误差信号的反向传 播流程 通过这两个过程的交替进行 在权向量空间执行误差函数梯度下降策 略 动态迭代搜索一组权向量 使网络误差函数达到最小值 从而完成信息提 取和记忆过程 3 3 1 正向传播 WV x1 zp z1 zk y1 y j ym j nq m xi xn xi xn x2 x1 wjn wji wj2 wj1 bj f y j Sj 1 j 图图 3 33 3 三层神经网络的拓扑结构 设 BP 网络的输入层有 n 个节点 隐层有 q 个节点 输出层有 m 个节点 输入 层与隐层之间的权值为 隐层与输出层之间的权值为 如图 3 3 所示 vkiwjk 隐层的传递函数为 f1 输出层的传递函数为 f2 则隐层节点的输出为 将阈值写入求和项中 qi xv f zi n i kik 2 1 0 1 输出层节点的输出为 mj zw fy k q k jk j 2 1 0 2 至此 B P 网络就完成了 n 维空间向量对 m 维空间的近似映射 3 3 2 反向传播 1 定义误差函数 输入 P 个学习样本 用来表示 P 个样本输入到网络后得到 xxxx Pp 21 输出 采用平方型误差函数 于是得到第 p 个样本的误差 2 1 mj y p j Ep m j p y tE p j p j 1 2 2 1 式中 为期望输出 t p j 对于 P 个样本 全局误差为 p p p p p m j p j p jE y t E 111 2 1 2 输出层权值的变化 采用累计误差 BP 算法调整 使全局误差 E 变小 即 wjk p p jk p p p p jkjk jk w E E ww w E 11 式中 学习率 定义误差信号为 S y y E S E j j j p j p yj 其中第一项 m j p j p j m j jj p y tyt yy Ep j p j 11 2 2 1 第二项 2S f S y j j j 是输出层传递函数的偏微分 于是 2 1 S fy t j m j p j p jyj 由链定理得 zS fy tz w S S E w E kj m j p j p jkyj jk j j p jk p 2 1 于是输出层各神经元的权值调整公式为 zS fy tw kj p p m j p j p jjk 2 11 3 隐层权值的变化 p p ki p p p p kiki ki v E E vv v E 11 定义误差信号为 S z z E S E k k k p k p zk 其中第一项 z y y tyt zz E k j m j p j p j m j kk pp j p j 11 2 2 1 依链定理有 wS f z S S y z y jkj k j j j k j 2 第二项 1S f S z k k k 是隐层传递函数的偏微分 于是 1 2 1 S f wS fy t kjkj m j p j p jzk 由链定理得 xS f wS fy tx v S S E v E ikjkj m j p j p jizk ki k k p ki p 1 2 1 从而得到隐层各神经元的权值调整公式为 p p m j ikjkjkixS f wS fy tv p j p j 11 1 2 3 4 BP 神经网路算法的改进 BP 算法理论具有依据可靠 推导过程严谨 精度较高 通用性较好等优点 但标准 BP 算法存在以下缺点 收敛速度缓慢 容易陷入局部极小值 难以确定 隐层数和隐层节点个数 在实际应用中 BP 算法很难胜任 因此出现了很多改 进算法 1 利用动量法改进 BP 算法 标准 B