（信号与信息处理专业论文）神经网络在中等职业教育规模预测中的应用.pdf

摘要 摘要 伴随着我国社会经济的飞速发展，我国的职业教育也进入了一个改革和发 展的时期。但对职业教育的规模国内却很少有分析研究。职业教育规模的变化 无法用传统的数学语言描述，人工神经网络理论的发展，使得描述此类变化成 为可能。本文将神经网络应用到职业教育规模的预测系统中，利用神经网络的 自学习、自适应的功能，通过对现有的历史数据进行有监督的学习，运用神经 网络模拟复杂的非线性变化，从而得到较为精确的预测结果。 影响职业教育规模的因素有很多，本文选取了职业教育的历史数据进行训 练和预测，通过构建线性网络、自适应网络和b p 网络来预测职业教育的规模。 通过比较这三种网络，发现b p 网络在对职业教育的规模做出的预测最为精确。 系统选用了单隐层的b p 网络，选用了适合中小型网络的l e v e n b e r g m a r q u a r d t 算法，隐层神经元数通过多次尝试确定。 本系统用m a t l a b 软件实现，线性网络和自适应网络采用的是m a t l a b 中的 线性网络构造函数及自适应函数，b p 网络则采用m a t l a b 中的神经网络工具箱 ( n n t 0 0 。) 。 关键字：神经网络b p 算法预测 m a t l a b a b s t r a c t w i t ht h ee c o n o m yd e v e l o p e di nc h i n a ，t h ev o c a t i o n a le d u c t i o nc o m e si n t ot h e p e r i o do fr e f o r ma n dd e v e l o p m e n t b u tt h e r ei sl i t t l ei n v e s t i g a t i o no ra n a l y s i si nt h i s a r e a i ti sh a r dt od e s c r i b et h ec h a n g eo ft h ev o c a t i o n f le d u c a t i o nq u a n t i t yw i t h t r a d i t i o n a lm a t h e m a t i c s b u tn o w ，t h ed e v e l o p m e n to ft h ea r t i f i c i a ln e u r a ln e t w o r k s m a k e si tp o s s i b l et os o l v es u c hc o m p l i c a t e dn o n - l i n e a rp r o b l e m t h i sp a p e r p r e s e n t s t h ea p p l i c a t i o no ft h eb pn e u r a ln e t w o r k st ot h ev o c a t i o n a le d u c a t i o nq u a n t i t y p r e d i c t i n gs y s t e m ，f o rt h en e u r a ln e t w o r k sh a st h ea b i l i t yo fl e a r n i n g ，a d a p t a t i o n ，a n d g e n e r a l i z a t i o n ，a f t e rt r a i n i n gw i t ht h eh i s t o r i c a ld a t a ，t h en e u r a ln e t w o r kc a l ls i m u l a t e t h en o n l i n e a rc h a n g eo ft h ev o c a t i o n a le d u c a t i o nq u a n t i t ya n de s t i m a t et h en e wd a t a t h e r ei sal o to ff a c t sw h i c ha f f e c tt h ev o c a t i o n a le d u c t i o nq u a n t i t y ，t h e h i s t o r i c a ld a t ai sc h o s e nt ob et r a i n e di nt h i sp a p e r t h r e en e t w o r k sa r ee s t a b l i s h e dt o p r e c e d i n gt h ev o c a t i o n a le d u c t i o nq u a n t i t y t h e ya le l i n e a rn e t w o r k ，s e l f - a d a p t n e t w o r ka n db pn e t w o r k t h eb pn e t w o r kd o e si tb e s t i nt h ep r e d i c t i n gs y s t e m ，t h e b pn e u r a ln e t w o r kh a sah i d e d - l a y e r ，t h en u m b e ro ft h en o d e si nt h eh i d e d l a y e ri s s e l e c t e db ye x p e r i m e n t a t i o n t h el e v e n b e r g m a r q u a r d ta l g o r i t h mi sc h o s e nf o ri t s e f f i c i e n t t h ev o c m i o n a le d u c a t i o nq u a n t i t yp r e d i c t i n gs y s t e mi sr e a l i z e dw i t hm a t l a b t h e l i n e a rn e t w o r kf u n c t i o na n ds e l f - a d a p tf u n c t i o na r eu s e di ne s t a b l i s h i n gt h el i n e a r n e t w o r ka n ds e l f - a d a p tn e t w o r k t h en e u r a ln e t w o r k st o o l ( n n t 0 0 1 ) i su s e di n e s t a b l i s h i n gt h eb pn e t w o r k k e y w o r d s ：n e u r a ln e t w o r k s ， b pa l g o r i t h m ，p r e c e d i n g ，m a t l a b i i 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规定， 同意如下各项内容：按照学校要求提交学位论文的印刷本和电子版 本；学校有权保存学位论文的印刷本和电子版，并采用影印、缩印、 扫描、数字化或其它手段保存论文；学校有权提供目录检索以及提供 本学位论文全文或者部分的阅览服务；学校有权按有关规定向国家有 关部门或者机构送交论文的复印件和电子版；在不以赢利为目的的前 提下，学校可以适当复制论文的部分或全部内容用于学术活动。 学位论文作者签名：一、) 迎夺 眇，年iy 月；日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：学位论文作者签名： 年月 日年月日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均己在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：刮泣奈 o x 年i 其弓| e l 第1 章引言 第1 章引言 预测是对尚未发生或目前还不明确的事物进行预先的估计和推测，是在现 时对事物将要发生的结果进行探索和研究【。预测( 或预测工作) 实际上是这样一 个过程：从过去和现在已知的情况出发，利用一定的方法或技术去探索或模拟 不可知的、未出现的复杂的中间过程，推断出未来的结果。预测可以提供未来 的信息，为当前人们做出有利的决策提供依据【2 】【5 1 。预测是一个重要的课题，社 会生活和科技发展的各个领域几乎都少不了预测。如天气情况需要预测【6 】【引，煤 炭需求量需要预测【9 】【l o 】，国民经济的增长需要预测【1 l 】【12 1 ，道路交通流量需要预 测【1 3 】，水资源开发利用需要预测【1 4 】，区域人口数量需要预测【1 5 】可以说，预 测是一个常新的课题。 1 1 课题的背景和意义 预测是一个颇为困难的课题，而预测方法的探索是预测界人士进行预测课 题研究的一个重要方面，现将几种主要的定量预测方法做一个简单的介绍和分 析。 1 时间序列模型法【1 6 】 时间序列预测模型认为变量的现有值只与该变量的过去值以及过去的随机 扰动项有关。它的重心在于充分利用变量过去值的信息通过复杂的外推技术来 预测该变量的未来值。时间序列预测模型又分为确定性时间序列预测模型和随 机性时间序列预测模型。 确定性时间序列预测模型运用的是传统的统计学方法，它们包括无改变 法比例改变法滑动平均模型加权移动平均模型指数平滑模型。 随机性时间序列预测模型是时间序列模型法中最常用的方法，用回归法求 出预测值随某因素变化的趋势，模型中的自变量可以是预测值影响因素中的任 何一种，通常采用时间作为自变量。模型的形式主要有以下几种：多项式增 长模型指数曲线模型逻辑曲线模型龚百兹增长曲线模型幂曲线模型 自回归模型 时间序列预测方法的优点：当预测期限为短期时，可以节约成本；当建立 第1 章引言 回归模型所需要的数据不充分时，提供了一种简捷的解决方案。 2 回归模型法【1 7 】 该方法依靠识别预测值与一系列影响因素之间的关系来进行预测，识别这 些复杂关系的手段是多元回归，一旦回归模型被标定，自变量未来值便可代入 模型中，用于预测未来的值。 回归模型法的优点：可以将预测值与众多因素之间的关系模型化；可实现 假设预i 贝j j ( w h a t i ff o r e c a s t i n g ) ：可为预测者提供有关回归精确度和显著性的统计 数据。模型的局限性：远比非因果模型复杂，在某些特定情况下并不适用。 3 灰色预测法【1 8 】 灰色预测模型是基于灰色系统理论的结构化预测方法。诞生于8 0 年代的灰 色系统理论，在预测变动性大的指标的发展趋势时，往往有较好的效果。灰色 预测方法较多，其中灰色数列预测模型是对时间序列变量的预测。基于时间序 列变量的灰色数列预测模型具有递增率的性质和作用，常用的灰色数列预测模 型包括g m ( 1 ，1 ) 模型、g m ( 2 ，1 ) 模型、g m ( 1 ，n ) 模型。灰色数列预测模型的基础， 是基于累加生成数列的g m ( 1 ，1 ) 模型，它是单变量的一阶线性动态模型，主要用 于长期预测；g m ( 2 ，1 ) 模型是单变量的二阶线性动态模型，主要用于有指数增长 的或衰减及震荡性质的动态过程的分析及预测；g m ( 1 ，n ) 模型是n 个变量的一阶 线性动态模型。 4 德尔菲法【1 9 1 在现有的以定量分析为主的预测方法体系下，德尔菲法是一个有益的补充。 德尔菲法建设性地系统地利用专家在信息较充分条件下所做的直观判断，它至 少具有3 个优点：首先，该法能将更广泛范围的不可量化的因素考虑进来。其 次，该方法为预测结果的使用者充分参与预测提供了可能。定量分析法往往有 许多复杂的技术性问题，使用者将预测过程视为黑暗，只关心预测人员提交的 数据分析报告，这往往会造成预测过程中变量不合理的设置。第三，该方法提 供了综合使用多种预测方法的机会。 选用德尔菲法时最重要的一点是专家组的选择。专家组的规模并没有一定 之规，但达尔克认为1 5 2 0 人是确保预测精确性的最小规模。至于专家入选的资 格，马提诺指出专家关于预测问题的知识与阅历是该法的最关键的因素。 2 第1 章引言 表1 1 预测方法特点比较【1 8 】 模型时间序列模型灰色预测模型回归模型法德尔菲法 技术知识要求 低一中中一高中一高低一中 截面数据 数据类型时间系列数据时间序列事实、观点 时间序列 计算能力要求 弱一一般 一般 一般一高 无 预测水平 短期 中、短期长期长期 预测成本低一般高不一定，复杂 简单、稳定 复杂、有已知的 有已知的定性关系 适应范围 变动性大及很强的不确定因 或周期性 定量的关系 素 但是现有定量预测方法的基本假定是：变量之间的关系是相对固定的某种 线性的或近似线性的曲线，因此通过一定的计算过程只能获取单一的模式( 具体 的预测方程式) ，这种单一的模式很难准确的识别复杂数据间隐含的变量之间的 非线性关系。近年来利用新的科学理论探索新的预测方法是预测界人士进行预 测课题研究的一个重要方面，其中人工神经网络在预测领域中的应用研究进展 最快【2 0 1 。人- r - 丰, 经网络是一种试图模拟人的神经系统建立起来的非线性动力系 统，具有通过学习获取知识并解决问题的能力。神经网络能够通过有监督的学 习，以任意精度逼近非线性函数【2 1 1 。另外，神经网络同时包含了线性和非线性 预测模型，因此本文拟采用人工神经网络模型预测职业教育规模。 1 2 问题的提出 教育部提出，力争2 0 0 5 年中等职业学校招生人数在2 0 0 4 年的基础上增加 1 0 0 万，达到6 5 0 万，经过几年的努力，到2 0 0 7 年，实现中等职业教育和普通 高中教育规模大体相当。中等职业学校的年招生规模取决于初中毕业生规模、 初中毕业生升学率、高中阶段职业教育的比例等因素。据此，有关专家预测， 到2 0 0 7 年全国中等职业教育招生规模将接近8 0 0 万【2 2 。 职业教育是“实惠 的教育。办好职业教育，可实现技能型人才培养本地 化，改善投资环境，构筑完整的国民教育体系。而职业教育规模的预测关系到 教育经费的投入，教育设施的改造，师资培养的预先规划。 在预测的方法上，传统的预测方法都基于一种假定：变量之间的关系是相 对固定的某种线性的或近似线性的曲线。而近年来迅速发展起来的人工神经网 3 第1 章引言 络方法在各个经济生活预测领域均取得了巨大的成功。国内在预测职业教育规 模方面的工作做得比较少，用人工神经网络的方法研究职教发展规模的工作就 更少了。神经网络包含线性和非线性预测，本文选取上海地区的在校职业教育 规模作为研究对象，运用神经网络的线性模型和非线性模型对未来几年职业教 育规模进行预测。通过比较各种线性网络和非线性网络的预测结果，来找到一 个针对于上海地区职业教育规模问题的理想预测方法。 对系统的性能要求是：预测误差在3 以内。 1 3 问题的研究及应用现状 1 3 1 神经网络在预测领域的研究成果 人工神经网络的模型很多，可以按照不同的方法进行分类。其中常见的两 种分类方法是，按网络连接的拓扑结构分类和按网络内部的信息流向分类。按 网络连接的拓扑结构可将人工神经网络分为层次型结构和互连型结构；按内部 信息传递方向来分可将神经网络分成前馈型网络和反馈型网络。以上的分类方 法是对目前常见的网络结构的抽象和概括，实际应用中的神经网络可能同时兼 有其中一种或几种形式。例如，从连接形式看，层次型网络中可能出现局部的 互连；从信息流向看，前馈网络中可能出现局部反馈。下面介绍3 类比较常用 的神经网络。 1 自组织神经网络【2 3 】 自组织神经网络最重要的特点是通过自动寻找样本中的内在规律和本质属 性，自组织、自适应地改变网络的参数和结构。这种学习方式大大拓宽了神经 网络在模式识别与分类方面的应用。自组织网络结构上属于层次型网络，有多 种类型，其共同特点是都具有竞争层。输入层负责接受外界信息并将输入模式 向竞争层传递，起“观察”作用，竞争层负责对模式进行“分析比较”，找出 规律以正确归类。这种功能是通过竞争实现的。这类网络有自组织竞争网络、 自组织特征映射神经网络( s o m ) 、c p n 神经网络和a r t 神经网络。 2 反馈型神经网络1 2 4 j 反馈网络又称递归网络或回归网络。在反馈网络中( f e e d b a c k n n s ) ，输入 信号决定反馈系统的初始状态，然后系统经过一系列状态转移后，逐渐收敛于 4 第1 章引言 平衡状态。这样的平衡状态就是反馈网络经计算后的输出结果，由此可见，稳 定性是反馈网络中最重要的问题之一。这类网络有e l m a n 神经网络、h o p f i e l d 神经网络、双向联想记忆神经网络( b a m ) 、随机神经网络b m 机等等。 3 前馈型神经网络【”j 前馈型神经网络是整个神经网络体系中最常见的一种网络结构，其网络中 各个神经元接受前一级的输入并输出到下一级，网络中没有反馈，可以用一个 有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信 息处理能力来自简单非线性函数的多次复合。它的网络结构简单，易于实现。 根据前馈网络中神经元转移函数、隐层数以及权值调整规则的不同，可以形成 具有各种功能特点的神经网络。比较著名的前馈型网络有感知器网络、线性神 经网络、自适应网络、b p 网络、径向基函数网络。 职业教育规模预测模型是通过对样本数据的训练得到的。样本中有输入信 号和输出信号，其中输出信号就是教师信号，而自组织神经网络属于无教师学 习网络，因此自组织神经网络在职业教育规模预测这个问题上不适用。 在反馈型网络中，输入信号是反馈系统的初始状态，网络由初始信号激发 后逐渐演变到一个稳定点，如果把这个稳定点视为一个记忆的话，那么从初态 朝这个稳定点的演变过程就是寻找该记忆的过程。如果把系统稳定点视为一个 能量函数的极小点，而把能量函数视为一个优化问题的目标函数，那么初态朝 这个稳定点的演变过程就是一个求解该优化问题的过程。由此可见，反馈型网 络适合于计算联想记忆和求解优化问题，因此也不适用于职业教育的规模预测。 从职业教育的规模变化来看，历史数据表现出一定的线性趋势。考虑到数 据的线性变化本课题拟先建立线性网络模型，通过改变输入向量个数的方法来 比较输入向量对预测结果的影响。 1 3 2 神经网络在预测领域的应用现状 随着人工神经网络2 0 世纪8 0 年代在世界范围内的复苏，国内也逐步掀起 了研究热潮。经过l o 年的发展，中国学术界和工程界在人工神经网络的理论研 究与应用方面取得了丰硕成果。神经网络的智能化特征与能力使其应用领域日 益扩大，潜力日趋明显。许多用传统信息方法无法解决的问题采用神经网络后 取得了良好的效果。 第1 章引言 以下列举一些神经网络在预测领域的应用状况。 一、信息领域。神经网络广泛应用于自适应信号处理和非线性信号处理。 如信号的自适应滤波、时间序列预测、谱估计、噪声消除、非线性滤波、非线 性预测、非线性编码、调n 解调等。【2 6 】 二、自动化领域。基于神经网络的系统辨识是以神经网络作为被辨识对象 的模型，利用其非线性特性，可建立非线性系统的静态或动态模型；在控制器 方面，对于复杂非线性系统，神经控制器所达到的控制效果往往明显好于常规 控制器【2 7 】。神经控制器在工业、航空以及机器人等领域的控制系统应用中已取 得许多可喜的成就；在对综合指标的检测( 例如对环境舒适度这类综合指标的 检测) 中，以神经网络作为智能检测中的信息处理元件便于对多个传感器的相 关信息( 如温度、湿度、风向和风速等) 进行复合、集成、融合、联想等数据 融合处理，从而实现单一传感器所不具备的功能【2 引。 三、工程领域。近年来，我国水利工程领域的科技人员已成功地将神经网 络的方法用于水力发电过程辨识和控制f 2 9 1 、河川径流预测、河流水质分析、水 资源规划【3 0 】、混凝土性能预估、拱坝优化设计、预应力混凝土桩基等结构损伤 诊断、砂土液化预测、岩体可爆破性分级及爆破效应预测、岩土类型识别、地 下工程围岩分类、大坝等工程结构安全监测、工程造价分析等许多实际问题中。 神经网络的方法在高炉炉况预测川、泥石流预测【3 2 1 、石油产量预nr 3 3 1 、煤炭开 烈3 引、焊缝熔敷金属力学性能预测3 5 1 、汽车工程【3 6 】、稳压变压器优化设计【3 7 1 等 方面均取得了成功的应用。 四、医学领域。神经网络用于检测数据分析方面成功的例子有脑电棘波检 测系统，用来提供脑电棘波的实时检测和癫痫的预报【3 8 】；在生物活性研究方面 建立分子结构和致癌活性之间的定量关系，并对分子致癌活性进行预测，而且 检测费用低，可作为致癌物大面积预筛的工具【3 9 】；神经网络为医学专家系统的 研究开辟了新的途径、利用其学习功能、联想记忆功能和分步式并行信息处理 功能，来解决专家系统中的知识表示、获取和并行推理等问题【4 0 1 。 五、经济领域。神经网络评价系统将公司贷款申请表中关键数据编码为输 入量，将实际的信用情况作为输出评价，用数以千计的历史数据对网络进行训 练后，可给出准确客观的评价结果【4 1 1 。因此基于神经网络的评价系统在在金融 风险分析领域应用十分广泛；应用神经网络进行市场预测的一个实例期货市场 的神经网络预测。其做法是根据某期货市场每月平均期货价格、价格不定性和 6 第1 章引言 市场心理指标量等因素，建立较为准确可靠的市场模型。该模型训练数据覆盖 了3 年时间，它不仅能判断价格的未来走势，而且能在走势持续一段时间后预 测到价格的反转【4 2 1 。神经网络与小波理论相结合运用在股价分析上取得了较好 的效果【4 3 1 ，神经网络在商品销量预测中也取得了较大的成功m 】。 1 4 课题的意义 1 职业教育规模的预测为政府对职业教育的宏观调控提供依据。 职业教育的规模关系到地区经济的发展，近几年政府连续出台了大力发展 职业教育的相关政策，表明了职业教育正越来越得到决策者的重视。决策者只 有在充分了解了职业教育的规模后，宏观调控的措施才能起到推动职业教育发 展的目地。 2 职业学校发展与职业教育规模密切相关。 近几年，沿海经济发达地区职业教育规模呈下降态势，职业学校的生存面 临考验。职业教育的规模关系到职业学校的教育设施投入、师资的配备、专业 建设、教学方法和课程改革。 3 企业人力资源的开发与职业教育规模有关。 经济的可持续发展与劳动者的素质密切相关，寻找合适的人才是各个企业 人力资源部门的重要工作之一，充足的人才储备能降低企业的用人资本，扩大 选择余地。 本课题选用神经网络的方法对职业学校在校生的规模进行预测，通过对各 种模型预测结果的比较来选定一个能较好反映职业学校在校生人数变化的网络 模型。人工神经网络在预测领域正渐渐展示出它的优越性，本文具体研究了神 经网络在职教规模预测模型中的几种实现过程，为人工神经网络的在教育方面 的预测增加了新的应用。 1 5 本文主要研究内容及组织结构 全文主要研究以下内容： 1 归纳介绍神经网络的理论方法和现状，特别是在预测领域的研究和应用 现状。 7 第1 章引言 2 对线性算法的基本理论进行研究，为线性网络的构建提供依据。 3 对非线性的b p 网络的基本理论进行研究，为b p 网络构建提供依据。 4 研究m a t l a b 神经网络工具箱，通过使用m a t l a b 神经网络工具箱简化神 经网络的构建过程。 全文共六章，组织如下： 第1 章通过背景分析明确所研究的问题并介绍论文的编排。 第2 章介绍线性网络学习规则并用线性网络构建模型。 第3 章介绍非线性b p 网络的算法以及非线性神经网络理论和研究现状。 第4 章介绍b p 网络的构建过程及m a t l a b 神经网络工具箱。 第5 章比较线性网络和非线性网络预测结果。 第6 章总结全文、展望未来。 第2 章用线形网络做预测 第2 章线性神经网络的建模及预测过程研究 2 1 线性神经网络简介 线性神经网络是最简单的一种神经元网络，它可以由一个或多个线性神经 元构成。2 0 世纪5 0 年代末由w i d r o w 和h o f f 提出的自适应线性元件( a d a p t i v e l i n e a re l e m e n t ，a d a l i n e ) 是线性神经网络最早的典型代表。线性神经网络与 感知器神经网络的不同之处在于其每个神经元的传递函数为线性函数，因此线 性神经网络的输出可以取任意值，而感知器的神经网络的输出只能取0 或1 。线 性神经网络可以采取w i d r o w - h o f f 学习规则，也称为l m s ( l e a s tm e a ns q u a r ) 算法来调整网络的权值和阈值。线性神经网络的学习算法比感知器网络的学习 算法和收敛速度和精度都有较大的提耐4 引。 线性神经网络主要用于函数逼近、信号处理滤波、预测、模式识别和控制 等方面。 图2 - 1 给出一个线性神经元的模型，其传递函数为线性传递函数p u r e l i n ， 如图2 - 2 所示。 p ( 1 ) p ( 2 ) p ( r ) l 图2 1 线性神经元模型 9 第2 章用线形网络做预测 j0 h 一， j o 1 n i a b | w b w j o 图2 2 线性传递函数p u r e l i n n 由于线性神经网络中神经元的传递函数为线性函数，其输入输出之间是简 单的比例关系。因此对于单个线性神经元，可通过下式计算出： 口= p u r e l i n ( w xp 4 - 6 )( 2 1 ) 2 2w i d r o w - h o f f 学习规则和a d a l i n e 模型 2 2 1w i d r o w h o f f 学习规则 1 9 6 2 年ib e r n a r dw i d r o w 和m a r c j a nh o f f 提出了w i d r o w h o f f 学习规则， 又称为最小均方规则( l m s ) 。w i d r o w - h o f f 学习规则的学习信号为 ，= d 一孵x ( 2 2 ) d 表示期望输出，w 代表连接权向量，x 代表输入信号。 权向量调整量为 a w ；27 7 ( d w 7 x ) x ( 2 3 ) 髟的各分量为 a r o c ，2 刁( 乃一町x ) x ， i = 0 ，1 ，n( 2 4 ) 该学习规则与神经元采用的转移函数无关，因而不需要对转移函数求导数， 不仅学习速度快，而且具有较高的精度。权值可初始化为任意值4 6 1 。 2 2 2 自适应线性单元( a d a l i n e ) 简介 1 9 6 2 年美国斯坦福大学教授w i d r o w 提出一种自适应可调的神经网络，其基 l o 第2 章用线形网络做预测 本构成单元称为自适应线性单元，英文缩写为a d a l i n e ( a d a p t i v el i n e a rn e u r o n ) 这种自适应可调的神经网络主要适用于信号处理中的自适应滤波、预测和模式 识别。 2 2 3a d a l i n e 学习算法 a d a l i n e 学习算法采用了w i d r o w - h o f f 学习规则，也称为l m s ( l e a s tm e a n s q u a r e ) ，即最d x - - 乘算法。下面以单个自适应线性神经元为例，讨论其学习 算法。 根据式( 2 3 ) ，考虑到单节点情况，权向量调整量省略下标后可表达为 a w2 7 7 ( d w7 x ) x ( 2 5 ) 输出为模拟量时，a d a l i n e 的转移函数为单位线性函数，所以有 y2 1x ( 2 6 ) 定义输出误差为期望输出与实际输出之差 s2d 一少 ( 2 7 ) 则权向量调整式可改写为 a w27 7 ( d y ) x = r 6 x ( 2 8 ) 将上式中的输入向量x 除以其模的平方，可得 埘。卉描 q 由式( 2 6 ) 有 缸- ( d - w r x ) - - 矿肛一卉肛1 占 ( 2 l o ) 由上式可以看出，a 永远与符号相反，这意味着在训练中，e 的绝对 值是单调下降的，y 总是在不断地接近d 。因此l m s 算法能保证a d a l i n e 在自适 应学习时的收敛性【4 7 1 。 2 3 线性网络的建模及预测 本文的数据来源于上海市统计局2 0 0 5 年年鉴第十七篇教育文化一历年各级 第2 章用线形网络做预测 各类学校在校学生数【4 8 】 ( h t t p ：w w w s t a t s s h g o v c n 2 0 0 3 s h t j t j n j n j h t m ? d l = 2 0 0 4 t j n j c 17 0 3 h t m ) 。 因此本文的训练数据和预测数据都仅限于上海地区，数据如表2 1 所示。 表2 1 上海市1 9 8 0 年2 0 0 4 年中等职业学校在校人数表 年份 1 9 8 0 1 9 8 11 9 8 2 1 9 8 31 9 8 41 9 8 5 人数( 万人) 8 9 78 8 98 1 68 4 91 1 8 31 5 2 7 年份 1 9 8 61 9 8 71 9 8 81 9 8 91 9 9 01 9 9 1 人数( 万人)1 6 5 11 6 2 91 5 5 2 1 4 9 l1 4 2 8 1 4 6 8 年份 1 9 9 21 9 9 31 9 9 41 9 9 51 9 9 61 9 9 7 人数( 万人)1 6 0 71 8 8 52 1 6 72 3 9 82 3 7 42 6 3 8 年份 1 9 9 81 9 9 92 0 0 02 0 0 12 0 0 22 0 0 32 0 0 4 人数( 万人)2 8 6 8 2 8 9 72 5 7 42 4 1 82 4 6 2 2 5 2 4 2 4 1 6 个人接受职业教育的过程是一个连续的过程，因此当年的职业教育规模与 前几年的规模是密切联系的。因此本文在预测模型的建立过程中将前几年的职 业教育规模作为网络的输入。而输入向量数的变化会对预测结果的准确性产生 什么样的影响，接下来的部分就是通过实验建立不同输入向量的线性网络来确 定向量个数对结果的影响程度。 2 3 1 三输入一输出的单神经元线性模型及预测 由于系统只有一个输出，所以解决这个问题的网络只需要一个神经元。这 个神经元具有三个输入，其中一个为输入信号的当前值，另外两个为输入信号 的前两个时刻的值。即8 2 年、8 1 年和8 0 年的值作为三个输入信号p ，8 3 年的 值作为输出信号t 得到一组样本，以此类推将9 6 年以前的数据作为训练样本， 共得到1 3 组样本。网络的初始权值和阈值设置为0 。利用m a t l a b 中的n e w l i n d 函数设计网络n e t = n e w l i n d ( p ，t ) 。n e w l i n d 函数是m a t l a b 神经网络工具箱中提 供的线性网络层设计函数。该函数所使用的学习规则和收敛性在本文的第2 2 节已经做了相应的说明和证明。用s i m 仿真函数预测0 3 年0 4 年的数据得到如 表2 2 的对照结果。 1 2 第2 章用线形网络做预测 表2 2 三输入一输出1 3 组样本实验结果 2 0 0 3 年2 0 0 4 年 实际值 2 5 2 42 4 1 6 预测值 2 5 7 4 62 5 1 7 0 5 误差 0 5 0 61 0 1 0 5 2 3 2 四输入一输出的单神经元线性模型及预测 用与上相同的方法设计一个四输入一输出的网络，输入值为当前信号及其 前三个时刻的值，即8 3 年、8 2 年、8 1 年和8 0 年的值作为四个输入信号p ，8 4 年的值作为输出信号t 得到一组样本。将9 6 年以前的数据作为训练样本，共得 到1 3 组样本。网络的初始权值和阈值设置为0 。利用m a t l a b 中的n e w l i n d 函数 设计网络n e t = n e w l i n d ( p ，t ) 。用s i m 仿真函数预测0 3 年0 4 年的数据b ， b = s i m ( n e t ，a ) ，其中a 是0 3 年0 4 年的输入数据。结果如表2 3 表2 3 四输入一输出1 3 组样本实验结果 2 0 0 3 年 2 0 0 4 年 实际值 2 5 2 42 4 1 6 预测值 2 5 7 92 5 2 1 8 8 误差0 5 51 0 6 2 3 3 增加样本后的线性模型及预测 1 对三输入一输出的线性网络增加样本 在2 3 1 节中，取到9 6 年以前的1 3 组样本进行训练，现取2 0 0 2 年以前的 数据作为训练数据，共得到1 9 组样本，用与2 3 i 节相同的方法建立三输入一 输出的线性网络，用训练好的网络预测0 3 、0 4 年的数据，结果如表2 4 表2 4 三输入一输出1 9 组样本实验结果 年份2 0 0 3 年2 0 0 4 年 实际值 2 5 2 42 4 1 6 预测值 2 5 7 9 3 72 5 6 4 1 2 误差 0 5 5 3 71 4 8 1 2 第2 章用线形网络做预测 2 对四输入一输出的线性网络增加样本 在2 3 2 节中，取得9 6 年以前的1 3 组样本进行训练，现取2 0 0 2 年以前的 数据作为训练数据，共有1 9 组样本。用与2 3 2 节相同的方法建立四输入一输 出的线性网络，用训练好的网络预测0 3 、0 4 年的数据，结果如表2 5 表2 5 四输入一输出1 9 组样本实验结果 年份 2 0 0 3 年2 0 0 4 年 实际值 2 5 2 42 4 1 6 预测值 2 5 9 6 82 5 7 8 5 2 误差 o 7 31 6 3 2 4 各种线性网络预测比较 在2 3 节中，共建立了4 种线性网络，它们之间区别在于输入向量个数的 不同和样本数的不同，现把4 种线性网络的误差做一个比较，见表2 6 表2 6 四种线性网络预测误差比较 i 泠竺 2 0 0 3 年预测2 0 0 4 年预误差绝对值 网络类型误差测误差之和 3 输入1 输出1 3 组样本0 5 0 61 0 1 0 5 1 5 1 6 5 3 输入1 输出1 9 组样本0 5 5 3 7 1 4 8 1 22 0 3 4 9 4 输入1 输出1 3 组样本 o 5 51 0 61 6 1 4 输入1 输出1 9 组样本o 7 31 6 3 2 3 6 从以上的实验数据看，当样本数由1 3 个变为1 9 个的时候，无论是3 输入l 输出还是4 输入1 输出的线性神经网络，预测的结果并非更趋于精确。当输入 向量数增大时，预测的准确性也没有提高。由此可见，在局部的范围内，输入 向量数和样本数对预测结果的影响不大。 从时间序列看职教的规模并不具有严格的线性特征。虽然线性网络不能够 无误差地解决非线性问题，但它能够在保证误差平方和最小的意义下逼近非线 性问题的解。职业教育在我国的发展虽然已有很长的历史，但可以用于统计分 析的只有从8 0 年以后开始的二十多年的数据。数据量太少是影响预测结果准确 性因素之一。 1 4 第2 章用线形网络做预测 2 5 自适应线性网络模型 从职业教育规模的变化趋势上看( 见图2 3 ) ，职业教育的发展开始时是呈 线性上升的( 图2 3 中的横坐标代表8 0 年到2 0 0 4 年，纵坐标代表上海地区职 校在校人数) 。但从图中也可以看出有4 处波动的部分，其中最后一次尤为明显。 由于信号产生的不稳定变化，本节拟建立一个自适应的网络对信号进行跟踪。 图2 31 9 8 0 年至2 0 0 4 年上海地区职校在校生人数 自适应学习线性网络的一个应用是基于其能够对一个非线性系统进行逼 近，并找到稳定的解，使得结果的误差平方和最小。当非线性系统在一个给定 的点上稳定地运行的时候，自适应学习线性网络模型能够非常精确地对它进行 逼近。如果非线性系统跳到另一个点上运行，则自适应学习线性网络模型的工 作点也能够随之改变，并且跟踪到相应的新的工作点。 2 5 1 建立自适应学习线性网络 自适应学习线性网络建立过程如下： 1 将1 9 8 0 2 0 0 1 年的数据作为输入信号p p = 【1 1 8 3 1 5 2 71 6 5 1 1 6 2 91 5 5 2 1 4 9 1 1 4 2 81 4 6 81 6 0 7 1 8 8 5 2 1 6 7 2 3 9 8 2 3 7 42 6 3 82 8 6 82 8 9 72 5 7 4 2 4 1 8 】 2 用前4 个信号预测当前信号。延迟d e l a y s = 1234 】 3 用m a x l i n l r o 函数计算线性层的最大学习速率。l r = m a x l i n l r ( p ) 得到l r = 1 3 1 2 1 e 0 0 4 4 将输入信号转换成序列信号p = e o n 2 s e q ( p ) 1 5 第2 章用线形网络做预测 5 网络的输出是为了跟踪输入的，因此目标信号t 即输入信号p 。t = p 6 用n e w l i n ( ) 函数建立网络层n e t = n e w l i n ( m i n m a x ( c a t ( 2 ，p ：) ) ) ，l ，d e l a y s ，蛐。 其中l r 为网络的学习速率，m i n m a x ( c a t ( 2 ，p ：) ) ) 得到输入p 的最大值、最小值矩 阵，d e l a y s 为输入延迟向量。 7 用a d a p t ( ) i 垂l 数训练网络。【n e t ，a , e = a d a p t ( n e t ，p ，t ) ，得到调整后的网络n e t 。 2 5 2 用自适应学习线性网络进行预测及结果分析 用2 5 1 节建立的自适应线性网络n e t 预测0 3 珈4 年的数据，0 3 年0 4 年的 输入向量a 分别为( 2 8 9 72 5 7 42 4 1 82 4 6 2 ) 和( 2 5 7 42 4 1 82 4 6 22 5 2 4 ) ，用 s i m 0 函数进行预测，预测结果b = s i m ( n e t ，a ) ，得到的预测值及误差值如表2 7 表2 7 自适应线性网络预测误差 年份实际值 预测值误差 2 0 0 22 4 6 22 5 0 6 7 00 4 5 2 0 0 32 5 2 42 5 3 4 6 3 o 1 1 2 0 0 42 4 1 62 5 9 5 1 81 7 9 2 3 节所建立的线性网络预测结果见表2 8 表2 8 四种线性网络预测误差比较 i 朱竺 2 0 0 3 年预测2 0 0 4 年预误差绝对值 网络类型误差测误差之和 3 输入1 输出1 3 组样本0 5 0 61 o 1 0 5 1 5 1 6 5 3 输入1 输出1 9 组样本0 5 5 3 71 4 8 1 2 2 0 3 4 9 4 输入1 输出1 3 组样本 0 5 51 0 6 1 6 1 4 输入1 输出1 9 组样本0 7 31 6 3 2 3 6 选取表2 8 中预测误差最小的3 输入1 输出1 3 组样本的预测结果与表2 7 所建的自适应网络预测结果比较见表2 9 表2 9 自适应线性网络预测误差 网络类型2 0 0 3 年误差2 0 0 4 年误差 线性网络 0 5 0 6 1 0 1 0 5 自适应线性网络 o 1 11 7 9 由表2 9 的比较结果发现，用自适应线性网络预测的结果并不比线性网络 的预测结果更为精确。自适应线性网络是在构造一个线性层的基础上，再加上 1 6 第2 章用线形网络做预测 自适应调节函数，以期函数能跟踪网络的变化。但这种变化是从一个稳定的工 作点转向另一个稳定的工作点，自适应线性网络的实验证明职业教育的规模变 化并不是在稳定的工作点中跳转，因此自适应线性网络在预测精度上并没有比 线性网络有更大的提高。虽然线性的网络在一定的程度下能解决非线性的问题， 但如果问题的非线性程度较高，线性网络就会显得无能为力了，因此在下一章 节，本文拟采用建立非线性的网络模型来进行预测。 1 7 第3 章神经网络及其算法 第3 章非线性神经网络及其算法 3 1 非线性神经网络及其在预测中的应用 神经网络由于具有数据处理的并行性，函数映射的高度非线性等特点目前 己被广泛地应用到模式识别、图像处理、控制及优化、预测和管理等领域。尤 其是b p 网络更是广泛地被用来解决识别和预测的问题【4 9 1 。本节着重研究非线性 神经网络及其在预测中的应用。 3 1 1 神经网络综述 神经网络是由一些称为神经元的基本部件按一定规则组合形成的网络。神 经网络由三个要素决定：神经元，神经元与神经元之间的连接方式，训练规则。 神经网络虽然形式多变，但其基本的部件一神经元都是相同的。神经元的示意 图如图3 1 。神经元可以视为一个基本的处理单元，包括输入、内部非线性变换 及输出三部分。神经元的基本运算为：输入经过权值连接到神经元内部求和器。 此加权和与一门限进行比较，然后再经过非线性变换，便得到输出。这个过程 可概括为：加权和，门限比较，非线性变换三部分。最常见的非线性变换有限幅 函数，s i g m o i d 函数等。 p l 夕2 pr 输入 r 一一一一1 一。一l l i 图3 1 神经元结构图 1 8 第3 章神经