神经网络预测法资料 神经网络做预测

本文格式为Word版，下载可任意编辑——神经网络预测法资料神经网络做预测数学建模系列讲座基于神经网络的预料与分类,万敏理学院,什么是数学建模,用于描述实际问题的数学布局，称为数学模型；

建立数学模型并加以求解的整个过程称为数学建模。,将实际问题翻译成一个数学问题，用数学方法及计算机工具加以求解。,一、有导师学习神经网络的原理；

matlab实现；

BP、RBF在预料、分类中的应用;PNN在分类中的应用,二、无导师学习神经网络的原理；

matlab实现；

竞争神经网络、SOFM在分类、聚类中的应用,人工神经网络产生背景,机器智能研究怎样用机器（计算机）模仿人脑从事推理、设计、斟酌、学习等思维活动，以解决和处理较繁杂的问题。,人工神经网络是机器智能的一片面，它模拟大脑的神经系统，更简朴的说，就是人脑神经系统的一个数学模型,大脑神经系统,大脑内约含1000亿个神经元,神经系统是由这些神经元经过高度的组织与相互作用而构成的繁杂的网络,特征：神经元+相互作用,神经元模型,神经元模型,,,,,,,神经元与神经元之间如何相互作用（传递信息）？,凭借于突触的联接！

突触的联接会受外界信息的影响或自身生长过程的影响而变化。正是通过神经元及其突触联接的可变性，使得大脑具有学习、记忆和认知等各种智能。,突触,突触,突触,突触,突触是可变的,连接权值w对应于突触,突触,,,,,,,,,,,,输入-输出关系,多输入,权值,单输出,,,,阈值,激活函数,其中，,连接权值,求和单元,激活函数,净输入,完成输入-输出的非线性映射，有三个关键,常见的几类激活函数,,这些非线性函数具有两个显著的特征，一是突变性，二是饱和性，这正是为了模拟神经细胞兴奋过程中所产生的神经冲动以及疲乏等特性,人工神经网络＝神经元＋连接,人工神经网络,神经网络的布局,前馈神经网络,递归神经网络,特点：神经元之间有反应连接,输入--输出关系？,,,,,,,,,,,,输入-输出关系,多输入,权值,单输出,,,,其中，,净输入,单个神经元,单层前馈神经网络,多层前馈神经网络,输入层,隐含层,隐含层,输入-输出关系：,权值，求和，激活函数,输出层,,,,p,a,神经网络,一、网络布局1、输入神经元数，输出神经元个数2、隐层数，每个隐层中神经元个数3、每个神经元的激活函数f,输入-输出关系,人工神经网络,二、前馈神经网络的学习,这类网络模型怎样实现分类、识别、预料等智能行为？,,通过学习！

变更连接权值W！

,通过样本更新权值和阈值,,,,p,a,神经网络,,以识别苹果和香蕉为例,关键：调整权值,期望输出t=1苹果t=0香蕉,输入：苹果或香蕉,训练样本：,期望输出,输入,训练样本：,有导师的学习,,期望输出（向量）,输入（向量）,对样本对（输入和期望输出）举行学习；

将样本的输入送至神经网络，计算得到实际输出；

若实际输出与期望输出之间的误差不得志精度要求，那么调整权值W和阈值b，逐步减小误差，直至得志精度要求。,,,根本思想：,,,,p,a,神经网络,训练样本,学习过程：通过样本更新权值和阈值,,,输出目标,输入,W(old),,W(new),学习,网络的学习：通过样本不断调整权值学习好以后的网络：权值不再变更，所学的学识存储在权值中学习好以后的网络举行预料、分类等等,下面将给出三种典型的有导师学习的神经网络：BP,RBF,PNN,BP（反向传播）神经网络原理,一、布局,2、输入输出关系：

激活函数通常采用S形函数，如logsig，tansig函数；

输出层激活函数多采用purelin函数。,3、理论上，具有一个隐含层的BP网络可以以任意精度迫近任意非线性函数。,1、多层前馈网络：前、后层之间各神经元实现全联接；

同一层的神经元之间无联接。,二、BP网络的学习算法,学习过程：,信号前向传播+误差反向传播,BP网络的学习算法是典型的有导师学习算法：将样本输入神经网络，得到网络的实际输出，若输出值与期望输出之间的误差不得志精度要求，那么从输出层反向传播该误差，从而调整权值及阈值，使得网络的输出和期望输出间的误差逐步减小，直至得志精度要求。,训练样本,,,,p,a,BP神经网络,1、信号前向传播,二、BP网络的学习,2、误差反向传播,训练样本：,均方误差（单输出）,均方误差（多输出）,梯度下降法：权值阈值的调整沿着误差函数下降最快的方向——负梯度方向,,WeightUpdate,BP网络的学习算法（梯度下降法）,第m层的灵敏度,BP学习过程,Step1,选定样本,p=1,…,P,随机确定初始权矩阵W（0）,Step2,利用误差反向计算每一层的sensitivty，更新权值和阈值。直到误差得志精度要求。,利用样本计算网络输出，得到误差,Step3,BP网络学习算法的提升,BP算法缺点小结易形成局部微小而得不到全局最优；

训练次数多使得学习效率低，收敛速度慢；

隐节点的选取缺乏理论指导；

训练时学习新样本有遗忘旧样本的趋势。,针对上述问题，国内外已提出不少有效的提升算法，其中基于LM的提升算法是较常用的一种方法。,基于Levenberg-Marquardt法的BP提升算法,Levenberg-Marquardt法实际上是梯度下降法和牛顿法的结合，它的优点在于网络权值数目较少时收敛分外急速。应用Levenberg-Marquardt优化算法比传统的BP及其它提升算法（如共轭梯度法，附加动量法、自适应调整法及拟牛顿法等）迭代次数少，收敛速度快，精确度高。但对于繁杂问题，需要更大的存储空间MATLAB中的工具函数trainlm()即对应Levenberg-Marquardt法的提升算法。,BP网络的Matlab工具箱函数,1、BP神经网络创造函数:函数newff用于创造一个BP神经网络，其调用格式为：

net=newff(P,T,[S1S2.SN],{TF1TF2.TFN},BTF,BLF,PF),P：输入矩阵，每行对应于一个样本的输入向量T：输出矩阵，每行对应于该样本的期望输出Si：第i个隐含层的神经元个数，结果一个为输出层神经元个数TFi:第i个隐含层的激活函数（隐含层默认值为tansig，输出层默认值为purelin）BTF:网络训练函数（默认值为trainlm）BLF:权值/阈值学习函数（默认值为learngdm）PF:性能函数（默认值为mse均方误差函数）,训练函数确定算法的框架（全局），学习函数确定权值的调整（局部）,样本：{p1,t1},{p2,t2},…,{p50,t50}p1=[0.1,0.2],t1=0.7;p2=[0.98,0.75],t2=0.8;……p50=[0.87,0.6],t50=0.2如何创造一个三层BP神经网络学习样本？设隐含层神经元个数为6.,例,P=[0.1,0.2;0.98,0.75;…0.87,0.6;]%每行为一样本的输入T=[0.7;0.8;…0.2;]%每行为对应样本的期望输出,Net=newff(P,T,6,{tansig,purelin},trainlm,lerangdm,mse),网络布局：2-6-1,net=newff(P,T,6),BP神经网络的Matlab工具箱函数,2、BP神经网络训练函数:函数train用于训练已经创造好的BP神经网络，其调用格式为：

[net,tr,Y,E]=train(net,P,T),P：输入矩阵，每行对应于一个样本的输入向量T：输出矩阵，每行对应于该样本的期望输出tr：训练记录，包括迭代次数和性能Y:网络输出矩阵E:网络误差向量,训练前的网络，newff产生的BP网络,训练好的BP神经网络，权值不再变更,BP神经网络的Matlab工具箱函数,3、BP神经网络的仿真函数:函数sim用于利用训练好的BP网络举行仿真预料，其调用格式为：

[Y,E,Perf]=sim(net,P),Net:训练好的BP神经网络，train得到的网络P：输入向量/矩阵，每行对应于一个样本的输入向量Y:网络输出向量/矩阵，每行对应于该样本的预料输出E:网络误差向量Perf:网络的性能,BP神经网络用于预料，分类,产生训练集/测试集,,,,,创造/训练BP网络,创造/训练RBF网络,创造/训练PNN网络,,,,,,仿真测试,,性能评价,1、产生训练集/测试集：（P_tain,T_train），（P_test,T_test）将样本分为训练集和测试集，训练样本用于网络训练（学习），测试样本用于测试网络的泛化才能。一般，训练集样本数量占总样本数量的2/3-3/4为宜，剩余的1/4-1/3作为测试集。,训练集和测试集随机产生,要分析网络模型的泛化才能，理应也务必用非训练样本（称为测试样本）误差的大小来表示和评价，这也是将总样本分成训练样本和非训练样本主要理由之一。最直接和客观的指标是从总样本中随机抽取的非训练样本（测试样本）误差是否和训练样本的误差一样小或稍大。非训练样本误差很接近训练样本误差或比其小，一般可认为建立的网络模型已有效迫近训练样本所蕴含的规律，否那么，若相差好多（如几倍、几十倍甚至上千倍）就说明建立的网络模型并没有有效迫近训练样本所蕴含的规律，而只是在这些训练样本点上迫近而已。,2、创造/训练BP神经网络:newff,train创造前需要确定网络的布局：,隐层数含一个隐层的MLP网络能够以任意精度迫近任何有理函数。在设计BP网络时，应优先考虑3层BP网络（即有1个隐层），靠增加隐层节点数来获得较低的误差。,隐层节点数确定隐层节点数的最根本原那么：在得志精度要求的前提下取尽可能少的隐层节点数。最正确隐层神经元个数可参考如下公式：

其中n为输入层神经元个数；

l为暗藏层神经元个数；

a为0-10之间的常数,3、仿真测试：T_sim=sim(net,P_test)网络创造并训练完成以后，将测试集的输入变量送入网络，网络的输出即为预料结果,训练神经网络的根本任务是确保训练好的网络模型对非训练样本具有好的泛化才能（推广性），即有效迫近样本蕴含的内在规律，而不是看网络模型对训练样本的拟合才能。因此，仅给出训练样本误差的大小而不给出测试样本误差的大小是没有任何意义的。,4、性能评价：

通过计算测试集的预料值与真实值间的误差，对网络的性能（即：泛化才能）举行评价。,,相对误差：erro抉择系数:R2,相对误差越小，说明模型的性能越好。

抉择系数越接近于1，说明模型的性能越好；

越接近于0，说明越差。,BP神经网络做预料/分类的步骤,样本采集、归一化、随机选择训练样本和测试样本BP网络构建/训练(newff/train)性能评价:利用测试样本计算预料误差，用于评价网络的泛化才能若泛化才能达要求，那么训练好的BP神经网络可举行预料/分类。否那么，需要调整网络参数持续学习直到泛化才能达要求为止。,例1、人口预料以下是从《北京统计年鉴》中得到的1983-2022年的北京城近郊区户籍人口统计结果。建立人工神经网络模型，预料2022年的北京城近郊区户籍人口,北京市人口数统计表：,产生训练集/测试集,,,,,创造/训练BP网络,创造/训练RBF网络,创造/训练PNN网络,,,,,,仿真测试,,性能评价,利用神经网络预料、分类的思路,问题分析,我们可以通过训练一个BP网络来达成预料目的：用前四年的人数预料下一