《人工神经网络技术》PPT课件.ppt

人工神经网络技术,内容,神经网络工具箱,BP网络与BP学习算法,神经网络的学习,人工神经网络概述,神经网络基本数学模型,人工神经网络概述,人工神经网络（Artificial Neural Network, ANN），也称为神经网络（Neural Network, NN），是由大量处理单元广泛互联而成的网络，是对人脑的抽象、简化和模拟，反映人脑的基本特征。人工神经网络的研究是从人脑的生理结构出发来研究人的智能行为，模拟人脑信息处理的功能。它是植根于神经系统、数学、统计学、物理学、计算机科学及工程等学科的一种技术。,人工神经网络概述,人工神经网络是一种模拟人神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。人工神经网络具有自学习和自适应的能力，可以通过预先提供的一批相互对应的输入和输出数据，分析掌握两者之间潜在的规律，最终根据这些规律，用新的输入数据来推算输出结果。,神经网络基本数学模型,经过对生物神经元的长期广泛研究，1943年美国心理学家麦卡洛克（W.McCulloch）和数理学家皮茨（W.Pitts）根据生物神经元生物电和生物化学的运行机理提出神经元的数学模型，即著名的MP模型。 一个典型的人工神经元MP模型如图所示。,神经网络基本数学模型,对于网络中的第i个神经元，接受多个其他神经元的输入信号 ，各连接强度以实系数 表示，即第j个神经元对第i个神经元作用的权值。利用某种运算把输入信号的作用结合起来，给出他们的总效果，称为净输入，以 表示，净输入的表达式有多种类型，最简单的一种形式是线性加权求和，即：,MP模型的数学表达式为：,式中， 为阀值， 是激励函数。,神经网络基本数学模型,激励函数 可取不同的函数，它可以是线性的，也可以是非线性的。常用的基本激励函数有以下三种； 阀值函数,分段线性函数,该函数通常称为阶跃函数。此外，符号函数Sgn（t）也常常作为神经元的激励函数。,神经网络基本数学模型,S型函数 S型函数即Sigmoid函数。它是人工神经网络中最常用的激励函数。S型函数定义如下：,其中 为S型函数的斜率参数，通过改变参数 ，可以得到不同斜率下的S型函数。,神经网络的学习,学习功能是神经网络最主要的特征之一，神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整神经网络的自由参数，使神经网络以一种新的方式对外部环境做出反应的一个过程。能够从环境中学习和在学习中提高自身性能是神经网络的最有意义的性质。 学习算法是指针对学习问题的明确规则集合。学习类型是由参数变化发生的形式决定的，不同的学习算法对神经元权值调整的表达式有所不同。没有一种独特的学习算法用于设计所有的神经网络。选择或设计学习算法时还需要考虑神经网络的结构即神经网络与外界环境相连的形式。,神经网络的学习,神经网络的学习方式可分为两类：有导师学习和无导师学习。 有导师学习 有导师学习又称为有监督学习，在学习时需要给出导师信号或称为期望输出。神经网络对外部环境是未知的，但可以将导师看做对外部环境的了解，由输入-输出样本集合来表示。导师信号或期望响应代表了神经网络执行情况的最佳效果，即对于网络输入调整网络参数，使得网络输出逼近导师信号或期望输出。,神经网络的学习,无导师学习 无导师学习包括强化学习和无监督学习。强化学习是模仿生物在“试探评价”的环境中获得知识，改进行动方案以适应环境的特点，具有向环境学习已增长知识的能力。在无监督学习中没有外部导师或评价系统来统观学习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网络的自由参数最优化。一旦网络与输入数据的统计规律性达成一致，就能够形成内部表示方法来为输入特征编码，并由此自动得出新的类别。,BP网络与BP学习算法,BP网络是一种前向多层网络，是基于误差反向传播算法的有导师网络。BP网络通常有一个或多个隐层，隐层中的神经元均采用S型激活函数，输出层神经元采用线性传递函数。,x1,o1,输出层,隐藏层,输入层,x2,o2,om,xn,BP网络与BP学习算法,BP算法是一种有导师的学习算法，这种算法通常采用梯度下降法。BP算法解决了多层前向网络的学习问题，促进了神经网络的发展。 如图所示为多层前向网络的一部分，其中有两种信号，一是实线表示的工作信号，工作信号正向传播；二是用虚线表示的误差信号，误差信号反向传播。,BP网络与BP学习算法,BP学习过程可以描述如下： 工作信号正向传播：输入信号从输入层经隐单元，传向输出层，在输出端产生输出信号，这是工作信号的正向传播。在信号向前传递过程中网络的权值是固定不变的，每一层神经元的状态只影响下一层神经元的状态。如果在输出层不能得到期望的输出，则转入误差信号反向传播。 误差信号反向传播，网络的实际输出与期望输出之间差值即为误差信号，误差信号由输出端开始逐层反向传播，这是误差信号的反向传播。在误差信号反向传播的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际输出更接近期望输出。,神经网络工具箱,神经网络工具箱是在MATLAB环境下所开发出来的众多工具箱之一，它是以人工神经网络理论为基础，用MATLAB语言构造出典型神经网络的激活函数，如S型、线性、竞争层、饱和线性等激活函数，使设计者对所选定网络输出的计算变成对激活函数的调用。另外，根据各种典型的网络学习算法，加上网络的训练过程，用MATLAB编写出各种网络设计与训练的子程序，网络的设计者则可以根据自己的需要去调用工具箱中有关神经网络的设计学习程序，使自己能够从繁琐的编程中解脱出来，集中精力去思考和解决所关注的问题。,神经网络工具箱,在MATLAB的命令窗口键入“nntool”命令，即可进入下图所示的图形用户窗口界面（GUI）。,神经网络工具箱,示例 利用神经网络工具箱设计一个三层BP网络，使其以较高的精度逼近余弦曲线。基本过程如下： 定义神经网络的训练样本数据（输入矢量和目标矢量） %训练样本集：200个-1,+1区间随机数 x=rands(1,200); %与x对应的目标矢量，即与x对应的真实余弦值 y=cos(pi*x); %建立样本数据文件 save data x y;,神经网络工具箱,导入训练样本数据 在工作空间或文件中生成所需的数据，然后点击Import按钮将数据导入。,神经网络工具箱,创建神经网络 在图形窗口主界面中点击“New Network”，进入创建神经网络界面。在该界面中进行对神经网络的名称、类型、结构和训练函数等参数的设置。,神经网络工具箱,网络的初始化 在神经网络创建完成之后，网络的权值和阀值已自动进行了初始化。在网络结构显示界面中，可直接点击Weights标签，对当前网络进行权和阀值参数的显示和编辑。,神经网络工具箱,神经网络的训练 在网络结构显示界面中点击Train标签进入网络训练界面。,神经网络工具箱,仿真（网络的检验） 在网络结构显示界面中点击Simulate进入仿真界面。定义检验样本数据t：t=-1:0.02:1;,神经网络工具箱,训练