基于人工神经网络的遥感图像自动分类PPT学习教案

1、会计学1基于人工神经网络的遥感图像自动分类基于人工神经网络的遥感图像自动分类2021-12-132/79第1页/共79页2021-12-133/79第2页/共79页2021-12-134/79人工神经网络第3页/共79页2021-12-135/79人工神经网络项目项目 传统传统AIAI技术技术 ANNANN技术技术 基本实现基本实现方式方式 串行串行处理；由程序处理；由程序实现控制实现控制 并行并行处理；对样本数据进行多目标学习；处理；对样本数据进行多目标学习；通过人工神经元之间的相互作用实现控通过人工神经元之间的相互作用实现控制制 基本开发基本开发方法方法设计规则、框架、设计规则、框架、程序

2、；用样本数据程序；用样本数据进行调试（由人根进行调试（由人根据已知的环境去构据已知的环境去构造一个模型）造一个模型） 定义人工神经网络的结构原型，通过样定义人工神经网络的结构原型，通过样本数据，依据基本的学习算法完成本数据，依据基本的学习算法完成学学习习自动从样本数据中抽取内涵（自动从样本数据中抽取内涵（自自动适应应用环境动适应应用环境） 适应领域适应领域 精确计算：符号处精确计算：符号处理，数值计算理，数值计算非精确计算：模拟处理，感觉，大规模非精确计算：模拟处理，感觉，大规模数据并行处理数据并行处理模拟对象模拟对象 左脑（左脑（逻辑逻辑思维）思维）右脑（右脑（形象形象思维）思维）第4页/共

3、79页2021-12-136/79人工神经网络第5页/共79页2021-12-137/79人工神经网络第6页/共79页2021-12-138/79人工神经网络第7页/共79页2021-12-139/79人工神经网络第8页/共79页2021-12-1310/79人工神经网络第9页/共79页2021-12-1311/79第10页/共79页2021-12-1312/79人工神经网络2 w2fo=f（net）n wnnet=XW1 w1第11页/共79页1 1、对称型、对称型SigmoidSigmoid函数函数 xxeexf11)(0,11)(xxeexf或或2021-12-1313/79激发函数第1

4、2页/共79页2 2、非对称型、非对称型SigmoidSigmoid函数函数xexf11)(或或0,11)(xexf2021-12-1314/79激发函数第13页/共79页3 3、对称型阶跃函数函数、对称型阶跃函数函数0,10,1)(xxxf采用阶跃作用函数的神经元，称为阈值逻辑单元。采用阶跃作用函数的神经元，称为阈值逻辑单元。 2021-12-1315/79激发函数第14页/共79页4 4、线性函数、线性函数 （1 1）线性作用函数：输出等于输入，即）线性作用函数：输出等于输入，即 xxfy)(（2 2）饱和线性作用函数）饱和线性作用函数 110010)(xxxxxfy（3 3）对称饱和线性

5、作用函数）对称饱和线性作用函数 111111)(xxxxxfy2021-12-1316/79激发函数第15页/共79页5 5、高斯函数、高斯函数 )(22)(xexf反映出高斯函数的宽度反映出高斯函数的宽度 2021-12-1317/79激发函数第16页/共79页2021-12-1318/79人工神经网络人工神经网络称为作用函数或激发函称为作用函数或激发函数数第17页/共79页2021-12-1319/79人工神经网络n 激发函数激发函数n 求和操作求和操作1( )()niijijijyf xfw uijnjjiiuwx1以以MPMP模型为例：模型为例：可知当神经元可知当神经元i i的输入信号

6、加权和超过阈值时，输出为的输入信号加权和超过阈值时，输出为“1”1”，即，即“兴奋兴奋”状态；反之输出为状态；反之输出为“0”0”，是，是“抑制抑制”状态。状态。 单位阶跃函数：单位阶跃函数：0,00,1)(xxxf第18页/共79页2021-12-1320/79人工神经网络第19页/共79页1 1、层次型神经网络、层次型神经网络（1 1）前向神经网络）前向神经网络 神经元分层排列，顺序连接。由输入层施神经元分层排列，顺序连接。由输入层施加输入信息，通过中间各层，加权后传递到输出层后输出。每层加输入信息，通过中间各层，加权后传递到输出层后输出。每层的神经元只接受前一层神经元的输入，各神经元之间

7、不存在反馈的神经元只接受前一层神经元的输入，各神经元之间不存在反馈。感知器(Perceptron)、BP神经网络和径向基函数(RBF-Redial Basis Function)神经网络都属于这种类型。 2021-12-1321/79第20页/共79页2021-12-1322/79人工神经网络x1x2xno1o2omwnmw11w1mw2mwn1输出输出层层输入层输入层第21页/共79页2021-12-1323/791.4 1.4 人工神经网络结构人工神经网络结构人工神经网络前向神经网络前向神经网络 ： 1. 1.简单单级网简单单级网 2. 2.多级网多级网hh层网络层网络 3. 3.循环网循

8、环网输出层输出层隐藏层隐藏层输入层输入层o1o2omx1x2xnW(1)W(2)W(3)W(h)第22页/共79页2021-12-1324/791.4 1.4 人工神经网络结构人工神经网络结构人工神经网络前向神经网络前向神经网络 ： 1. 1.简单单级网简单单级网 2. 2.多级网多级网hh层网络层网络 3. 3.循环网循环网x1o1输出输出层层隐藏层隐藏层输入输入层层x2o2omxn稳定：反馈信号会引起网络输出的不断变化。我们希望这种变化逐渐减小，并且最后能消失。当变化最后消失时，网络达到了平衡状态。如果这种变化不能消失，则称该网络是不稳定的。第23页/共79页2021-12-1325/79

9、1.4 1.4 人工神经网络结构人工神经网络结构人工神经网络第24页/共79页（2 2）层内有互联的前向神经网络）层内有互联的前向神经网络 在前向神经网络中有的在同在前向神经网络中有的在同一层中的各神经元相互有连接一层中的各神经元相互有连接, ,通过层内神经元的相互结合，可通过层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限以实现同一层内神经元之间的横向抑制或兴奋机制，这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。干组，让每组作为一个整体来动作。 2021

10、-12-1326/79第25页/共79页2 2、互联型神经网络、互联型神经网络 在互连网络模型中，任意两个神经元之间都可能有相互连在互连网络模型中，任意两个神经元之间都可能有相互连接的关系。其中，有的神经元之间是双向的，有的是单向的接的关系。其中，有的神经元之间是双向的，有的是单向的。 Hopfield网络、Boltzman机网络属于这一类。 2021-12-1327/79第26页/共79页2021-12-1328/79人工神经网络 一一. . 神经网络的学习方式神经网络的学习方式1.1.有监督（误差校正）学习方式有监督（误差校正）学习方式2.2.无监督学习方式无监督学习方式二二. . 神经网

11、络的学习规则神经网络的学习规则1. 1. 联想式学习联想式学习 Hebb Hebb学习规则学习规则2. 2. 误差纠正式学习误差纠正式学习Delta ()Delta ()学习规则学习规则 学习方法是人工神经网络研究中的核心问题学习方法是人工神经网络研究中的核心问题第27页/共79页1 1、有监督学习方式、有监督学习方式特点：特点：不能保证得到全局最优解不能保证得到全局最优解要求大量训练样本，收敛速度慢要求大量训练样本，收敛速度慢对样本地表示次序变化比较敏感对样本地表示次序变化比较敏感 神经网络根据实际输出与期望输出的偏差，按照一定的准则神经网络根据实际输出与期望输出的偏差，按照一定的准则调整各

12、神经元连接的权系数，见下图。期望输出又称为导师信号调整各神经元连接的权系数，见下图。期望输出又称为导师信号，是评价学习的标准，故这种学习方式又称为有导师学习。，是评价学习的标准，故这种学习方式又称为有导师学习。一、神经网络的学习方式一、神经网络的学习方式2021-12-1329/79第28页/共79页 无导师信号提供给网络，神经网络仅仅根据其输入调整连接无导师信号提供给网络，神经网络仅仅根据其输入调整连接权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构权系数和阈值，此时，网络的学习评价标准隐含于内部。其结构见下图。这种学习方式主要完成聚类操作。见下图。这种学习方式主要完成聚类操作。 2

13、 2、无监督学习方式、无监督学习方式一、神经网络的学习方式一、神经网络的学习方式2021-12-1330/79第29页/共79页nDonall HebbDonall Hebb根据生理学中的条件反射机理，于根据生理学中的条件反射机理，于19491949年提出年提出的神经元连接强度变化的规则：的神经元连接强度变化的规则：q如果两个神经元同时兴奋如果两个神经元同时兴奋( (即同时被激活即同时被激活) )，则它们之间，则它们之间的突触连接加强。的突触连接加强。q 为学习速率，为学习速率，o oi i、o oj j为神经元为神经元 i i 和和 j j 的输出。的输出。1 1、联想式学习、联想式学习 H

14、ebb Hebb学习规则学习规则ijijwooHebbHebb学习规则是人工神经网络学习的基本规则，几乎所有神学习规则是人工神经网络学习的基本规则，几乎所有神经网络的学习规则都可以看作经网络的学习规则都可以看作HebbHebb学习规则的变形。学习规则的变形。二、神经网络的学习规则二、神经网络的学习规则2021-12-1331/79第30页/共79页2 2、纠错式学习、纠错式学习 Delta() Delta()学习规则学习规则 二、神经网络的学习规则二、神经网络的学习规则 首先我们考虑一个简单的情况：设某神经网络的输出层首先我们考虑一个简单的情况：设某神经网络的输出层中只有一个神经元中只有一个神

15、经元i i，给该神经网络加上输入，这样就产生，给该神经网络加上输入，这样就产生了输出了输出y yi i( (n n) )，称该输出为，称该输出为实际输出实际输出。 对于所加上的输入，我们期望该神经网络的输出为对于所加上的输入，我们期望该神经网络的输出为d d( (n n),),称为期望输出或目标输出（样本对里面包含输入和期称为期望输出或目标输出（样本对里面包含输入和期望输出）。实际输出与期望输出之间存在着误差，用望输出）。实际输出与期望输出之间存在着误差，用e e( (n n) )表表示：示：( )= ( )- ( )ie nd n y n2021-12-1332/79第31页/共79页 现在

16、要调整权值，是误差信号现在要调整权值，是误差信号e e( (n n) )减小到一个范围减小到一个范围。为此，可设定代价函数或性能指数。为此，可设定代价函数或性能指数E E( (n n) )：21( )=( )2E ne n 反复调整突触权值使代价函数达到最小或者使系统反复调整突触权值使代价函数达到最小或者使系统达到一个稳定状态（及突触权值稳定不变），就完成了达到一个稳定状态（及突触权值稳定不变），就完成了该学习过程该学习过程。 该学习过程称为该学习过程称为纠错学习纠错学习，或，或DeltaDelta学习规则学习规则。 w wij ij 表示神经元表示神经元x xj j到到x xj j学的突触权

17、值，在学习步骤为学的突触权值，在学习步骤为n n时对突触权值的调整为：时对突触权值的调整为：( )=( )( )ijjw ne n x n学习速率参数学习速率参数则则(1)=( )+( )ijijijw nw nw n2021-12-1333/79第32页/共79页2021-12-1334/79人工神经网络第33页/共79页1.1.感知器神经网络感知器神经网络2021-12-1335/79第34页/共79页感知器神经网络的学习规则：学习规则：函数函数1earnp是在感知器神经网络学习过程中计算网络权值和阈值修正量最基本的规则函数。p为输入矢量，学习误差为输入矢量，学习误差e为目标矢为目标矢量量

18、t和网络实际输出矢量和网络实际输出矢量a之间的差值之间的差值采用采用阈值函数阈值函数作为神经元的作为神经元的传递函数传递函数是感知器神经元的典型特征是感知器神经元的典型特征2021-12-1336/791.感知器神经网络第35页/共79页感知器神经网络的训练：感知器神经网络的训练： 感知器的训练主要是反复对感知器神经网络进行仿真和学习感知器的训练主要是反复对感知器神经网络进行仿真和学习，最终得到最优的网络阀值和权值，最终得到最优的网络阀值和权值 。1） 确定我们所解决的问题的确定我们所解决的问题的输入向量输入向量P、目标向量、目标向量t，并确定，并确定 各向量的维数，以及网络结构大小、神经元数

19、目。各向量的维数，以及网络结构大小、神经元数目。2）初始化：权值向量）初始化：权值向量w和阀值向量和阀值向量b分别赋予分别赋予1,+1之间的之间的 随机值，并且给出训练的最大次数。随机值，并且给出训练的最大次数。3）根据输入向量）根据输入向量P、最新权值向量、最新权值向量w和阀值向量和阀值向量b，计算网络，计算网络 输出向量输出向量a。4）检查感知器输出向量与目标向量是否一致，或者是否达到）检查感知器输出向量与目标向量是否一致，或者是否达到 了最大的训练次数，如果是则结束训练，否则转入（了最大的训练次数，如果是则结束训练，否则转入（5）。）。5）根据感知器学习规则调查权向量，并返回）根据感知器

20、学习规则调查权向量，并返回3）。）。2021-12-1337/791.感知器神经网络流程：流程：第36页/共79页感知器神经网络应用举例感知器神经网络应用举例 两种蠓虫Af和Apf已由生物学家与w. w.Wirth(1981)根据它们触角长度和翼长中以区分。见下表中9Af蠓和6只Apf蠓的数据。根据给出的触角长度和翼长可识别出一只标本是Af还是Apf。1给定一只Af或者Apf族的蠓，你如何正确地区分它属于哪一族？2将你的方法用于触角长和翼中分别为（）、（）、(1.40,2.04)的三个标本 。Af触重长1.241.361.381.3781.381.401.481.541.56翼 长1.721.

21、741.641.821.901.701.701.822.08Apf触角长1.141.181.201.261.281.30翼 长1.781.961.862.002.001.962021-12-1338/791.感知器神经网络第37页/共79页输入向量为： 1.26 1.28 1.30;1.72 1.74 1.64 1.82 1.90 1.70 1.70 1.82 2.08 1.78 1.96 1.86 2.00 2.00 1.96 目标向量为：t=1 1 1 1 1 1 1 1 1 0 0 0 0 0 0图形显示，目标值1对应的用“+”、目标值0对应的用“o”来表示： plotpv(p，t) 2

22、021-12-1339/791.感知器神经网络第38页/共79页1.为解决该问题，利用函数函数newp构造输入量在0，2.5之间的感知器神经网络模型：；0 2.5，1)2.初始化网络：net=init(net)3.利用函数adapt调整网络的权值和阀值，直到误差为0时训练结束：net, y, e=adapt(net, p, t)训练结束后可得如左图的分类方式，可见感知器网络将样本正确地分成两类。0.911.11.21.31.41.51.61.71.81.41.51.61.71.81.922.12.22.3Vectors to be ClassifiedP(1)P(2)Neural Networ

23、k Toolbox2021-12-1340/791.感知器神经网络第39页/共79页感知器网络训练结束后，可以利用函数sim进行仿真，解决实际的分类问题：p1=1.24;1.80 a1=sim(net,p1)p2=1.28;1.84 a2=sim(net,p2)p3=1.40;2.04 a3=sim(net,p3)网络仿真结果为：a1=0 a2=0 a3=0 2021-12-1341/791.感知器神经网络第40页/共79页线性神经网络的线性神经网络的主要用途主要用途是线性逼近一个函数表达式，具有联是线性逼近一个函数表达式，具有联想功能。另外，它还适用于信号处理滤波、预测、模式识别和想功能。另

24、外，它还适用于信号处理滤波、预测、模式识别和控制等方面。控制等方面。 R维输入的单层(包含S个神经元)线性神经网络模型线性神经网络权值和阐值的学习规则学习规则采用的是基于最小二乘原理的Widrow-Hoff学习算法。2.线性神经网络线性神经网络：2021-12-1342/79第41页/共79页主要用于函数逼近、模式识别、分类以及数据压缩等方面。 具有单隐层的BP神经网络模型输入维数为2，隐层含有4个神经元神经网络神经网络2021-12-1343/79第42页/共79页模型中采用高斯函数模型中采用高斯函数radbas作为径向基神经元的作为径向基神经元的传递传递函数函数；学习算法学习算法常用的有常

25、用的有两种：两种：一种是无导师学习，一种是无导师学习，另一种便是有导师学习。另一种便是有导师学习。4.径向基函数网络径向基函数网络2021-12-1344/79第43页/共79页5.竞争学习网络竞争学习网络 Kohoneo学习规则学习规则模块c表示竞争传递传递函数函数，其输出矢量由竞争层各神经元的输出组成，除在竞争中获胜的神经元外，其余神经元的输出都为零。竞争传递函数输入矢量n中的最大元素所对应的神经元是竞争中的获胜者，其输出固定为12021-12-1345/79第44页/共79页主要用于信号检测和预测等方面,网络在训练时采用基于误差反向传播算法的学习函数学习函数，如trainlm、train

26、bfg、trainrp、traingd等。模块D表示时延环节反馈网络反馈网络2021-12-1346/79第45页/共79页主要用于联想记忆、聚类和优化计算等方面，神经元传递函传递函数数为对称饱和线性函数satlins。模块D表示时延环节反馈网络反馈网络2021-12-1347/79第46页/共79页2021-12-1348/79第47页/共79页2021-12-1349/79第48页/共79页Landsat TM真彩色合成影像分类后的影像2021-12-1350/79第49页/共79页2021-12-1351/79第50页/共79页2021-12-1352/79第51页/共79页2021-12-1353/79第52页/共79页2021-12-1354/79第53页/共79页2021-12-1355/79第54页/共79页最简单的方法最简单的方法仅仅需要规定每个特征的仅仅需要