模式识别 第8章 人工神经网络.ppt

1、武汉大学电子信息学院，IPL，第八章人工神经网络，模式识别与神经网络patternrecognitionandneuralnetwork，内容目录，IPL，第八章人工神经网络，8.1引言，3， 2 8.4前馈神经网络及其主要方法，8.5神经网络模式识别的典型方法，1，1，8.6 MATLAB神经网络工具箱的介绍与应用，第6，8章神经网络，3，8.1引言人工神经网络(artificial neural network，ANN ) :由下而上的综合方法：基本单位功能模块系统，第8章，其中大量神经网络通过广泛的互连组成神经网络的发展历史介绍mp神经元模型(McCulloch Pitts 1943)

2、Hebb神经元学习标准(Hebb，1949 )传感器perceptron (Rosenblatt 1958 ) Adaline (widrowand Hopfield模型(Hopfield，1982 )多层传感器MLP和反向传播算法BP (Rumelhart，1986 )，引言，第8章神经网络，7，神经网络的特征， 可应用于学习自适应并行处理分布的许多领域：优化校正信号处理智能控制模式识别机器视觉等引言，第8章神经网络，9，神经网络的应用，aerospacehighperformanceaircraftautop 自动导频增强功能，飞行路径简化aircraft控制系统， aircraftcom

3、ponentsimulationsautomotiveautomobileautomaticguidancesystems warrantyactivityanalyzersbankingcheckandotherdocumentr 对象指示符，故障记录，新窗口，sonar， radarandimagesignalprocessingelectronicscodesequence集成芯片布局，芯片故障分析，机器视图， voicesynthesisroboticstrajectorycontrol，手动化视觉化系统规范规范规范规范，规范压缩，规范同步神经网络的应用， securities man

4、agement stocktradingadvisorysystemstelecommunicationsimageanddatacompression，自动化信息服务， 实时运行ofspokenlanguagetransportationtruckbrakediagnosissystems、虚拟调度、路由系统， routing systems生物神经网络： Biological Neural Network(BNN )神经元： neuron神经元通过突触与其他神经元(细胞或树突) 1011个神经元/大脑104个神经元的基本机制：状态：兴奋与抑制的互连，激励常用神经元模型(Neuron Mod

5、el ) :多输入、单输出、带偏移的r个输入piR，即r维输入向量p n: net input，n=Wp b。r个权重wiR，即r维权向量w阈值b输出a=f(n )、f 3360传输函数、神经元模型、第8章神经网络、14、常用输出函数、阈值函数：神经元模型、第8章神经网络第Sigmoid Function :特性：值域a (0，1 )非线性，单调性无限次微|n|小时可以近似的线性函数|n|大时可以近似的阈值函数神经网络学习：从环境中获得知识，改善自身性能，主要是调节网络残奥仪表也称为网络训练学习方式：监督学习非监督学习再激励学习规则(learning rule ) :误差校正学习算法Hebb学

6、习算法竞争学习算法，第8章神经网络，18，监督学习环境，实际输出，输入，希望输出，误差信号， 对于每个训练样本集输入，可以根据目标输出网络与目标输出实际输出的误差信号来调节网络残奥节计量器，p(n )、t(n )、a(n )、e(n )， 重新激励学习，使网络输出反映数据的特性：外部环境对网络输出提供评价信息而不是正确答案，通过增强网络被鼓励的动作来改善自己的性能的学习方法，第8章神经网络，20，Hebb学习，Hebb学习规则Hebb学习规则的物理解释：输入输出同时兴奋时，相应的权重几乎强化所有的神经网络学习算法可以视为Hebb学习规则的变形、学习常数、学习方法、第8章神经网络、21、误差纠正

7、学习。 用于输出层中第k个神经元的实际输出： ak(n )目标输出： tk(n )误差信号： ek(n)=tk(n) - ak(n )目标函数是基于误差信号ek(n )的函数，或平均误差确定准则即SSE对所有样本的期待)、学习方法、第8章神经网络、22、误差修正学习、梯度下降法：学习方法、传感器与线性网络：三角形学习规则输出神经元之间存在横向抑制性连接，强单元获胜，抑制其他单元， 独立激活状态(Winner takes all，WTA )、学习方法、第8章神经网络、24，8.4前馈神经网络及其主要方法、前馈神经网络(feed forward NN )。 前馈网络通常被划分成不同层，第I层的输入

8、端仅与第i-1层的输出端连接。可见层：输入层和输出层隐藏层：中间层，第8章神经网络，26，传感器，传感器一个输出单元对应一个类别对应的目标输出代码是第I个输出节点为1，其自适应节点全部为0，第8章神经网络、28、传感器学习算法、传感器学习算法：前馈网络、对应于线性判别函数的线性可分问题， 算法收敛多层传感器： Multi-Layer Perceptron，MLP Architecture :前馈网络，第8章神经网络，30，多层传感器的相似性，单一阈值神经元实现任意多输入在逻辑积的任意逻辑函数都能够在二层前馈网络中实现的神经元的输出函数是Sigmoid等函数的情况下，二层前馈网络大大超过任意的多

9、非线性函数MLP的适用范围的任意逻辑电路都能够仅通过XOR门来实现， XOR是通用门传感器无法解决XOR问题的双层传感器能够解决XOR问题的前馈网络，、第8章神经网络，32、 反向传播分为两个阶段：前馈网络，第8章神经网络，第33章，正向过程，反向过程，反向过程，从输入层经隐藏层各单元的输出反向过程：输出层误差中逐步反向修正隐藏层各单元的误差，用该误差修正前层的权重前馈网络，第8章神经网络准则函数： sum squared error，SSE，权重修正：梯度下降法，第8章神经网络，35，Case 1:输出层权重修正，前馈网络局部梯度、增强型delta前馈网络和下级中的所有单元都受到nj的影响，

10、第8章神经网络、37、BP算法的步骤、初始值选择前向校正运算，求出所有神经元的输出，对输出层校正各隐藏层双层传感器可以近似为任何多维非线性函数输入层单元数=输入变量/特征维输出层单元数=模式类数/近似函数数隐藏层单元数：没有有效方法的网络初始化会影响结果，并且通常在小随机数学习率的选择3360 (0. 1，3 )处理惯性项径向基函数网络、径向基函数： radial basis function、RBF只有一个隐藏层，而隐藏层单元采用径向基函数。 隐藏层将原始的可非线性分离的特征空间转换为其他空间(通常为高维空间)，使其能够将可线性分离的输出作为隐藏层的线性加权相加输出。用基函数的加权和实现函数

11、的近似径向基函数：径向对称标量函数k(|x-xc| )，最常用的RBF是高斯核函数、前馈网络、第8章神经网络、40、径向基函数网络结构、前馈第8章神经网络，40输出层权重wij估计方法：聚类的方法估计xc，LMS方法估计wij，前馈网络，第8章神经网络，42，C-Means算法双神经网络实现，前馈采用双重神经网络结构，如图所示，输入节点数为输入模式向量的维隐藏层校正运算样本和各集群节点j与输入节点I的连接权重为wij，wj是第j类集群中心的输出层为“在c中最多选择一个”:、的可以通过选择第一个样本x1、x2、xc对w1、w2、wc进行初始化来创建c个空群集列表： K1， 将K2，Kc样本x顺序

12、提供给网络以校正输出l (即，根据最小距离规则对样本x进行分类)，并将样本存储在集群列表中，否则将其旋转两圈。 第八章神经网络，44，8.5神经网络模式识别的典型方法，MLP是模式识别最应用的网络模式的两种拓扑结构： ACON: all classes one net， 多输出OCON: one class one net、单输出OCON: one class one net ACON应用了典型的方法，ACON应用了最多，典型的方法是， 网络的每个输入节点对应于样本的一个特征输出层单元采用“在c中取1”编码，而每个输出节点对应于一个类，即，输出层单元数目=模式类数目训练样本数据的期望输出： 0，0， 1其他节点都是0识别阶段：未知样本的种类被判定为与输出值最大的节点对应的种类的前馈网络应用，第8章神经网络，46， 前馈神经网络和模式识别前馈神经网络和统一校正模式识别在方法上具有一定的等效关系：单层传感器vs .线性分类器多层传感器vs .非线性分类器径向基函数网络vs. Parzen窗密度估计分类器， 前馈网络应用，第8章神经网络，47，将前馈神经网络和模式识别输入空间转换为隐