神经网络分类器课件

1、1 第五章第五章 神经网络分类神经网络分类 器器 5.1 感知器算法感知器算法 5.2 神经网络分类器神经网络分类器 2 5.1 感知器算法感知器算法 一、引言一、引言 模式识别与人工智能是研究如何利用计算机实现人脑的一些模式识别与人工智能是研究如何利用计算机实现人脑的一些 功能。功能。 3 人工神经网络研究的发展：人工神经网络研究的发展： n1943年，提出形式神经元的数学模型，人工神经网络研究的年，提出形式神经元的数学模型，人工神经网络研究的 开端。开端。 n1949年，提出神经元的学习准则，为神经网络的学习算法奠年，提出神经元的学习准则，为神经网络的学习算法奠 定了基础。定了基础。 n5

2、0年代，研究类似于神经网络的分布系统。年代，研究类似于神经网络的分布系统。 n50年代末提出感知模型，把神经网络的实现付诸工程实践。年代末提出感知模型，把神经网络的实现付诸工程实践。 n1982年，提出神经网络的数学模型，引入了能力的概念，研年，提出神经网络的数学模型，引入了能力的概念，研 究了网络的动力学特性；设计出用电子线路实现网络的方案，究了网络的动力学特性；设计出用电子线路实现网络的方案， 大大促进了神经网络的研究。大大促进了神经网络的研究。 n1986年，提出多层感知器的反向传播算法。年，提出多层感知器的反向传播算法。 n现在神经网络的应用已渗透到智能控制、信号处理、优化计现在神经网

3、络的应用已渗透到智能控制、信号处理、优化计 算、生物医学工程等领域。算、生物医学工程等领域。 4 二、人工神经元二、人工神经元 1、生物神经元、生物神经元 典型的神经元，即神经细胞结构：胞体、树突、轴突、突触典型的神经元，即神经细胞结构：胞体、树突、轴突、突触 胞体：神经细胞的本体，完成普通细胞的生存功能。胞体：神经细胞的本体，完成普通细胞的生存功能。 树突：有大量的分枝，接受来自其他神经元的信号。树突：有大量的分枝，接受来自其他神经元的信号。 轴突：用以输出信号。轴突：用以输出信号。 突触：神经元相联系的部位，对树突的突触为兴奋性的，使突触：神经元相联系的部位，对树突的突触为兴奋性的，使 下

4、一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个下一个神经元兴奋；对胞体的突触为抑制性的，阻止下一个 神经元兴奋。神经元兴奋。 5 神经元的基本工作机制：神经元的基本工作机制： u神经元的两种工作状态：兴奋和抑制。神经元的两种工作状态：兴奋和抑制。 u动态极化原则：在每一个神经元中，信息以预知的确定方动态极化原则：在每一个神经元中，信息以预知的确定方 向流动，即从神经元的接收信息部分传到轴突的电脉冲起向流动，即从神经元的接收信息部分传到轴突的电脉冲起 始部分，再传到轴突终端的突触，以与其它神经元通信。始部分，再传到轴突终端的突触，以与其它神经元通信。 u连接的专一性原则：神经元之间无细胞质的

5、连续，神经元连接的专一性原则：神经元之间无细胞质的连续，神经元 不构成随机网络，每一个神经元与另一些神经元构成精确不构成随机网络，每一个神经元与另一些神经元构成精确 的联接。的联接。 信号的传递过程：信号的传递过程： n接受兴奋电位；接受兴奋电位； n信号的汇集和传导；信号的汇集和传导； n信号的输出。信号的输出。 6 2、人工神经元、人工神经元 1 n ii i netw x 人工神经元模型：人工神经元模型： xi：输入，神经元的输入值：输入，神经元的输入值 i：权值，突触的连接强度：权值，突触的连接强度 f ：输出函数，非线性函数：输出函数，非线性函数 y ：输出：输出 神经元动作：神经元

6、动作： ()yf net 常用输出函数：常用输出函数： 阈值函数：阈值函数：)sgn()(xxf 7 2 2 ( )( )1 1 x f xth x e 双曲正切函数：双曲正切函数： 非线性，单调性非线性，单调性 无限次可微无限次可微 权值很大时权值很大时 接近阈值函接近阈值函 数数 权值很小时接权值很小时接 近线性函数近线性函数 阶跃函数：阶跃函数：)()(xstepxf 8 )( 1 n i iix wfy f 为阈值函数：为阈值函数： 3、感知器模型、感知器模型 )sgn( 1 n i iix wy 9 则：则：y=sgn (WTX) 即：即： y =f (WTX) 这种神经元没有内部状

7、态的转变，而且函数为阈值型。因此，这种神经元没有内部状态的转变，而且函数为阈值型。因此， 它实质上是一种线性阈值计算单元。它实质上是一种线性阈值计算单元。 感知器是一个具有单层计算单元的人工神经网络。感知器训感知器是一个具有单层计算单元的人工神经网络。感知器训 练算法就是由这种神经网络演变来的。练算法就是由这种神经网络演变来的。 设阈值：设阈值：=-0 W=(1,2, ,n,0)T X=(x1, x2, , xn, 1)T j i T T x xW xW 01 01 感知器算法能够通过对训练模式样本集的感知器算法能够通过对训练模式样本集的“学习学习”得出判别得出判别 函数的系数解。函数的系数解

8、。 10 算法描述算法描述 用样本训练时，若用样本训练时，若xi，g(x)0，则，则w不变。不变。 若若g(x)0，分别赋予初始增广，分别赋予初始增广 权矢量权矢量w(1)的各分量较小的任意值。的各分量较小的任意值。 u输入训练模式输入训练模式xk，计算判别函数值，计算判别函数值wT(k)xk u调整增广权矢量，规则是：调整增广权矢量，规则是： 如果如果wT(k)xk0, 则则w(k+1)=w(k)+ Cxk 如果如果wT(k)xk0, 则则w(k+1)=w(k) u如果如果kdj(x) 任意任意 j i ，则判则判xi (1)赋初值，分别给赋初值，分别给c个权矢量个权矢量wi(1)（i=1,

9、2,c）赋任意的赋任意的 初值，选择正常数初值，选择正常数 ，置步数置步数k=1. (2)输入符号未规范化的增广训练模式输入符号未规范化的增广训练模式xk, xkx1, x2 xN ,计算计算c个判别函数：个判别函数：di(xk) =wi(k) xk(i=1,2,c) (3)调整增广权矢量，规则是：调整增广权矢量，规则是： u如果如果xki和和di(xk) dj(xk) (任意任意j i)，则：，则： wi(k+1)=wi(k) (i=1,2,c) 算法步骤：算法步骤： 17 u如果如果xki和和dl(xk) di(xk) (l i)则：则： wi(k+1)=wi(k)+xk wl(k+1)=

10、wl(k)-xk wj(k+1)=wi(k)(任意 任意j l, i) (4)如果如果kN,令令k=k+1,返至返至(2)。如果。如果k=N，则检验判别，则检验判别 函数函数wix对对x1, x2 xN,是否都能正确分类。若是，结束；是否都能正确分类。若是，结束； 若不是，令若不是，令k=1,返至返至(2) 18 例例2：已知训练样本：已知训练样本(0，0)属于属于1类，类，(1，1)属于属于2类，类，( -1， 1)属于属于3类，试求解向量类，试求解向量w1*, w2* , w3* 19 实验四：实验所用样本数据如表给出，编制程序实现实验四：实验所用样本数据如表给出，编制程序实现1、2、 3

11、、4类的分类。类的分类。 20 7、感知器算法推广、感知器算法推广 0)()( 0)()( ) 1( k T k k T xkwxckw xkwkw kw 由感知器算法：由感知器算法： 进一步：将进一步：将cxk变为对分类错误敏感的准则函数变为对分类错误敏感的准则函数J(w, x) 定义：定义： )( ),( )( )() 1( kww w xwJ ckw Jckwkw 梯度下降准则梯度下降准则 21 u感知机感知机Perceptron (Rosenblatt 1958) Adaline(Widrow and Hoff) uPerceptron (Minsky & Papert, 1969)

12、uHopfield模型模型 (Hopfield，1982) u多层感知机多层感知机MLP与反向传播算法与反向传播算法BP (Rumelhart, 1986) 5.2 神经网络分类器神经网络分类器 神经网络的特点神经网络的特点 u自学习自学习 u自适应自适应 u并行处理并行处理 u分布表达与计算分布表达与计算 22 神经网络本质上可以理解为函数逼近，可以应用到众多领域：神经网络本质上可以理解为函数逼近，可以应用到众多领域： u优化计算优化计算 u信号处理信号处理 u智能控制智能控制 u模式识别模式识别 u机器视觉等机器视觉等 神经网络的应用神经网络的应用 23 常用输出函数：常用输出函数： 线性

13、输出函数：线性输出函数：a=f (x)=x Sigmoid 函数：函数： x e xfa 1 1 )( 24 Hebb学习规则：学习规则： 如果神经元如果神经元ui接收来自另一神经元接收来自另一神经元uj的输出，则当这两个神的输出，则当这两个神 经元同时兴奋时，从经元同时兴奋时，从uj到到ui的权值的权值wij就得到加强，可写成：就得到加强，可写成： 神经元的学习算法神经元的学习算法 iji xyw 式中式中wij为到为到uj的第的第i个权值的修正量，个权值的修正量，为控制修正速度的系为控制修正速度的系 数。数。“修正修正”为为“增强增强”或或“减弱减弱”的概念，不局限于代数的概念，不局限于代

14、数 的的“加加”或或“减减”。 25 u前馈神经网络：各神经元接受前级输入，并输出到下一级，前馈神经网络：各神经元接受前级输入，并输出到下一级， 无反馈，可用一有向无环图表示。无反馈，可用一有向无环图表示。 u前馈网络通常分为不同的层，第前馈网络通常分为不同的层，第i层的输入只与第层的输入只与第i-1层的输层的输 出联接。出联接。 u可见层：输入层和输出层可见层：输入层和输出层 u隐层：中间层隐层：中间层 5.2.1 前馈神经网络及其主要方法前馈神经网络及其主要方法 26 27 例：感知器例：感知器 u双层神经网络：一层为输入层，另双层神经网络：一层为输入层，另 一层有计算单元；一层有计算单元

15、； u修正权值修正权值w：)()()()() 1(kxkykykwkw iiiijji 式中式中k为迭代次数。为迭代次数。i=1,2,n j=1,2,m u反复依次输入训练集中的特征向量反复依次输入训练集中的特征向量x，计算实际输出值，并修正，计算实际输出值，并修正 权向量权向量 u与线性判别函数等价，只解决线性可分问题，收敛速度快与线性判别函数等价，只解决线性可分问题，收敛速度快 28 三层前馈神经网络三层前馈神经网络 用三层前馈神经网络实现逻辑门用三层前馈神经网络实现逻辑门 例：与非门例：与非门(NAND) x1, x2-1,1 01 01 )sgn()( xw xw xwxwf T T

16、TT y-1,1 用前馈神经网络实现用前馈神经网络实现“与非门与非门”，可组成任何逻辑函数，可组成任何逻辑函数 29 三层神经网络实现非线性分类三层神经网络实现非线性分类 例：异或例：异或(XOR) 任何一个逻辑电路都可以只用任何一个逻辑电路都可以只用XOR门来实现，门来实现， XOR是通用门是通用门 30 实线：实线：+ 虚线：虚线：- 数字：权值数字：权值 单个阈值神经元可实现任意多输入的与、或、与非、或非门单个阈值神经元可实现任意多输入的与、或、与非、或非门 任何逻辑函数可用一个三层前馈网络实现任何逻辑函数可用一个三层前馈网络实现 31 有有4个模式，要分为个模式，要分为2类：类： 32

17、 u适当选取神经元的输出函数，两层前馈神经网络可以逼近适当选取神经元的输出函数，两层前馈神经网络可以逼近 任意的多元非线性函数任意的多元非线性函数 u若有足够多的隐单元，任何从输入到输出的连续函数都可若有足够多的隐单元，任何从输入到输出的连续函数都可 以用一个这样的三层网络任意精度近似以用一个这样的三层网络任意精度近似 u三层或三层以上的前馈网络通常被叫做多层感知器三层或三层以上的前馈网络通常被叫做多层感知器(MLP) uMLP的适用范围大大超过单层网络的适用范围大大超过单层网络 33 多层前馈网络多层前馈网络 u双层网络双层网络一个线性边一个线性边 界界 u三层或三层以上三层或三层以上任意任

18、意 决策边界决策边界 存在问题：存在问题： u未给出隐单元数目未给出隐单元数目 u未给出权值未给出权值 u仅根据训练样本，很难仅根据训练样本，很难 知道应该有什么形式的知道应该有什么形式的 界面函数界面函数 u实际设计过程中还有很实际设计过程中还有很 多问题多问题 34 u三层前馈网络的使用范围大大超过二层前馈网络，但学习三层前馈网络的使用范围大大超过二层前馈网络，但学习 方法较为复杂，主要困难是中间的隐层不直接与外界连接，方法较为复杂，主要困难是中间的隐层不直接与外界连接， 无法直接计算其误差。无法直接计算其误差。 1、反向传播算法、反向传播算法 u反向传播算法：从后向前反向逐层反向传播算法

19、：从后向前反向逐层“传播传播”输出层的误差，输出层的误差， 以间接算出隐层误差。分两个阶段：以间接算出隐层误差。分两个阶段： u正向过程：从输入层经隐层逐层正向计算各单元的输出正向过程：从输入层经隐层逐层正向计算各单元的输出 u反向过程：由输出层误差逐层反向计算隐层各单元的误反向过程：由输出层误差逐层反向计算隐层各单元的误 差，并用此误差修正前层的权值差，并用此误差修正前层的权值 u用已知类别的特征向量为训练集，当输入属于第用已知类别的特征向量为训练集，当输入属于第j类的特类的特 征向量时，应使输出征向量时，应使输出yj=1，其他输出为，其他输出为-1；设期望的输出；设期望的输出 为：为：Y=

20、y1,y2,ynT，实际输出为：，实际输出为： T n yyyY,., 21 35 某一层第某一层第j个计算单元：个计算单元： ui：前一层的第：前一层的第i个计算单元个计算单元 uk：后一层的第：后一层的第k个计算单元个计算单元 uOj：本层的第：本层的第j个计算单元的输出个计算单元的输出 uwij：前一层第：前一层第i个单元到本层第个单元到本层第j个单元的权值个单元的权值 36 正向过程：正向过程： 输入某样本时，从前到后对每个神经元计算：输入某样本时，从前到后对每个神经元计算： i ijij Ownet 2 )( 1 1 j jj yy N E 对输出层，对输出层，是实际输出值，是实际输

21、出值，yj是期望输出值，误差为：是期望输出值，误差为： 定义局部梯度：定义局部梯度： j j net E 计算权值对误差的影响：计算权值对误差的影响： ij ij j jij O w net net E w E jj Oy 37 利用梯度下降原理利用梯度下降原理 为使误差尽快减小，令修正量为：为使误差尽快减小，令修正量为： wij=-jOi wij(t+1)=wij(t)+ wij(t) t为迭代次数为迭代次数 jj Oy 若单元若单元j为输出单元：为输出单元： )( )( jjj j j j j netfyy net y y E 若单元若单元j不是输出单元，则不是输出单元，则Oj会影响后层所

22、有单元，有：会影响后层所有单元，有： k jkkjjjk k k j j j k k kj j wnetfnetfw net O O net net E net E )( )( 38 误差反向传播原理示意图误差反向传播原理示意图 隐层单元隐层单元j的局部梯度的局部梯度j正比于输出单元局部梯度的正比于输出单元局部梯度的k加权和加权和 由此，输出单元的局部梯度就由此，输出单元的局部梯度就“反向反向”传播回到隐层单元传播回到隐层单元 当非线性函数当非线性函数f为双曲正切函数时：为双曲正切函数时： 1 1 2 )( 2 x e xfy 2 22 2 1 )1 ( 4 )( y e e xf x x 3

23、9 反向传播算法反向传播算法 i ijij Ownet u设权值的随机初始值设权值的随机初始值(较小的随机数较小的随机数) u反复执行如下操作反复执行如下操作(依次输入如下样本依次输入如下样本)，直到收敛，直到收敛 l从前向后逐层计算每个单元的从前向后逐层计算每个单元的Oj， i ijijj OwfnetfO)()( l计算每个输出单元的局部梯度计算每个输出单元的局部梯度j )1 ()()( )( jjjjjjj j j j j OOOynetfOy net y y E k kjkjj k kjkjj wOOwnetf)1 ()( l从后向前反向计算每个隐层单元从后向前反向计算每个隐层单元 l

24、计算并保存每个权值修正量计算并保存每个权值修正量 ) 1()(twOtw ijijij )() 1() 1(twtwtw jiijij l修正权值修正权值 可对各样本修正权值，也可各样本计算可对各样本修正权值，也可各样本计算j后按总误差修正权值后按总误差修正权值 40 讨论讨论 u梯度下降法求非线性函数极值，可能局部极小，不能保证梯度下降法求非线性函数极值，可能局部极小，不能保证 收敛到全局极小点收敛到全局极小点 u三层或更多层网络，初始权值不能全为零或都相同，否则三层或更多层网络，初始权值不能全为零或都相同，否则 各隐层单元无差异，迭代无效果。通常采用小随机数，如各隐层单元无差异，迭代无效果

25、。通常采用小随机数，如 区间区间-0.3，0.3 u初始值影响收敛，不收敛时改变初始值重新迭代初始值影响收敛，不收敛时改变初始值重新迭代 u步长参数步长参数对收敛影响大，不同问题最佳值不同，约对收敛影响大，不同问题最佳值不同，约0.13 u惯性系数惯性系数影响收敛速度，常用影响收敛速度，常用0.91，1时不收敛时不收敛 u输入单元输入单元数数=特征向量维数，输出单元数特征向量维数，输出单元数=类别类别个数个数 41 径向基函数：沿某种径向对称的标量函数。空间中任意一点径向基函数：沿某种径向对称的标量函数。空间中任意一点x 到某一中心到某一中心xc之间欧氏距离的单调函数，记作：之间欧氏距离的单调

26、函数，记作： c xxk 2、径向基函数网络、径向基函数网络 最常用的径向基函数是高斯核函数：最常用的径向基函数是高斯核函数： ) 2 exp()( 2 2 c c xx xxk xc：为核函数中心：为核函数中心 ：为函数的宽参数，控制了函数的径向作用范围，即：为函数的宽参数，控制了函数的径向作用范围，即x远离远离xc 时函数取值很小时函数取值很小 42 网络特点：网络特点： n只有一个隐层，输入层到隐层之间的权值均固定为只有一个隐层，输入层到隐层之间的权值均固定为1，隐，隐 层单元采用径向基函数作为其输出特性。层单元采用径向基函数作为其输出特性。 n输出节点为线性输出单元，隐层到输出节点之间

27、的权值可输出节点为线性输出单元，隐层到输出节点之间的权值可 调，输出为隐层的加权求和。调，输出为隐层的加权求和。 43 径向基函数网络的作用径向基函数网络的作用 n对未知函数对未知函数f(x)的逼近器。输出为隐层的线性加权求和，的逼近器。输出为隐层的线性加权求和， 采用基函数的加权和来实现对函数的逼近采用基函数的加权和来实现对函数的逼近 n隐层把原始的非线性可分的特征空间变换到另一个空间隐层把原始的非线性可分的特征空间变换到另一个空间 （通常是高维空间），使之可以线性可分。（通常是高维空间），使之可以线性可分。 44 可调参数的选择可调参数的选择： n三种可调参数：隐层基函数中心、方差，输出单

28、元的权值三种可调参数：隐层基函数中心、方差，输出单元的权值 n根据经验选择函数中心及方差根据经验选择函数中心及方差 n用聚类方法选择基函数用聚类方法选择基函数 n通过训练样本用误差纠正算法求得通过训练样本用误差纠正算法求得 45 5.2.2 竞争学习和侧抑制竞争学习和侧抑制 上述前馈网络属于监督学习，需要同时提供输入样本和相应的上述前馈网络属于监督学习，需要同时提供输入样本和相应的 理想输出。引进竞争机制的前馈网络可以实现无监督学习，完理想输出。引进竞争机制的前馈网络可以实现无监督学习，完 成聚类的任务。成聚类的任务。 结构结构 在二层前馈网络的输出层各单在二层前馈网络的输出层各单 元之间相互

29、用较大的负权值输元之间相互用较大的负权值输 入对方的输出，构成正反馈互入对方的输出，构成正反馈互 联。竞争的结果是：具有较大联。竞争的结果是：具有较大 输入的单元输出为输入的单元输出为1，其他单，其他单 元输出都为元输出都为0 网络功能网络功能 实现无监督学习，完成聚类的任务实现无监督学习，完成聚类的任务 46 1 j w XWxwnet T j i iijj 其他0 )(1kjnetnet y kj j 网络动作机制网络动作机制 学习时先用随机数作为权值初始值，整个学习过程随时将权值学习时先用随机数作为权值初始值，整个学习过程随时将权值 进行归一化处理，即：进行归一化处理，即： i ji i

30、j ij w w w 2 使各权向量满足：使各权向量满足： 当样本为归一化样本，学习可按如下算法进行：当样本为归一化样本，学习可按如下算法进行： ijjij xnetyw)( 47 讨论：讨论： n网络不可能收敛到修正量趋向于零的状态，采用强制收敛网络不可能收敛到修正量趋向于零的状态，采用强制收敛 方法，在学习过程中将步长参数方法，在学习过程中将步长参数缓慢减小至零。缓慢减小至零。 n学习结果受初始值和学习样本顺序影响很大，聚类的结果学习结果受初始值和学习样本顺序影响很大，聚类的结果 不一定理想，需要加入适当的人工干预。例：先选择少量不一定理想，需要加入适当的人工干预。例：先选择少量 典型性好

31、的样本作为权向量初始值。典型性好的样本作为权向量初始值。 48 带反馈的神经网络示意图带反馈的神经网络示意图 输入：外部输入信号和同一区域的反馈信号输入：外部输入信号和同一区域的反馈信号 5.2.3 自组织特征映射神经网络自组织特征映射神经网络 输输 入入 信信 号号 反反 馈馈 信信 号号 输出信号输出信号 49 概念概念 u依据大脑对信号处理的特点，提出了一种神经网络模型依据大脑对信号处理的特点，提出了一种神经网络模型 自组织特征映射模型，自组织特征映射模型是典型的自自组织特征映射模型，自组织特征映射模型是典型的自 组织系统，因而也有人称其为组织系统，因而也有人称其为“自组织模型自组织模型

32、”。 u由输入层和竞争层构成的两层网络。两层之间的各神经元由输入层和竞争层构成的两层网络。两层之间的各神经元 实现双向全连接，网络中没有隐含层。实现双向全连接，网络中没有隐含层。 u自组织的过程实际上就是一种无指导的学习。它通过自身自组织的过程实际上就是一种无指导的学习。它通过自身 训练，自动对输入模式进行分类。训练，自动对输入模式进行分类。 自组织特征映射神经网络自组织特征映射神经网络 50 自组织特征映射神经网络结构示意图自组织特征映射神经网络结构示意图 交互作用函数交互作用函数 Rd Rd R d jFe 0 1 )( Rd Rd jFe 0 1 )(或或 网络功能：形成认知地图，进行聚

33、类网络功能：形成认知地图，进行聚类 51 学习方法和学习过程学习方法和学习过程 1 2 j w u用随机数设定权值初始值，并始终进行权向量归一化，使用随机数设定权值初始值，并始终进行权向量归一化，使 其满足：其满足： u反复进行以下运算，直到达到预定的学习次数或每次学习反复进行以下运算，直到达到预定的学习次数或每次学习 中权值改变量小于某一阈值中权值改变量小于某一阈值 l输入一个样本计算各输出单元的强度输入一个样本计算各输出单元的强度 l找出主兴奋单元找出主兴奋单元C，使，使 i iij T jj xwXWnet )(max j j c netnet )( jFy cj ijjji xnetyw)( l确定各输出单元兴奋度确定各输出单元兴奋度 l计算各权值修正量计算各权值修正量wij，修正权值，进行归一化，修正权值，进行归一化 52 讨论：讨论： nR的选择，如：的选择，如： NLR/ L：输出平面边长：输出平面边长 N：输入向量维数：输入向量维数 u