课件：神经网络配套Ch.ppt

感知机学习规则,学习的分类, 有监督学习（有导师学习） 提供网络一组能代表网络行为的实例集合 (训练集)：, 增强学习（半监督学习） 仅提供一个级别(或评分)，作为网络在某些输 入序列上的性能测度。, 无监督学习（无导师学习） 学习仅根据网络的输入来学会将输入模式分类 （聚类）。,(输入,目标输出)。,感知机的结构,单个神经元感知机工作原理,判定边界：n=w1,1p1 +w1,2p2 +b =0,单个神经元感知机工作原理,p1 + p2 1 = 0,判定边界, 所有在判定边界上的点与权向量的内积相同。 这些点一定是在一条与权向量垂直的线上。,例子 “或(OR)”,“或”的解答（图解法）,选择一个判定边界，把两类模式向量分割在两个区。能够实现这种划分的边界有无穷多个。合理的选择是判定边界易于确定，且处于这两类模式向量的间隔正中。,在判定边界上取一点(0, 0.5)来定偏值：,选择与判定边界垂直的权向量，该权向量可以是任意长度向量，它同样有无穷多个。这里选择：,“或”的解答（图解法）,方程的法向量是权向量 (与判定边界垂直)：,方程的常数项是判定边界的偏置值：,两点式直线方程： 例如点(x1 , y1)和(x2, y2)：,选一个判定边界及其上的两点得其方程： 例如点(0.5, 0)和(0, 0.5),多神经元感知机, 每个神经元将有自己的判定边界：, 单个神经元可以将输入向量分为两类。 一个有S个神经元的感知机可将输入向 量分为多类，共有2S种可能的类别。,感知机学习规则, 为满足给定的训练样本：, 设计一般性的方法来确定感知机的权和偏置值。,学习规则测试实例,测试问题的网络,初始化,将p1送入网络：,随机初始化权：,错误分类,构造学习规则, 令1w 为 p1 前后振荡 将p1加到1w上 1w的指向偏向p1,规则：,第二个输入向量,(错误分类，见前图),修正规则：,第三个输入向量,三个模式现在都正确分类了,(错误分类，见前图),统一的学习规则,偏置可视 为对应输 入为1 的权,多神经元感知机,权值矩阵的第i行修改为：,矩阵表示：,苹果/香蕉例子,训练集：,初始权值：,第一次迭代：,第二次迭代,检查,学习规则的能力, 只要权值的解存在（问题线性可分）， 该学习规则总能收敛到实现期望分类的 权值上。,收敛性证明, 证明见书中第45页 证明是建立在下面三条假设基础上的： 问题的解 存在，即有式(4.66)： ； 仅在输入被错分时才改变权值，即有式(4.72)： ； (3) 输入向量的长度(模)的上界存在。 证明的思路： 若问题的解存在，则感知机学习规则必迭代有限次 就可收敛。,收敛性证明, (4.66)和(4.72)式的证明： -(4.66)式的证明,即 。 证：由(4.61)有, , ,且 。 若 ,则 ,由(4.62)得: ; 若 ,则 ,由(4.63)得: ; 综合和证得(4.66)式。 -(4.72)式的证明,即 。 证：由(4.61)有, , ,且 。 若 ,由于错误分类,得: ; 若 ,由于错误分类,得: ; 综合和证得(4.72)式.,感知机的局限性,线性判定边界,解决不了线性不可分问题,习题,考虑下面定义的分类问题：,设计一个求解这个问题的单神经元感知机。 (1)用图形方式求解网络参数； (2)对下列初始参数用感知机学习规则求解网络参数。,课外习题,按照感知机学习规则, 用C语言编程实现下列学习函数:,void learning( n, i , f, p,t, W, b ) n: 神经元的个数; i: 输入维数; f : 传输函数类型; p,t: 训练集; W: 权值; b: 偏置值; ,课外思考题,以下面“异或(XOR)”逻辑运算为例，考虑能否用多个感知机神经元构成的网络来解决它的分类问题，网络的学习如何进行？,后面内容直接删除就行 资料可以编辑修改使用 资料可以编辑修改使用,主要经营：网络软件设计、图文设计制作、发布广告等 公司秉着以优质的服务对待每一位客户，做到让客户满意！,致力于数据挖掘，合同简历、论文写作、PPT设计、计划书、策划案、学习课件、各类模板等方方面面，打造全网一站式需求,感谢您的观看和下载,The user can demonstrate on a projecto