《神经网络基础》PPT课件.ppt

2.2 连接主义方法 Parallel Distributed Processing(PDP),主张 智能出现于简单的通过相互连接作用的单元构成的系统中，且系统通过学习可以调整神经元之间的连接 表达 输入参数的建立 输出结果的解释 实现 训练 网络学习的过程,适用的任务 分类：判定输入数值属于哪一类 模式识别：辨识数据中的结构或模式 联想记忆：基于内容的记忆唤醒 预测：根据输入值，通过推理给出结果 优化：约束下的“最佳”状态,John Von Neuman (19031957 )美籍匈牙利人数学家，对人工智能的贡献： 细胞自动机 celluar automata 神经计算 neurally inspired approaches to computation,Donald Olding Hebb 19041985,加拿大心理学家，对人工智能的贡献： 细胞集合 Cell assembly 赫布律 Hebbian Rule,1）神经网络基础 人工神经网络 Artificial Neural Networks, ANN, NN,脊椎动物神经元结构,树突,树突,突触,突触,胞体,胞体,轴突,神经细胞工作状态,毫秒,人工神经元模型 基本神经元模型,x1,x2,xp,uk,输出,yk,k,激活函数,输入,基本神经元模型,组成三要素：连接、求和、激活函数 数学表达式： 激活函数的类型： 阈值函数 ： 分段线性函数：,激活函数,Sigmoid函数：,连续可导,有向图表示神经网络,w1,w2,wn,w0,有向图表示神经元,相关概念 网络拓扑： 独立神经元之间的连接模式 学习算法： 网络训练方法 编码系统： 输入数据和输出结果的解释,MP模型（McCulloch-Pitts Neuron）,yAND,真值表 x1 x2 y -1 -1 -1 1 -1 -1 -1 1 -1 1 1 1,yAND=x1x2,yOR,真值表 x1 x2 y -1 -1 -1 1 -1 1 -1 1 1 1 1 1,yOR=x1x2,2）网络结构 前馈网络：各神经元接受前一层的输入，并输出给下一层，没有反馈,输入节点,输入层 隐层 输出层,反馈网络：所有节点都是计算单元，同时可接受输入，并向外界输出,反馈网络,3）ANN学习 学习方式 有监督学习,环境,教师,学习系统,误差信号,环境状态信号,期望响应,实际响应,训练样本集:一组给定的已知输入-输出的数据集合,无监督学习（自组织学习） 再励学习（强化学习）,2）学习算法 感知器学习 学习规则：,e=0，wi = 0,e0，wi 0,e0，wi 0,学习过程：通过权重调节，使得网络输出平均误差最小化,感知器学习算法步骤 设：p+1维输入向量 p+1维权向量 实际输出：y(n) 期望输出：d(n) 学习步长：1 初始化：置w(0)为小的随机数 输入x(n)，计算感知器的实际输出, 按下式调节权系数： 令n=n+1，返回第2步 已证明感知器学习算法对于线性可分模式，在有限步内收敛，所得权系数能对所有样本正确分类 例 如图所示的单层感知器学习 已知：样本 单变量样本4个，采用线性阈值单元： 第一类：d=1， x1=1， x3=3 第二类：d=-1，x2=-0.5， x4=-2,求：经过学习后，4个样本分类器的权系数值 解：考虑阈值输入变量：,利用感知器学习算法，选=1/2，得：,选初值 输入x(1):,输入x(2):,输入x(3):,输入x(4):,训练结果：,广义误差学习规则 Generalized Delta Rule： sigmoid函数代替符号函数sgn,sigmoid函数：,wi,E,wi,wi,梯度下降学习,要求函数连续可导,反向传播学习算法（BP） 原理 工作状态：工作信号、误差信号,反向传播网络工作信号流,多层网络 误差纠正：令神经元k的输入输出在n时刻的误差为 寻找基于误差最小的目标函数 优化问题 常用目标函数：均方误差判据 学习过程宽平稳 瞬时误差：,j单元误差信号： 设j单元平方误差：,y0=-1,yk(n),ik(n),i(n), ( ),yi(n),ji(n),j(n), ( ),yj(n),-1,dj(n),ej(n),反向传播网络单元j与下层单元i之间的信号流图,输出端总平方误差： c包括所有输出单元 设训练集样本总数为N，平方误差均值： 目标函数EAV BP算法推导： 对于节点j,连接权重变化引起的均方误差变化率，即： 权值修正量： 局部梯度, j为输出单元: i为隐元: j为输出单元：,两种网络训练方式 每个样本修改一次权值 所有样本依次输入后，计算平均误差,根 据平均误差修改权值,j(n),ik(n),训练周期：全部样本输入一次称为一个训练周期 终止条件：网络以周期为单位进行训练，直到误差 函数达到最小或小于一个给定值 步骤： 初始化，选定结构合理的网络，置所有可调参数（权、阈值）为均匀分布的较小数值 对每个输入样本作如下计算： 前向计算 设：l 层的j 单元 激活函数选sigmoid函数,如果j在l=0层： 如果j在l=L层： 反向计算 输出单元： 隐元： 修正权值 n=n+1，输入新的样本（或新一周期样本）直至EAV达到预定要求 训练时各周期样本要随机重新排序,XOR的一个简单网络解,x1,x2,y3,y,x1 x2 x3 y 0 0 0 0 0 0 1 0 1 0 1 1 1 1 0,x0,30,31,32,41,43,42,y0,40,1400训练周期，结果： 30=2.6 40=7.0 43=-11.0 31=-7.0 41=-5.0 32=-7.0 42=-4.0,x1 x2 x3 y 0 0 f3(0-7.0+0-7.0 +12.6) f4(0-5.0+0-4.0 +1-11.0+1 7.0)= 0 0 f3(1-7.0+0-7.0 +12.6) f4(1-5.0+0-4.0 +1-11.0+1 7.0)= 1 0 1 f3(0-7.0+1-7.0 +12.6) f4(0-5.0+1-4.0 +1-11.0+1 7.0)= 1 1 1 f3(1-7.0+1-7.0 +12.6) f4(1-5.0+1-4.0 +0-11.0+1 7.0)= 0,竞争学习 赢者通吃 Winner-Take-All 无监督学习 赢者：最大激活测试,赢者通吃学习规则 Kohonen Learning Rule,K网学习 Kohonen net Learning 已知：数据表 求：K网无监督分类,初始化：A：W=11, 12= 7, 2 B：W=21, 22= 2, 9 K网：自组织网络 无监督学习,A,B,|X(n)-W(n)| W(n+1) = W(n)+ (X(n)-W(n) 竞争学习规则 与X接近的节点，W调整，使得更接近X 其他节点，W不变 |(x1,x2)-(11, 12)|,|(1,1)-(7,2)| =(1-7)2+(1-2)2=37 |(1,1)-(2,9)| =(1-2)2+(1-9)2=65 WinnerA W(2)=W(1)+(X(1)-W(1),W(2)=W(1)+(X(1)-W(1) =(7,2)+0.5(1-7),(1-2)=(7,2)+(-3,-5)=(4,1.5) |(9.4,6.4)-(4,1.5)|=53.17 |(9.4,6.4)-(2,9)|=60.15 WinnerA W(3)=(4,1.5)+0.5(9.4-4),(6.4-1.5) =(6.7,4) |(2.5,2.1)-(6.7,4)|=21.25 |(2.5,2.1)-(2,9)|=47.86 WinnerA W(4)=(6.7,4)+0.5(2.5-6.7),(2.1-4) =(4.6,3.1),Outstar Network Outstar 学习：,Y,X,W-T-A Layer,O Layer,J,I,1,1,1,0,0,0,0,0,0,0,0,0, 训练K网，找到Winnner，所有的Winner连接置1,其他神经元连接置0 如果所有输入为同一类，根据输出期望直接连接Winner与相应输出节点的连接值 如果输入类不同，利用监督矢量Y进行输出层学习，调整outstar层连接权重,规则如下： W(n+1)=W(n)+(Y-W(n) 例：已知：数据如表，表中+1安全；-1 危险 x1-推进系统的引擎速度，数据范围0,10 x2-推进系统的引擎温度，数据范围0,10 数据超范围时，报警,x1,x2,s,d Winner A:x1,x2,1,0 Winner B:x1,x2,0,1,SA,DA,SB,SB,初始化: WA=SA, DA=0,0 WA (n+1)=WA (n)+(Y-WA (n) Y=1,0, =0.2 WA (1)=0,0+0.2(1,0-0,0)=0.2,0 WA (2)=0.2,0+0.2(1,0-0.2,0)=0.36,0 WA (3)=0.36,0+0.2(1,0-0.36,0)=0.49,0 WA (4)=0.49,0+0.2(1,0-0.49,0)=0.59,0 WA (5)=0.59,0+0.2(1,0-0.59,0)=0.67,0 WA (n)1,0,另一类竞争学习 支持向量机 SVM Support Vector Machine 支持向量：所学概念样本最大可分的最小数据集合 线性分类器 假设前提: 数据独立同分布,赫布机遇学习 Hebbian Coincidence Learning,赫布学习理论 神经生理学的观察 关键词：细胞集合 Cell assembly 由成百个突触大规模连接的神经元细胞组 细胞集合的产生：简单而关键的特征重复输入传感器产生细胞集合，同时，细胞集合促进周围细胞集合响应而形成另外的细胞集合 细胞集合激活：关键特征再次输入传感器，这组细胞集合都有可能被激活，继而，响应它们而形成的细胞集合也会激活,细胞集合之间的联系：有正有负，并可以被改变，一个细胞集合的激活将会提高与它有正相关的细胞集合的活动，而减弱那些与它们有负相关的细胞集合的活动 细胞集合反映形式：任何时刻，被激活的细胞集合决定了传感器输入信息的反应 细胞集合的反映时间：细胞组合容易受到“需要满足”的影响（例如对饥饿、口渴的满足等等）而增强它们之间的联系 细胞集合激活顺序：当前激活的细胞集合会预先把与它相联系的细胞集合作为后续者，使得它们激活后这些后续者很容易被激活,正联系细胞对,负联系细胞对,Hebbian Learning,无监督 Hebbian Learning 条件反射学习 随机选择的刺激作为希望的条件反射 巴浦洛夫 Pavlov 实验模型 训练：每次铃声，给狗食物 无条件刺激 反射：铃声引起狗的食欲 有条件反射 构建神经网络 W(n+1)=W(n)+sgn(W(n)X(n)Y,输入模式：1,-1,1,-1,1,-1 无条件刺激 新刺激 假定：网络对无条件刺激响应为“正” 权重向量：1,-1,1 与输入无条件刺激相同 权重向量：0, 0,0 与输入新刺激 网络初始权重：1,-1,1,0,0,0 训练网络：输入模式训练，希望网络权重的学习对新刺激产生 “正” 响应 WX=1,-1,1,0,0,0 1,-1,1,-1,1,-1T =1+1+1=3 sgn(3)=1,W(2)=1,-1,1,0,0,0+0.21,-1,1,-1,1,-1 =1.2,-1.2,1.2,-0.2,0.2,-0.2 WX=1.2,-1.2,1.2,-0.2,0.2,-0.2 1,-1,1,-1,1,-1T =1.2+1.2+1.2+0.2+0.2+0.2 =4.2 sgn(4.2)=1 W(3)=1.2,-1.2,1.2,-0.2,0.2,-0.2+0.21,-1,1,-1,1,-1 =1.4,-1.4,1.4,-0.4,0.4,-0.4 再进行10次迭代后 W(13)= 3.4,-3.4,3.4,-2.4,2.4,-2.4,测试网络 无条件刺激：1,-1,1, 1,1,-1 sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,1, 1,1,-1T) =sgn(3.4+3.4+3.4-2.4+2.4+2.4) =sgn(12.6)=1 无条件刺激：1,-1,1, 1,-1,-1 sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,1, 1,-1,-1T) =sgn(3.4+3.4+3.4-2.4-2.4+2.4) =sgn(7.8)=1,网络对原始刺激的敏感增强了,新刺激：1,1,1, -1,1,-1 sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,1,1, -1,1,-1 T) =sgn(3.4-3.4+3.4+2.4+2.4+2.4) =sgn(10.6)=1 新刺激：1,-1,-1, 1,1,-1 新模式稍变 新食物或铃声 sgn(WX)=sgn(3.4,-3.4,3.4,-2.4,2.4,-2.4 1,-1,-1, 1,1,-1 T) =sgn(3.4+3.4-3.4-2.4+2.4+2.4) =sgn(5.8)=1,Hebbian Learning 产生了什么？ 新旧刺激不断重复产生，使得网络建立了在新刺激和旧响应之间的联想,有监督Hebbian Learning 构建神经网络 训练网络实现一组模式之间的联想,联想模式序列： , , , , 学习规则： ij=djxi X=x1,x2,xn Y=d1,d2,dm W=YX,期望输出,线性吸引子 liner associator,联想记忆和线性吸引子 联想模式对 , , 联想记忆模式 异联想 heteroassociative：如果随机矢量X比任何其他样例更靠近Xi，则联想结果为Yi 自联想 autoassociative: 除Xi = Yi 之