神经网络2012课件

1、人工神经网络简介四川大学数学学院黄丽发展史与人工神经网络有关的研究可以追溯到19世纪末或更早，但通常认为McCullch和Walter Pitts在20世纪40年代的工作是人工神经网络领域的开始。初始发展时期 (1940-1960)研究主流是仿生学结构主义, 其动机是要用硬件来模仿人脑的结构和功能.典型工作: Warren McCulloch and Walter Pitts: M-P模型Donald Hebb: Hebb learning rule (Hebb学习律)Frank Ronsenblatt: Perceptron(感知器)Bernald Widrow and Ted Hoff:

2、adaptive linear neural networks(自适应线性神经网络), Widrow-Hoff learning rule(Widrow-Hoff学习律).低谷时期 (1960-1980)然而Rosenblatt和Widrow的网络都有同样的局限性. 这个问题随着下面这本书的出版而广为人知:M. Minsky and S. Papert, Perceptrons, Cambridge, MA: MIT Press, 1969Rosenblatt和Widow也清楚这些局限, 他们提出了新的网络. 但新网络更复杂, 针对旧网络提出的学习算法不再适应新网络的训练. 遗憾的是他们没能成

3、功地改进学习算法. 许多研究者受到Minsky和Papert的影响, 相信继续研究神经网络是一条死路.当时没有功能强大的数字计算机来做实验也是制约神经网络领域研究的一个原因.这一阶段仍然有一些重要的工作:1972年, Teuvo Kohonen和James Anderson分别独立地提出了一种可以作为记忆器的新网络.Stephen Grossberg在自组织网络方面的研究也很活跃. Soft Computing(软计算)Artificial neural network(人工神经网络)Fuzzy systems(模糊系统)Evolution computing(进化算法)应用1988年, DA

4、RPF Neural Network study 列出了神经网络的许多应用其中一个成功的商业应用是: 1984年, 自适应信道均衡器文献中提到的应用领域包括:航空,汽车, 银行, 国防, 电子,娱乐, 金融, 保险, 制造, 医药, 石油, 机器人技术, 通讯, 运输等等n = w1,1p1 + w1,2p2 + + w1,RpR + b,n = Wp + ba = f(n) = f(Wp + b)输入: p1, p2, , pRp = (p1, p2, , pR)T权重: w1,1, w1,2, , w1,RW = (w1,1, w1,2, , w1,R)偏置: b激励函数: fp* = (

5、1, p1, p2, , pR)T, W* = (b, w1,1, w1,2, , w1,R) n = W*p*, a = f(n) = f(W*p*)激励函数函数名输入/输出关系 图标MATLAB 函数Hard Limit硬限幅传递函数a = 0, n =0hardlimSymmetrical Hard Limit对称硬限幅传递函数a = -1, n =0hardlimsLinear线性传递函数a = npurelinSaturating Linear饱和线性传递函数a = 0, n 0a = n, 0=n1satlin函数名输入/输出关系 图标MATLAB 函数Symmetric Satu

6、rating Linear对称饱和线性传递函数a = -1, n -1a = n, -1=n 1satlinsLog-Sigmoid对数S 形传递函数 1 1 + e-nlogsigHyoerbolic Tangent Sigmoid正切S 形传递函数 en e-n en + e-ntansigPositive Lineara = 0, n = 0poslinCompetitive竞争层传递函数a = 1, neuron with max na = 0, all other neuronscompeta =a =C单层神经元多层神经元递归网络延时单元积分单元一种离散时间循环网络:初始条件: a

7、(0) = p网络将来的输出由它之前的输出计算: a(1) = satlins(Wa(0) + b), a(2) = satlin(Wa(1) + b), 学习律有监督(教师)的学习(Supervised Learning)训练集: p1,t1,p2,t2,pQ.tQReinforcement Learning对网络的每个输入,这种学习算法不提供当前的正确输出, 只是给出一个等级.无监督(教师)的学习(Unsupervised Learning)权重和偏置的修改仅与网络的输入有关多层感知器模式划分函数逼近Universal Approximation Theorem:设 () 是有界单调增的连

8、续函数, 而且()不是常数, 则对任意给定的n-维单位超立方体0,1n 上的连续函数f, 有: 对任意给定的 0, 存在整数m 和实常 数i, bi, wij, 其中i = 1, , m, j = 1, , n, 使得是函数f()的近似, 满足|F(x1,xn) f(x1,xn)| 只要隐层神经元足够过, 隐层激励函数sigmoid函数, 输出层激励函数是线性函数的两层网络实质上可以逼近任意函数到任意精度.反传算法(BP算法)训练数据: p1,t1, p2,t2, , pQ,tQ均方误差: E(eTe) = E(t a)T(t a)均方误差可由下式近似(k) = (t(k) a(k)T(t(k

9、) a(k) = eT(k)e(k)学习律:w(k+1) = w(k) 敏感度的反传1. 若第m层是输出层 : (m = M)2. 隐层:敏感度是由最后一层反传至第一层的:sM sM-1 s2 s1反传(BP)算法总结:初始化给出训练数据前向计算反向计算迭代通常初始权重和偏置选为小随机数应用反传算法选择网络结构要达到足够的性能，需要多少层，每层要多少个神经元？例 1:, 2 p 2其中 i = 1, 2, 4, 8.只有一个隐层, 隐层激励函数为log-sigmoid函数, 输出层激励函数为线性函数.用1-3-1网络作函数逼近例2:for 2 p 2隐层神经元个数增加的效果:收敛性g(p) =

10、 1 + sin(p), 2 p 2收敛的全局最小收敛到局部极小网络确实可以逼近给定的函数, 但学习算法没有收敛到使网络有良好逼近性能的网络参数.即使反传算法收敛了, 我们也不能确保得到了一个最优解. 可以采用不同的初始条件多试几次, 以保证得到最优解.Generalization例:, 2 p 2对上面的函数在点 p = 2, 1.6, 1.2, , 1.6, 2 处采样得到训练集.1-2-1 Network1-9-1 Network, overfit如果要一个网络的推广性能好, 那么它所含参数的个数应小于训练集中数据点的个数.小网络就可以完成的工作, 就不要用大网络训练集与测试集反传算法的

11、一些改进Momentum(0 1)可变学习率共轭梯度Levenberg-Marquardt 算法牛顿方法MATLAB 函数Net = newff(PR,S1 S2 SN, TF1 TF2 TF3, BTF, PF)PR: R2 矩阵, 由R个输入元素的最小和最大允许值构成. Si: 总共N层, 其中第 i 层的神经元个数.TFi:第 i 层的激励函数, 默认值为tansig.BTF: 反传网络训练函数,默认值为trainlm.PF: 性能函数,默认值为mse.该函数返回一个N层的前馈BP网络.例P = 0 1 2 3 4 5 6 7 8 9 10;T = 0 1 2 3 4 3 2 1 2 3

12、 4;net = newff(0 10,5 1,tansig purelin);Y = sim(net,P);plot(P,T,P,Y,o)net.trainParam.epochs = 50;net = train(net,P,T);Y = sim(net,P);plot(P,T,P,Y,o)径向基函数网络bw1wjwmp1p2pn-1pnaGGG用MATLAB进行精确设计:Net = newrbe(P, T, SPREAD)P: 训练集中的输入向量T: 对应的目标向量(期望输出)SPREAD: spread constant. G(SPREAD) = 0.5. 默认值 = 1.Net: 一

13、个当输入是P时, 输出就是T的径向基网络.函数 newrbe 生成的网络其隐层神经元个数与训练集中输入向量的个数一样多.我们在实际工作中遇到的典型情况是: 训练集中有大量的输入-目标输出向量对, 需要用这些数据来得到合适的径向基网络. 用函数newrbe所得到的网络隐层神经元就会太多, 一般是不可接受的解. Generalization更有效的设计Net = newrb(P, T, GOAL, SPREAD)在每次迭代时, 使网络误差下降最多的那个输入向量用来产生一个径向基神经元. 检查新网络的误差. 如果误差已经足够小, newrb就结束运算, 否则就加入下一个神经元. 重复这个过程, 直到

14、达到事先确定的误差标准, 或者达到可允许的最大神经元个数. newrb 一次只产生一个神经元.径向基网络 vs. 多层感知器径向基网络一般比同性能的多层感知器需要更多的神经元. 另一方面, 设计径向基网络通常比训练多层感知器所需要的时间少, 而且有时候也可能会只需要用更少的神经元.例P = -1:.1:1;T = -.9602 -.5770 -.0729 .3771 .6405 .6600 .4609 .1336 -.2013 -.4344 -.5000 -.3930 -.1647 .0988 .3072 .3960 .3449 .1816 -. 0312 -.2189 -.3201;subp

15、lot(2,2,1);plot(P,T,+);title(Training Vectors); xlabel(Input Vector P); ylabel(Target Vector T);p = -3:.1:3; a = radbas(p); subplot(2,2,2); plot(p,a)title(Radial Basis Transfer Function); xlabel(Input p); ylabel(Output a);a2 = radbas(p-1.5); a3 = radbas(p+2); a4 = a + a2*1 + a3*0.5;subplot(2,2,3); plot(p,a,b-,p,a2,b-,p,a3,b-,p,a4,m-)title(Weighted Sum of Radial Basis Transfer Funct