神经网络作业问题及答案.doc

一 简述人工神经网络常用的网络结构和学习方法。（10分）答：1、人工神经网络常用的网络结构有三种分别是：bp神经网络、rbf神经网络、kohonen神经网络、art神经网络以及hopfield神经网络。人工神经网络模型可以按照网络连接的拓扑结构分类，还可以按照内部信息流向分类。按照拓扑结构分类：层次型结构和互连型结构。层次型结构又可分类：单纯型层次网络结构、输入层与输出层之间有连接的层次网络结构和层内有互联的层次网络结构。互连型结构又可分类：全互联型、局部互联型和稀疏连接性。按照网络信息流向分类：前馈型网络和反馈型网络。2、学习方法分类：.hebb学习规则：纯前馈网络、无导师学习。权值初始化为0。.perceptron学习规则：感知器学习规则，它的学习信号等于神经元期望输出与实际输出的差。单层计算单元的神经网络结构，只适用于二进制神经元。有导师学习。.学习规则：连续感知学习规则，只适用于有师学习中定义的连续转移函数。规则是由输出值与期望值的最小平方误差条件推导出的。.lms学习规则：最小均放规则。它是学习规则的一个特殊情况。学习规则与神经元采用的转移函数无关的有师学习。学习速度较快精度较高。.correlation学习规则：相关学习规则，他是hebb学习规则的一种特殊情况，但是相关学习规则是有师学习。权值初始化为0。.winner-take-all学习规则：竞争学习规则用于有师学习中定义的连续转移函数。权值初始化为任意值并进行归一处理。.outstar学习规则：只适用于有师学习中定义的连续转移函数。权值初始化为0。2试推导三层前馈网络bp算法权值修改公式，并用bp算法学习如下函数： 其中：，。基本步骤如下：（1）在输入空间、上按照均匀分布选取个点（自行定义），计算的实际值，并由此组成网络的样本集；（2）构造多层前向网络结构，用bp算法和样本集训练网络，使网络误差小于某个很小的正数；（3）在输入空间上随机选取个点（，最好为非样本点），用学习后的网络计算这些点的实际输出值，并与这些点的理想输出值比较，绘制误差曲面；（4）说明不同的、值对网络学习效果的影响。（20分）答：本体准备采用三层结构，以下为三层前馈网络bp算法权值修改公式的推导： 设神经元激励函数采用s形函数，有： ， （1）对于第一层（）：，对于输出层（）：，设s形函数为：，有： （2） 设对于训练样本，网络输出向量各分量的理想值为：，；样本输入网络后相应的实际输出为：，；则网络误差为：网络输出误差的平方和为：。设指标函数，我们的目标是：将样本输入网络，通过对网络权值的更新，来使指标函数（网络误差）达到最小（或允许的范围）。因为： 所以：当 时，有：。即：权值修改沿着负梯度方向进行时可使指标函数下降。可得权值修改公式为： （3）对于，有： 令：，又由（1）式得：，有：， （4）再计算： （5）而由（2）式得：，所以问题可归结为求：（1）对于网络输出层（）：因为，所以： 所以：，即对于输出层，为： （6）（2）对于网络各隐层：将（1）式按下述方法改写： ，得： ，当时， 时，因为误差可视为网络所有权值的函数，由复合全微分得到： ，当时，；时，又由（1）式：；由定义：，所以有： （7）代入（5）式可得： 时， 时， （3）当样本输入网络后，因为网络权值已知，所以各层神经元输出通过计算可直接得出，即可得到输出层的误差值，那么通过上式即可依次得出和。所以上述过程又称为误差反传过程（逆推学习过程），bp算法由此得名（back-propagation）。由上述推导过程，可得三层神经网络权值调整公式如下：时，时，时，且： ， ， （9）（1） x1=-5:0.3:5;x2=-5:0.3:5;t=2*x1.*x1+3*x2.*x2-5*x1+x2-3*x1.*x2;plot3(x1,x2,t);title(理想输出);（2） net=newff(-5 5;-5 5,10 10 1,tansig, tansig,purelin);y=sim(net,x1;x2);plot3(x1,x2,y);title(未经训练网络输出值);x1=-5:0.3:5;x2=-5:0.3:5;t=2*x1.*x1+3*x2.*x2-5*x1+x2-3*x1.*x2;plot3(x1,x2,t);title(理想输出);net=newff(-5 5;-5 5,10 10 1,tansig, tansig,purelin);y=sim(net,x1;x2);net.trainparam.epochs=500;net.trainparam.goal=0.01;net=train(net,x1;x2,t)trainlm, epoch 0/500, mse 674.464/0.01, gradient 2103.98/1e-010trainlm, epoch 25/500, mse 3.44486/0.01, gradient 57.4759/1e-010trainlm, epoch 50/500, mse 3.14188/0.01, gradient 20.6995/1e-010trainlm, epoch 75/500, mse 1.81665/0.01, gradient 131.524/1e-010trainlm, epoch 100/500, mse 0.472464/0.01, gradient 500.214/1e-010trainlm, epoch 125/500, mse 0.0812506/0.01, gradient 27.8358/1e-010trainlm, epoch 140/500, mse 0.00776482/0.01, gradient 5.06984/1e-010trainlm, performance goal met. y=sim(net,x1;x2);plot3(x1,x2,t,g,x1,x2,y,r);title(网络训练后实际值和理想值比较);（3） x1=-5:0.1:5;x2=-5:0.1:5;y1= sim(net,x1;x2);t1=2*x1.*x1+3*x2.*x2-5*x1+x2-3*x1.*x2;plot3(x1,x2,t1,g*,x1,x2,y1,r*);title(另一样本理想输出和实际输出比较);err=t1-y1;plot3(x1,x2,err); title(误差空间曲线);(4) 当采样点n较多时网络输出误差减小但训练过程较长，当采样点取得较少时网络输出误差增大但有较快的收敛速度。训练误差限取得很小时网络训练时间延长（在最大训练步数控制以内），以牺牲时间为代价得到较理想的输出误差。过小时往往难以达到（可能是局部极小的原因）。 总之n越大，越小，学习效果越好3比较cmac网络、rbf网络、bp网络之间的异同。（10分）答 1、cmac网络、rbf网络、bp网络的定义。1)mac是小脑模型联接控制器（cerebellar model articulation controller）的简称，它模拟了人脑的操纵控制系统。从每个神经元来看，各神经元之间是一种线性关系，但从总体结构来看，cmac模型可适用于非线性映射关系，而且该模型从初始阶段就具有泛化能力；2)径向基函数（rbf，radial basis function）网络在逼近能力、分类能力和学习速度等方面均优于bp网络。它由三层组成，输入层节点只传递输入信号到隐层，隐层节点由类似高斯函数的辐射状作用函数组成，输出层由线性单元组成；3)bp（back propagation）网络是一种按误差逆传播算法训练的多层前馈网络；bp网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程；它的学习规则是使用最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方和最小；bp神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。2、但是它们也存在一些联系区别主要有：1) cmac模型采用的算法是简单的法，其算法收敛速度比bp算法快得多，特别是它以把一个多维状态空间中的输入量，映射到一个比较小的有限区域上，只要对多维状态空间中的部分样本进行学习，就可以达到轨迹学习和控制的目的。2)cmac网络与rbf网络同为局部逼近网，但隐层的接收阈函数不同，且cmac网络主要用于机器人控制中，而rbf网络的应用范围与bp网络类似。rbf网络与bp网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个bp网络，总存在一个rbf网络可以代替它。 3)bp网络用于函数逼近时，权值的调节采用负梯度下降法，这种调节权值的方法有局限性，既存在着收敛速度慢和局部极小等缺点。而rbf网络在逼近能力、分类能力和学习速度等方面均优于bp网络；rbf网络只有一个隐层，而bp网络的隐层可以是一层也可以是多层的；rbf网络和bp网络一样可近似任何的连续非线形函数，两者的主要差别在于各使用不同的作用函数，bp网络中的隐层节点使用的是sigmoid函数，其函数值在输入空间中无限大的范围内为非零值，而rbf网络的作用函数则是局部的4. 用离散hopfield网络对如下字符进行识别：（1）根据hebb规则确定网络结构和网络权值；（2）分别将污染率为10%和20%的字符“t”、“o”、“n”（随机设定）输入网络，给出网络收敛后的结果。（20分）答（1）离散hopfield网络是单层对称全反馈网络，作用函数为hadlim，主要用于联想记忆。hebb 规则说明：使用频繁的突触联系会变得更紧密，从而可理解为突触的特点是用进废退。长时程增强是hebb 学说的实验证据：高频刺激突触前神经元后，在突触后神经元上纪录到的电位会增大，而且会维持相当长的时间。根据hebb 规则， 假定神经元的当前的输入为x=(x1,x2，xn)t,输出为y=f(w(t)tx),则权矢量w(t)的调节量为 w(t) =yx 故神经元的权值修正公式为：w(t +1) = w(t)+yx 神经元的初始权值一般取零附近的随机值，激活函数f 可以取任意形式。式中w(t)可理解为样本x对当前权值的影响。（2）分别建立代表响应字母的txt文件，放到matlab工作文件夹里，如下所示： t.txt表示的是t, o.txt表示的是o, n.txt表示的是n.t_noise表示的是受污染的t，o_noise表示的是受污染的o，n_noise表示的是受污染的n。t.txt-1 -1 -1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1 -1 -1 1 1 1 -1 -1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 -1 -1 1 1 1 1 1 1 -1 -1 1 1 1o.txt-1 -1 -1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1 -1 -1-1 -1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 -1 -1 -1 -1 -1 -1 -1 -1-1 -1 -1 -1 -1 -1 -1 -1n.txt-1 -1 1 1 1 1 -1 -1 -1 -1 1 1 1 1 -1 -1 -1 -1 -1 1 1 1 -1 -1 -1 -1 -1 -1 1 1 -1 -1 -1 -1 -1 -1 -1 1 -1 -1 -1 -1 1 -1 -1 -1 -1 -1-1 -1 1 1 -1 -1 -1 -1 -1 -1 1 1 1 -1 -1 -1-1 -1 1 1 1 1 -1 -1-1 -1 1 1 1 1 -1 -11、识别污染10%的字母：t=load(t.txt);subplot(5,3,1)imshow(t)title(字母“t”)o=load(o.txt);subplot(5,3,2)imshow(o)title(字母“o”)n=load(n.txt);subplot(5,3,3)imshow(n)title(字母“n”)t_noise=load(t_noise.txt);subplot(5,3,4)imshow(t_noise)title(污染10%字母“t”)o_noise=load(o_noise.txt);subplot(5,3,5)imshow(o_noise)title(污染10%字母“o”)n_noise=load(n_noise.txt);subplot(5,3,6)imshow(n_noise)title(污染10%字母“n”)no11=t;no12=o;no13=n;no21=t_noise;no22=o_noise;no23=n_noise;t=no11(:) no12(:) no13(:);net=newhop(t);no31=sim(net,1,3,no21(:);no32=sim(net,1,3,no22(:);no33=sim(net,1,3,no23(:);for i=1:3 subplot(5,3,6+i) imshow(reshape(no31i,8,10); title(第 num2str(i) 仿真结果)endfor i=1:3 subplot(5,3,9+i) imshow(reshape(no32i,8,10); title(第 num2str(i) 仿真结果)endfor i=1:3 subplot(5,3,12+i) imshow(reshape(no33i,8,10); title(第 num2str(i) 仿真结果)end运行结果如下：2、识别污染20%的字母：t=load(t.txt);subplot(5,3,1)imshow(t)title(字母“t”)o=load(o.txt);subplot(5,3,2)imshow(o)title(字母“o”)n=load(n.txt);subplot(5,3,3)imshow(n)title(字母“n”)t20noise=load(t20noise.txt);subplot(5,3,4)imshow(t20noise)title(污染20%字母“t”)o20noise=load(o20noise.txt);subplot(5,3,5)imshow(o20noise)title(污染20%字母“o”)n20noise=load(n20noise.txt);subplot(5,3,6)imshow(n20noise)title(污染20%字母“n”)no11=t;no12=o;no13=n;no21=t20noise;no22=o20noise;no23=n20noise;t=no11(:) no12(:) no13(:);net=newhop(t);no31=sim(net,1,3,no21(:);no32=sim(net,1,3,no22(:);no33=sim(net,1,3,no23(:);for i=1:3 subplot(5,3,6+i) imshow(reshape(no31i,8,10); title(第 num2str(i) 仿真结果)endfor i=1:3 subplot(5,3,9+i) imshow(reshape(no32i,8,10); title(第 num2str(i) 仿真结果)endfor i=1:3 subplot(5,3,12+i) imshow(reshape(no33i,8,10); title(第 num2str(i) 仿真结果)end3、经三步识别结果如下：5简述art网络结构、运行机制和学习算法。（10分）答：（1）、art网络结构：c 比较层r 识别层reset 复位信号g1和g2 逻辑控制信号 1、c层结构： 该层有n个节点，每个节点接受来自3个方面的信号：来自外界的输入信号xi；来自r 层获胜神经元的外星向量的返回信号tj；来自g1的控制信号c 层节点的输出ci是根据2/3的“多数表决”原则产生的，即输出值ci与xi、tij 、g1 3个信号中的多数信号值相同。g1=1，反馈回送信号为0，c层输出应由输入信号决定，有c=x。反馈回送信号不为0，g1=0，c层输出应取决于输入信号与反馈信号的比较情况，如果xi=tij，则ci=xi。否则ci=0。 2、r层结构：r 层有m 个节点，用以表示m 个输入模式类。m可动态增长，以设立新模式类。由c 层向上连接到r 第j 个节点的内星权向量用bj=（b1j，b2j，,bnj）表示。c 层的输出向量c 沿m个内星权向量bj(j=1,2,m)向前传送，到达r 层各个神经元节点后经过竞争在产生获胜节点j*，指示本次输入模式的所属类别。获胜节点输出=1，其余节点输出为0。r 层各模式类节点的典型向量。（2）网络运行机制：相似程度可能出现的两种情况：相似度超过参考门限。 选该模式类作为当前输入模式的代表类。权值调整规则是，相似度超过参考门限的模式类调整其相应的内外星权向量，以使其以后遇到与当前输入模式接近的样本时能得到更大的相似度；对其它权值向量则不做任何变动。相似度不超过门限值需在网络输出端设立一个代表新模式类的节点，用以代表及存储该模式，以便于参加以后的匹配过程。（3）学习算法：训练可按以下步骤进行，1）网络初始化 从c 层向r 层的内星权向量bj 赋予相同的较小数值，如 从r 层到c 层的外星权向量tj 各分量均赋1。 2）网络接受输入 给定一个输入模式，x(x1,x2,，xn)，xi(0,1)n。3）匹配度计算 对r层所有内星向量bj计算与输入模式x的匹配度。 j=1,2,，m。4）选择最佳匹配节点 在r层有效输出节点集合j*内选择竞争获胜 的最佳匹配节点j*，使得5)相似度计算 r 层获胜节点j*通过外星送回获胜模式类的典型向量，c层输出信号给出对向量和x的比较结果，i=1,2,n，由此结果可计算出两向量的相似度为 6）警戒门限检验 如果n0/n1，表明x应归为代表的模式类，转向步骤(8)调整权值。7）搜索匹配模式类 若有效输出节点集合j*不为空，转向步骤(4)重选匹配模式类；若j*为空集，需在r层增加一个节点。设新增节点的序号为nc，应使 ,i=1,2,n,此时有效输出节点集合为j*=1,2,m,m+1,m+nc,转向步骤(2)输入新模式。8）调整网络权值 修改r层节点j* 对应的权向量，网络的学习采用了 两种规则，外星向量的调整按以下规则: i=1,2,n； j*j* i=1,2,n 6结合各自的研究方向，列举实例论述如何应用神经网络相关理论解决实际问题，要求给出具体的要求、实现方法和步骤、相关的仿真程序及结果等。（30分）我的研究方向是大型公共建筑能耗的实时监控，我的想法是利用模糊神经网络对自适应监控系统过程中的参数进行估计,利用神经网络的神经计算能力对控制器的参数进行制约优化求解。网络在拓扑结构上应保证输出向量空间与控制器参数向量空间相对应。控制输出和环境因素作为网络的输入。考虑控制性能和控制规律以及环境因素，建立一个优化指标函数，然后即可借用hopfield网络的设计方法来设计网络。这种方案的主要优点是，能快速