人工神经网络例题

1、1、什么是BP网络的泛化能力？如何保证 BP网络具有较好的泛化能力？ （ 5 分） 解：（1）BP网络训练后将所提取的样本对中的非线性映射关系存储在权值矩阵中， 在其后的工作阶段，当向网络输入训练时未曾见过的非样本数据时， 网络也能完 成由输入空间向输出空间的正确映射。这种能力称为多层感知器的泛化能力，它 是衡量多层感知器性能优劣的一个重要方面。（2）网络的性能好坏主要看其是否具有很好的泛化能力，而对泛化能力的测试 不能用训练集的数据进行，要用训练集以外的测试数据来进行检验。在隐节点数 一定的情况下，为获得更好的泛化能力，存在着一个最佳训练次数t,训练时将 训练与测试交替进行，每训练一次记录一

2、训练均方误差，然后保持网络权值不变， 用测试数据正向运行网络，记录测试均方误差，利用两种误差数据得出两条均方 误差随训练次数变化的曲线，测试、训练数据均方误差曲线如下图1所示。训练 次数to称为最佳训练次数，当超过这个训练次数后，训练误差次数减小而测试误差则开始上升，在此之前停止训练称为训练不足，在此之后称为训练过度。图1.测试、训练数据均方误差曲线2、什么是LVQ网络？它与SOM网络有什么区别和联系？ （10分）解：（1） 学习向量量化（learning vector quantization ， LVQ网络是在竞争网络 结构的基础上提出的，LVQ将竞争学习思想和监督学习算法相结合，减少计算

3、量 和储存量，其特点是网络的输出层采用监督学习算法而隐层采用竞争学习策略，结构是由输入层、竞争层、输出层组成。（2）在LVQ网络学习过程中通过教师信号对输入样本的分配类别进行规定，从而克服了自组织网络采用无监督学习算法带来的缺乏分类信息的弱点。自组织映射可以起到聚类的作用，但还不能直接分类和识别，因此这只是自适应解决模式 分类问题中的第一步，第二步是学习向量量化，采用有监督方法，在训练中加入 教师信号作为分类信息对权值进行细调，并对输出神经元预先指定其类别。3、设计一个神经网络对图一中的三类线性不可分模式进行分类，期望输出向量 分别用（1, -1, -1）T、（-1,1, -1） T 、（-1

4、, -1,1） T代表三类，输入用样本坐标。要求：（1）选择合适的隐节点数；（2） 用BP算法训练网络，对图中的9个样本进行正确分类。（15分）7 / 7分析：对于一个BP神经网络，首先要明确输入，输出，隐层节点个数。对于本题，输入是点坐标组成的2*9的矩阵，输入节点个数为2,期望输出向量分别用 (1, -1, -1)丁、(-1,1, -1)丁、(-1, -1,1)T表示，至于隐层节点的个数并没有确切的方法，根据经验公式m . n I(m为隐层节点数；n为输入层节点数；I为输出节点数；a为110之间的常数)，首先确定隐层节点数为 5，逐渐 增加隐层节点数量，然后观察其对训练误差的影响，最终选出

5、最合适的隐层节点 数量。表1. BP神经网络训练、分类结果隐层节点数误差精度训练次数分类结果正确率50.366491100%70.331981100%90.325338100%100.320770100%120.314052100%140.311622100%用 matlab 编程，设定训练误差精度为 0.3 ，学习率 0.2 ，然后进行训练， 记录不同隐层节点数的情况下达到相同的训练精度所需要的训练次数， 当隐层节 点数为M=5时，在训练次数为66491时，结果达到训练精度； 当隐层节点数M=7 时，在训练次数到达31981时，结果达到训练精度；当隐层节点数 M=9时时，在 训练次数达到25

6、338时，结果达到训练精度；当隐层节点数 M=10时，在训练次 数达到20770时，结果达到训练精度；当隐层节点数 M=12时，在训练次数达到 14052时，结果达到训练精度；当隐层节点数M=14时，在训练次数达到11622时，结果达到训练精度，由此可见，在一定范围内，隐层节点数越多，达到训练 精度时所用的训练次数越少，所用训练时间则越少。因此选择隐层节点数为14。学习率 0.3 ，误差精度在 0.1 以下，输出结果和导师信号对比，输出结果都 为正确，正确率达到 100%。具体程序见附件一或者 BPclassify.m 。4、试设计一个吸引子为 Xa=(0110) T ， Xb=(1001)T

7、 的离散 Hopfield 人工神经 网络。其权值和阈值在 -1 ， 1 区间取值，试求权值和阈值。( 10 分) 解：吸引子的分布是由网络的权值 (包括阈值) 决定的， 设计吸引子的核心就是 如何设计一组合适的权值。 为了使所设计的权值满足要求， 权值矩阵应符合以下 要求：(a) 为保证异步方式工作时网络收敛，W 应为对称阵。(b) 为保证同步方式工作时网络收敛，W 应为非负定对称阵。(c) 保证给定的样本是网络的吸引子，并且要有一定的吸引域。 具体设计时，这里采用了联立方程法：以4节点DHNN为例，说明权值设计的联立方程法。考虑到 wij = w ji ， wii = 0 ，对稳态 x(t

8、 +1) = x(t) 。对于状态 X a = (1001) T ，各节点净输入应满足：net1=W12X 0+W3X 0+W4X 1-T仁 W4-T10(1)net2=W12 x 1+W3 x 0+w4 x 1-T2=W2+W4-T20(2)n et3=W13X 1+W3X 0+W4X 1-T3=W3+W4-T30对于 X b = (0110) T 状态，各节点净输入应满足： net1=W12x 1+W13x 1+W14x 0-T1=W12+W13-T10(6)net3=W13x 0+W23x 1+W34x 0-T3=W23-T30(7)(8)net4=wi4 x 0+W4X 1+w4 x

9、1 - T4=W4+W4 T40联立以上8项不等式，可求出未知量的允许取值范围。如取W4=0.7,则由式（1）有-1 Ti0.7 ,取 Ti= 0.6 ;则由式（4）有-1 丁40.7,取 T4= 0.6 ;取 W2=0.4 ,由式（5）,有-1 W3 0.2，取 W3 = 0.1 ;取 w =0.2 由式（2）,有 0.6T2 1,取 T2 = 0.8 ;由式（6）,有 0.8 w 23 1,取 w = 0.9 ;由式（7）,有-1 T3 0.9，取 T3 = 0.4 ;由式（3, 8）,有-1 w 0.3，取 Wn=0.2。可以验证，利用这组参数构成的DHNN网对于任何初态最终都将演变到两

10、吸引子Xa= （1001）T和 X 用matlab训练一个感知器，求解此分类问题。（需附上matlab程序） 用输入样本对所训练的感知器进行验证。（15分） 分析：对于本题，输入是样本组成的2*8的矩阵，输入节点个数为2,输出由导师 信号可知分为两类。两个输入分量在几何上构成一个二维平面， 输入样本可以用 该平面上的一个点表示，玩具重量和长度在坐标中标出，可以看出明显分布在两 个区域，可以用一条线分开分为两类，在线上方的输出结果应大于 0,在线下方 的输出结果应小于0。 权向量为2*9的矩阵，输入的第一个权向量权值赋予较小的非零随机数， 每 一个新的权向量都由上一个权向量调整，下一次循环第1个

11、权向量由第9个权向 量来调整。对于这样的样本线性可分，经过几次调整后就稳定到一个权向量， 将 样本正确分类的权向量不是唯一的。具体程序见附件二或者 ganzhiqi.m。输出=（0110）T。整理权值与阈值为：00.40.10.70.60.400.90.20.8WT0.10.900.30.40.70.20.300.65、下面给出的训练集由玩具兔和玩具熊组成。输入样本向量的第一个分量代表 玩具的重量，第二个分量代表玩具耳朵的长度，教师信号为-1表示玩具兔,教师信号为1表示玩具熊。分类结果如下图所示表2.单层感知器训练、分类结果训练次数分类结果正确率4100%3100%5100%图2.感知器在二维

12、平面的分类结果附件一： 第三题程序 clear all ;%B算法初始化D=1,-1,-1;1,-1,-1;1,-1,-1;-1,1,-1;-1,1,-1;-1,1,-1； -1,-1,1； -1,-1,1； -1,-1,1；X=0.75,0.75;0.75,0.125;0.25,0.25;0.25,0.75;0.5,0.125;0.75,0.25;0.25,0.5;0.5,0.5;0.75,0.5;N, n=size(X);L,Pd=size(D);%M=ceil(sqrt(N*L)+7;ceil函数为正无穷方向取整m=14;%急层节点数%初始化权矩阵% 俞入层到隐层权矩阵V=ra nd(N

13、,m);%隐层到输出层权矩阵W=ran d(m,L);%开始训练，转移函数选择双极性Sigmoid函数Q=100000%训练次数计数器E=zeros(Q,1); %误差Emin=0.3; %训练要求精度learnr=0.2;%学习率q=1;%训练次数计数，批训练%权值调整while qQnetj=V.*X;Y=(1-exp(-netj)./(1+exp(-netj);netk=W.*Y;O=(1-exp(-netk)./(1+exp(-netk);E(q)=sqrt(sum(sum(D-O)42)/2);%计算总误差if E(q)Emin break ;endDelta_o=(D-O).*(1

14、-O.A2)./2;W=W+learnr*(Delta_o*Y.).;%隐层和输出层间的权矩阵调整Delta_y=(W*Delta_o).*(1-Y.A2)./2;V=V+learnr*(Delta_y*X.).;%输入层和隐层间的权矩阵调整q=q+1;end%输出结果qO=sign(O)%符号函数取整A=find(O=D);%和计算输出和导师信号不同的个数length(A)%分类结果错误的个数附件二： 第五题程序 clc;clear%单层感知器初始化X=1,4;1,5;2,4;2,5;3,1;3,2;4,1;4,2;%输入信号d=-1;-1;-1;-1;1;1;1;1;%输入导师信号w=zeros(2,9);w(:,1)=rand(2,1);%第一组权值赋予较小的非零随机数o=zeros(8,1);%输出结果net=zeros(8,1);%净输入 netlearnr=0.01;%学习率为 0.1n=0;%循环次数%调整权值 while n100%训练次数最大设为 100次for i=1:8net(i)=X(i,:)*w(:,i);%计算净输入 neto(i)=sign(net(i);%计算输出，转移函数为符号函数w(:,i+1)=w(:,i)+learnr*(d(i)-o(i)*X(i,:);%调整权值w(:,1)=w(:,9);%最后一组权值赋值给第