7基于神经网络的模式识别实验要求.doc

实验七 基于神经网络的模式识别实验一、实验目的理解BP神经网络和离散Hopfield神经网络的结构和原理，掌握反向传播学习算法对神经元的训练过程，了解反向传播公式。通过构建BP网络和离散Hopfield网络模式识别实例，熟悉前馈网络和反馈网络的原理及结构。二、实验原理BP学习算法是通过反向学习过程使误差最小，其算法过程从输出节点开始，反向地向第一隐含层(即最接近输入层的隐含层)传播由总误差引起的权值修正。BP网络不仅含有输入节点和输出节点，而且含有一层或多层隐(层)节点。输入信号先向前传递到隐节点，经过作用后，再把隐节点的输出信息传递到输出节点，最后给出输出结果。离散Hopfield神经网络的联想记忆过程分为学习和联想两个阶段。在给定样本的条件下，按照Hebb学习规则调整连接权值，使得存储的样本成为网络的稳定状态，这就是学习阶段。联想是指在连接权值不变的情况下，输入部分不全或者受了干扰的信息，最终网络输出某个稳定状态。三、实验条件Matlab 7.X 的神经网络工具箱：在Matlab 7.X 的命令窗口输入nntool，然后在键盘上输入Enter键，即可打开神经网络工具箱。四、实验内容1.针对教材P243例8.1，设计一个BP网络结构模型（63-6-9），并以教材图8.5 为训练样本数据，图8.6为测试数据。（1）运行train_data.m和test_data.m文件，然后从Matlab工作空间导入（Import）训练样本数据（inputdata10，outputdata10）和测试数据（testinputdata，testoutputdata），其次新建一个神经网络（New Network），选择参数如下表1，给出BP神经网络结构图。表1 BP网络结构模型的各项参数设置Network Name（神经网络名称）nn10_1Network Type（神经网络类型）Feed-forward backprop（前馈反向传播）Input ranges（输入信息范围）来自训练样本的输入数据（inputdata10）Training function（训练函数）TRAINGD(梯度下降BP算法)Performance function（性能函数）MSE（均方误差）Number of layers（神经网络层数）2Layer1（第1层）的Number of neurons (神经元个数)6Layer1（第1层）的Transfer Function (传递函数)LOGSIG（S型函数）Layer2（第2层）的Number of neurons (神经元个数)9Layer2（第2层）的Transfer Function (传递函数)LOGSIG（S型函数）（2）输入训练样本数据（inputdata10，outputdata10），随机初始化连接权（Initialize Weights），然后进行训练（Train），训练参数设置如表2所示，并观察训练目标值变化曲线图，最后把BP神经网络训练成功后(即误差不再变化后)的误差值填入表3。表2 BP网络训练参数训练次数（epochs）10000训练时间（time）Inf训练目标（goal）0学习率（lr）0.3最大确认失败次数（max_fail）5最小性能梯度（min_grad）1e-050两次显示之间的训练步数（show）25表3 BP网络各训练算法的训练目标值Training function（训练函数）Network Name（神经网络名称）训练次数（epochs）Performance(训练目标值)TRAINGD(梯度下降BP算法)nn10_1100007.22e-5TRAINGDM（梯度下降动量BP算法）nn10_2100001.57e-4TRAINLMM（Levenberg-Marquardt BP训练函数）nn10_312766.4269e-27TRAINRP（弹性BP算法）nn10_4192.41974e-59TRAINSCG（变梯度算法）nn10_51924.343e-51（3）选择不同的训练函数，例如TRAINGDM（梯度下降动量BP算法）、TRAINLMM（Levenberg-Marquardt BP训练函数）、TRAINRP（弹性BP算法）、TRAINSCG（变梯度算法），然后输入训练样本数据（inputdata10，outputdata10），训练参数设置如表2所示，设置相同的初始连接权（Revert Weights），观察不同BP训练算法的学习效果，把各训练算法的训练目标值填入上表3。W（1，1）0 0 0 0 0 0 0 0 0 0 1.4589 0.62922 -0.30395 0.83977 0.15156 0.31507 -0.90606 0 0 1.889 1.6675 0 1.0211 1.8956 0 1.9483 0 0 -0.19146 0.16119 -1.7775 -1.8126 0.59896 0.49818 1.5029 0 0 -0.96856 0 0.51842 -0.546 0 0 0.18606 0 0 -0.31286 0.99335 0.022083 1.1309 -1.148 -1.2824 -0.23118 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 0 0 0 0 0 0 -0.28232 0.24647 0.51291 0.13529 1.0214 1.6025 0.92207 0 0 1.2801 -1.1396 0 -1.549 -0.59898 0 -1.9332 0 0 0.289 1.3275 1.6614 1.1329 1.4645 -0.0099177 0.14753 0 0 -0.36076 0 -1.3849 0.7345 0 0 -1.7542 0 0 -1.2997 0.85783 -0.42611 -1.049 0.065661 1.0095 -1.6037 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 0 0 0 0 0 0 1.0986 -0.34875 -1.0844 0.6736 -1.8086 0.97084 1.1017 0 0 0.75496 0.2726 0 -0.39057 -1.0677 0 -1.1512 0 0 -0.085097 -1.6495 -0.080194 -0.20096 -1.2078 0.83035 -0.097153 0 0 1.6084 0 1.4549 0.42368 0 0 -1.0194 0 0 1.8862 -1.8186 -0.45224 1.2279 -1.3444 0.64085 1.4287 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 0 0 0 0 0 0 1.37 -1.1125 -1.4471 0.16581 -0.83595 -1.4946 1.1138 0 0 -1.0932 -1.0398 0 -0.19383 1.4685 0 1.3797 0 0 -1.2077 0.93513 -0.66561 0.19019 -1.3707 -1.3673 -1.5323 0 0 0.78378 0 -0.21138 -1.257 0 0 0.67053 0 0 0.13839 1.2447 -1.0399 -1.5038 0.98705 -0.77806 1.2112 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 0 0 0 0 0 0 0.93023 -0.28963 -1.4546 -0.30939 0.78957 0.0059375 -1.5108 0 0 0.77569 -0.40882 0 1.792 0.78522 0 1.507 0 0 0.24718 0.44094 -1.5913 1.7716 -0.64974 -1.3996 0.72128 0 0 -1.4618 0 1.4669 0.80029 0 0 0.56616 0 0 -0.89162 0.8799 1.1115 0.25592 -0.40463 1.4639 -1.7749 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 0 0 0 0 0 0 0.90985 -0.36508 -1.7577 0.57678 -0.50254 0.87912 -1.2187 0 0 0.10614 -1.0654 0 0.008915 1.0049 0 -1.351 0 0 1.1156 0.11938 1.1794 1.1964 -1.2804 0.10793 0.44076 0 0 -1.7054 0 1.9216 1.1233 0 0 -1.1855 0 0 1.4106 -0.11298 1.6224 -0.15281 -1.9544 -0.88679 0.066291 0 0 0 0 0 0 0 0 0 0W（2，1）-17.5637 -8.8609 -15.5671 -15.7378 -10.6268 -10.2519; -17.5072 -13.0888 -17.7141 -12.2958 -15.5464 -9.0403; -17.5694 -10.423 -17.989 -10.0937 -11.4037 -14.3463; -13.2938 -14.7604 -16.3716 -8.2908 -11.3267 -7.9281; -14.7356 -12.5772 -17.3334 -9.8463 -7.2565 -12.4141; -12.9563 -17.5364 -8.9346 -16.4025 -12.894 -8.9335; -13.6787 -16.0963 -12.2998 -7.8669 -7.6758 -13.1525; -9.4472 -12.7801 -8.7146 -9.4669 -17.5422 -14.0505; -13.8608 -6.9467 -15.5058 -16.3728 -14.0474 -16.0129B1-2.169; 3.8995; 3.8994; 6.7814; 0.44775; 3.0767B2-8.6502; -6.3676; -9.0609; -14.9974; -14.9111; -12.1544; -18.6268; -12.9632; -14.6577（4）选择训练目标值最小的一种训练算法，选择Weights选项给出其训练后的连接权值和偏置，然后输入测试数据（testinputdata，testoutputdata）进行仿真（Simulate），并把训练和测试的结果都导出（Export）到工作空间，给出训练后的输出结果和输出误差，以及测试后的输出结果和输出误差。（5）对步骤（4）所选择的训练算法，再增加30组样本，然后新建一个神经网络（New Network）的结构为63-16-4，设置Network Name（神经网络名称）为nn40,并重新按照步骤（2）进行训练（Train），即输入训练样本数据（inputdata40，outputdata8421_40），训练参数设置如表2所示，随机初始化连接权（Initialize Weights）。其次输入测试数据（testinputdata，testoutputdata8421）进行仿真（Simulate），并把训练和测试的结果都导出到工作空间，给出训练后的输出结果和输出误差，以及测试后的输出结果和输出误差Output6.4658e-032 5.176e-030 3.3407e-037 1.2647e-032 2.1775e-029 4.1847e-033 3.2913e-029 1.866e-032 2.4602e-032 5.1139e-036; 2.8619e-033 5.4329e-031 7.8936e-039 3.2163e-034 2.0643e-031 1.1376e-034 3.4609e-031 3.4475e-034 2.1608e-034 1.541e-037; 8.8244e-032 7.5927e-031 8.3302e-039 1.0628e-033 1.1513e-031 3.8768e-033 8.3794e-030 5.3121e-034 8.0155e-033 2.822e-037; 1.7847e-032 4.8828e-031 6.8344e-037 3.2967e-033 9.4295e-032 4.1005e-033 4.3032e-031 1.0454e-033 1.8176e-033 1.0279e-035; 2.1251e-032 9.0666e-032 6.4794e-038 1.3767e-033 3.3935e-032 6.314e-033 1.4509e-030 2.8968e-034 4.9323e-033 1.554e-036; 7.2312e-033 2.2049e-032 1.0651e-037 3.4831e-034 6.1443e-032 1.3019e-033 4.1507e-032 5.3259e-035 2.1269e-034 1.3099e-036; 4.4993e-032 2.6847e-032 7.4608e-038 1.3261e-033 5.4417e-033 2.1186e-032 7.4523e-031 9.8869e-035 4.2524e-033 2.1778e-036; 2.0611e-028 7.2289e-030 3.3981e-036 6.5957e-033 9.9424e-032 1.725e-030 3.6817e-030 6.0212e-034 9.7959e-032 5.3561e-035; 9.9157e-034 3.6135e-034 8.5528e-042 1.3502e-037 8.5863e-035 6.1233e-036 1.228e-033 5.303e-038 5.8919e-036 1.5078e-040Error-6.4658e-032 1 -3.3407e-037 -1.2647e-032 -2.1775e-029 -4.1847e-033 -3.2913e-029 -1.866e-032 -2.4602e-032 -5.1139e-036; -2.8619e-033 -5.4329e-031 1 -3.2163e-034 -2.0643e-031 -1.1376e-034 -3.4609e-031 -3.4475e-034 -2.1608e-034 -1.541e-037; -8.8244e-032 -7.5927e-031 -8.3302e-039 1 -1.1513e-031 -3.8768e-033 -8.3794e-030 -5.3121e-034 -8.0155e-033 -2.822e-037; -1.7847e-032 -4.8828e-031 -6.8344e-037 -3.2967e-033 1 -4.1005e-033 -4.3032e-031 -1.0454e-033 -1.8176e-033 -1.0279e-035; -2.1251e-032 -9.0666e-032 -6.4794e-038 -1.3767e-033 -3.3935e-032 1 -1.4509e-030 -2.8968e-034 -4.9323e-033 -1.554e-036; -7.2312e-033 -2.2049e-032 -1.0651e-037 -3.4831e-034 -6.1443e-032 -1.3019e-033 1 -5.3259e-035 -2.1269e-034 -1.3099e-036; -4.4993e-032 -2.6847e-032 -7.4608e-038 -1.3261e-033 -5.4417e-033 -2.1186e-032 -7.4523e-031 1 -4.2524e-033 -2.1778e-036; -2.0611e-028 -7.2289e-030 -3.3981e-036 -