人工神经网络设计课程报告byHHU

人工神经网络课程报告姓名张进学号151307040035专业计算机科学与技术指导老师曾晓勤2015年12月1基于BP神经网络的英文字母识别技术报告摘要本技术报告主要介绍了利用BP神经网络进行英文字母的识别主要过程，为了检测网络的容错性能和抗干扰能力，试验中我还准备了隐藏16和33样本数据，因为题目中没有特别要求，故本次实验程序的编写主要使用了作者较为熟悉的JAVA语言。关键词BP神经网络；噪声干扰；模式识别；JAVA语言一、项目设计题目用多层感知机网络实现对样本图像AZ的识别，输出相应的数值025，通过分析实验结果讨论感知机网络的识别和容错性能。二、实验设计概要1、实验数据预处理模式识别应用的领域非常广泛，其中字母的识别是一个经常研究的课题。由于在不同的课题中，由于具体的条件不同，解决的方法也不尽相同，因而字符识别的研究仍具有理论和实践意义。这里讨论的是用BP神经网络对26个英文字母的识别，BP网络算法是学者RUMELHART、MCCLELLAND和他们的同事在20世纪80年代中期提出的多层前馈网络MFNNMUTLTILAYERFEEDFORWARDNEURALNETWORKS的反向传播学习算法。BP网络是对非线性可微分函数进行权值训练的多层前向网络。在对字母进行识别之前，需要将字母进行预处理，即将待识别的26个字母中的每一个字母都通过的方格形式进行数字化处理，其有数据的位置设为1，其他位置设为1。如图1给出了字母A、B和C的数字化过程。下面给出了字母A的数字化处理结果，是用一个130向量表示，其结果为2P0301,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1；其他字母对应的向量也做类似的处理。最终的标准输入矩阵P2630,包含26个字母向量。ABC图1字母数字化样式2、网络的初始设计本次网络主要选择如图2所示的网络结构，其中有一个输入层，一个隐含层，一个输出层，网络结构为30301，其中，。NEF1F21111111111111111111111111111111111111111111111111111111111111111111111111111111111111111113图2网络结构本次如图2所示的网络中，P为待输入的学习（识别）向量，因为每个字母都有30个元素的向量表示，所以P的维数为301，W1为第一层权值，维数3030，W2为第二层权值，维数301，B1为第一层偏值，维数301，B2为第二层偏值，维数11，A1为第一层输出，维数301，A2为网络最后的输出，至此基本的网络结构初始设计完毕。3、初始化各项参数本次初始化参数主要包括初始化隐含层第一层的权值W13030和偏置值B130，初始换隐含层第二层的权值W230和偏置值B2，本次实验选取的初始值为005之间的随机实数。其中随机实数可以通过调用JAVA语言的RANDOM方法得到。对于学习速度可以先设置为001，当然，也可以在后面的实验过程中不断的调节的值使得学习的更快更好，具体代码实现见附录。4、前向传播设计在前面工作完成的基础上，首先需要根据BP算法的公式和P0A计算第一层网络的输出A1，然后根据公式计算出）101BAWF）212BAWF最后输出层的A2，这就是BP神经网络的前向传播过程。最后根据计算出误差TEE，具体代码实现见附录。5、敏感性计算4由于在计算敏感性之前需要用到传输函数的导数，故需要提前计算出来。具体导数推导如式（51）和式（52）所示（51）111121AEEDNFNNN（522F然后根据式（51）和式（52）可以得到S2的计算公式和第一层NF2SAT）（敏感性S1的计算公式，具体代码实现见附录。211WNFSST6、权值和偏值的更新这里需要用到我之前设置的学习速度，实验中可以尝试修改的值，观察实验效果。具体的权值偏值计算可以根据公式（61）、公式（62）、公式（63）、公式（64）计算得到，具体代码实现见附录。（61）TAS0W11222（62）01（63）22B1S（64）107、测试网络性能BP算法需要不停地迭代去更新权值和偏置直至某次迭代后误差E满足了实验的要求或者达到了最大的迭代次数。学习后预期的效果应当是当使用训练样本给BP网络识别时，它能够识别出字母AZ，输出对应的数字025；当使用隐藏部分数据的样本给它识别时，如果它能够识别多数AZ破损数据，说明该BP网络的抗干扰、容错能力较强，反之如果大5部分无法识别，则说明本网络容错能力较差。3、实验结果展示1、实验一学习速度A01，误差E001，迭代次数M2000，学习结束效果如图3所示。图3实验一结果部分展示2、实验二学习速度A001，误差E001，迭代次数M2000，实验结果如图4所示。6图4实验二结果部分展示3、实验三学习速度A001，误差E00001，迭代次数M2000，实验结果如图5所示。7图5实验三结果部分展示4、实验四学习速度A0015，误差E00001，迭代次数M3000，实验结果如图6所示。8图6实验四结果部分展示通过观察四次实验的效果图可以清楚的发现，学习速度，误差标准和迭代次数对识别的效果都有影响。显然本次实验最合适的学习速度A0015，可以发现当学习速度不变时，误差选取的越小，迭代次数越大，则识别的效果越好。5、实验五为了简单的验证一下BP网络的容错能力，下面进行实验五，在原始数据P基础上隐藏最后一行（隐藏16）进行识别，具体参数为A0015，E00001，M3000，实验结果如图7所示。9图7实验五结果部分展示由图7可以发现，绝大部分破碎的数据无法被正确识别，小部分字母可以被识别。因此可以说明本次实验构造的BP网络的容错性较差。4、实验总结本次实验主要实现基于BP网络的字母识别功能，通过实验我深入了解了BP算法的原理，能够通过编程搭建一个简单的BP网络。在实验中通过调整学习速度，迭代次数，误差大小，实现了对BP网络性能的优化。通过本次实验，我也体会到了BP算法还有有它很大的局限性的，比如训练次数多使得学习效率较低，算法的收敛速度较慢，易形成局部极小而得不到全局最优等。在实验中，我发现当学习速度设为01的时候，算法的震荡较为验证，结果不好，并且需要的迭代次数大，但是当学习速度设为001时。算法明显稳定很多，结果处理的好，需要的迭代次数少，能较快的给出相应的正确的结果。10附录PUBLICCLASSBP_ALGORITHMPUBLICSTATICVOIDMAINSTRINGARGS/BP主方法DATADATANEWDATASHOWDATAP/输出元数据BP_INITDATA/初始化参数BP_LEARNDATA,3000/调用BP学习算法，5200为学习迭代次数，可以调节BP_TESTDATA,DATAP/测试BP算法的正确性BP_TESTDATA,DATAP_TEST_16/测试隐藏了16数据的正确性BP_TESTDATA,DATAP_TEST_33/测试隐藏了33数据的正确性STATICVOIDSHOWFLOATP/根据矩阵用打印出字幕图像的方法INTI,J,KFORI0I0ELSEAIJ1SHOWA附录2IMPORTJAMAMATRIXPUBLICCLASSHEBBDIFFER/09原始数据，在书中表示为PTSTATICDOUBLEP1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/2,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/3,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/4,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/537,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/6,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/7,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/8,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/9/隐藏了33的09的数据STATICDOUBLEP_331,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/0,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/2,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/3,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/4,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/5,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/6,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/7,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/8,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/9/AJ标准输出STATICDOUBLET1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/A,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/B,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/C,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/D,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/E38,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/F,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/G,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/H,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/I,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1,1/JSTATICMATRIXPT/输入矩阵P的转置矩阵,在书本上是表示为PSTATICMATRIXTEMP/用来临时存放表示书中的PTP，在程序中为PPTSTATICMATRIXPN/表示TEMP的逆矩阵STATICMATRIXPF/表示输入矩阵的仿逆矩阵STATICMATRIXTT/表示输出T的转置STATICDOUBLERESULT_TNEWDOUBLE3010/存放最后的结果，但是是以转置的形式存在的STATICDOUBLERESULTNEWDOUBLE1030/存放最后的结果STATICDOUBLEWNEWDOUBLE3030/权值的矩阵STATICDOUBLEPT_ARRAYNEWDOUBLE3010/输入矩阵P的转置矩阵对应的二维数组PUBLICSTATICVOIDMAINSTRINGARGSMATRIXP_MATRIXMATRIXCONSTRUCTWITHCOPYP/将输入二维数组P格式化成矩阵PTP_MATRIXTRANSPOSE/转置矩阵TEMPP_MATRIXTIMESPT/表示书本上的公式PTPPNTEMPINVERSE/调用JAMA方法运算出矩阵的逆PFPNTIMESP_MATRIX/得到输入矩阵的仿逆矩阵39TTMA