BP神经网络实验报告要交

1、BP神经网络实验报告要交BP神经网络在红酒分类中的应用信息学院研15谢青青1043115267摘 要：葡萄酒化学成分复杂，葡萄酒的质量是各种化学成分的综合反映，通 常检测的方法有感官评定和常规的理化指标检测，感官评定虽然在生产中也有 较多的应用，但是评测周期长，影响因素多，主观性强，重复性差，且无法快 速检测。使用BP神经网络对标准化且具有一致评判标准的数据进行训练，将来 分类时仅仅使用理化指标进行评估，不带有人为主观因素。一、BP网络简介输入层隐层BP (Back Propagation)神经网络是 1986 年由 Rumelhart 和 McCelland 为 首的科学家小组提出，是一种按

2、误差逆传播算法训练的多层前馈网络，是目前 应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入输出模式映 射关系，而无需事前揭示描述这种映射关系的数学方程。它的学习规则是使用 最速下降法，通过反向传播来不断调整网络的权值和阈值，使网络的误差平方 和最小。BP神经网络模型拓扑结构包括输入层(input) 隐层(hidden layer) 和输出层(output layer)。下图就是一个简单的BP网络模型：输出层BP神经网络的结构示意图二、BP神经元下图给出了第j个基本BP神经元(节点)，它只模仿了生物神经元所具 有的三个最基本也是最重要的功能：加权、求和与转移。其中为、X2一分别代表来

3、自神经元1、2in的输入；wji、啊2w”一w%则分别表示神经元1、 2in与第j个神经元的连接强度，即权值；瓦为阈值；f()为传递函数； 力为第j个神经元的输出1。第j个神经元的净输入值与为：街=之”勺+&=用/+与2-1其中:若视。=1,吗。二%,即令工及%.包括X。及吗。，则x=ko不与毛演 wj于是节点j的净输入邑可表示为:净输入与通过传递函数(Transfer Function) f ()后，便得到第j个神经元 的输出巧:乃=/旧）=，（工"#"如产）2-0式中f（）是单调上升函数，而且必须是有界函数，因为细胞传递的信号不可能 无限增加，必有一最大值。三、

4、建立BP神经网络BP网络的设计主要包括网络层数、输入层节点数、隐含层节点数、输出层 节点数及传输函数、训练方法、训练参数的设置等几个方面。1、网络层数BP网络可以包含一或者多个隐含层，但是对于大部分应用场合，一个隐含 层就可以满足需要，但如果样本较多，可以增加隐含层数来减小网络规模。2、输入层节点数输入层节点取决于输入向量的维数，应从实际数据中抽象出模型，形成输 入和输出空间。则该实验中的输入向量为13*178维。3、隐含层节点数这里对于网络的影响最大，较多的隐含层节点数会带来更好的效果，但是 会影响训练的时间。但是现在依然没有很好的公式来确定合理的神经元节点个 数，这也是BP神经网络的一个瓶

5、颈问题，目前也只是给出一个估计值。为了训 练的效果更好，该实验中选择隐含层为10。4、输出层神经元个数该数值是由实际问题抽象出的模型决定的，比如最后结果是N种类别，则输 出可以采用N个神经元，例如该实验中，最后结果是3类，那我们就用100、010、 001来表示某样本输入哪个类别。5、传递函数一般隐含层使用sigmoid函数，而输出层使用线性函数四、BP神经网络的训练策略及结果本文借助于MATLAB神经网络工具箱来实现多层前馈BP网络(Multi-layer feed-forward backpropagation network)的颜色空间转换，免去了许多编写 计算机程序的烦恼。神经网络的实

6、际输出值与输入值以及各权值和阈值有关， 为了使实际输出值与网络期望输出值相吻合，可用含有一定数量学习样本的样 本集和相应期望输出值的集合来训练网络。1、确定BP网络的结构确定了网络层数、每层节点数、传递函数、初始权系数、学习算法等也就确 定了 BP网络。确定这些选项时有一定的指导原则，但更多的是靠经验和试凑。1)隐含层数的确定：1998年Robert Hecht-Nielson证明了对任何在闭区间内的连续函数，都可 以用一个隐含层的BP网络来逼近，因而一个三层的BP网络可以完成任意的n 维到m维的映照。因此我们从含有一个隐层的网络开始进行训练。2) BP网络常用传递函数：BP网络常用的传递函数

7、BP网络的传递函数有多种。Log-sigmoid型函数的输入值可取任意值，输出 值在0和1之间；tan-sigmod型传递函数tansig的输入值可取任意值，输出值 在-1到+1之间；线性传递函数purelin的输入与输出值可取任意值。BP网络通 常有一个或多个隐含层，该层中的神经元均采用sigmoid型传递函数，输出层的 神经元则采用线性传递函数，整个网络的输出可以取任意值。只改变传递函数而其余参数均固定，在训练BP网络时发现，传递函数使用 tansig函数时要比logsig函数的误差小。于是在以后的训练中隐含层传递函数 改用tansig函数，输出层传递函数仍选用purelin函数。3)每层

8、节点数的确定：使用神经网络的目的是实现摄像机输出RGB颜色空间与CIE-XYZ色空间转 换，因此BP网络的输入层和输出层的节点个数分别为3。下面主要介绍隐含层 节点数量的确定。对于多层前馈网络来说，隐含层节点数的确定是成败的关键。 若数量太少，则网络所能获取的用以解决问题的信息太少；若数量太多，不仅增 加训练时间，更重要的是隐含层节点过多还可能出现所谓“过渡吻合”(Overfitting)问题，即测试误差增大导致泛化能力下降，因此合理选择隐含 层节点数非常重要。关于隐含层数及其节点数的选择比较复杂，一般原则是：在 能正确反映输入输出关系的基础上，应选用较少的隐含层节点数，以使网络结构 尽量简单

9、。本论文中采用网络结构增长型方法，即先设置较少的节点数，对网 络进行训练，并测试学习误差，然后逐渐增加节点数，直到学习误差不再有明 显减少为止。2、误差的选取在神经网络训练过程中选择均方误差MSE较为合理，原因如下：标准BP算法中，误差定义为：1 阴/ /-I每个样本作用时，都对权矩阵进行了一次修改。由于每次权矩阵的修改都没 有考虑权值修改后其它样本作用的输出误差是否也减小，因此将导致迭代次数增 加。累计误差BP算法的全局误差定义为：1 P MP八衣EG-必）吓耳 乙?-1 /-I串这种算法是为了减小整个训练集的全局误差，而不针对某一特定样本，因 此如果作某种修改能使全局误差减小，并不等于说每

10、一个特定样本的误差也都 能同时减小。它不能用来比较P和m不同的网络性能。因为对于同一网络来说, P越大，E也越大；P值相同，m越大E也越大。均方误差MSE：廨£ =一工工3一外）2?-i j-i其中：洞一输出节点的个数，/一训练样本数目，少加一网络期望输出值，少时一 网络实际输出值。均方误差克服了上述两种算法的缺点，所以选用均方误差算法 较合理。3、训练结果训练一个单隐层的三层BP网络，根据如下经验公式选择隐层节点数1：冷、二/冷+建+a式中：n为输入节点个数，m为输出节点个数，a为1到10之间的常数。针对本 论文m取值范围为313。训练结果如表1所示。表1隐含层节点数与误差的关系隐

11、含层神经元个数训练误差测试误差31. 256611. 127540 7977460. 823250.6318490. 727860.5702140. 670770.5528730. 689580. 4451180. 657590.3855780. 6497100.2696240. 4655110.1857490. 6644120. 1838780. 48130.1685870. 6671由上表可以看出：增加隐含层节点数可以减少训练误差，但超过10以后测试误差产生波动，即 泛化能力发生变化。综合比较隐含层节点数为10与12的训练误差和测试误差， 决定隐含层节点数选用12。训练误差和测试误差都很大

12、,而且收敛速度极慢，这个问题可以通过对输出量 进行归一化来解决。根据Sigmoid型传递函数输入和输出的范围，对输入变量不进行归一化处理， 只对输出变量进行归一化，这是因为在输出数据要求归一化的同时，对输入数 据也进行归一化的话，权值的可解释性就更差了。目标值按下式进行变化：M =十 0.05d d . mix niffi使目标值落在0. 05-0. 95之间，这样靠近数据变化区间端点的网络输出值就有 一波动范围，网络的性能较好。用新生成的训练样本与测试样本对隐层节点数为12的网络进行训练，得到的训练误差为9. 89O28X1(T,测试误差为1. 9899X107,达到了预定的目标。4 310

13、10Performance rs 0.183878, Goal is 0.0001ziTxTFiSTTxTa S <= xx: = : =z:x>ix t iii ICT =cT« Tias3 a * uteaaw . » 一 9rixTaxTTi s«3tsz 3 2TTG FJtTEl Str xTx x ： =： ：Z Z C ：；：?：a « a a ， a « a 1 、，里里抖阳热显"遛"骷町里;来避居避避骋避喧排;* 用罂科1002003TO4IXI90060070080090010001000 E

14、pochstllll/ 0 O0 Jo N0 111119-。6ueffl隐含层节点为12的神经网络训练结果X0GICP-800甥-中ucel10,10°1O-11O-21O-31O1410-5Performance is 9.8902-005, Goal is 0,0001 一 . T. ., re05101520 2S 33 3S 4045归一化训练样本后隐含层节点为12的神经网络训练结果六、最终训练后的神经网络结构采用三层BP网络实现摄像机输出RGB颜色空间与CIEXYZ色空间转换，其 中隐含层含有12个节点，传递函数采用tansig函数；输出层传递函数选用 purelin函数

15、。经过测试后结果满意，可以认为该神经网络可以用来实现这个关 系映射。网络的结构如下图所示：al =tansig(wl + b 1)a2=purelin(w2*a l+b2)其中：R输入层节点数 S1一隐层节点数 S2输出层节点数三层BP网络结构得到的BP神经网络的权值和阈值为：- - 0.00290.0237-0.0091-2,4894-0.00880.0095-0.01223.4834-0.00980.00190.00041.96230.0792-0.11990.03241.97520.00670.0341-0.0129-5.2271/=0.00300.0104-0.0129瓦=-2.232

16、8-0.0043-0.0142-0.01273.9847-0.0011-0.00160.0085-1.29960.1392-0.1281-0.01411.91180.00940.0879-0.0807- 5.0905-0.00310.0244- 0.0208-0.5144_ -0,0214 0.05290.0052 _4.81620.23930.40860.1712 -A1.17050.7430-0.0577-0.4251-0.3157-0.10850.06840.05530.00180.0064-0.0457-Q.H09-0.0941-0.27960.00340.02830.01910.07

17、310.87560.75011.47040.29240.19380.3203- 0.0023-0.0106-0.0116r-0.10680.14970.14330.0429年二 0.1532-0.0162-0.02070.0164 _|_ 1,1372六、总结1) 定量地分析了用线性关系转换摄像机RGB空间到CIE-XYZ空间数据后产生的均方误差，表明CCD摄像机与标准观察者之间有比较明显的差别，也就 是说RGB与CIE-XYZ间的转换是非线性的。2) 采用MATLAB中神经网络工具箱实现多层前馈BP网络的RGB到 CIEXYZ颜色空间转换，用经过归一化的训练样本与测试样本对隐含层节点数为 1

18、2的三层网络进行训练，得到的训练误差为9.89028X10,测试误差为1. 9899 X KT,结果表明经过训练的多层前馈BP网络可以满足RGB空间向CIEXYZ颜色 空间转换要求，达到了预定目标。3) 确定了用于RGB和XYZ颜色空间转换的BP网络结构，并求出了该神经网络的权值和阈值。使用该网络可以定量表达食品颜色，定量比较高压加工 食品颜色的变化，可以使食品颜色测定和控制实现定量化，而不再是主观性很 强的模糊描述。clear all;fid=fopen(1wine_data.txt1) ;%C=textscan(fid,%s %f%s %f%s %f%s %f%s %f%s %f%s %f%s %f%s %f%s %f%s%f%s %f%s %f%s * , * Del