基于BP神经网络的应用

安阳师范学院本科学生毕业论文 基于 经网络的应用 作 者 院（系） 专 业 年 级 学 号 指导教师 日 期 学生诚信承诺书 本人郑重承诺：所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得安阳师范学院或其他教育机构的学位或证书所使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签 名： 日期： 论文使用授权说明 本人完全了解安阳师范学院有关保留、使用学位论文的规定，即：学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 签名： 导师签名： 日期： 第 1 页 基于 经网络的应用 摘 要： 神经网络是近年来信息科学、脑科学、神经心理学等诸多学科共同关注和研究的热点。由于其具有良好的抽象分类特性现已应用于图像识别系统 的研究和开发，并成为解决识别相关问题的有效工具。文章在讲述图像识别过程的基础上重点讨论利用 经网络对人脸进行识别 ,用 成对神经网络的训练和测试 ,并获得满意的结果。 关键词： 人脸识别；图像识别； 经网络 1 引言 计的目的和意义 人脸识别技术具有广泛的应用前景，在国家安全、军事安全和公共安全领域，智能门禁、智能视频监控、公安布控、海关身份验证、司机驾照验证等是典型的应用；在民事和经济领域，各类银行卡、金融卡、信用卡、储蓄卡的持卡人的身份验证，社会保险人的身份验证等具有重要 的应用价值；在家庭娱乐等领域，人脸识别也具有一些有趣有益的应用，比如能够识别主人身份的智能玩具、家政机器人，具有真实面像的虚拟游戏玩家等等。 人工神经网络模式识别方法是近些年提出的新方法，为字符识别研究提供了一种新手段，它具有一些传统技术所没有的优点：良好的容错能力、分类能力强、并行处理能力和自学习能力。因而，采用神经网络识别方式是一种很好的选择。 课题的研究内容 第一部分为引言部分，指出课题研究目的和意义、课题主要完成的工作； 第二部分介绍了 经网络，涵盖 法、 经网络的基 本原理及模型、 法的步骤，还介绍了 第三部分介绍了基于 要包括 计仿真结果； 第四部分介绍了 经网络进行的优化及技术改进，通过系统设计的实现，用实验验证其有效性； 第五部分为论文的结语部分，对本课题的设计进行了总结。 2 神经网络的基本原理 P 算法的概述 人工神经网络（ et 写为 简称为神经网络（ 称作连接模型 （ 它是一种模范动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。 人工神经网络发展的主要历程有 :20 世纪 50 年代末 ,出的感知器模型和出的自适应线性元件 ,出现了简单的线性分类器 ;1986 年 , 出了层网络 “误差反向传播算法 (,使有导师学习多层感知器网络 (N)模式分类器走向实用化 ,在此基础上又派生出若干前向网络 ,如径向基函数网络 ( 函数链网络等 ;1982年 ,美国加州工学院的物理学家 出的一种用于联想记忆和优化计算的反馈网络模 第 2 页 型 ,由于引进了 “能量函数 ” 的概念 ,使网络走向具体电路有了保证 ;20 世纪 70 年代 ,出了使用模式子空间的概念来设计不同类别对应的子空间 ,由不同类别聚类的子空间实现模式识别 ; 构成人工神经网络的三个基本要素是 :神经元、络拓 扑结构和网络的训练 (学习 )方法。神经元 (节点 )的作用是把若干输入加权求和 ,并对这种加权和进行非线性处理后输出。神经元的 选择一般有以下特点 :每个神经元都具有多个输入、个输出 ,具有闭值 ,采用非线性函数。 P 神经网络模型及其基本原理 络是一种多层前馈神经网络，由输入层、隐层和输出层组成。图 1 为一个典型的三层 络的拓扑结构，层与层之间采用全互连方式，同一层之间不存在相互连接 ,隐层可以有一层或多层。层与层之间有两种信号在流通：一种是工作信号 (用实线表示 )，它是施加输入信号后向前传播直到 在输出端产生实际输出的信号，是输入和权值的函数。另一种是误差信号 (用虚线表示 ),网络实际输出与期望输出间的差值即为误差，它由输出端开始逐层向后传播。络的学习过程程由前向计算过程和误差反向传播过程组成。在前向计算过程中，输入量从输入层经隐层逐层计算，并传向输出层，每层神经元的状态只影响下一层神经元的状态。如输出层不能得到期望的输出，则转入误差反向传播过程，误差信号沿原来的连接通路返回，逐次调整网络各层的权值和阈值，直至到达输入层，再重复向计算。这两个过程一次反复进行，不断调整各层的权值和阈值，使得网络误 差最小或达到人们所期望的要求时，学习过程结束。 图 1 典型 络是应用最广泛的网络，现已成功地应用于图像识别、预测预估、语声变换、数据压缩、模式辨识和自动控制等领域。据统计，应用 法的神经网络高达 80%。因此本文 第 3 页 选用它作为进行人脸识别的方法。下面介绍其工作原理 。 法的基本思想是，学习过程由信号的正向传播与误差的逆向传播两个过程组成。正向传播时，模式作用于输入层，经隐层处理后，传向输出层。若输出层未能得 到期望的输出，则转入误差的逆向传播阶段，将输出误差按某种子形式，通过隐层向输入层逐层返回，并“分摊”给各层的所有单元，从而获得各层单元的参考误差或称误差信号，以作为修改各单元权值的依据。这种信号正向传播与误差逆向传播的各层权矩阵的修改过程，是周而复始进行的。权值不断修改的过程，也就是网络的学习（或称训练）过程。此过程一直进行到网络输出的误差逐渐减少到可接受的程度或达到设定的学习次数为止。图 2 为 法流程图 : 图 2 算 法流程图 P 算法的步骤 法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对 第 4 页 网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： （ 1） 初始化，随机给定各连接权 w,v及阀值 i， （ 2）由给定的输入输出模式对计算隐层、输出层各单元输出 。 （ 3）计算新的连接权及阀值 。 （ 4）选取下一个输入模式对返回第 2 步反复训练直到网络设输出误差达到要求结束训练。 第一步，网络初始化 。 给各连接权值分别赋一个区间（ 1）内的随机数，设定误差函数 e，给定计算精度值和最大学习次数 M。 第二步 ,随机选取第 k 个输入样本及对应期望输出 。 第三步，计算隐含层各神经元的输入和输出 。 第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 。 第五步，利用隐含层到输出层的连接权值、输出层和隐含层的输出计算误差函数对隐含层各神经元的偏导数 。 第六步，利用输 出层各神经元和隐含层各神经元的输出来修正连接权值 。 第七步，利用隐含层各神经元和输入层各神经元的输入修正连接权。 第八步，计算全局误差 。 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 P 神经网络的主要功能 目前，在人工神经网络的实际应用中。绝大部分的神经网络模型都采用 经网络及其变化形式。它也是前向网络的核心部分，体现了人工神经网络的精华。 络主要用于以下四 方面。 （ 1）函数逼近：用输入向量和相应的输出向量训练一个网络以逼近一个函数。 （ 2）模式识别：用一个待定的输出向量将它与输入向量联系起来。 （ 3）分类：把输入向量所定义的合适方式进行分类。 （ 4）数据压缩：减少输出向量维数以便传输或存储。 3 基于 经网络的面部识别应用的设计 P 网络神经实现人脸识别过程： 人脸识别就是对于输入的人脸图像或者视频，首先判断其中是否存在人脸，如果存在人脸，则进一步的给出每个人脸的位置、大小和各个主要面部器官的位置信息，并依据这些信息，进一步提取每个人脸中所蕴 含的身份特征，并将其与已知人脸库中的人脸进行对比，从而识别每个人脸的身份。 图 3 为人脸识别过程。 人脸识别的过程可以分为以下三个部分： 1、人脸检测：判断输入图像中是否存在人脸，如果有，给出每个人脸的位置，大小； 2、面部特征定位：对找到的每个人脸，检测其主要器官的位置和形状等信息； 3、人脸比对：根据面部特征定位的结果，与库中人脸对比，判断该人脸的身份信息； 第 5 页 图 3 人脸识别过程 P 神经网络分类器的设计 标准 层，即输入层，隐含层和输出层 入层神经元数为 I，隐含层神经元数为 H，输出层神经元数为 络输出层的神经元数 p，对于任意一个人脸测试图像，可根据网络输出层输出矢量的最大分量分类 通常比较大，而训练样本数 以设计用于人脸识别的 为了实现具有推广能力强的 以从特征压缩着手，压缩输入矢量的维数，并适当地选择隐含层的神经元数 对输入矢量作标准化处理，并给各连接权值适当地赋予初值。 1 特征压缩 文将类间相关矩阵取作为 (1) 这里 mi(i=1,p)是训练样本集中各类模式样本的均值矢量 . 产生矩阵 p，由奇异值分解定理，可以得到 于任意 过向特征向量投影可将人脸图像的特征维数从 2 隐含层神经元数的选取 网络的隐含层可以认为 是通过输入层与隐含层之间的连接权值的“自组织化”对输入模式进行特征抽取，并将抽取出的特征传递给输出层，关于隐含层的神经元数 一般地，隐含层的神经元数 络的冗余性大，增加了网络一次训练的训练时间，尽管使网络收敛的训练次数会减少，但会降低分类器的推广能力 然网络未知的连接权值的个数不宜超过训练样本值的个数，所以隐含层的神经元数 (I+1)H+(H+1)J 2) 人脸识别网络输出层的神经元数 数 p，而通过特征压缩，网络输入层的神经元数 p，这样可按下式选取隐含层的神经元数 H： H K/2 (3) 即网络隐含层的神经元数宜取为训练样本数的一半 . 3 输入矢量的标准化 由于 (s)的曲线两端平坦，中间部分变化剧烈，为了提高网络的收敛速度，对网络输入矢量的每个分量宜作如下形式的标准化处理： 第 6 页 (4) 这里与 (别为所有训练样本矢量的第 4 连接权值初值选取 将网络输入、隐含两层神经 元连接权值与隐含、输出层两层神经元连接权值分别记为 i=0,I； h=0,H； j=1,J），这里 一般认为连接权值初值可在区间 随机选取。 假设网络连接权值初值在区间 内随机选取，网络输入矢量 均值为 0，方差为 1，并取神经元阈值初值为 0，则在网络隐含层每个神经元上的输入为中心极限定理可认为它近似服从正态分布，其均值与方差为： (5) 式中的近似等式可由统计 知识得到 . 由于当自变量 5， 5上变化时， (s)才起作用，因此根据正态分布的 3规则，连接权值的初值选取宜满足如下要求： (6) P 网络的面部识别的程序设计 部图像信息提取 （ 1）本文采用已得的面部图形，如图： 图 4面部图形 （ 2）以脸向右为例，从面部取 8个信息点，包括两眼间距等面部特征值，如下： 0 因为一共是 8个特征值，所以 823 可知用二值定义的用 3 个数表示向左的期望值： 第 7 页 1 0 0 以此类推，可以定义出各种面部方向期望值为： 1 1 0 0 0 0 0 0 1 1 0 0 0 0 0 （ 3） 程序如下： ; ; %表示人脸 ; %表示方向 ; ; ; j=1:i=1:,i),_,j),; %读取图像，连接字符串形成图像文件名。 %获得图像的行和列值 ; %由于在分割图片中我们可以看到这个人脸的眼睛部分也就是位于分割后的第二行中，位置变化比较大，而且眼睛边缘检测效果很好 ); %最接近的最小整数 ,分成 6行 ); %最接近的最小整数，分成 8列 _%前 5个是第一幅人脸的 5个角度 ; :8 %因为这还在 i， 以不可以用 i 0; ii=2*:ii, 将特征值转换为小于 1的值 第 8 页 i=1:3 0i; (1)&()&(&(&(&(&(&(i=15) t(3,i)=1; 程序如下： % 生成一个新的前向神经网络 % 对 经网络进行训练 % 对 经网络进行仿真 % 定义训练样本 % P 为输入矢量 P=% T 为目标矢量 T=t ) ) % ) % ) 第 9 页 % 创建一个新的前向神经网络 ),10,3, % 当前输入层权值和阈值 ,1 % 当前网络层权值和阈值 ,1 % 设置 训练参数 50; 10000; %每次练 1000次就显示一个结果 1%训练目标，误差小于 可以停止训练。 % 调用 法训练 络 ,T); % 对 络进行仿真 A = ); % 计算仿真误差 E = T - A; ) x= 1 1 0 1 1 ; x) 其中设计的 个输出层，隐含层设计了 10个神经元，传递函数采用的是 出层设计了 3个神经元，传递函数采用的是 后计算仿真误差。 计仿真结果 通过计算可得到最后的误差为 似为 0，可以达到要求，实现对面 部的识别，如图 5所示。 使用该 经网络设计，将能实现的效果，举例说明。如果采样输入为 X= 1 1 0 1 1 x），得到仿真结果 这组数据判断人脸的方向。 第 10 页 0 20 40 60 80 10010 6 E p o c h e r f o r m a n c e i s 0 . 0 0 0 9 8 5 8 7 7 , G o a l i s 0 . 0 0 1图 5 误差防真结果 其中部分结果如下： (1)当前输入层权值和阈值 2)当前输入层阈值 第 11 页 3)当前网络层权值和阈值 经网络的改进与优化 准 法的缺陷： 1）易形成局部极小（属贪婪 算法，局部最优 )而得不到全局最优； 2）训练次数多使得学习效率低下，收敛速度慢（需做大量运算）； 3）隐节点的选取缺乏理论支持； 4）训练时学习新样本有遗忘旧样本趋势。 P 网络的优点以及局限性 经网络最主要的优点是具有极强的非线性映射能力。理论上，对于一个三层和三层以上的 络，只要隐层神经元数目足够多，该网络就能以任意精度逼近一个非线性函数。其次， 经网络具有对外界刺激和输入信息进行联想记忆的能力。这是因为它采用了分布并行的信息处理方式，对信息的提取必须采 用联想的方式，才能将相关神经元全部调动起来。经网络通过预先存储信息和学习机制进行自适应训练，可以从不完整的信息和噪声干扰中恢复原始的完整信息。这种能力使其在图像复原、语言处理、模式识别等方面具有重要应用。再次， 经网络对外界输入样本有很强的识别与分类能力。由于它具有强大的非线性处理能力，因此可以较好地进行非线性分类 , 解决了神经网络发展史上的非线性分类难题。另外， 经网络具有优化计算能力。 经网络本质上是一个非线性优化问题 , 它可以在已知的约束条件下，寻找一组参数组合，使该组合确定 的目标函数达到最小。不过，其优化计算存在局部极小问题，必须通过改进完善。 由于 络训练中稳定性要求学习效率很小，所以梯度下降法使得训练很慢。动量法因为学习率的提高通常比单纯的梯度下降法要快一些，但在实际应用中还是速度不够，这两种方法通常只应用于递增训练。 多层神经网络可以应用于线性系统和非线性系统中，对于任意函数模拟逼近。当然，感知器和线性神经网络能够解决这类网络问题。但是，虽然理论上是可行的，但实际上 络并不一定总能有解。 对于非线性系统，选择合适的学习率是一个重要的问题。在线性 网络中，学习率过大会导致训练过程不稳定。相反，学习率过小又会造成训练时间过长。和线性网络不同，对于非线 第 12 页 性多层网络很难选择很好的学习率。对那些快速训练算法，缺省参数值基本上都是最有效的设置。 非线性网络的误差面比线性网络的误差面复杂得多，问题在于多层网络中非线性传递函数有多个局部最优解。寻优的过程与初始点的选择关系很大，初始点如果更靠近局部最优点，而不是全局最优点，就不会得到正确的结果，这也是多层网络无法得到最优解的一个原因。为了解决这个问题，在实际训练过程中，应重复选取多个初始点进行训练，以保证训练结 果的全局最优性。 网络隐层神经元的数目也对网络有一定的影响。神经元数目太少会造成网络的不适性，而神经元数目太多又会引起网络的过适性。 进的 络算法 1 改进算法概述 此前有人提出：任意选定一组自由权，通过对传递函数建立线性方程组，解得待求权。本文在此基础上将给定的目标输出直接作为线性方程等式代数和来建立线性方程组，不再通过对传递函数求逆来计算神经元的净输出，简化了运算步骤。没有采用误差反馈原理，因此用此法训练出来的神经网络结果与传统算法是等效的。其基本思想是：由所给的输入、输 出模式对通过作用于神经网络来建立线性方程组，运用高斯消元法解线性方程组来求得未知权值，而未采用传统 络的非线性函数误差反馈寻优的思想。 2 改进算法的具体步骤 对给定的样本模式对，随机选定一组自由权，作为输出层和隐含层之间固定权值，通过传递函数计算隐层的实际输出，再将输出层与隐层间的权值作为待求量，直接将目标输出作为等式的右边建立方程组来求解。 现定义如下符号（见图 1）： x （ p）输入层的输入矢量； y （ p）输入层输入为 x （ p）时输出层的实际输出矢量； t （ p）目标输出矢量； n， m， r 分别为输入层、隐层和输出层神经元个数； W 为隐层与输入层间的权矩阵； V 为输出层与隐层间的权矩阵。 具体步骤如下： （ 1）随机给定隐层和输入层间神经元的初始权值 （ 2）由给定的样本输入 p）计算出隐层的实际输出 p）。为方便起见将图 1 网络中的阀值写入连接权中去，令：隐层阀值 j=x（ n） = 1，则： p） =f（ p） （ j=1， 2 m 1）。 （ 3）计算输出层与隐层间的权值 输出层的第 r 个神经元为对象，由给定的输出目标值p）作 为等式的多项式值建立方程， 用线性方程组表示为： 1） 1） +1） 1） 2） 2） +2） 2） p） p） +p） p） 简写为： 为了使该方程组有唯一解，方程矩阵 A 为非奇异矩阵，其秩等于其增广矩阵的秩，即： r（ A） =r（ A B），且方程的个数等于未知数的个数，故取 m=p，此时方程组的唯一解为： r=0， 1， 2 m 1） （ 4）重复第三步就可以求出输出层 m 个神经元的权值，以求的输出层的权矩阵加上随机固定的隐层与输入层的权值就等于神经网络最后训练的权矩阵。 第 13 页 5 结论 在这几个月里，面对着诸多的问题和考验，我一次又一次享受了难题解决前的困惑和难题解决后的兴奋。虽然本次设计的成品还存在着一些问题，但是，对于我自己来说，却是不小的收获。还有在编写论文时，由于论文篇幅和时间的因素，有很多需要论述的地方都已经省略，本论文只着重论述各种功能的基本算法，至于基本输入输出并没有包括在内，还有很多地方是一笔带过的，希望读者见谅。 第 14 页 致 谢 经过几个月的努力，查找资料、深入分析，此次毕业论文终于圆满完成。虽然自己查阅了大量资料、还进行了深入分析，做了许多相关的工作，但没有导师的悉心指导和其他老师同学的大力帮助，我也是无法完成此次毕业设计的，特在此向在我完成