（信号与信息处理专业论文）基于神经网络的织物起毛起球客观评价.pdf

摘要 本文研究利用神经网络对织物起毛起球等级进行客观评价的方法。b p 算法 作为人工神经网络的传统常用训练算法具有寻优精确的特点但也存在不足之处。 在本文中，针对b p 神经网络由于初始权值的随机选取而造成陷入局部极小的问 题，而引入以遗传算法为基础的b p 神经网络学习算法。遗传算法具有很强的宏 观搜索能力和良好的全局优化性能。利用遗传算法自身特有的优势找到b p 神经 网络权值的全局最优解进而提高b p 神经网络的收敛速度和精度。该算法使b p 神经网络的快速并行性和遗传算法的全局搜索性相结合，首先利用遗传算法对神 经网络初始权值和阈值进行全面进化设计，在解空间中定位出较好的搜索空间， 然后在进化神经网络中用训练样本再次寻优。 本文引入遗传算法以优化b p 神经网络的网络结构、网络连接权值和阈值， 而建立基于遗传算法的b p 神经网络模型并试用于对织物起毛起球的客观评价。 实验结果表明该算法可避免b p 算法易于陷入局部极小值、训练速度慢、误差函 数必须可导等缺陷，而且既能够快速地收敛到全局最优解，又能够在简化网络结 构复杂度的同时得到网络权值的最佳逼近。对织物起毛起球的客观评级可以获得 较好的结果，也就是说基于遗传算法的b p 神经网络模型在织物起毛起球等级的 客观评价中具有一定的实用价值。 关键词：b p 神经网络；遗传算法；织物起毛起球；客观评价 a b s t r a c t u s i n gn e u r a ln e t w o r k sf o ro b j f e c t i v ee v a l u a t i o nt of a b r i cp i l l i n gi ss t u d i e di nt h i s t h e s i s b pa l g o r i t h m ，a so n eo fc o m m o nt r a i n i n g a l g o r i t h m so fa r t i f i c i a ln e u r a l n e t w o r k ，h a st h ec h a r a c t e r i s t i c so fa c c u r a t es e a r c hf o rs o l u t i o n ，b u ti ta l s oe x i s ts o m e l i m i t a t i o n i nt h i st h e s i s ，t oa c c e l e r a t et h ep r o n e n e s st oy i e l dm i n i m a ll o c a lr e s u l to f b pn e u r a ln e t w o r k sc a u s e db ys e l e c t i n gi n i t i a lw e i g h t sr a n d o m l y , an e wl e a r n i n g a l g o r i t h mo fa r t i f i c i a ln e u r a ln e t w o r kb a s e do ng e n e t i ca l g o r i t h mi ss t u d i e d m a k i n g u s eo fg e n e t i ca l g o r i t h m sa d v a n t a g e s ，w ec a nf i n dt h ew h o l er e s u l tt oi m p r o v et h e c o n v e r g e n c er a t ea n dp r e c i s i o no fb pn e t w o r k s i nt h ea l g o r i t h m ，t h eg l o b a lp r o p e r t y o fg e n e t i ca l g o r i t h ma n dt h ep a r a l l e l i s mo fn e u r a ln e t w o r kw e r ec o m b i n e d f i r s t l y , g e n e t i ca l g o r i t h mw a su s e dt oe v o l v ea n dd e s i g nt h ei n i t i a lw e i g h t sa n dt h r e s h o l d s ，t h e t r a i n i n gr a t i oa n dm o m e n t u mf a c t o ro fn e u r a ln e t w o r k ，a n dab e t t e rs e a r c h i n gs p a c e w a sf o u n do u ti nt h es o l u t i o ns p a c e t h e n ，t r a i n i n gs a m p l e sw e r eu s e dt os e a r c hf o r t h eo p t i m a ls o l u t i o na g a i nb yt h ee v o l v e dn e u r a ln e t w o r k t h ep a p e ri n t r o d u c e sg e n e t i ca l g o r i t h mt oo p t i m i z eb pn e u r a ln e t w o r k ss t r u c t u r e a n dn e t w o r ki n t e r c o n n e c t i o nv a l u e ( t h r e s h o l dv a l u e ) ，a n dc r e a t e st h em o d e lb a s e do n b pn e u r a ln e t w o r k so fg e n e t i ca l g o r i t h m s ( t h eg a - b pm o d e l ) t ob e a p p l i e d t o o b j e c t i v ee v a l u a t i o no ff a b r i cp i l l i n g t h ee x p e r i m e n tr e s u l t ss h o wt h a tt h ea l g o r i t h m c a l lo v e r c o m et h ei n s u f f i c i e n c yo fb pa l g o r i t h m ，s u c ha sl i a b l e t og e ti n t ol o c a l m i n i m u m ，s l o ws p e e di nt r a i n i n g ，a n dd e r i v a t i v ee r r o rf u n c t i o nr e q u i r e d t h e r e b y , i t s h o w st h a tb pn e u r a ln e t w o r k sb a s e do ng e n e t i ca l g o r i t h m sh a v ea d v a n t a g ei nf a b r i c e v a l u a t i o n a n dt h i sm e t h o dh a s h i g hc o n v e r g e n ts p e e d ，e a s i l y o r i e n t e dg l o b a l o p t i m i z a t i o na n dp r a c t i c a lv a l u e k e yw o r d s ：b pn e u r a ln e t w o r k ，g e n e t i ca l g o r i t h m s ，f a b r i cp i l l i n g ，o b j e c t i v e e v a l u a t i o n 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表或 撰写过的研究成果，也不包含为获得丞洼王些太堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 呈f 乙受 签字日期：汐口7 年2 ，月叼日 学位论文版权使用授权书 本学位论文作者完全了解云洼王些太堂有关保留、使用学位论文的规定。 特授权丞洼王些太堂可以将学位论文的全部或部分内容编入有关数据库进行 检索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：雪纪霞 签字日期： 护c ) 年z 月2 7 日 导师签名： 签字日期： 节 月青ul识年 弘1 学位论文的主要创新点 采用遗传算法和b p 算法相结合的方法训练神经网络，应用于针 织物起毛起球等级客观评价。引用遗传算法优化b p 神经网络以克服 b p 算法易于陷入局部极小值等缺点，提高神经网络的收敛速度和收 敛质量。 第一章绪论 第一章绪论 1 1 本课题研究背景及其意义 本课题为天津市自然科学基金项目“基于图像分析的纺织品起毛起球客观评 级系统 ( 0 7 j c y b j c l 3 7 0 0 ) 的一部分。 织物在实际穿用与洗涤过程中，不断经受摩擦，使织物表面的纤维端露出， 则就在织物表面呈现许多毛绒，即为“起毛”；若这些毛绒在继续穿用过程中不能 及时脱落而相互纠缠在一起，被揉成许多球形小粒，通常称为“起球”【1 1 。起毛起 球是衡量织物服用性能、决定纺织产品质量的一项重要指标。因此，在纺织面料 的生产、质量控制和国内外贸易中，必须对织物的起球性能进行测试和评估，即 在一定的实验条件下，对织物的起球等级进行评定。国内外长期以来，对于织物 起毛起球等级的评定一直采用感官评价方法，即依靠专职评定人员对照标准样照 进行主观评定，此评定方法不仅在不同的评定人员之间的评定结果离散性较大， 而且同一评定人员在不同时间里对同一待评试样也会出现评定差异。因此，纺织 品检测领域迫切需要一种可靠的织物起毛起球客观评定方法。应用b p 神经网络 技术对织物起毛起球等级进行评估，可以克服传统的对照标准样照进行评估的主 观方法的局限性，而使等级评估向客观化、快速化、准确化方向发展。运用计算 机图像处理技术对织物起毛起球进行定量分析，再进行等级评定将是今后客观评 定的必然趋势。 1 2 纺织品等级评估的国内外研究现状 1 2 1 织物起毛起球等级的主观评估方法 织物起毛起球等级的评定方法有很多，如对织物单位面积上的毛球个数、毛 球重量进行计量，与标准样照对照评级，用文字描述起球特征、起球曲线等。 ( 1 ) 样照法 在标准光照条件下，评估者将起球试样与标准等级样照加以比较后进行等级 评定。样照法是目前应用最为广泛的主观评定方法，但这种方法由于评估者经验 不同导致评定的结果离散性大，另外由于织物种类不同，起球方法不同，各个机 构制定的标准等级样照不刚2 l ，也会引起评定结果的差异。目前各国制定的标准 天津工业大学硕士学位论文 等级样照情况大致是： 乌斯特的兹威格标准样照有五幅，从一级( 无起球) 依次到五级( 严重起球) 。 样照中的毛球呈黑色，背景呈浅色。由于光源是从织物正上方照射，因此样照中 的毛球没有阴影。 美国的a s t m 标准为刷式起球、随机翻滚起球、电子填塞箱法起球和马丁代 尔起球这五种起球实验，分别各制定了五幅标准样照，从一级( 严重起球) 到五级 ( 无起球) 。由于光源为侧向照明，样照中毛球呈浅色并伴有阴影，且含有噪声。 瑞士的e m p a 标准样照是针对马丁代尔起球实验，并将织物分为机织和针织 两种，每种又分为三类( 低、中、高密度织物) ，每一类有4 幅照片，( 1 2 级严重起 球，2 3 级和3 4 级中等起球，4 5 轻微起球) ，共有2 4 幅样照。光源为侧向照明， 所以毛球呈浅色并伴有阴影。 日本的j i s l l 0 7 6 标准为机织物和针织物及不同的起球方式制定了四组样照。 第一组、第二组和第三组分别有5 幅样照，依次从1 级( 严重起球) 到5 级( 无起球) ， 第四组有4 幅样照，分别为h ( 严重起球) 、m ( 中等起球) 、h 轻微起球) 和n ( 无起球) 。 样照中毛球也呈浅色并伴有阴影。 ( 2 ) 描述法 描述法是将织物的起球试样用文字的描述分为五个等级，分别为( a ) 无变化； ( b ) 起毛；( c ) 毛球开始形成；( d ) 毛球形成；( e ) 严重起球。这种方法对织物起 球程度的评定结果具有一定的模糊性。n e i l l y 3 】对3 0 个织物起球试样( 2 1 个机织物， 9 4 针织物) 用描述法和样照法进行评定。 ( 3 ) 切割称重法 切割称重法是将起球试样表面的毛球剪下，数毛球个数并称重。这种方法似 乎能定量反映织物起球的程度，但由于不同大小的毛球给予同等计数就不合理， 即使同一重量的毛球在外观影响上也未必一致。这种方法操作复杂费时，且易受 主观因素影响，因此一般只有在产品开发或研究中使用。 ( 4 ) 起球曲线 起球曲线反映试样承受摩擦的作用时间( 一般以摩擦次数表示) 与试样单位 面积上起球多少的关系。此法虽然能够反映织物起毛起球至脱落的整个过程，但 费时，仅在科研中有一定价值。 虽然织物起毛起球等级的主观评定方法很多，但评定结果容易受到人为因素 和决策过程的影响。因此，需要寻求一种客观可靠的起毛起球等级评定的方法。 1 2 2 织物起毛起球等级的客观评估方法 纵观近年来国内外的研究，织物起球性能评定的发展趋于客观化和自动化。 2 第一章绪论 从2 0 世纪8 0 年代后期开始【们】，国内外的一些学者开始尝试用图像处理技术评估 起球性能。大体可以分为两大类：一类是基于起球织物灰度图像的计算机视觉评 估，另一类是基于起球织物表面形态信息的计算机视觉评估。 ( 1 ) 基于起球织物灰度图像的分析方法 早期，k o n d a 等【9 l 用近切向的平行光源从侧面照射织物获取7 个试样( 5 个涤棉 针织物和2 个细纹机织物试样) 的灰度图像，直接将图像阈值化为二值图像，提取 毛球个数和毛球总面积，对比样照中的毛球个数和总面积确定起球等级，并与主 观评定进行了比较，7 个试样中有3 个试样的客观评定与主观评定结果差异大于 0 5 级。k o n d a 只是针对7 个白色织物进行了分析，没有对其它颜色和其它组织的 织物进行分析。 h s i 等【n 1 2 j 采用a s t m 标准的照明条件，用散射荧光管从织物侧向照明获取 织物的灰度图像，对图像进行光照不匀等预处理后进行阈值化，分割毛球的阴影 区域，提取指标有毛球总数、总面积、总体积，毛球的大小、形状、取向度、对 比度，毛球空间分布的均匀性，分析了磨擦运动方式( 圆周向或直线运动) 、起球 方式、磨擦次数、及树脂整理等对起球的影响。由于侧向照射产生阴影，所以分 割的毛球区域也包括毛球产生的阴影区域，对部分指标值产生影响。h s i 等采用 的方法仅适合于素色简单组织织物，而且他们并没有根据起球特征来评定起球等 级，即没有进行起球等级的客观评定。 x u 1 3 , 1 4 】采集的织物灰度图像比较暗，用直方图拉伸至整个灰度范围，应用 频谱分析方法，滤除图像中织物的底纹，再用模板匹配法来定位毛球并用全局阈 值方法进行分割。x u 提取的指标为毛球的分布密度、毛球大小和对比度。在提 取毛球平均大小时，计算毛球内像素数量，毛球的平均值、最大、最小值和面积 百分比，并得到毛球大小分布曲线，最后x u 用密度和面积百分比建立两个非线 性变化方程g d 和伪，再由( g 矗+ c s ) 2 确定毛球的最后等级，但并未与主观评定 进行比较。 ( 2 ) 基于起球织物距离图像的分析方法 图像数据反映物体表面高度变化的情况，即图像的灰度值反映物体表面在该 点处的高度，这样的图像称为距离图像。获取距离图像的方法有两种：一种是利 用激光三角测量法直接得到图像；另一种是利用序列图像拼接间接得到图像。 r a m g u l a m l l 5 , 1 6 j 采用向后消减算法以选取最佳阂值对距离图像进行分割。对 针织物提取的特征有突出面积、毛球总数、最大毛球突出面积和最高毛球高度， 根据最大似然方法建立平均面积、最大突出面积和最大突出高度的等级评估三维 系统，以最近邻原则对起毛起球等级进行评估，并与试样的主观评定进行比较。 对5 0 个针织物试样进行评定，其中2 8 个试样的主客观评定差异达0 5 级，8 个试 3 天津工业大学硕士学位论文 样的主客观评定差异达1 级。 s i r i k a s e m l e r t r 7 】在指标平均高度胁、均值粗糙度c l a 、均方根粗糙度r m s 、 三阶原点矩s k ( 即偏度) 和四阶原点矩k ( 即峰度) 的基础上，结合分形理论、傅立 叶变换和小波变换方法对针织物毛球和绒毛进行分析，并分别提出新的指标。在 分形理论分析中增加毛球分形维n p 和毛球绒毛分形维d p f 两个指标：在傅立叶 变换方法中增加毛球功率谱能量变化p p 、绒毛功率谱能量变化可和纱线结构功 率谱能量变化p y ；在小波分析方法中增加毛球小波能量印、高于全局阈值的 总像素量腑和起球前后绒毛区域能量变化矸；为便于与其它文献中的方法进行 比较，所以又增加毛球总面积总数这个指标。s i r i k a s e m l e r t 对不同等级试样分别 提取以上十四个指标，并分析每个指标与主观评定等级之间的相关系数，但没有 系统地根据这些指标进行织物起毛起球等级的客观评定。 国内研究者徐增波【1 8 】先采集一幅参考图像，序列图像减去参考图像后采用同 一个阈值对所有序列图像进行二值化，提取织物的轮廓线并加以拼接得到距离图 像。然后，采用与灰度图像同样分析方法分割，提取毛球个数、面积和体积指标， 用大毛球个数、大毛球面积和毛球平均体积建立模糊模式识别，其中的隶属度函 数需要人为确定。对4 5 个试样的测试结果表明，客观评定效果较好，与主观差异 o 5 级的试样有2 3 个，1 级的试样有2 个，1 5 级的试样有3 个。文献 1 8 】分别系 统地介绍利用灰度图像和距离图像评定织物起球等级的两种方法，但对于距离图 像仍采用与灰度图像同样的分析方法进行毛球识别与分割，且对实验装置未进行 精细的设计和分析，这势必影响评定结果的准确性。 1 3 本文研究的主要内容 本文采用基于遗传算法b p 神经网络的方法对织物起毛起球的程度进行客观 评级。首先，建立b p 神经网络模型，其中输入神经元即为织物特征参数，输出 神经元个数为4 个用以表示评定织物起毛起球等级的级数。隐含层神经元的个数 是根据在对所建立的各个点神经网络模型进行训练时所产生的误差大小确定的； 然后，利用遗传算法的全局搜索能力以确定b p 神经网络的初始权值和阈值，训 练基于遗传算法的b p 神经网络模型，其训练结果表明当模型中隐含单元的个数 取6 个时，神经网络网络的性能较好。 本文的组织结构如下： 第一章概述了国内外有关织物起毛起球等级评定的研究现状以及本论文研 究的主要内容。 第二章研究人工神经网络及其特点、功能和原理。并着重于b p 神经网络的 4 第一章绪论 结构、算法及其参数设计。 第三章构建基于遗传算法的b p 神经网络并实现织物起毛起球的等级评定。 第四章对实验结果进行分析，表明利用基于遗传算法的b p 神经网络评级与 人工评级在精度上的差异。 5 第二章人工神经网络 第二章人工神经网络 人工神经网络是一种旨在模仿人脑结构及其功能的信息处理系统，是由大量 简单的处理单元彼此按某种方式相互连接而形成的计算机系统，该系统靠其状态 对外部输入信息的动态响应来处理信息。 2 0 世纪4 0 年代，随着神经解剖学、神经生理学以及神经元的电生理过程等研 究取得突破性进展，人们对人脑的结构、组成及最基本工作单元有了越来越充分 的认识，在此基本认识的基础上，借助数学和物理方法从信息处理的角度对人脑 神经网络进行抽象，并建立简化的模型，称为人工神经网络a n n ( a r t i f i c i a ln e u r a l n e t w o r k ) 。纵观神经网络的发展历史，其发展过程大致可以概括为如下三个阶 段【1 9 刎。 ( 1 ) 兴起阶段 这是神经网络理论研究的奠基阶段。1 9 4 3 年，神经生物学家m c c u l l o c hw s 和数学家p i t t sw a 合作提出第一个人工神经元模型，并在此基础上抽象出神经 元的数理模型( 即神经元的阈值模型，简称m p 模型) ，拉开了神经网络研究的 序幕。1 9 5 8 年r o s e n b l a t t 在原有m p 模型的基础上增加学习机制，使神经网络模型 包含一些现代神经计算机的基本原理，从而形成神经网络方法和技术的重大突 破，迎来神经网络研究的第一次高潮期。 ( 2 ) 萧条阶段 2 0 世纪7 0 年代以来，随着神经网络研究的深入开展，人们遇到来自认识、应 用、实现等方面的难题。同时集成电路和微电子技术的迅猛发展使传统的v o n n e u m a n n 计算机进入全盛时期，基于逻辑符号处理方法的人工智能得到迅速发展 并取得显著成绩，未暴露出它们的问题和局限性，因此暂时掩盖了发展新型计算 机和寻求新的神经网络的必要性和迫切性，由此开始了神经网络发展史上长达1 0 年的低潮期。在整个低潮时期，仍有少数科学家继续这一领域的研究，虽然许多 重要研究成果未能得到应有的重视，但其科学价值不可磨灭，他们的工作为日后 神经网络理论研究的又一次高涨打下坚实的基础。 ( 3 ) 兴盛阶段 这是神经网络理论研究的主要发展时期。1 9 8 2 年，美国国家科学院的刊物上 发表著名的h o p f i e l d 模型理论。h o p f i e l d 模型不仅对人工神经网络信息存储和提取 功能作出非线性数学概括，提出动力方程和学习方程，还对网络算法提供重要公 式和参数，使人工神经网络的构造和学习有了理论指导。在h o p f i e l d 模型的影响 7 天津工业大学硕士学位论文 下，神经网络理论研究很快便迎来第二次高潮。 2 0 世纪9 0 年代中后期，神经网络研究步入一个新的发展时期，一方面已有理 论在不断深化和进一步推广，另一方面，新的理论和方法也从未停止过其不断开 拓的步伐。经过近半个世纪的发展，各种神经网络模型相继提出，并成功应用于 模式识别、自动控制、信号处理、辅助决策、人工智能等研究领域。目前神经网 络的应用领域正在不断扩大，它不仅可以广泛应用于工程、科学和数学领域，也 可广泛应用于医学、商业、金融甚至于文学领域。 人工神经网络是处理非线性高维与高阶性知识信息问题的新方法，它的着眼 点不是用物理器件完整地复制生物体中神经细胞网络，而是采用其可利用的部分 克服目前计算机或其他系统不能解决的问题。其特蒯2 1 j 是： ( a ) a n n 在结构上与目前的计算机根本不同。它由很多小的处理单元( 神 经元) 互相连接而成，每个单元功能简单，但大量简单的处理单元集体的、并行 的活动具有较快的速度，大大超过传统的序列式运算的数字机。 ( b ) a n n 具有很强的容错性，即局部的或部分的神经元损坏不影响全局的 活动。 ( c ) a n n 所记忆的信息是存储在神经元之间的权中，从单个权中看不出其 储存信息的内容，因而是分布式的存储方式。 ( d ) a n n 具有十分强的学习功能，人工神经网络中的连接权和连接的结构 都可以通过学习而得到。神经元网络是一种变结构系统，恰好能完成对环境的适 应和对外界事物的学习能力。神经元之间的连接方式多种多样，各元之间连接强 度具有一定的可塑性。同一网络因学习方式及内容不同可具有不同功能。这样， 网络可以通过学习和训练进行自组织以适应不同信息的处理要求。 ( e ) 神经元网络是大量神经元的集体行为，不是单元行为的简单相加，而 是表现出一般复杂非线性动态系统的特性，如不可预测性、不可逆性、有各种类 型的吸引子( 信息正是“存储”在定点吸引子上) 、出现混沌现象等。 ( f ) 神经元可以处理一些环境信息十分复杂、知识背景不清楚和推理规则 不明确的问题。 2 1 人工神经网络的基本模型及其功能 2 1 1 人工神经元模型 人工神经元是对生物神经元的简化和模拟，是神经网络的基本处理单元。从 信息处理观点考察，对于这样一种多输入、单输出的基本单元，可以构造各种形 式的数学模型。图2 1 为经典的m c c u l l o c h p i t t s 模型。 8 第二章人工神经网络 图2 1m c c u u o c h - p i t t s 模型示意结构 yj 对于第j 个神经元，接受多个其他神经元的输入信号毛。实系数表示第f 个神 经元对第j 个神经元作用的加权值。利用某种运算把输入信号的作用结合起来得 到的总效果称为“净输入”，以或表示。净输入表达式有多种类型，其中， 最简单的一种形式是线性加权求和，即； 一跏 ( 2 1 ) 此作用引起神经元_ 的状态变化，而神经元，的输出y j 是其当前状态的函数。 m c c u l l o c h p i t t s 模型的数学表达式为： 圹s g i l ( ；鼍一嘭) 协2 ， 式( 2 2 ) 中，0 为阈值，s g n 是符号函数，当净输入超过阈值时，y j 取+ 1 输出， 反之为一1 输出。 2 1 2 人工神经网络的基本功能 ( 1 ) 联想记忆功能 由于神经网络具有分布存储信息和并行计算的性能，因此它具有对外界刺激 和输入信息进行联想记忆的能力。这种能力是通过神经元之间的协同结构及信息 处理的集体行为而实现的。神经网络通过预先存储信息和学习机制进行自适应训 9 天津工业大学硕士学位论文 练，可以从不完整的信息和噪声干扰中恢复原始的完整信息。 联想记忆分为自联想记忆和异联想记忆两种。 ( 2 ) 分类与识别功能 神经网络对外界输入样本有很强的识别与分类能力。对输入样本的分类实际 上是在样本空间找出符合分类要求的分割区域，每个区域内的样本属于一类。 ( 3 ) 优化计算功能 优化计算是指在已知的约束条件下，寻找一组参数组合，使该组合确定的目 标函数达到最小。将优化约束信息( 与目标函数有关) 存储于神经网络的连接权 矩阵之中，神经网络的工作状态以动态系统方程式描述。设置一组随机数据作为 起始条件，当系统的状态趋于稳定时，神经网络方程的解作为输出优化结果。 ( 4 ) 非线性映射功能 在许多实际问题中，系统的输入与输出之间存在复杂的非线性关系，并难以 用传统的数理方程建立其数学模型。而设计合理的神经网络通过对系统输入输出 样本进行训练学习，在理论上能够以任意精度逼近任意复杂的非线性函数。神经 网络的这一优良性能使其可以作为多维非线性函数的通用数学模型。 2 2 人工神经网络的基本要素 在人工神经网络设计及应用研究中，通常需要考虑三个方面的内容，即神经 元功能函数、神经元之问的连接形式和网络的学习( 训练) 。 2 2 1 神经元功能函数 神经元在输入信号作用下产生输出信号的规律由神经元功能函数，给出，也 称激活函数或称转移函数，这是神经元模型的外特性。它包含从输入信号到净输 入、再到激活值、最终产生输出信号的过程。 厂函数的形式是多种多样的，利用它们的不同特性可以构成功能各异的神经 网络。而常见的神经元功能函数有如下几种： ( 1 ) 简单线性函数 神经元功能函数厂连续取值，输入x 由连接矩阵矽加权产生输出。 厂g ) 一z ( 2 3 ) ( 2 ) 对称硬限幅函数 这是一种非线性模型，输出只取二值，如+ 1 或一1 ( 或1 与0 为硬限幅函数) ， 1 0 第二章人工神经网络 当净输入大于某一阈值0 时，输出取+ 1 ，反之，输出取一1 ，这一作用可借助符 号函数表示，此时有： 厂g ) * s 印g 一0 ) ( 2 4 ) ( 3 ) s i g m o i d 函数( s 形函数) 神经元输出是限制在两个有限值之间的连续非减函数，表达式可写为： 厂g ) 一善 ( 2 5 ) 式中s i 舯o i d 曲线由双曲正切函数构成，最大值与最小值分别取+ 1 和一1 。如果将 双曲函数向上平移，即为单极性s 形函数，函数表达式为： 厂g ) - 万1 ( 2 6 ) 则曲线的最大值与最小值分别取1 和0 。到目前为止，s 型函数是人工神经网络中 最常用的激励函数。 2 2 2 神经元之间的连接形式 神经网络是一个复杂的互连系统，由大量的神经元进行连接而构成的，即神 经元的互连模式决定神经网络结构并对网络的性质和功能产生重要影响。 从拓扑结构上考虑，神经网络是以神经元为节点，以节点间的有向连接为边 的图。其结构大体上可分为层状和网状两大类：层状结构的神经网络是由若干层 组成，每层中有一定数量的神经元，相邻层的神经元为单向连接，同层的神经元 之间没有连接；在网状结构的神经网络中，任意两个神经元之间都可以双向连接。 由于神经元之间的连接方式种类繁多，所以神经网络结构也是多种多样的。其中 典型的神经网络结构有： ( 1 ) 前向网络( 前馈网络) 网络可以分为若干“层 ，各层按信号传输先后顺序依次排列，第i 层的神经 元只接受第“一1 ) 层神经元给出的信号，各神经元之间没有反馈。前馈网络可用 一有向无环路图表示，如图2 2 所示。 天津t 业大学硕士学位论文 图2 - 2 前向网络结构 输出层 隐层 输入节点 图中，输入节点无计算功能，只是表征输入矢量各元素值。各层节点表示具 有计算功能的神经元，称为计算单元。每个计算单元可以有任意个输入，但只有 一个输出送到下一层的多个节点作为输入。输入节点层为第零层，计算单元的各 节点层从下至上依次称为第1 至第层，由此构成层前向网络。第一节点层与 输出节点统称为“可见层”，而其他中间层称为隐层( h i d d e nl a y e r ) 。 ( 2 ) 反馈网络 典型的反馈型神经网络如图2 3 所示，每个节点都表示一个计算单元，同时 接受外加输入和其他各节点的反馈输入，每个节点也都直接向外部输出。 输出 图2 3 反馈网络 在某些反馈网络中，各神经元除接受外加输入与其他各节点反馈输入之外， 还包括自身反馈。有时，反馈神经网络也可表示为一张完全的无向图，即每一个 1 2 第二章人工神经网络 连接都是双向的，则= 。 2 2 3 人工神经网络的学习( 训练) 神经网络的学习也称为训练，指的是通过神经网络所在环境的刺激作用调整 神经网络的自由参数，使神经网络以一种新的方式对外部环境作出反应的一个过 程。能够从环境中学习和在学习中提高自身性能是神经网络最有意义的性质。神 经网络经过反复学习对其环境更为了解。 学习算法是针对学习问题的明确规则集合。学习类型是由参数变化发生的形 式决定的，不同的学习算法对神经元的突触权值调整的表达式有所不同。由于神 经网络中神经元的连接方式与用于训练网络的学习算法紧密结合，即应用于神经 网络设计中的学习算法被结构化，所以没有一种独特的学习算法用于设计所有的 神经网络。选择或设计学习算法时需要考虑神经网络的结构及神经网络与外界环 境相连的形式。 学习方式分为有导师学习( l e a r n i n gw i t hat e a c h e r ) 和无导师学习( l e a r n i n g w i t h o u tat e a c h e r ) 。 ( a ) 有导师学习。有导师学习又称为有监督学习( s u p e r v i s e dl e a r n i n g ) ，在 学习时需要给出导师信号或称为期望输出( 响应) 。神经网络对外部环境是未知 的，但可以将导师看作对外部环境的了解，由输入一输出样本集合表示。导师信 号或期望响应代表神经网络执行情况的最佳结果，即对于网络输入调整网络参 数，使得网络输出逼近导师信号或期望响应。 ( b ) 无导师学习。无导师学习包括强化学( r e i n f o r c e m e n tl e a r n i n g ) 与无监 督学习( u n s u p e r v i s e dl e a r n i n g ) 或称为自组织学( s e l f - o r g a n i z e dl e a r n i n g ) 。在强 化学习中，对输入输出映射的学习是通过与外界环境的连续作用最小化性能的标 量索引而完成的。在无监督学习或称为自组织学习中没有外部导师或评价统观学 习过程，而是提供一个关于网络学习表示方法质量的测量尺度，根据该尺度将网 络的自由参数最优化。一旦网络与输入数据的统计规律性达成一致，就能够形成 内部表示方法为输入特征编码，并由此自动得出新的类别。 以下是五个基本的神经网络学习规则：h e b b 学习、纠错学习、基于记忆的 学习、随机学习和竞争学习。 。 ( 1 ) h e b b 学习规则 1 9 4 9 年，h e b b 提出神经网络学习的规则，它是最古老也是最著名的学习规 则。h e b b 学习规则用于调整神经网络的突触权值，可以概括为： ( a ) 如果一个突触( 连接) 两边的两个神经元被同时( 即同步) 激活，则 该突触的能量就被选择性的增加。 天津t 业大学硕士学位论文 ( b ) 如果一个突触( 连接) 两边的两个神经元被异步激活，则该突触的能 量就被有选择的消弱或者消除。 ( 2 ) 纠错学习规则 设某神经网络的输出层中只有一个神经元f ，给该神经网络加上输入，这样 就产生输出y 。0 ) ，称其为实际输出。对于所a n 上的输入，而期望该神经网络的 输出为d ( ，1 ) ，称为期望输出或目标输出。实际输出与期望输出之间存在着误差， 用e ( ，z ) 表示。 e ( n ) 一d ( ，z ) 一y ，( 咒) ( 2 7 ) 调整突触权值使误差信号e 0 ) 减小。为此，设定代价函数或性能指数e b ) ， 0 ) = j 1p 2 0 ) ( 2 8 ) 反复调整突触权值使代价函数达到最小或使系统达到一个稳定状态( 即突触权值 稳定) ，则就完成学习过程。该学习过程称为纠错学习，也称为d e l t a 规则或者 w i d r o w h o 瞅见则。 ( 3 ) 基于记忆的学习规则 基于记忆的学习主要用于模式分类。在基于记忆的学习中，过去的学习结果 被储存在一个大的存储器中，当输入一个新的测试向量屯。时，学习过程就是将 i 。归到已存储的某个类中。所有基于记忆的学习算法均包括两部分，一是用于 定义瓦，的局部邻域的标准；二是用于在死，的局部邻域训练样本的学习规则。 ( 4 ) 随机学习规则 随机学习规则也称为b o l t z m a n n 学习规则。b o l t z m a n n 学习规则是由统计力学 思想而来，其学习实质上就是著名的模拟退火( s i m u l a t e da n n e a l i n g ，s a ) 算法。 ( 5 ) 竞争学习规则 在竞争学习中，神经网络的输出神经元之间相互竞争，在任一时间只能有一 个输出神经元是活性的。而在基于h e b b 学习的神经网络中几个输出神经元可能 同时是活性的。竞争学习规则有三项基本内容： ( a ) 一个神经元集合。除了某些随机分布的突触权值以外，所有的神经元 都相同，因此对给定的输入模式集合有不同的响应。 ( b ) 每个神经元的能量都被限制。 ( c ) 一个机制。允许神经元通过竞争对一个给定的输入子集做出响应。赢 得竞争的神经元被称为全胜神经元。 1 4 第二章人工神经网络 2 3b p 误差反传神经网络 b p ( e r r o rb a c kp r o p a g a t i o nn e t w o r k ) 神经网络是目前应用最为广泛和成功 的神经网络之一。它是在1 9 8 6 年由r u m e l h a n t 和m c c l e l l a n d 提出，是一种多层网络 的“逆推”学习算法。其基本思想是，学习过程由信号的正向传播与误差的反向传 播两个过程组成。正向传播时，输入样本从输入层传入，经隐层逐层处理后传向 输出层。若输出层的实际输出与期望输出不符或不满足误差要求，则转向误差的 反向传播阶段。误差的反向传播是将输出误差以某种形式通过隐层向输入层逐层 反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差 信号即作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权 值调整过程是周而复始地进行。权值不断调整的过程也就是网络的学习训练过 程。此过程一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设 定的学习次数为止。 2 3 1b p 网络结构 图2 4 是b p 网络的结构图。它由输入层、中间层( 或称隐层) 和输出层组成， 其中隐层可以为一层或多层。 12 i + 1 m 一1m n ln 2 n i n i + l n 孵1 心 图2 _ 4b p 网络的结构图 其中，层或多层的隐单元从输入模式中提取更多有用的信息使网络可以完 成更复杂的任务。并且网络中有多个突触使网络更具连通性，连接域或连接权值 的变化都会引起连通性的变化。 b p 网络中神经元的激励函数是连续、可微的s i g r n o i d i 函数【z 2 j 。因为s 型函数 具有非线性放大系数功能，它可以将从负无穷大到正无穷大的输入信号转变成 一1 到1 之间的输出。对于较大的输入信号，放大系数较小；而对于较小的输入信 天津t 业大学硕士学位论文 号，放大系数则较大。所以采用s 型激励函数处理和逼近非线性的输入输出关系。 但是如果在输出层采用s 型函数，那么输出就被限制到一个很小的范围，而若采 用线性激励函数，就可使网络输出任何值。所以一般情况下在隐含层采用s 型函 数，而在输出层采用线性激励函数。 2 3 2b p 网络学习算法 以图2 4 的b p 网络结构图为例。x i 表示神经网络输入，y ；表示神经网络实 际输出，d ；表示神经网络期望输出，表示第f 层第f 个神经元到第f + 1 层第七 个神经元连接权值，q ，表示第f 层第j 个神经元输出，巩表示第i 层第_ 个神经 元阈值，n e t t ，表示第f 层第f 个神经元总输入，；表示第i 层神经元节点数。 ( 1 ) b p 网络前向传播计算 输入信号从输入层经隐单元，传向输出层，在输出端产生输出信号，这是工 作信号的正向传播。在信号的向前传递过程中网络的权值是固定不变的，每一层 神经元的状态只影响下一层神经元的状态。 n f 1 厅e t 巧篁d ( f - l 沁。f _ 1 w 七- 1 ( 2 9 ) q = f ，( n e t i ) = 南 协 如果在输出层不能得到期望的输出，则转入误差信号反向传播。 ( 2 ) b p 网络后退算法( b p 算法) 网络的实际输出与期望输出之间的差值即为误差信号。在误差信号反向传播 的过程中，网络的权值由误差反馈进行调节。通过权值的不断修正使网络的实际 输出更接近期望输出。 如果神经元，在输出层，则0 | f 就是网络的实际计算输出，记为y ，通过y f 与所期望的输出d ，之间的误差反向传播以修改各权值。 网络目标函数： e t 了1 p ，一y j ) 2 ( 2 - 1 1 ) 网络的权值沿函数梯度下降的方向修正： 1 6 第二章人工神经网络 叫嚣 ( 2 1 2 ) 其中，r l 为学习步长。为使其能够被直接编制程序进行计算，则必须求出与 神经元输出之间的递推关系： 峰喑叫瓦o f 等州弛警( 2 - 1 3 ) ( 1 ) 塑! 垫墨堡求解 a i o n e t ( i + 1 ) k 一去倭既。卜i 一_ 一l i ，盯# i ，。 a a 禽“一j ” ( 2 ) 计算局部梯度氏 。叩薏叫砖q ( 2 1 4 ) ( 2 1 5 ) 6 一一一丝一一旦监 ，( 2 - 1 6 ) d 龌。一j 而。一0 0 ( i + l i k 赢 罴叫慨础) 自，一南矶蝴： 丽0 0 ( i + i l ) k 一厂慨础) t 厂慨础x l 一厂) o ( i + 1 ) k ( 1 - o ( i + a ) k ) ( 2 1 7 ) 彘 当d ( f + 1 k 为输出节点时： l ；y 。一畋 0 0 ( j 以 一 1 7 ( 2 1 8 ) 天津工业大学硕士学位论文 。雎- 一面o e i = 一瓦o e 面0 0 ( i 忑+ 1 ) k - ( d 嘿k1 - o ( i + 1 ) k ) ( 2 - 1 9 ) 0 1 -a 1j i 一= 一“oi 口一y “h， “ 砌e ka 吼+ 1 跏e 扭一一“小 7 = 0 。一y k ) y 。( 1 一y 。) 一0 。一o k0 m 。( 1 一a k ) 当d ( m k 为隐含层节点时： 旦p(i+1)k=n刍i+2瓦oeao(o n e t ( 。鬻a o ( 暑蕾椰协2 。，一= 、一。l 暑一 、，、w ， 。， 、 白 f + 2 协m镏p + 1 ，件州。 忆w 已知节点的实际输出但无法提前知道其正确输出，只是总的误差与隐含层输出相 关，同时隐含层的输出必影响下一隐含层各节点的输入。 瓯2 q r + - 诲( 1 一q r + - 净) ( 警6 “+ - 净。r + ，肋) c 2 2 1 ， 即可分别得出b p 算法的权值调整公式一叩歌q ，及第f 层神经元 w i y k ( t + 1 ) f f i w i ：e ( t ) + a w _ f j kt + r 6 地吼 ( 2 - 2 2 ) 2 3 3b p 网络参数设计 ( 1 ) 初始权值 网络权值的初始化决定网络的训练从误差曲面的哪一点开始，因此初