（材料学专业论文）模式识别人工神经网络方法研究及其在材料领域的应用.pdf

中文摘要 本论文是对一种材料优化设计新方法模式识别一人工神经网络方法进行 研究，并用于解决新材料开发过程中常遇到试验周期长，影响因素复杂，反应机 理不明等难题。这种新方法运用模式识别方法对样本数据进行定性分析和样本筛 选，运用特殊的人工神经网络模型进行定量分析和精确预报，并在二维映照图上 直观地显示出目标值的分布规律。其基本原理是：根据拓扑结构在映射过程中不 变的原理，将多维向量首先映射n - 维平面上，再通过非线形函数向高维空间扩 展、迭加并输出，这样可以避免在传递过程中变量间关系被屏蔽或覆盖。由映射 平面图像来展现数据所隐含的规律，从平面图象来直观地确定最优点或区域，为 材料优化设计和试验设计提供了一种行之有效的决策支持方法。 本文所作的主要研究工作如下： 构建了人工神经网络实现模式识别的非线性映射模型，并引入“列队竞争算 法”与“梯度法”结合产生的一种混合算法解决人工神经网络学习训练中容易陷 入局部极小的问题，很好的兼顾了全局搜索和局部搜索的要求。其中，列队竞争 算法的主要作用是实现全局搜索，而梯度法的作用是实现局部寻优，这两种方法 的结合，可以使全局搜索与局部搜索达到均衡和统一。实际的计算结果表明，混 合算法比单一的算法效果明显，映射的误差小且学习训练的速率快，建立的映射 模型能真实地反映客观规律。 研究用计算机模式识别人工神经网络方法辅助材料设计和试验优化，用 p r a n n 实现了筛选样本数据，筛选变量，模式识别定性分析，人工神经网络精 确预报等功能，并开发了p r a n n 系统优化软件。 检验了p r a n n 系统对单目标、多目标的优化问题，得到了较满意的效果。 用人的视觉直观的判断二维映射平面中的等值线分布规律从而使复杂的多目标 优化问题变得简单。将p r a n n 系统用于材料配方设计、性能优化的实例研究， 分别对单目标，双目标和三目标实例问题进行了研究，并进行预报，取得了比其 它优化方法更好的结果。 关键词：材料设计，配方优化，模式识别，人工神经网络，列队竞争算法。 a b s t r a c t an e wm e t h o df o rt h e o p t i m i z a t i o n o fm a t e r i a l s d e s i g n p a t t e r n r e c o g n i t i o n - a r t i f i c i a ln e u r a ln e t w o r k ( p r a n n ) w a ss t u d i e di nt h i sd i s s e r t a t i o n ，a n d a p p l i e di t t ot h es o l u t i o n o f p r o b l e m sw i t hl o n gc y c l eo fe x p e r i m e n t ，c o m p l e x a f f e c t i n gf a c t o r sa n du n c e r t a i n t yr e a c t i o nm e c h a n i s m q u a l i t a t i v ea n a l y s i sa n ds a m p l e s e l e c t i o no f d a t aw e r et r e a t e db yp a t t e mr e c o g n i t i o nm e t h o d ，w h i l eq u a n t i t a t i v e a n a l y s i sa n de x a c tp r e d i c tw a sm a n a g e dw i t hs p e c i a ld e s i g n e da r t i f i c i a ln e u r a l n e t w o r km o d e l ，a n dd i s p l a yd i r e c t l yt h ed i s t r i b u t i o no fo b j e c t i v ef u n c t i o nv a l u e so na t w o d i m e n s i o n a lp l a n e + t h ef u n d a m e n t a lp r i n c i p l eo ft h em e t h o di st h a tm a p p i n g m u l t i d i m e n s i o ns a m p l e st oat w o d i m e n s i o n a lp l a n ef i r s t l y , a n dn e x te x t e n d i n gt oa m u l t i d i m e n s i o ns p a c eb yn o n l i n e a rf u n c t i o n sb a s eo nt h er u l et h a tt h et o p o l o g y s t r u c t u r ec a nb em a i n t a i n e dt h r o u g h o u tt h e m a p p i n gp r o c e d u r e i tc a np r e v e n t r e l a t i o n sa m o n gs a m p l e sf r o mb e i n gc o v e r e do rs h i e l d e di nt r a n s f e rp r o c e s s t h u st h e h i d d e nr u l ei nd a t ac a nb es h o w e da n dt h eo p t i m u mp o i n ta n dr e g i o nc a nb ef o u n d i n t u i t i v e l yf r o mt h i sm a p p i n gp l a n e t h a tp r o v i d e dae f f e c t i v em e t h o df o ro p t i m u m d e s i g no fe x p e r i m e n ta n dc o m p o s i t i o n m a l nw o r ki nt h i sd i s s e r t a t i o ni sd e s c r i b e da sf o l l o w s ： a na r t i f i c i a ln e u r a ln e t w o r kn o n l i n e a rm a p p i n gm o d e lf o rp a t t e r nr e c o g n i t i o ni s p r o p o s e d b yc o m b i n i n gl i n e u pc o m p e t i t i o na l g o r i t h ma n ds p e e d i e s td e s c e n t m e t h o d ，t h el o c a lm i n i m u mp r o b l e mo fe r r o r sh a sb e e ns o l v e di nt r a i n i n ga r t i f i c i a l n e u r a ln e t w o r k s ，w h i c hi sf a v o u r a b l et ob a l a n c el o c a la n dg l o b a ls e a r c h t h em a i n r o l ef o rt h el i n e - u pc o m p e t i t i o na l g o r i t h ml c a ) i si n g l o b a lr e s e a r c h ，w h i l e s p e e d i e s td e s c e n ta l g o r i t h m ( s d a ) i si nl o c a ls e a r c h t h ec o m p u t a t i o n ss h o wt h a t t h eh y b r i da l g o r i t h mi ss u p e r i o rt os i n g l eo n e t h eh y b r i da l g o r i t h mc a ng e th i g h e r s p e e da n dm i n i m u me l r o ri nt r a i n i n ga r t i f i c i a ln e u r a ln e t w o r k s t h em a p p i n gm o d e l c a nr e f l e c tt h er e a lr o l e s c o m p u t e r a i d e dd e s i g nf o rm a t e r i a la n de x p e r i m e n to p t i m i z a t i o nw i t hp r - a n n m e t h o dw a ss t u d i e di n t h i sd i s s e r t a t i o n ap r - a n ns y s t e mw a sd e v e l o p e d n e f u n c t i o n so fs a m p l es e l e c t i o n ，v a r i a b l e ss e l e c t i o n ，p a t t e r nr e c o g n i t i o na n do p t i m u m p o i n tp r e d i c t i o nw e r er e a l i z e db yt h es y s t e m s i n g l eo b j e c t i v ea n dm u l t i p l eo b j e c t i v ep r o b l e m sw e r es t u d i e dw i t hp r a n n s y s t e mt oe x a m i n ei t sp e r f o r m a n c e b ym e n si n t u i t i v ej u d g e m e n tf r o mt h ec o n t o u r s o nt h em a p p i n gp l a n e ，c o m p l e xm u l t i p l eo b j e c t i v ep r o b l e m sc a nt r a n s f o r mt os i m p l e o n e s t h ep r - a n ns y s t e mw a sa p p l i e dt ot h ed e s i g no f m a t e r i a la n do p t i m u m e x p e r i m e n t s ，a n dt h es a t i s f a c t o r yr e s u l t sw e r eo b t a i n e d t h ec o m p u t a t i o n ss h o wt h a t p r a n ns y s t e mi ss u p e r i o rt oo t h e ro p t i m i z a t i o nm e t h o d s k e y w o r d s ：m a t e r i a ld e s i g n ，o p t i m u mc o m p o s i t i o n ，p a t t e r nr e c o g n i t i o n ，a r t i f i c i a l n e u r a ln e t w o r k ，l i n e u pc o m p e t i t i o na l g o r i t h m 1 i p 8 1 3 0 8 2 此页若属实请申请人及导师签名。 独创性声明 本人声明，所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得武汉理工大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文 中作了明确的说明并表示了谢意 研究生签名：遗日期缒! ! 关于论文使用授权的说明 本人完全了解武汉理工大学有关保留、使用学位论文的规定。 a p ；学校有权保留送交论文的复印件，允许论文被查阅和借阅；学 校可以公布论文的全部内容，可以采用影印、缩印或其他复制手段 保存论文。 ( 保密的论文在解密后应遵守此规定) 研究生签名：地导师签名： 注：请将此声明装订在论文的目录前。 日期坌堕。型 武汉理工大学硕十学位论文 第1 章引言 材料科学是计算机应用的一个重要领域，基于计算机的数据信息采掘技术是 材料科学领域理论和实践的发展趋势。用计算机研究材料科学的领域包括从微观 结构到物理性质、从数值分析到工艺过程模拟、从传统计算到智能处理等方面。 近年柬，材料科学的发展非常迅速，计算机技术在材料科学中的应用正是材料科 学飞速发展的主要因素之- - 0 2 1 。 随着我国经济的高度发展，工业、农业和国防也对新材料、新物质不断提出 了更高的要求。解决新材料开发过程中常遇到的周期长，影响因素复杂，反应机 理不明等难题的要求也越来越迫切。 材料科学是研究材料的组成与结构、合成与制备、性能与应用以及它们之间 相互关系的一门科学，但它又是一门较为年轻、发展还不成熟的科学。事实上， 材料科学目前还更多地依赖于事实和经验积累，还处于向系统的和能够有预见性 的科学的发展过程中。新材料、新物质的探索和研制历来都是用经验方法，或称 为“炒菜”( t r i a la n dc r r o rm e t h o d ) 方法。即当要求提出后，凭经验决定材料制各的 配方和工艺，制备一大批样品，分析其成分、组织结构，测试其性能，若尚不合 用，即另行试制，一般要反复很多次，才能获得成功。成功以后，还要摸索大量 生产的技术和工艺，才能逐步做到廉价大批生产。这种“炒菜”的摸索虽然也有效， 终究是事倍功半，费时费力。另一方面材料制备过程总是受到许多复杂的内部和 外部条件的影响。有时候，这些条件的微小变化就会使材料的结构和性能发生重 大的改变，为了确保材料在制备过程中的一致性和重现性，需要对材料制备过程 中各种工艺因素的影响和因果关系有清楚的认识。对于一个已经投人生产的制备 工艺，要达到这样的要求并不容易，需要通过长期的生产积累，才能逐步总结出 来。 计算机模式识别是数据采掘技术的重要方法1 3 1 ，运用此方法可以从数据中分 析对象的某些隐含特性，并发现规律。通过为数不多的试验研究，就能从数据中 发现主次关系明确、因果关系清楚的结果。这为提高产品质量，提高材料制备过 程的一致性和重现性提供了可靠的依据。 武汉理工大学硕士学位论文 1 1 模式识别一人工神经网络【p r a n n 概述 本文所用统计模式识别人工神经网络方法的流程如图1 - 1 所示。 有些事物可以被当作一个整体看待，用一个或一组数值型数据来表征( 特征向 量) ，经过处理，便可得到表征的相应事物且能把它与其它事物区分开来并呈现 某种统计特征的特性，统计模式识别就是利用事物的这一特性，研究划分特征空 间的各种方法，来判别待识别事物的归属。科学研究中，由于研究对象复杂，多 因素交织在一起，或由于机理不清楚，而理论计算工作无法进行，这时模式识别 就是一种有效的手段，从己知实验数据中总结出规律，预报未知。 人工神经网络是对人脑神经系统所作的抽象简化和模仿所得到的复杂信息 处理系统，它由很多类似人脑神经细胞的单元一神经元所组成。单个的神经元结 构简单，功能有限，但大量神经元构成的网络系统却具有十分复杂且强大的功能。 神经网络利用大量神经元之间的连结强度及其分布来表示特定信息。具有很强的 拟合能力。 1 2 模式识别一人工神经网络算法在材料领域的国内外研 究现状及进展情况 数据信息采掘和信息融合是当今信息科学的一个新热点，模式识别方法作为 数据采掘技术的重要方法，能对从多种渠道来的大量数据进行计算机处理，去粗 取精、去伪存真，它能从大量数据中挖掘和学习有价值和隐含的知识，因而近年 来得到国内外的极大重视。国外一些著名的科研机构已研究开发出第一代产品。 例如，i b m a l m a d e n 研究中心的q u e s t 系统，国际上流行的工业优化通用软件有： 美国p r o c e s si ns i g h t ，p r o c e s sa d v i s o r ( 这两种软件以人工神经网和遗传算法相结合 2 - 武汉理工大学硕士学位论文 为基础) h 】。中国科学院上海冶金研究所陈念贻研究员等人应用计算机模式识别方 法处理和分析工业生产的数据记录，从中总结规律，先后对化工炼油、钢铁、有 色冶金、新材料、制药等行业的许多大、中、小型工厂进行过优化，取得了很好 的经济效益【5 叫。特别是完成了顺丁橡胶等十几套工业生产装置的优化，使优级 产品率提高到9 4 一9 5 ，创下了年经济效益为1 0 0 万元的记录。综合运用人工 智能、计算智能( 人工神经网络、遗传算法) 1 7 - s l 、模式识别、数理统计等先进技 术作为数据挖掘工具，建立反映实验数据内在规律的数学模型，利用各种优化方 法确定材料实验和设计的方向，在辅助新产品试制，分子设计、材料设计、化合 物和物系的性质预报等基础研究中很有意义。 模式识别方法可以以直观的图像显示数据内在的联系和规律，“看”出优化的 方向，从而确定材料试验的方向，在金属材料及催化剂研究方面应用，取得了广 泛的成功【9 _ 12 1 。 材料科学历来研究的许多问题无法从机理上建立确切的数学模型，为了对其 中的一些规律进行归纳，常采用回归分析方法。但是回归方法存在着局限性，它 必须预先给定公式的形式，对于一个未知的模型做到这一点是很困难的。而利用 人工神经网络则可较好的解决这一问题，它具有自学习功能，能从实验数据中自 动获取数学模型。它无需预先给定公式的形式，而是以实验数据为基础，经过训 练后获得一个反映实验数据内在规律的数学模型训练后的神经网络能直接进行 推理。神经网络在处理规律不明显、组分变量多的问题方面具有特殊的优越性。 通过人工神经网络处理样本数据，多维空间的样本点跟据特性被分为若干类别， 结果用一种直观分类图表示，这种分类图可以从全局上直观地考察多变量数据样 本间的类别关系，并预测研究对象的某些特性。与一般线性的统计分析方法不同， 基于类别概念的分类图给出定性或半定量分析结论，适合于研究对象比较复杂、 机理不明、非线性程度高、一般的模型化方法难以实施的体系。如在非线性分析 数据处理、材料的配方及工艺研究、生产及实验过程优化等方面都有较高的实用 价值。人工神经网络在材料设计与成分优化，材料的智能加工与控制，材科加工 工艺的优化、材料相变规律的研究与相变点的预测，材料性能预测等方面有到了 广泛的应用【”。引。是工业生产过程优化，新产品新材料设计的有力工具。但是现 有的人工神经网络在应用中有时也暴露出如下的问题：一是人工神经网络在学习 训练中，有时陷入局部极d 、( l o c a lm i n i m u m ) ，而不能到达全局极d 、( g l o b a l m i n i m u m ) 。二是在训练集中包含有离群点( o u t l i e r ) 或假数据时，人工神经网络有 时发生“过拟合”现象( o v e rf i t t i n g ) 。这是因为人工神经网络拟合能力很强，能将离 群点或假数据也总结进数学模型中，从而造成预报中的误报。 3 武汉理工大学硕士学位论文 由鄢烈祥教授提出的列队竞争算法是一种新的全局优化算法m 。2 8 】，已在国内 外发表的多篇论文中求解了一系列高难度的问题，对同样的问题在解得质量和收 敛速率上优于遗传算法1 2 9 - 3 3 1 、模拟退火法i 3 4 】等模拟自然法则的算法。它是一种群 体并行搜索、多层次竞争的全局优化搜索算法，此算法在求解非线性规划问题【3 副 方面表现出了良好的特性，特别是对规模越大越难求解的全局优化问题i ”4 2 j ，越 能表现出该算法的稳健性和搜索效率。将这种优化算法用于改善人工神经网络在 学习训练中容易陷入局部极小的问题具有重要意义。本文所用的模式识别方法以 此为核心算法，具有许多独特的特性，它将优化技术、计算机技术和人的视觉作 用结合起来，在实施优化的过程中，充分发挥了人的智能决策作用。 1 3 主要研究内容 本论文以p r a n n 方法及其在材料领域的应用为研究内容，探讨了该方法在 材料领域运用的实例，主要研究内容包括如下几个方面： 研究用人工神经网络实现模式识别的非线性映射模型。运用神经网络强大 的拟和能力，建立特征参数空间和指定的模式类之间的一一对应关系： 研究列队竞争算法的运行机制，分析算法的控制参数对计算结果的影响； 研究用列队竞争算法解决人工神经网络学习训练中容易陷入局部极小的 问题，在列队竞争算法得到的子空间里用局部搜索性能好的梯度下降法加快搜索 速度； 研究用p r a n n 方法对材料设计和试制过程进行优化和预报，以优秀的数 值计算软件m a t l a b 为开发平台，开发相应的模式识别软件。选取了五个实例( 两 个单目标优化问题，两个双目标优化问题和一个三目标优化问题) 进行研究，确 定优化的方向和区域并进行预报。 4 武汉理工大学硕士学位论文 第2 章p r - a n n 的基本原理 2 1引言 在人工神经网络算法出现以前，已有许多分类模式识别算法。分类模式识别 是一种从空间区域划分和属性类别判断角度出发处理多元数据的非函数方法。上 世纪初，美国w a s h i n g t 0 9 大学的k o w a l s k i 教授开创性地将模式识别应用于化学 领域。以后，模式识别方法被广泛地应用于生物、矿产、化学分析和材料设计等 领域，其应用得到了很大的发展1 4 j l 。 在材料试验设计和组分设计中，要实现以较少的试验工作量，较快的找出最 佳配方和最佳工艺条件，获得最好的性能指标，这就要求所研究的新材料、新物 质的各成分要素处在最优区域内。本文研究的模式识别人工神经网络方法是近 年来研究的热点问题，这种方法通过为数不多的试验研究就可以从数据中分析对 象的某些隐含特性。特别对于多元体系的研究可以提供一个较为准确的优化方 向，在减少试验次数，缩短研发周期等方面有很大的帮助。 另外，在本论文研究的模式识别技术中引入了可视化优化技术，应用人工神 经网络技术和全局优化算法在多维空间与二维平面之间建立起一一对应关系，可 以直观、准确、可靠的显示出性能指标在二位平面上的等值线分布规律。 2 2 p r a n n 技术一般步骤 影响目标的因素是自变量，也称为特征变量，一组包含所有这种特征变量的 数据称为一个样本，如果把这组特征变量的个数与多维空间的维数对应起来，这 组数据为多维空间的一个样本点。当维数大于三时，由于我们对高维空间缺乏感 牲认识，无法判断样本所处的区域。模式识别技术通过映像的方法，将高维空间 中的样本点，映像到二维平面上，得到人的视觉可以识别的分类映射图。如果不 同类别的样本分别占据映像图上的不同区域，或有分类趋势，则可通过目测找出 优类样本占据的区域或优化方向，然后再复原到特征空间，得到能使目标优化的 特征变量值。 其一般步骤为： 1 模式获取，采集样本数据。构成原始训练样本集； 2 特征提取，特征参数的选取，主次参数决策； 3 ，数据预处理。有时特征值不能直接输入网络，因为原始样本集的变量量 纲不同，不同变量数据大小差别很大：同时，数据分布范围也不样。 数据平均值和方差不一样，会导致夸大某些变量影响目标的作用，覆盖 武汉理工大学硕士学位论文 某些变量的贡献，不能有效地进行统计处理。因此在神经网络应用中经 常要用某种方法对特征值标准化( 如变换n o ，1 】的范围内) ； 4 空间变换，用数学方法( 如后文中介绍的神经网络降维映像方法) 对以类 为目标的样本集进行空间变换到低维空间，这个低维空间常常是可视的 二维平面从而得到一个二维映照图； 5 在二维映照图上直观地确定出优化方向： 6 神经网络预报，用神经网络技术建立精确的数学模型并预报优化的试验 点。 2 。3 模式识别方法 模式是对感兴趣的客体定量的或结构的描述，模式类是具有某些共同特性的 模式的集合。模式识别方法即利用计算机自动地( 或者人工进行少量干涉) 把待 识别的模式分到各自的模式类中去。 模式识别包含出特征和属性所描述的对象的数学模型，也涉及到一般意义上 对象间相似性的抽象概念。其最大的实用性在于“智慧”仿真，它在我们日常生活 中随处可见。例如机器人辅助生产线、医疗诊断系统、经济发展预测系统、地球 资源探测系统、卫星数据分析系统等都是它的应用领域。模式识别系统的目标是 要在表示空间和解释空间之间找到一种映射关系。这种关系可以是一个分类、回 归或描述方案。在新材料、新物质的研究中由于详细的机理并不十分清楚，或者 研究对象过于复杂，无法用严格的理论推导出这种映射关系，而是需要从已知的 事实和数据中总结经验规律，进而进行估计和预报，引导试验设计的方向。计算 机模式识别方法便是总结这类经验规律的一种十分有效的手段。 计算机模式识别方法的基本原理是将每个样本特征参数( 如原料组成、温度、 压力、反应时间等条件的数值) 表示为多维空间的一个点，根据“物以类聚”的原 理，同类或相似的样本闻的“距离”应较近，不同类的样本间“距离”应较远。这样 对样本进行判别、分类并利用分类结果预报未知。 模式识别最简单的分类问题是将样本分为互不兼容的两类，即第一类样本包 含符合某种标准的样本，第二类包含所有不符合某种标准的样本，本文所列举的 实例就选取目标值大于均值的样本为第一类，其余为第二类。本文还引入了可视 化技术，将多维空间的点用神经网络方法降维映像到二维平面，从而可以直观的 看出样本的分布聚集状态，这是本文的一大创新。 6 武汉理工大学硕士学位论文 2 3 1 模式识别方法分类和应用 主要的几种常见模式识别方法1 3 ) ： 1 1 多元线性回归分析 许多实际问题中，存在着多个因素相互联系、相互制约地影响着一个变量的 变化问题，这种一个因变量与多个自变量之间的相互关系就是多元回归问题。多 元线性回归实际上是利用最小二乘法原理，使实际观察值m 与对应的估计值y r 。 距离最小，得到多元线性回归方程。对于回归方程能否适合地反映观察值散布的 位置和趋向，可采用方差分析法或相关系数检验法，对几个自变量对因变量的影 响程度，可用偏回归系数的显著性检验。对于独立的一组自变量，代入回归方程， 可以在一定的置信区间内对应的点估计值进行预测。 2 ) 主成分分析法( p r i n c i p a lc o m p o n e n ta n a l y s i s ，简称p c a ) 实际问题中，经常遇到研究多特征变量问题，然而多数情况下，不同特征变 量之间有一定的相关性。由于变量较多，再加上变量之间有一定的相关性，它们 之i 、日j 相互干扰，增加了问题分析的难度。 主成分分析就是设法将原来特征变量重新组合成一组新的互相无关的几个 综合变量来代替原来特征变量，以排除众多信息共存时相互重迭的冗余信息。通 常的做法是将原特征变量进行坐标变换，使少数几个新特征变量是原有特征变量 的线形组合，同时，这些新特征变量又能有效地表达原有数据结构丽不丢失或者 少丢失信息。 主成分分析的基本原理，即是选择样本点分布方差大的坐标轴进行投影，使 维数降低而信息损失量最小。可通过一个二维实例直观地说明： 图2 - 3 主成分分析法原理示意图 图2 - 3a 表示分布于二维空间的若干样本点。其分布大致为一椭圆形。假如 7 武汉理工大学硕士学位论文 我们首先将原点移至各点重心0 处，如图2 3b 中的位置，并旋转坐标轴至椭圆 主轴处，如图2 3c 中位置，将各点向主轴投影。则各投影到一维坐标的点可近 似表达各样本点的近似位置。因为沿椭圆主轴方向各点分布方差最大，而与之垂 直的方向方差晟小。 3 ) k n n 法( k 最近邻法) k n n 法是模式识别方法的标准算法之一。它的基本思想是先将已知样本的 目标值按需要分好类之后，将对应的样本点映射到多维空间中，然后再把未知样 本也映射到同一个多维空间里去。考察这个未知样本点的k 个最近距离的样本 点( k 取奇数1 ，如果这一最近距离的k 个样本点某一类样本最多，则可认为该未 知样本应属此类。在多维空间中，各点间的距离通常规定为欧几里得空间距离， n 维空间中，点x ( x l , 如州与点z ( z bz 2 , z 一的欧氏距离为： 叫蓦，2 】j 2 3 2 几种模式识别方法的比较 1 1 采用主成分分析提取的主成分，能够较好的概括自变量系统中的信息，但是 在用概括出来的自变量解释目标值的时候却显得苍白乏力。因为经过概括 后的变量已经失去了原有特征变量所能表达的物理意义了。 2 ) k n n 法和主成分分析法相比，它的好处是对样本的数据结构( 例如：不要 求样本线性可分) 没有特定的要求，也不需要对其加以处理，只需要用每 个未知点的近邻属性类来判别就够了，也不用学习和训练。k n n 法的一个 缺点就是它没有对样本点每次计算的结果进行提取和学习，因此每判断一 个新样本点都要对所有已知点的距离全部重算一遍，计算工作量大。 2 4 人工神经网络简介 2 4 1 人工神经网络的发展 人工神经网络( a r t i f i c a ln e u r a ln e t w o r k ) 是由大量模拟人脑机能的“神经元” 节点互连而成的种计算结构，它在某种程度上可以仿真生物神经系统的工作过 程，并且具有大规模并行处理、容错性、自组织与自适应能力和联想功能等特点， 从而具备解决实际问题的能力。自最初1 9 4 3 年m c c u l l o c h 等人根据神经细胞的 g 武汉理工大学硕士学位论文 结构与功能的知识，提出了人工神经元模型以来，经过不断改进，到1 9 8 6 年 r u m e l h a f l 等人提出了b p 算法模型，解决了多层网络的训练问题，扩大了应用 范围。使许多复杂的信息处理问题如模式识别、预测、函数拟和优化等，都可以 用多层神经网络解决。h o r n i k 等人还从理论上证明了仅有一个非线性隐层的前馈 网络就能以任意精度逼近任意复杂度的函数j 。 本论文所选用的模式识别方法采用的就是含一个非线性隐层的前馈网络。 2 4 2 人工神经网络的建模 1 ) 人工神经元结构 人工神经元是人工神经网络的基本单元。m c c u u o c h 和p i t t s 提出的人工神经 元模型( m p 模型【3 2 】) 结构如图2 - 4 所示： 其中，x 厶工a ，粕为该神经元的，1 个输入，计为 x = 西x 西，】) ， x 2 x 3 图2 - 4 神经元结构模型 它们的相应加权值为： w = ( w b w 3 ，w n ) ， 神经元具有阀值0 ，输出用y 表示 y t ，( 叶工厂口) 其中，代表某种函数关系单个人工神经元的结构和功能看似十分简单，但 大量人工神经元构成的系统是一个高度复杂的非线性系统，因此它表现出一般非 线性系统的共同特点，如不可预测性，不可逆性等，系统的行为极为复杂。 2 ) 人工神经网络的类型 将若干个人工神经元作为有向图的结点，可连成人工神经网络。从连接形式 9 武汉理工大学硕士学位论文 上看可区分为下列几种类型： 鬻凰i i i 鬻 ( a )( b )( c )( d ) 不含回馈的前向阶层型网络如图a 所示。人工神经元在其中分层排列， 分为输入层，隐含层和输出层，每一层神经元仅接受前一层的输出信号，经信息 处理后再向前传播，最终在输出层得到网络的输出。本论文即选用此类型网络求 优化数学模型。 从输出层到输入层之间有回馈的前向网络，如图b 所示。从输出层引出 回馈信号回到输入层中，而网络本身还是前向的，他可用来存储某种模式序列， 处理动态信息等。 层内有相互结合的前向网络，如图c 所示，在同一层内有相互连接，它 们可以形成相互间的制约，而从外部看它还是一个前向网络，很多自组织网络大 都是这样的内层互联结构。 相互结合型结构的网络，如图d 所示，网络在任意两个神经元间都有可 能联结。此种网络由某个初始状态开始，经过一个系统动态的变化，最终达到某 种平衡状态。 本文采用三层前馈神经网络来实现拟合与映像，只是它的中间层有一定的特 殊性，只有两个固定节点，其输入层的神经元数目与工艺参数的数目相等，输出 层的神经元的数目与待优化对象的目的指标数一致。 武汉理工大学硕士学位论文 2 4 3 影响神经网络算法的若干因素 现有的人工神经网络在应用中有时候也暴露出一些问题，主要集中在以下两 方面： 人工神经网络模型中涉及到一个非凸非线性优化问题，如果处理不好有 时候在学习训练中会陷入局部极d 、( l o c a lm i n i m u m ) ，而不能到达全局极小 ( g l o b a lm i n i m u m ) 。 在样本集中如果含有未经处理的离群样本或假数据时，由于人工神经网 络的强拟和能力有时会产生“过拟合”现象，而将这些离群点和假数据也总结进数 学模型中，结果造成误报。本文选用全局搜索性能优良的列队竞争算法来求解全 局优化问题，其全局搜索性能在国内外已经发表的多篇论文中得到了很好的验 证。具体对此问题的求解可借鉴文献【2 3 】的方法，另外一个措施是在特征变量输 入网络之前先对样本数据进行筛选以剔除离群数据保证训练的准确性，并且对预 报的结果与先前用模式议别方法界定的优化区进行比较，从而限制误报的产生。 1 1 武汉理工大学硕士学位论文 第3 章p r 。a n n 系统的神经网络模型和算法研究 3 1 神经网络降维映射模型 一般现有的前向网络都是从输入向高维扩展，通过非线性传递函数的作用， 多次迭加，以此达到较强的非线性逼近能力。但是这种信息传递方式，其变量间 的联系和因果关系容易被复杂的传递过程所隐蔽，致使形成的网络很难揭示出样 本数据所固有的特性和规律。 降维映射网络模型如图3 - 1 所示，根据拓扑结构在映射过程中不变的原理， 不论输入向量有m ( m 2 ) 维，都能把它映射到二维平面上。再通过非线性向 高维空间扩展、迭加，最后到输出。这样就避免了传递过程中变量阃的关系被屏 蔽、覆盖。从而能准确地揭示出样本数据分布规律及特性。 网络的传递过程如下： 从模式获取变量到二维映射平面：z t = x 7 + 巩( 3 - 1 ) z 2 = x w z7 + 0 2( 3 2 ) l x ix 2 x m 图3 - 1 降维映射神经网络模型 通过非线形函数扩展向量p 从映射平面到输出： y = p v 7 ( 3 3 ) 其中x = 旺x 2 x 3 】，晰= 【呦呦w m j 】j = l 2 , y = y l y z y 3 y f 】，p = 口正仁j z z ) f z ( z lz 2 ) 矗白z 2 ) 】， y = 【v lv 2 v 3 】l x p ，v k = v k ly k 2 协v k ( p + j j 】l 】 = 五z j l 1 2 武汉理工大学硕士学位论文 上式中，尸称为非线性函数扩展f 句量，其作用是增强网络的非线性拟合能力，它 实质上是z ，、z 2 在网络中最高次为二次时多项式的展开形式，即 p = 口2 之z i z 2z 2z 2 2 】， 在这个过程中输入网络的特征变量z 是埘维的，先与同样是m 维的权向量作 用生成二维向量z ，投影到二维平面上，然后z 通过非线性扩展向量p 、和网络 权矩阵矿作用，建立与输出向量l ，的一种非线性映像关系。从而输出向量，的 特征规律可在二维平面上用二维向量z 描绘出来。 由z 、z 2 所构成的平面一方面直接与输入特征变量相联系，另一方面该平面 与输出目标值还保持一种非线性函数关系，因此输出函数特性就能在该二维平面 上反映出来，依靠人的判别、决策作用，就可以从这个二位平面上得到多维空间 样本数据的分布特性和规律，找出满足需要的最优点或优化区域。 在上述网络结构中，网络权向量阿和网络权矩阵p 是联系输入与输出的重 要参数，对网络权向量和网络权矩阵的确定过程就是网络对样本进行学习、训练 的过程。在学习过程中，需要不断地调籀权系数使网络的输出与希望的输出误差 达到最小。这个问题可以转化为一个无约束的非凸非线性优化问题。一个有个 目标输出的网络，对r 1 个样本学习所产生的总误差层可用下式表示： e = m ；n 三( 砉塞q 七 ) 一y 七o ) y ) 其中扣一样本模式； 卉f f ) 、鲰f f 卜一分别为第k 个函数在t 模式下给定的目标值和网络输出值。 这是个典型的非凸非线性优化问题，可能存在许多局部极小值。文献中已报 导了许多求解算法p 8 4 0 1 ，比如，遗传算法、进化策略等类模拟生物进化过程的 随机搜索算法来求解，并取得了一定的进展1 7 。9 1 ，但这些算法在保持群体多样性 和均衡局部和全局搜索等方面仍不理想，因此本文选用全局搜索性能优良“列队 竞争算法”和局部搜索能力较强“梯度法”结合起来的办法来兼顾全局搜索和局部 搜索。 武汉理工大学硕士学位论文 3 2 神经网络的训练算法 3 2 1 列队竞争算法 列队竞争算法是一种群体并行搜索、多层次竞争的全新的全局优化援索算 法，由鄢烈祥教授1 35 】提出，此算法在求解非线性规划问题和组合问题方面表现出 了良好的特性，特别是对规模越大越难求解的全局优化问题，越能表现出该算法 的稳健性和搜索效率。本文将此算法作为人工神经网络“训练”和“学习”的优化算 法。 列队竞争算法解连续变量问题的基本步骤为： 1 在搜索空间中按均匀分散产生n 1 个个体，代表m 个家旅，组成初始 解群，并计算各个个体的目标函数值； 2 按照目标函数值大小对m 个个体排序，求全局最小值问题采用升 序，求全局最大值问题用降序； 3 根裾各个个体在列队中的位置，按一定比例确定其相应的搜索空 间，处于第一位的搜索空间最小，处于最末位的搜索空间最大： 4 各个个体在各自的相应搜索空间内进行无性繁殖，产生1 1 个彼此差 异性尽可能大的子代个体，n 个子代个体与父代一起进行生存竞 争，将其中最优秀的一个个体保留下来，代表它所属的家族参加 下次列队地位的竞争； 5 整体收缩搜索空间，然后，转到第2 步。终止条件为搜索空间收缩 到接近于一点或达到指定的进化代数。 列队竞争算法的主要特性在于能使全局搜索与局部搜索、家族的相互竞争与 相互协作这两对矛盾达到较好的统一。 局部搜索与全局搜索达到统一：处于列队前面的家族( 优秀的) 分配的搜 索子空间小，其作用是作局部搜索，以便快速找到最优点；后面的家族( 差的) 搜索子空间大，其作用是作全局搜索： 家族的竞争和协作达到统一：在援索的过程中，即便所有的家族聚集在某 一局部极小点的附近，也不容易陷入局部极小。这是因为每个家族的搜索空间 不同，处在列队后面的家族由于有较大的搜索空间，它能跳出局部极小点，一 旦它跳出此点找到更优的点而位于列队的前面时，原先在列队前面的家族就会 排到列队后面面获得较大的搜索空间，也跟着跳出此局部极小点。家族的竞争 和协作有利于克服局部极小。 由于上述特性，形成了各个家族你追我赶、地位交替上升、竟相争夺列队 各次的态势，竞争的结果使列队中的首位家族不断地被其它家族所取代或其值 1 4 武汉理工大学硕士学位论文 被更新，快速地向最优点逼近。又由于在搜索过程中，引入了搜索空间逐步收 缩技术，加速了收敛的速度。 列队竞争算法是一种性能优良的全局搜索优化算法。为了进一步提高搜索质 量，加快搜索的收敛速度，在有希望点上采用了局部搜索算法，即梯度法。 3 2 2 梯度法 梯度法的w 、v 初始值是由列队竞争算法计算的中间结果来提供的。w ，v 修 j 下量公式如下： a 1 2 k i 娩h a w q = 一q 孤| 批u 而 孤胁娃i z ( d k ( t ) - y d o ) p i 0 = o , 1 5 o e 却u = 一z z ( d k i t ) - y k ( t ) ) ( v , l + 2 v k 3 z l + v t b z 2 ) x j d e i d v v i 2 = 一z d “t ) - y k l t ) ) ( v 乜+ 2 v 昭2 七v 啦l l x j 修正公式v 仪+ u = v ( 固+ 加+ a f v ( 均- v ( 艮驯 w ( k + j j = w f 盔p + d w + a ( w ( 的一w ( k - 1 ) 上式中，叩，口分别为学习速率和动量因子。 3 2 3 列队竞争算法与梯度法的结合 将“列队竞争算法”和“梯度法”结合起来集成一种新的算法混合算法，此 算法中，列队竞争算法的主要作用是实现全局搜索，梯度法作用是实现局部搜索， 这两种方法的结合，一方面提高了全局最优解的质量，另一方面加快了收敛速度， 使全局搜索与局部搜索能达到较好地均衡和统一，实践证明这种混合算法比单一 地运用列队竞争算法或单一运用梯度法优化效果更好，结果更准确、更可靠。 3 3 小结 本章论述了p r - a n n 系统中特殊神经网络结构模型的构建和一种全新训练 算法的研究。这种特殊设计的神经网络能把多维空间的样本数据映像到二维平面 上，同时保持原始样本空间的特征而不被覆盖，利用人的视觉直观看出不同模式 样本在该平面上的分布规律，从而确定出最优化区域。提出的混合训练算法在均 衡全局和局部搜索能力方面比传统的优化算法更强。 武汉理工大学硕士学位论文 第4 章p r a