（控制理论与控制工程专业论文）神经网络在一类数据样本分类中的应用研究.pdf

大连理工大学硕士学位论文 摘要 使用神经网络进行模式识别是目前发展的一个趋势，本文对神经网络在一类数据样 本中的分类进行了研究，主要以建筑材料成分识别为例，验证了神经网络( a n n ) 应用于 建筑材料系统模式识别的有效性。本文使用了改进的r b f ( r a d i a lb a s i sf u n c t i o n ) 神经网 络模型，完成了对神经网络方法的改进分析，并成功的进行了模式识别。 由于数据分类的复杂性，使用目前的分类方法如统计模式识别法、结构模式识别 法、神经网络法等都存在着一定的缺点，本文通过对神经网络的分析，采用改进的神经 网络模型来进行数据样本分类分析。首先根据r b f 神经网络的特点，使用了一种改进 的四层r b f 神经网络模型，该模型改进了网络的输入表示方式，减少了网络的参数， 并根据样本的类型确定其训练方式，加快了网络的训练过程，取得了很好的效果。随后 本文根据模式识别分类时所具有的特点，使用区域映射误差方法，并以此方法为基础， 结合资源分配网络( r e s o u r c ea l l o c a t i n gn e t w o r k ) 添加节点的“新性”条件建立区域映 射动态r b f 网络训i 练算法。首先以二分类样本为例，证明了该算法在数据样本分类中 的有效性。接着以建筑材料中c a o - a 1 2 0 3 s i 0 2 系统为例，对材料成分识另q 领域进行仿 真，结果表明，与传统的r b f 网络相比，该改进的算法明显的抑制了过大误差，使误 差下降更快，减少了训练次数，同时训练结束后可以获得精简的网络结构，从而具有较 高的泛化能力。因此可以锝出，在数据样本分类领域，改进的神经网络算法会为其研究 提供一种有效的途径。 关键词：r b f ；分类；区域映射；模式识别；建筑材料 神经网络在一类数据样本分类中的应用研究 a p p l i c a t i o n r e s e a r c ho fn e u r a ln e t w o r kf o rd a t ac l a s s i f i c a t i o n a b s t r a c t i ti sat r e n da tp r e s e n tt ou s en e u r a ln e t w o r ki np a a e m r e c o g n i t i o n t h i sp a p e ri sa i m e d a t t h ec l a s s i f i c a t i o nr e s e a r c ho f u s i n ga r t i f i c i a ln e u r a ln e t w o r k ( a n n ) i nd a t a p a t t e m a n d t e s t i n g t h e v a l i d i t yo fa d a p t i n gn e u r a ln e t w o r k st o m o d e lb e h a v i o ro ft h ec o m p o u n dc o m p o n e n t so f b u i l d i n gm a t e r i a l sp a t t e r nr e c o g n i t i o n a c c o r d i n gt o t h ec h a r a c t e ro fn e u r a ln e t w o r k , a n i m p r o v e d n e u r a ln e t w o r km o d e li sc o n s t r u c t e d ，a n di t sp e r f o r m a n c ei sa n a l y z e da n d p r o v e d b e c a u s eo ft h ed a t ac l a s s i f i c a t i o n sc o m p l e x i t y , t h em e t h o d ss u c ha ss t a t i s t i c a l p a t t e r n r e c o g n i t i o n , s 缸 u e t u r a lp a t t e r nr e c o g n i t i o na n dn e u r a ln e t w o r k sh a v es o m ed i s a d v a n t a g ei nt h e c l a s s i f i c a t i o n i nt h i sp a p e r ，a ni m p r o v e dn e u r a ln e t w o r ki su s e di nt h ec l a s s i f i c a t i o n f i r s t ，b a s e d o nr b f ( r a d i a lb a s i sf u n c t i o n ) n e u r a ln e t w o r k , a ni m p r o v e df o u r - l a y e rf e e d - f o r w a r dn e u r a l n e t w o r ki sp r e s e n t e d t h ei n p u ta n do u t p u ti sc h a n g e d ，s ot h ep a r a m e t e ri sd e c r e a s e d d u r i n g t h e l e a r n i n gp r o c e d u r e ，t h et r a i n i n gw a y s a r eu s e d d i f f e r e n t l ya c c o r d i n g t od i f f e r e n t c h a r a c t e r i s t i c so f t h ep a r e r n s t h e n t a k i n ga c c o u n t t h e s p e c i f i cf e a t u r eo f c l a s s i f i c a t i o np r o b l e m ， an e w t r a i n i n ga l g o r i t h m i sp r o p o s e d i nt h i sa l g o r i t h m ，as u i t a b i ee r r o rf u n c t i o nn a m e d r e g i o n a l m a p p i n g e r r o rf u n c t i o n , w h i c hd e p e n d so n l yo nt h em i s c l a s s i f i e dt r a i n i n gp a r e m s ，i sd e f i n e d ， a n dt h ea d v a n t a g eo f c l u s t e r i n ga l g o r i t h ma n dr a n ( r e s o u r c ea l l o c a t i n gn e t w o r k ) i sa l s o c o m b i n e di nt h i sa l g o r i t h m , s ot h en e t w o r kp a r a m e t e r si sa d a p t i v e l ya d j u s t e dd u r i n g 怕i n i n g p r o c e s s t h ev a l i d i t yo f t h i sn e t w o r k i si l l u s t r a t e du s i n ga n e x a m p l e t a k e nf r o mt h ep a r e mo f a s y n t h e t i c t w o - c l a s s p r o b l e m a n dt h e c o m p o n e n ta n a l y s i s o fc a o a 1 2 0 3 - s i 0 2 s y s t e m s i m u l a t i o ns h o w st h a tt h i sa p p r o a c hc a nb es u c c e s s f u l l yu s e di nt h ep a t t e r n r e c o g n i t i o na n d c b x l g e tg o o dg e n e r a l i z a t i o na b i l i t y k e yw o r d s ：r b f ；c l a s s i f i c a t i o nr e g i o n a lm a p p i n g ；p a r e r nr e c o g n i t i o n ；c i v i l b u i l d i n g m a t e r i a l s i i 大连理工大学硕士学位论文 1 绪论 在当前的数据分类中，由于数据本身的复杂性以及数据量的庞大，对其进行分类是 非常困难的一件事，因此有必要借助新技术、新理论，来对其进行分析，从而确定其性 质及类别。本章首先阐述了数据分类的研究背景及重要性，简单介绍人工神经网络的发 展简史以及进行模式识别的特点；接着分析各个类型的神经网络，对比他们应用于模式 识别的优缺点；在此基础上将神经网络与模式识别模型结合起来，并作简要分析；最后 列举出本论文的主要研究内容。 1 1 数据分类研究背景和神经网络的发展 随着模式识别技术的发展，其应用范围也不断扩展。除了文字识别、语音识别这些 经典的模式识别研究课题外，近年来模式识别技术也应用到诸如数据挖掘、文本分类、 基于内容的多媒体数据库检索、自然语言理解等领域。而且，随着计算机的计算和存储 能力以及互联网技术的飞速发展，计算机己经开始具备处理海量数据信息的能力。在此 背景下，计算机模式识别系统所要处理的问题中的数据量也越发庞大，模式样本也越发 复杂，给分类器的设计提出了更高的要求。 模式识别的方法 1 可分为：统计模式识别方法和结构模式识别方法以及神经网络方 法。相应的模式识别系统包括设计和实现两部分，设计是指用一定数量的样本进行分类 器设计，而实现贝是指用所涉及的分类器对待识别的样本进行分类决策。 统计模式识别法中模式分类问题可以阐述为数理统计问题。统计方法把模式识别问 题表示成多维空间中密度函数的估计问题，并且把这个超空间分成多个类别或分类区 域，在这种情况下，判别是使用合适的判别函数来完成的，从而数理统计成为这个领域 的基础。由于这个学科利用判别函数来划分模式空间，也常常称为决策理论方法，在其 中，以判别函数包围的模式空间中的区域都对应有各自的类别，为了对给定模式进行分 类，首先将它带入所有的判别函数中，然后把模式分配到具有最大数值的类中。该方法 在低维空间中表现出很好的性能，但是在高维空间，往往实际的分类效果要比理论效果 差的多。 按句法规则的模式识别主要受到了来自形式语言理论的观念影响，从而，各种语言 的、语法的和结构的模式识别也常常用来表示按句法规则的方法。在该方法中，模式由 一些子模式以各种方式组合而成，为了使这种处理方法表现出优越性，必须要使选定的 最简单的子模式，即模式基元，识别起来比识别模式本身容易得多才行。这种能力最具 有吸引力的一个方面，就是可以利用文法的递归性质，一个文法规则可以使用任意多 神经网络在类数据样本分类中的应用研究 次，所以有可能用非常紧凑的方式来表示一个句子的某些基本结构特性。这种方法的实 际效果将取决于是否能够确定简单模式基元以及识别它和由组合运算所代表的基元之间 的关系。 上述的两种方法都有着各自的优缺点，在模式识别领域也有着大量的应用，同时在 数据分类方面通过前人的大量实验研究，已积累了丰富的实践经验，因此已经为些基 于知识的现代研究方法，例如神经网络方法等打下了基础。 人工神经网络的研究始于1 9 4 3 年，它最初是由心理学家w s m c c u l l o c h 和数学家 w p i t t s 所提出的m - p 模型【2 】。该模型的提出不仅具有开创意义，还为以后的研究工作 提供了依据。1 9 4 9 年心理学家d o h e b b 提出了著名的h e b b n 学习规则。5 0 年代末， f r o s e n b l a t t l 4 1 提出了著名的感知机模型，这是第一个完整的人工神经网络。这个模型由 阈值单元构成，初步具备了诸如并行处理、分布存储和学习等神经网络的一些基本特 征，从而确立了从系统的角度研究人工神经网络的基础。1 9 6 0 年，b w i n d r o w 和 m e h o f f 提出了自适应线性单元网络f 5 j 。从5 0 年代末到6 0 年代初，神经网络的研究受 到人们的重视，研究工作进入了一个高潮。 1 9 6 9 年，美国著名人工智能学者m m i n s k y 和s p a p e r t 编写了影响很大的 p e r c e p t r o n ) ) 6 j 一书。该书指出，单层的感知机制能用于线性问题的求解，而对于像 x o r ( 异或) 这神简单的非线性问题却无法求解。能求解非线性问题的网络应该是具有隐 含层的多层神经网络，而将感知机模型扩展成多层网络是否有意义，还不能从理论上得 到有力的证明。由于这一悲观结论，加上当时以逻辑推理为基础的人工智能和计算机取 得了辉煌的成就，从而大大降低了许多人对人工神经的研究热情及克服理论障碍的勇 气。在这之后的1 0 年中，神经网络的研究进入了一个缓慢发展的低潮期。但其间仍有 不少学者继续进行着不懈的探索，并取得了一些重要成果。 进入2 0 世纪8 0 年代，由于以逻辑推理为基础的人工智能理论和v o n n e u m a n n 计 算机在处理诸如视觉、听觉、形象思维、联想记忆和运动控制等智能信息处理问题上受 到了挫折，以及具有并行和分布机制的人工神经网络本身的研究成果以及脑科学和神经 科学研究成果的推动作用，还有v l s i 技术和光电技术的发展为神经网络的实现提供了 物质基础，所以，神经网络的研究又引起了众多领域的学者的关注。 1 9 8 2 年，美国生物物理学家j j h o p f i e l d 7 1 提出了一个新的神经网络模型一一 h o p f i e d 网络模型，他在这种网络模型的研究中，首次引入了网络能量函数的概念，并 给出了网络稳定的判据。1 9 8 4 年，他又提出了网络模型实现的电子电路，为神经网络 的工程实现指明了方向。这些研究成果开拓了神经网络用于联想记忆和优化计算的新途 2 大连理工大学硕士学位论文 径，并给神经计算机的研究奠定了基础，引起了神经网络研究的又一次高潮。 随后，1 9 8 6 年，p d p ( p a r a l l e ld i s t r i b u t e dp r o c e s s i n g ) 哺j 研究小组发表e b p ( e r r o r b a c k - p r o p a g a t i o n ) 算法；1 9 8 8 年，l o c h u a 等人【9 提出细胞神经网络( c n i 叼模型，b r o o m h e a d 和l o w e 1 0 1 提出径向基函数( n a d i a lb a s i sf u n c t i o n ，r b f ) 网络模型；同年，( ( n e u r a l n e t w o r k ) ) 创刊；1 9 9 0 年3 月，皿et r a n s a c t i o no nn e u r a ln e t w o r k ) ) 问世；我国也于 同年1 2 月在北京召开了首届神经网络学术大会，并于1 9 9 1 年在南京成立了中国神经网 络学会。目前，神经网络在世界各国都有大量的学者进行孜孜不倦地探索，而且随着理 论研究的发展，神经网络的应用研究也取得了显著的成绩，已经被广泛应用于语言识 别、优化计算、智能控制、复杂系统分析、神经计算机的研制、专家系统和系统辨识等 技术领域【l l 】，取得了振奋人心的成果。人工神经网络的以下几个突出的优点使它近年来 引起人们的极大关注： 第一，它可阻充分逼近任意复杂的非线性关系； 第二，所有定量或定性的信息都等势分布贮存于网络内的各神经元，故有很强的鲁 棒性和容错性； 第三，它采用并行分布处理方法，使得快速进行大量运算成为可能； 第四，它可学习和自适应未知或不确定的系统； 第五，能够同时处理定量、定性知识。 它的这些特点和优越性主要表现在以下三个方面： 第一，具有自学习功能。例如实现图像识别时，只要先把许多不同的图像样板和对 应的结果输入人工神经网络，网络就会通过自学习功能，慢慢学会识别类似的图像。自 学习功能对于预测有特别重要的意义。预期未来的人工神经网络计算机将为人类提供经 济预测、市场预测、效益预测，其应用前景是很远大的。 第二，具有联想存储功能。用人工神经网络的反馈网络就可以实现这种联想。 第三，具有高速寻找优化解的能力。寻找一个复杂问题的优化解，往往需要很大的 计算量，利用一个针对某一问题而设计的反馈型人工神经网络，发挥计算机的高速运算 能力，可能很快找到优化解。 1 2 神经网络在模式识别方向上的应用发展 模式识剐是对表征事物或现象的各种形式的( 数值的，文字的和逻辑关系的) 信息进 行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人 工智能的重要组成部分【m 。 更具体地说模式识别主要是对语音波形、地震波、心电图、脑电图、图片、文字、 3 神经网络在一类数据样本分类中的应用研究 符号、三维物体和景物以及各种可以用物理的、化学的、生物的传感器对对象进行测量 的具体模式进行分类和辨识。 模式识别研究主要集中在两方面，即研究生物体( 包括人) 是如何感知对象的，属于 认知科学的范畴，以及在给定的任务下，如何用计算机实现模式识别的理论和方法。前 者是生理学家、心理学家、生物学家和神经生理学家的研究内容，后者通过数学家、信 息学专家和计算机科学工作者近几十年来的努力，已经取得了系统的研究成果。在本文 中主要研究的就是第二个方面。 神经网络由于具有很强的适应于复杂环境和多目标控制要求的自学习能力，所以在 模式识别领域获得了广泛应用。使用神经网络进行模式识别，也就是使用神经网络进行 分类和辨识的问题，它首先是通过已有的样本对神经网络进行训练，得出能够反映输入 特征和对应类别之间关系模型，然后通过该模型来进行实际样本的分类分析。 在模式识别应用领域中，目前使用的神经网络多为以下几种，即：前馈网络 f f e e d f o l r w a r dn e u r a ln e t w o r k s ) 、反馈网络( f e e d b a c kn e u r a ln e t w o r k s ) 和自组织网络( s e l f - o r g a n i z i n g n e u r a ln e t w o r k s ) ，这三种网络都有着广泛的应用。前馈神经网络的网络结构具 有明显的层次关系，信息单方向地从输入层向输出层流动，多属于有教师学习网络，是 广为应用的一种网络，其原理和算法也是某些其他网络的基础。前面提到的感知器网 络，b p ( b a c k - p r o p a g a t i o n ) 网络，r b f 网络都属于这种网络。下面就重点介绍几种在模 式识别中常用的前馈神经网络。 b p 网络的神经单元传递函数为非线性的s i g m o i d 函数，形成的是比较柔和光滑的 超平面，对样本空间的划分比线性划分更为精确合理，容错性也更好。由于s i g m o i d 函 数连续可微，所以b p 网络可以严格采取基于梯度下降的非线性优化方法，其权的学习 解析式十分明确，容易理解。但同时，也正是因为这种方法的非线性优化策略，使其不 可避免的具有以下缺点： 学习过程中神经网络所有权重系数都要调整。为了防止振荡现象出现，学习步幅必 须取为较小的数值，尤其在接近于最优解时步幅值必须相当小，这就使学习速度非常缓 慢，训练时间变得很长； 当其完成分类功能时，如果被区分的客体类别数超出了b p 网络可区分的最大极 限，而学习仍按原来方式进行，那么根本不可能给出正确的学习结果。如果为避免这种 情况出现而大量压缩客体的类别数，又会使神经网络的容量不能得到充分利用： 另外，b p 网络还存在一个缺点就是有可能陷入均方误差的局部最小点，造成错误 的结果； d 。 大连理工大学硕士学位论文 最后，b p 网络的误差准则是固定的，不能随环境变化而进行相应的调整或改变。 近年来提出的一些改进算法是在原b p 算法的基础上加入其它一些优化策略如遗传 算法【1 3 ，模拟退火算法 1 4 】等等，虽然可以获得全局最小，但计算量增加很大，效率较 低。 r b f 网络是一种三层前馈神经网络，隐单元的激活函数通常为具有局部接受域的函 数，即仅当输入落在输入空间中一个很小的指定区域中时，隐单元才作出有意义的非零 响应。这就避免了b p 网络超平面分割所带来的任意划分特性。r b f 网络的隐层执行非 线性变换，将输入空间r n 映射到一个新的空间r h ，输出层在该空间中进行线性组合。 显然由于输出单元的线性特性，其权值参数调节极为简单，且不存在局部极d , f 7 题。另 外，研究表明，r b f 网络所利用的非线性激活函数形式对网络性能的影响并非至关重 要，关键因素是基函数中心参数的选取。r b f 网络具有以下优点： r b f 神经网络具有全局逼近和最佳逼近特性，且无局部极小问题存在。 同时r b f 网络连接权值与输出呈线性关系，学习过程收敛速度快。 另外，网络学习算法的权值调整过程和聚类过程可同步也可异步，整批算法和递推 算法都容易实现，可根据具体问题处理： 最重要的是r b f 网络具有很好的分类能力。 但是，最初，p o w e u 1 5 】提出多变量插值的r b f 方法时，要求用所有的学习数据样 本做隐层单元，使网络结构变得复杂，尤其对一些学习样本数目巨大的系统来说，该网 络的实现几乎不可能。1 9 8 8 年，b r o o m h e a d 和l o w e e l o 】证明可用数目小于样本数据数目 的聚类中心来构造网络，从而极大地推动了r b f 网络的发展。接着，出现了很多研究 探讨了如何降低隐层单元数，选择合适的节点中心等聚类算法的改进问题 1 州1 9 1 ，进一 步的丰富了r b f 网络的应用。但是，中心节点问题仍然是r b f 网络面临的一个重要问 题，尤其是针对大量经验样本数据的情况。 径向基感知器( p , a d i a lb a s i sp e r c e p l r o n ，r b p ) 网络 2 0 1 是一种基于r b f 网络和感知 器网络而建立的四层前馈神经网络。网络第一隐层等同于r b f 网络的隐层，第二隐层 等同于简单的单层感知器网络，输出层同r b f 网络的输出层。该网络的主要特点是： 当隐层的非线性参数确定后，r b p 网络的输入输出之间的关系与r b f 网络一样， 将成为一个线性方程组，从而保持了r b f 网络全局收敛，学习速度快的优点； 双隐层中感知器隐层的加入可以有效的消除类别交叠，减少隐层单元数，简化网络 结构，因为加入的隐层实现的也是简单的映射关系，所以对学习算法的运算速度影响不 大： 5 一 神经网络在一类数据样本分类中的应用研究 两层隐层之间选择性连接实现聚类功能，具有更大灵活性，不仅可以精确分类，而 且可以简化计算。 但是，径向基感知器网络仍然有着一些地方需要提高，比如聚类中心的确定采甩引 起误差最大的点的合理性，网络中使用的参数值的选择，网络与实际系统的结合都是需 要进行研究的问题。 总之，以上各种网络模型都具有自己的优缺点。在研究具体问题时，如何能更大程 度的发挥它们的优点，同时又能避开它们的缺点，是一个有意义的研究方向。 1 3 本文的应用背景介绍 本文将神经网络应用于建筑材料模型模式识别领域，正是基于建筑材料模型的强非 线性和神经网络理论及应用研究的高速发展两个背景之上。利用神经网络的分类特性， 充分学习材料领域已有的先验知识，寻找一个适当的网络模型有效的模拟实际复杂非线 性系统，二者的结合具有如下优点： 神经网络不需要大量的原材料和严格的实验条件，而是利用建筑材料领域现有的丰 富的实验数据和资料，采用一定的计算方法学习系统规律，研究手段简单易行，节省研 究时间，避免资金浪费： 神经网络对信息采取空间上的分布存储和时阆上的并行处理方法，台够对大量信息 同时间快速的进行处理和存储。建筑材料领域中的多输入多输出非线性系统，采用神 经网络方法研究尤其方便有效； 误差实时修正较为方便，运行灵活，方便与材料的生产过程挂钩，实时监测材料的 性能是否满足生产要求并作出调整。 目前，神经网络在建筑材料模型模式识别领域的研究已有初步研究，研究内容主要 表现在以下几个方面：混凝土( 其中分为高强混凝土和普通混凝土) 的强度预测问题，建 筑材料成分的分类构成问题以及一些相关材料的物理性能的预测问题( 大多数是关于力 学的性能) 。 其中在混凝土方面有很多人开展了研究，国内最早开始于1 9 9 7 年的杨朝晖i z l j ，而 后的几年中，人们在其基础上开始了神经网络在混凝领域中的应用2 2 卜】。人 | j 使用 神经网络预测混凝土的强度，使用的输入向量为混凝土的各种材料的成分，预测输出为 混凝土的强度。在使用的网络的模型中，人们选择的网络主要有b p 网络、r b f 网络和 模糊神经网络等。其中，很多在b p 算法基础上进行改进或者构造全局优化b p 算法 或者采用加入动量项的算法口6 】【2 刀等以取得最佳的网络性能。另外，r b f 网络也是人们 的种选择。通过网络的结果可以看出，经过改进的b p 网络的性能和原网络相比提高 一6 y - a g 理3 2 大学硕士学位论文 t q e 多，使用r b f 网络的性能在同等条件下的效果要强于b p 网络圆。而模糊神经网络 的使用则使得传统神经网络中没有明确物理意义的节点和权值具有了模糊系统中“规 则”参数的物理意义，并可根据经验知识设置初值，使网络有更好的可用性口9 1 。t 在对建筑材料性能的影响预测上，由于建筑材料具有生产过程复杂、对象特性多 变、间歇或半连续生产过程多，介质腐蚀性强，易燃易爆及污染环境等特点，所以其生 产过程的检测控制面临影响因素多、变化范围大等问题。为了保证生产的优质高产、节 能降耗和平稳安全，必须有可靠有效的检测、控制手段。神经网络应用于生产过程 口1 】书3 1 ，主要表现在故障诊断，过程建模与模拟等方面。未来的发展趋势是多种方法， 如神经与模糊，神经与遗传的综合运用等等。 建筑材料的分类问题的研究是本小组的一个研究方向，实验的数据来源于对建筑系 统c a o 。s i 0 2 - a 1 2 0 3 系统相图的分析，以此来扩展神经网络在建筑材料系统中的应用。目 前，本小组已经使用了一个四层前向网络来完成了初步分类1 3 4 i 。这种网络通过改变神经 元非线性变换函数的参数，使连接权调整线性化，从而可提高学习速度，减少计算量， 并避免了b p 网络存在的易陷入局部极小和收敛速度慢的问题。 现代城市的高度发展对建筑材料无论从数量上还是从质量上都提出了高的要求，神 经网络的发展无疑为控制建筑材料的制造过程，更好地掌握建筑材料的性能提供了一种 新颖而有效的方法。 1 4 本文主要研究内容及结构 本文将神经网络应用于数据样本分类应用研究。本文主要应用神经网络完成对数据 样本分类的模型构建和改进，以建筑材料成分识另u 和一个二分类样本为背景分析所构建 的网络结构和性能。 本文利用神经网络的非线性函数逼近能力，结合统计模式识别中模式分类思想，构 建改进的神经网络模型进行数据分类，讨论了网络的性能，然后建立了建筑材料成分识 别神经网络模型，证明该方法的实际应用效果。全文内容安排如下： 第一章一绪论。阐述神经网络的发展状况以及各种网络应用于模式识别的特点， 提出本论文的研究内容和意义。 第二章一用改进的径向基感知器神经网络构造建筑材料成分模型。该网络在结构 上使用两层隐层选择性连接，而且隐层节点数在学习过程中动态确定。以c a o a 1 ；o ，一 s i 0 2 系统为例进行研究，详细论述了建筑材料成分的神经网络建模过程，将结果与以前 结果比较表明，通过学习，该网络可成功的应用于建筑材料领域，并可以获得更好的结 果。 7 一 神经网络在类数据样本分类中的应用研究 第三章一使用区域映射动态r b f 神经网络模型。基于r b f 网络和区域影射理论 建立起一种改进的r b f 神经网路模型。在学习规则上，采用同时考虑输入输出样本信 息的聚类方法，在误差函数上考虑了区域映射理论。使用了一个二分类样本验证了该方 法的可行陛，并重新建立了建筑材料成分c a o 舶0 3 s i 0 2 系统的神经网络模型。详细论 述了动态r b f 神经网络的建模过程，使用的算法，碰到的问题及解决方案。 第四章一总结与展望。对本文主要研究的内容及取得的成果进行概要的总结，对 需进一步研究的问题进行讨论。 一8 大连理工大学硕士学位论文 2 使用四层r b f 神经网络构造建筑材料成分模型 材料的组成对材料性质起着首要的作用，所以掌握材料成分对选用材料或进一步改 善、提高材料性能等方面具有重大意义。但是材料内部化合物的形成过程受多种因素影 响，难以预料。本章从微观上，利用改进的四层r b f 神经网络重新建立高温下，以化 学元素形式表示的不同比例的原材料与最后形成的材料化学成分之间的关系，从而进行 精确的分类，并与传统的r b f 网络以及径向感知机神经网络的结果做比较，给出仿真 结果，说明使用该改进的四层r b f 神经网络方法的有效性。 2 1 建筑材料成分概述 建筑材料是用于构造建筑物的所有材料的总称。建筑材料在建筑中要承受各种作 用，如承重构件用的材料主要承受外力作用，防水材料经常受水的侵蚀等等。这些因素 都会促使材料产生不同程度的破坏。为了使建筑物安全、适用、耐久而又经济，必须要 充分了解和掌握各种材料的性质和特点，以便正确、合理的选择和使用建筑材料，使其 在性能上满足使用要求。 建筑材料的组成从微观上通常是指其化学成分和矿物组成。化学成分是指材料的化 学元素及化合物的种类和含量。材料的组成及其相对含量的变化，不仅影响其化学性 质，也会影响材料的物理性质。例如一般建筑钢材容易发生锈蚀，当冶炼时加入铬和镍 元素就可以提高钢材的防锈能力，称为不锈钢。再如在混凝土搅拌中加入外加剂后，混 凝土性能即可发生明显变化，这都是由于材料内部的物相结构发生变化所致。物理化学 中的相指的是系统中物理和化学性质相同的均匀部分，所取的系统不同，可有不同的 相。这里所指的物相是指物质不同尺度下的相组成及其相互间的关系( 3 引。所以研究材料 的物相结构和形成机理，对于掌握材料性质、合理选用材料或进一步改善、提高材料性 能具有重大意义。目前的主要手段就是差热分析( d i f f e r e n t i a lt h e r m a la n a l y s i s ，d t a ) 3 6 、 x 射线衍射。( 一r a yp o w d e rd i f f x a c t i o n ，x r d ) 口。1 等实验方法，由于不可避免的受到实验条 件的限制，这些方法只能得到一些局部或离散的性质，但同时它也为一些新型的研究方 法如神经网络等提供了前沿知识和大量的数据资料。 建筑材料相固就是一种非常有效的参考资料。相图也叫平衡图，亦称状态图，它是 处于平衡状态下系统的组分、物相和外界条件相互关系的几何描述。在硅酸盐工业中， 确定某种材料的配方、选择烧成制度、预测产品性能等都离不开相图。图2 1 为c a o a 1 2 0 3 一s i 0 2 三元系统相图，本章就是以c a o a 1 2 0 3 s i 0 2 三元系统为例，将神经网络用于 材料化合物成分分析，说明神经网络构筑建筑材料成分模型的有效性。 9 。 ! ! 丝堕笙垄二耋墼堡墼坌耋生堕鏖里婴壅 图2 1c a o - a 1 2 0 3 s i 0 2 系统相图 f i g 2 1t h es y s t e mp h a s es p a c eo f c a o - a b 0 3 - s i 0 2 表2 1c a o - a 1 2 0 3 s i 0 2 三元无交点 t a b l e2 1s t a t i c p o i n t so f c a o - a 1 2 0 3 s i 0 2 相平衡关系平衡温度组成( ) ( o c )c a o a 1 2 0 3s i 0 2 l l # 鳞石英+ c a s 2 十a 3 s 2 1 3 4 59 81 9 87 0 4 2 l 目鳞石英+ c a s 2 + a - c s 1 1 7 02 3 31 4 76 2 o 3l # t c a s 2 + c 2 a s + c e c s 1 2 6 53 8 02 0 04 2 0 4 l # c 2 a s + c 3 s 2 + a - c s 1 3 1 04 7 21 1 84 1 ，0 5 l + a - c s 女c 3 s + c 2 a s 1 3 1 54 8 21 1 93 9 9 6 l + c 3 s _ c 3 a + a - c 2 s 1 4 5 55 8 33 3 o8 ，7 7l + c a o ；tc 3 s + c 3 a1 4 7 05 9 73 2 87 5 8li 。a - c 2 s + c 3 a + c 1 2 a 71 3 3 55 2 o4 1 26 8 9 l ；，t 6a - c 2 s + c a + c 1 2 a 7 1 3 3 54 9 54 3 76 8 1 0 l + c 2 a s ；。a - c 2 s + c a 1 3 8 04 8 34 2 o9 7 j ll ；自c 2 a s + c a + c a 21 5 0 03 7 55 3 29 ，3 1 2 l + c a 2 # c 2 a s + c a 6 1 4 7 53 1 24 4 52 4 3 1 3l 噼c a s 2 + c 2 a s + c 氏1 3 8 02 9 2 3 9 o3 1 ，8 1 4 l + 6 - a 1 2 0 34 c a 6 + c a s 2 1 4 9 52 3 o4 1 o3 6 o 1 5 l + a - a 1 2 0 3 sc a s 2 + a 3 s 2 1 5 1 21 5 6 3 6 54 7 9 1 0 一 大连理工大学硕士学位论文 如图2 1 ，在c a o a j 2 0 3 s i 0 2 三元系统中，存在1 5 个初晶区、1 5 个化合物、2 8 条 分界线和1 5 个三元无变点。c a o 、a 1 2 0 3 和s i 0 2 以不同比例结合，在不同高温下，可 能生成1 5 种化合物。最多是在三元无变点( 平衡点) 处可同时生成三种物质。表2 1 详细 列举了三元无变点的性质，其中僻表示高温型晶相，c 代表c a o ，a 代表a 1 2 0 3 ，s 代 表s i 0 2 ，生成的物质可由c 、a 、s 的组成比例唯一表示。例如，c 2 a s 就表示 2 c a o a 1 2 0 3 s i 0 2 ，即钙铝黄长石，组成比例为( 2 ，1 ，1 ) ，又如假硅灰石c s 表示 c a o s i 0 2 ，组成比例为( 1 ，0 ，1 ) 。除三元无变点以外的其它非平衡条件下，系统可生 成一至两种物质，参看c a o - a 1 2 0 3 s i 0 2 三元系统相图口剐。 在用神经网络构筑系统模型时，主要完成的工作任务有三项：首先是系统需求描 述，确定神经网络的输入输出变量；第二是数据准备，包括训练与测试数据的选择、数 据特征化和预处理以及产生模式文件；第三是与计算机有关的任务，包括软件编程与系 统调试等内容，如图2 2 所示。所以，在构筑建筑材料成分模型时，首先需要分析系 统，选取反映系统特征的物理量作为神经网络的输入输出变量。 图2 2 神经网络系统开发总图 f i g 2 2t h eg e n e r a l f l o wc h a r t o f e x p l o i t a t i o nu s i n ga n n 以c a o a 1 2 0 3 - s i 三元系统为例，从相图中选取2 2 0 组数据，其中1 8 0 组用于训练 网络，4 0 组用于验证网络 3 9 】。样本分布如图2 3 所示，相图的三条边分别代表c a o 、 m 2 0 3 、s i 0 2 的含量，图中“+ ”对应某温度线上的样本点( 温度线没有画出) 。建模进 行前，将所有样本输入都归一化到 o ，1 】范围内。因为输出层是线性运算，输出样本可 以不用归一化。表2 1 为三元无变点处的输入输出样本值，其它非平衡位置的输入输出 神经网络在一类数据样本分类中的应用研究 样本值对应取值即可。 o 等搿 专+ + + + 烈0 0 气矗+ 鬟 a k 。3 1 0 0 图2 3 样本分布 f i g 2 3t h es a m p l e sd i s t r i b u t i n g 2 2 已有模型及其优缺点 在用神经网络建立这一模型时，输入应该表示出材料生成时的外部和内部条件，输 出则应反映出所形成的决定材料性质的微观化合物。下面来看看使用几种神经网络进行 预测分析时的结果。 图2 4 r b p n 结构 f i g 2 4 a r c h i t e c t u r eo f r b p n 1 2 ，1 托 大连理工大学硕士学位论文 席剑辉【3 9 】曾经使用径向感知机神经网络( j p 来完成该模型的建立，这是一种比 较好的方法。在其模型中，设输入矢量为x = i x ，耽，x z ，瑚，硝= 1 ，2 ，3 ，4 ) 分别代 表系统温度及c a o 、a 1 2 0 3 、s i 0 2 的含量。因为最多生成三种物质，设输出矢量为y = 陟小y 1 2 ，y 1 3 ，儿，y 2 2 ，”， ， 2 ，y 3 z ，y l l ，y 1 2 ，y 分别表示形成的第一种物质的 c 、a 、s 的组成比例，儿，) ，瑚对应第二种物质。 j ，如，瑚对应第三种物质。若 生成物小于三种，对应输出可取零值。这样，网络通过c 、a 、s 的组成比例唯一表示 出所形成的物质。如此建立了一个四输入九输出的r b p 网络模型，如图2 4 所示，用来 识别材料成分。 通过训练建立r b p 网络，得到网络的仿真结果 2 0 】。从其结果可以看出，网络输出 基本反映了化合物组成元素之间的比例关系，从而可以确定生成的化合物是何种物质， 实现用神经网络分析材料成分的功能。但是从其训练过程可以发现该网络具有较多的训 练次数，这会使得网络的结构变得很庞大，另外，网络中的一些参数的选取通常是根据 经验来进行的，没有一定的理论依据。 下面使用一种传统的r b f 神经网络进行预测时的情况，使用的网络为三层前馈网 络，网络的结构为3 个输入节点，4 个输出节点，其算法为动态聚类方法，中间隐层的 结点数随着网络训练的过程增加。该网络训练停止的条件分成两种情况，一是达到网络 误差的要求，收敛到一个极小值，或者是网络的隐层节点数到达事先设定的最大隐层节 点数。训练过程如图2 5 所示。 e p o c h 图2 5r b f 网络样本分辨率曲线 f i g 2 5t h et r a m m ga n dt e s t i n ga c c u r a c yo fr b f 从以上的结果可以看出，径向感知机神经网络得到了较好预测结果，而选用的r b f 1 3 神经网络在一类数据样本分类中的应用研究 网络由于算法的不适用性，它的分辨精度不够高，而且也能看到，由于这两种网络在训 练时使用了较长的训练次数，因此最终的网络结构和训练样本相比仍是显得复杂，这样 的网络结构可能会影响到网络的泛化能力。因此，可以重新考虑样本模型以及对网络算 法进行改进来建立一个精简的网络模型，提高网络的泛化能力。 2 3 改进的四层r b f 网络模型设计 构造一个网络使对给定的样本集能进行符合要求的分类，等价于求出一组邻域，对 给定样本集中的点，能按照分类的要求用邻域覆盖将他们分隔开来。这样，就将神经网 络的最优设计问题转化为某种求最优覆盖的问题。 因此，根据这种思想设计一个四层r b f 网络，用一定数量的r b f 核构成的隐层中 心节点来完成对每个类别集的覆盖，使得该类别集内的样本能够通过这些隐层中心的变 换对应到相应所属的类别。同时在构造网络的隐层对类别集进行覆盖的过程中，要求隐 层中心覆盖的范围在单个类别集内，不能对其他的类别进行覆盖，即不能产生一个样本 同属于两个类别的情况。下面介绍一下改进的网络的拓扑结构和算法以及网络的训练过 程。 2 3 1 网络的结构及训练算法分析 网络的结构为四层的r b f 网络，一个输入层，一个输出层，两个隐层，其中第一 隐层用来完成对样本集的覆盖，这通过一定数量的中心节点来完成。第二隐层确定网络 的分类数，完成对各个样本类别结果的映射。网络的结构和r b p 网络结构相同。其 中，x = ( x l ，x 2 ，而) 1e r “为输入矢量，w = ( 国，o y z ，啪1e r “为输出层权 值矩阵，厂为网络输出矢量，o l ( ) 为径向基函数，g