基于规则约简的模糊神经网络模型的研究

I 摘要 将模糊算法和模糊逻辑引入神经网络就成为了所谓的模糊神经网络。将模糊逻辑方法和神经网络方法结合在一起是模糊神经网络的最大特点，而神经网络在模糊数据处理方面的不足和纯模糊逻辑在学习方面的缺陷由于这二者的融合得到了改善。同时，模糊神经网络的输入输出关系能够实现许多能够用规则描述的因果关系，自适应可以通过学习功能来实现，而精确的或模糊的表达知识能够自动的获得。 虽然目前的各类问题中广泛应用到了模糊神经网络，但通常采用的模糊神经网络模型有对每个输入取规则层的数目为所有规则的集合样就会使得模糊神经网络的结构变得庞大成为可能。而学习速度缓慢是结构庞大带来的一个直接问题，并且结构庞大限制了模糊神经网络在多输入模糊系统中的应用。完成结构学习后的模糊神经网络，虽然网络结构可以通过修剪规则来减小，但只有模糊神经网络在后期应用中的运算量被有限地减小；庞大的结构在前期的训练学习中仍然需要用到，大量的时间及硬件资源仍然需要花费掉，同时对硬件的要求也增加了，因此，本课题针对这个问题进行研究，以提高模糊神经网络的逼近与效率性能。 本文通过减法聚类来约简模糊神经网络模型的规则。包括：1）利用减法聚类，可以通过不断选择密度最大的中心与合适的半径，将数据按中心归类，使数据聚集在聚类中心的附近。2）减法聚类后，可以提取类别对应的中心数据样本，并以模糊规则形式表示这些中心。当任意数据输入时，将通过判别数据与类别的隶属关系来判别对应的规则结果输出的可能性，并选择输出可能性大的结果。不仅达到了模糊规则约简的目的，而且网络的收敛速度加快了及模型结构的复杂性也降低了。3）借助软件文将基于减法聚类的模糊神经网络模型与一般模糊神经网络模型的结果进行了比较，得到了在减少约90%模糊规则条件下的具有较高正确识别率的模糊神经网络。进一步地，应用基于规则约简的模糊神经网络模型对企业电子商务发展水平作综合评价，得到了比较满意的结果。 关键词：模糊神经网络；规则约简；减法聚类；模糊规则 is of of in in to of At s to be to be to or to n to m of of of so of is a to a is a of in of to in is to of to a of to at in to of ) to of to so in of to of be of of to of to of to a of of on of 0% in of on of 录 摘要 . . 第一章 绪论 .究背景 . 模糊系统理论概述. 1 工神经网络的发展及应用 . 1 糊神经网络的发展及应用 . 3 究目的与意义 .究思路 .二章 模糊神经网络理论概述 .糊相关概念与性质 .经网络概述.糊神经网络概述 .适应模糊神经网络 . 11 适应模糊神经网络产生的背景. 11 适应模糊神经网络结构. 自适应模糊神经网络的学习算法. 14 向传播算法 . 14 小二乘法 . 16 合学习算法 . 16 于. 17 章小结 . 18 第三章 基于模糊神经网络的电子商务发展水平综合评价模型 . 19 于减法聚类的模糊神经网络 . 19 法聚类 . 19 于减法聚类模糊规则的提取 . 19 于减法聚类构造模糊推理模型. 20 子商务发展水平指标评价体系 . 22 V 据分析与处理 . 22 模数据的指标的选取 . 23 子商务发展水平综合评价的模糊神经网络模型建立 . 25 于38 章小结 . 39 结论 . 40 参考文献 . 41 攻读硕士学位期间取得的研究成果 . 43 致 谢 . 44 第一章 绪论 1 第一章 绪论 究背景 糊系统理论概述 在自然界中，普遍存在着模糊现象，在信息不完整、不精确的情况下，准确的判断和决策能够被人类的大脑做出，即将模糊信息进行处理。模糊数学是一门新兴科学，它是用数学方法来研究和处理自然界客观存在的模糊现象的。模糊性是它研究的事物本身就存在的特点，即不确定某个对象是否符合这个概念，模糊性正是这种由于概念外延的模糊而造成的不确定性。事物的不确定性和不精确性是由于模糊性所反映出来的。确定性和不确定性也可归结为相对的概念，在某种条件或范围内是确定或精确的，在另一种条件下或范围内就是不确定或不精确的。另外，模糊性与随机性是相互独立的 1。 个概念的提出奠定了模糊集合的运用和模糊数学的发展。在最近的几年里，模糊数学得到了很大的发展，并且在社会科学和自然科学的许多分支中都渗透有模糊数学，在理论上和实际运用上，模糊数学所取得的成果也非常引人注目。虽然模糊数学理论出现的时间比经典的确定性数学理论要晚的多，但是模糊的思维方式被人类运用的历史却比数值逻辑要早的多。因为一套表达人类思想的理论和方法被模糊理论给出了，所以能够将自然语言转化为机器可以接受和理解的东西，从而提高了机器的灵活性2。 糊系统能进行近似推理是抓住了人类思维中的模糊性特点及利用了领域专家的先验知识，能模糊识别和模糊度量复杂的事物。模糊系统能够直接地表示逻辑是它的显著特点，适合表达出直接地或者高级的知识，它的逻辑能力也较强 3。模糊集合理论、模糊逻辑、模糊推理和模糊控制等方面是它主要包括的内容4。 专家知识能够被模糊系统很好的利用，而且专家构造的语言信息是由模糊逻辑自身提供的，并且能够成为控制策略或系统特征模型的一种系统的推理方法也是由其转化的，正因为这样，所以许多复杂而无法建立精确数学模型的系统控制问题以及许多很难用数学方法建模的复杂系统的建模问题都能由它解决，这些也是模糊系统能够成功应用的根本原因。 工神经网络的发展及应用 通过模拟人类大脑的神经系统的结构和功能，并且运用大量的处理部件，最后采华南理工大学硕士学位论文 2 用人工方式构造的一种网络系统就称之为人工神经网络。人工神经网络理论是一种非线性动力学系统，传统的、串行处理的数字计算机的局限被其突破，并且分布式存储和并行协同处理是人工神经网络的特点。尽管一个神经元的结构和功能非常简单且有限，但是多个神经元组合而成的网络系统却能实现及其丰富多彩的的行为。 至今为止，人工神经网络已有五十多年历史的相关研究，即使如此，它的发展仍然是及其不平衡的，由于其复杂的结构，在其起始阶段进展并不是很快，并且曾经有一段时间是陷入低谷的，但到现在仍然有不少的学者在坚持研究，并且在模型建立等理论方面的一些成果也得到了突破性的进展，一直到现在，人工神经网络在信息领域里已经成为了一个热门的研究课题。 1943年，过使用数理模型的方法，他们研究了人类大脑细胞的动作和结构以及生物神经元的一些基本生理特征，并且第一个神经计算模型也由他们给出了，即神经元的阈值元件（型，这是最简单类型的一种神经网络。1949年，改变神经元连接强度的957年，而第一次掀起了对神经网络研究的高潮。 80年代以来，人工神经网络进入了一个高速发展的阶段，造成这一局面的原因有两个方面：一方面是因为社会生产力以及科技竞争的强烈需要，另一方面是由于科学理论不断地取得新的重大突破和科学计算能力的飞速发展。1982年，而神经网络的研究被有力地推动了。网络的稳定性能够有明确的判断依据，就是靠他将能量函数引入到了对称反馈网络中，并且能够解决条件优化问题就是利用他提出的网络的神经计算能力。另外利用电子线路能够实现质上，而对新一代电子神经计算机的研究兴起了一片热潮5。 1983年，大规模并行网络学习机由年轻学者对隐单元这一概念很明确的提出来了，这就是后来被称之为过应用多层神经网络并行分布的特点，他们改变了各神经元之间的连接权，从而以往神经网络的局限性也被克服了。1986年，差反向传播）模型由现了多层网络的学习算法，这也是之前此一些突破性的进展也就从多层前馈型网络和反馈型网络这两方面获得了。目前，网络的学习算法在研究方法上产生了很多个流派，包括多层网络论 3 型，自适应共振理论（自组织特征映射理论等。1987年，规模甚大的神经网络国际学术会议在之诞生了国际神经网络学会，随后不久相继出现了学会主办的杂志神经网络和种模型和算法也不断的出现，它们的应用也已达到了一定的深度和广度，与之相关的芯片也逐步形成产品。人工神经网络的研究继续迅速发展，并把重大的科研成果和应用前景给带来了6。其用途越来越广泛，应用领域也在不断地开拓发展，在各工程领域中它的应用已得到了广泛的发展。总而言之，人工神经网络技术可用在多种信息处理工作中，如多目标跟踪、联想记忆、函数逼近、感知觉模拟及数据恢复等。 糊神经网络的发展及应用 模拟人脑的结构和功能是神经网络的主要特点，而模糊性是人脑思维的显著特点，神经网络系统和模糊系统在处理信息上是一样的，它们都是处理不精确的、模糊的信息，它们建立特定的非线性映射都是通过直接利用数值化了的信息来实现。但是，在信息的获取、存储与表达、计算复杂度、计算精度、获取知识要求及非线性层次映射上它们有各自的优势和缺陷。对于神经网络，它获取知识是通过自学习的方式来实现的，通过反复学习来实现网络的能力，而且网络还能通过自动地从环境内抽取特征来获取知识。神经网络一般是将所处理的信息分布式的存储在网络的连接权中，在网络的规模及训练时间不受限制的条件下，问题对象的非线性映射可以在任意精度上由神经网络系统实现，但神经网络迭代时间长，收敛速度慢是其计算量大造成的。对于模糊系统，它的规则库是通过人为来建立的，然后知识是通过规则的形式来存储的，最后知识的推理再通过存储的规则匹配来实现。由于加法和乘法是模糊系统的基本运算，处理的速度非常快，但计算的精度非常低。在非线性层次映射上，神经网络显示的是点到点之间的非线性映射，反映出的输入输出关系曲面是近似光滑的，而模糊系统是区域块到区域块的非线性映射，所对应的输入输出关系曲面是粗糙的梯形台阶。随着计算机技术的发展，人们越来越高的要求对非数值信息进行处理，因此，在更复杂的问题和更广泛的领域中，当神经网络和模糊理论都遇到困难而且面临困境的时候，两者就必然相互促进、相互补充，将它们二者相互结合起来就是模糊神经网络。是这一研究的著名专家，提出了模糊联想记忆和模糊认知图这一重要概念。层前馈型神经网络结构是它按照输入模糊化、模糊规则推理和输出解模糊化的顺序构成的，将模糊逻辑运算融入到神经元和网络结构中。 神经元和参考逻辑神经元两种神经元，前一种神经元可以进行或、与及逻辑运算，从而达到输入信号聚合的目的；后一种神经元首先相对于参考点分析输入信息，包括差异、支配、匹配与包含，前一种神经元的聚合部分综合了它的分析结果。网络的连接权中，直接编码了这种网络结构的规则知识，这种结构的理论特性也被他研究了。种模糊神经元采用矢量来代替通常的神经元中的激励函数。神经网络、个研究证明了连续模糊函数能由混合神经网络来实现 7。 模糊系统与人工神经网络相互结合的产物就是模糊神经网络，两者的结合可以将各自的优势有效地发挥出来并弥补各自的不足，从而使得整个系统的表达能力和学习能力有所提高。在神经网络中引入模糊信息处理技术，使得神经网络处理信息的范围和能力大大拓宽了，使它除了能够处理精确信息外，还能处理模糊信息或其它不精确的信息，同时使它可能自动提取模糊规则及自动生成模糊隶属度，使模糊系统能够成为一种自适应模糊系统8。 目前，在人工智能界中，模糊神经网络是最具发展前途的三个重要领域之一。近年来它在模糊控制、模糊决策、 专家系统、模式识别等领域发挥了重要作用，其理论、模型、算法和应用技术一直是计算机领域重要的研究课题，并以它特有的优势受到高度的重视。 究目的与意义 模糊神经网络结合了神经网络系统与模糊系统的长处，它在处理非线性、模糊性等问题上有很大的优越性，在智能信息处理方面存在巨大的潜能。但是，对很多有关模糊神经网络的研究，大多集中在创新学习算法，取与细化模糊规则及在自适应控制、预测控制中的应用等上，而对于约简模糊规则的研究却非常少9。 在模糊神经网络中，随着输入量以及各输入量语言值的增多，模糊规则呈指数增长。例如两个输入，若每个输入有3个语言值，其模糊规则数为32=9；如果语言值增为6个，其模糊规则数为62=36；同样若输入增加为6个，则模糊规则数就成为36。依此类推，这样就会使得模糊神经网络的结构变得庞大成为可能。而学习速度缓慢是结构庞大带来的一个直接问题，并且结构庞大限制了模糊神经网络在多输入模糊系统中的应用。而且，随着输入量的增多，如果取较多的隶属函数个数时，网络结构就会庞大，所谓的“规则第一章 绪论 5 爆炸”问题也就会在通常情况下的模糊系统中出现 10。完成结构学习后的模糊神经网络，虽然网络结构可以通过修剪规则来减小，但只有模糊神经网络在后期应用中的运算量被有限地减小；庞大的结构在前期的训练学习中仍然需要用到，大量的时间及硬件资源仍然需要花费掉，同时对硬件的要求也增加了。因此，如何解决这些问题是本课题研究的目的。 究思路 本文分为三章。 第一章为绪论，主要阐述了论文的研究背景，包括模糊系统理论概述、人工神经网络的发展及应用、模糊神经网络的发展及应用，论文的研究目的与意义及论文的研究思路。 第二章主要阐述了模糊神经网络的基本理论及网络结构，特别是自适应模糊神经网络的网络结构及学习算法，同时也介绍了一些相关的理论知识。 第三章主要是实现规则约简的模糊神经网络模型。首先，通过变量聚类从企业电子商务数据的11个指标中选取3个指标；其次，用该3个指标的38个样本分别建立基于减法聚类的模糊神经网络模型与一般的模糊神经网络模型，比较其结果；再次，为了证明基于减法聚类的模糊神经网络模型的有效性，用3个指标的52个样本的地下燃气管网数据建立该两种模型，比较其结果；最后，用企业电子商务数据的11个指标的38个样本的数据建立基于减法聚类的模糊神经网络模型。 华南理工大学硕士学位论文 6 第二章 模糊神经网络理论概述 糊相关概念与性质 在现实世界中，不分明的或者说是难以明确划分的分类边界在很多事物中都存在，如人的高矮、胖瘦，温度的高低，压力的大小等，引入模糊集合就是为了应用数学方法来描述这一类的概念。 用来描述边界不分明的集合就是模糊集，模糊集与普通集合相比，他们既有区别又有联系。对于普通集合而言，任何一个元素只有两种选择，一种是属于该集合，另一种是不属于该集合，边界是明确明了的，即非此即彼；而对于模糊集合而言，一个元素有多种选择，既可以属于该集合又可以不属于该集合，边界是不分明的或界限是模糊的，即亦此亦彼。 模糊逻辑是建立在模糊集基础上的，其它的任何真实性的陈述或命题只是具有一定真实性的程序，与以普通集合为基础的布尔逻辑相比，模糊逻辑是一种被广义化了的逻辑。在布尔逻辑中，任何陈述或命题只有逻辑真和逻辑假这两种取值，表示逻辑真时常用“1”，表示逻辑假时常用“0”。而在模糊逻辑中，陈述或命题除有真和假这两种取值外， 0至1之间的任何值也可取，命题或陈述弄虚作假的程度有多大，例如，我们所说的“老人”这一概念，在普通集合中，明确的边界是不存在的，60岁以上的人属于老人，58岁的人也属于老人，在一定程度上40岁的人也属于老人，只是他们不同程度的属于老人这一集合，事件的不确定性是由模糊性反映出的，但这种不确定性与随机性是不相同的，随机性反映的是事件的客观性，即人们不能确定对有关事件定义或概念描述在语言意义上的理解 11。 具有差异的客观事物在中介时所呈现的“亦此亦彼”性就是模糊性。美国人扎德（1965创立了这个理论，差异的中介通过隶属函数来描述，并且模糊性是用精确的数学语言来描述的。在这个理论中，模糊概念是用模糊集合来规划的 12。 一个映射在论域：X 0,1 x uA(x) 则，uA(x)是模糊集解释为将论域 )X ，即 ( )X =AA：X 0,1。 由上述定义可知，隶属度函数uA(x)表征了论域区间0,1是uA(x)第二章 模糊神经网络理论概述 7 的取值范围，x)的大小来反映。x)接近1，而x)接近0。 将模糊集合所包含的元素及相应的隶属度函数表示出来是它的很多表示方法中最根本的一种方法。 一般情形下，模糊集合可表示为 A=（x，uA(x)）xX 如果论域模糊集合可表示为 A=uA(中，或表示为向量（称为模糊向量） A=（uA(uA(，uA( 如果论域模糊集合可表示为 A=uA(x)x 式中：“”与通常的分数线一样，但它不是表示我们通常的分数线，它只是代表一种记号，表示在论域x)之间的一种对应关系；符号“”及“”也不表示通常意义下的积分与求和，都只是表示在x)之间的 一个对应关系的总括。 类似于经典集合运算，在模糊集合中也存在交、并、补等运算关系。对隶属函数逐点的进行相应的运算是两个模糊子集运算的实质。 A，B ( )X ，运算A算A称为它的余集。他们的隶属函数分别为 A ) ( ) ( ), ( )A B A Bx x x x x A ) ( ) ( ), ( )A B A Bx x x x x 1 ( )c x x 那么当论域X=x1，且模糊集为 1( )nA i u x x ，1( )nB i u x x 则 1( ( ) ( )nA i B i u x u x x 华南理工大学硕士学位论文 8 1( ( ) ( )nA i B i u x u x x 1( ( )1i u x x 当论域模糊集为 ( )A x ， ( )B x 则 ( ( ) ( )A A B x x xu u ( ( ) ( )A A B x x xu u ( ( )1c A x 经网络概述 人工神经网络是一种信息处理系统，脑细胞结构和功能、脑神经结构以及思维处理问题等脑功能就是由它模仿的，它以模仿人脑智能为出发点，探寻表示、存储和处理信息的新方式。这种神经网络为了达到处理信息的目的，系统的复杂程度是它的拐杖，而调整内部大量节点之间的相互连接的关系是它的途径。通过采用完全不同于传统人工智能和信息处理技术机理，达到了克服传统的基于逻辑符号的人工智能在处理直觉、非结构化信息方面的缺陷的目的，自适应、自组织和实时学习是它的三大特点，要用新的输入数据来推算输出结果，我们必须以输入与输出两者之间的潜在规律为根据，而要分析掌握它们之间的这种规律，必须通过预先提供的一批相互对应的输入和输出数据，而人工神经网络能实现这一过程。复杂的动力学特性、并行处理机制、学习、联想和记忆，高度自组织、自适应能力和灵活性是人工神经网络的功能及特点，正因为这样，自然科学领域学者才广泛重视人工神经网络13。 现在，神经网络在应用研究方面取得的成绩很大，也涉及到了非常广泛的领域。如计算机视觉、语言识别、模式识别、神经计算机的研制、专家系统与人工智能主要是它在技术领域方面的应用。神经生理学、信息科学、计算机科学、微电子学、光学、生物电子学等是它涉及到的学科。 神经网络是由神经元构成的，神经元之间使用不同的连接方式，可以得到不同的神经网络；神经网络内部加权系数决定了各神经元之间的连接强度，信号传递的强弱由加权系数来决定，刺激和抑制是信号可以起的两种作用，而且随着训练，加权系数能够改变，由于这些特征从而提高了人工神经网络的灵活性。 学习期与工作期是神经网络工作过程的两个阶段，在第一阶段，不改变各计算单元第二章 模糊神经网络理论概述 9 的状态，通过学习来修改各连线上的权值；在第二阶段，为了达到某种稳定状态，不改变连接权，而是改变计算单元的状态。 神经网络的一个重要特点是它能获取知识通过向环境学习并改进自身的性能，生物模型是这一概念的来源，机体能在复杂多变的环境中进行有效的自我调节是由它造成的。当确定了一个神经网络结构后，若想使它的输出值发生变化，但又不能使它的转换函数发生变化，那么只能使它的输入发生变化，而要使输入发生变化修改加在输入端的加权系数是唯一的办法。因而，神经网络在学习的过程也就是加权系数在修改的过程，一直到输出接近或达到期望值，学习才结束。在一般情况下，按照某种预定的度量并通过调节自身参数和随着时间的逐步推移，性能能够得到改善，由此类似人类的学习能力在神经网络中也具备了，改进了神经网络自身的性能。在各类自动控制系统中应用这种特性，可以提高系统的智能行为，神经网络自动控制得以实现。 神经网络的一个主要特征是学习算法，当前研究的主要课题也是学习算法。神经网络有很多学习算法，常用的有：习算法；反向传播学习算法（习算法）；争学习算法等。 人工神经网络有很多优点，它的自学习、联想存储和高速寻找优化解的功能就是充分逼近复杂的非线性关系、强鲁棒性和容错能力、并行分布处理、学习和自适应不知道或不确定的系统这些优点带来的。 一种揭示智能和了解人脑工作方式的合理途径就是由人工神经网络提供的，但由于刚开始人类对神经系统的了解非常少，在自身脑结构及其活动机理上的认识还十分肤浅，并且存在先验的情况，因此不可能很完善、很娴熟的应用这种模仿人脑的行为，毫无疑问，完善与发展人工神经网络要与神经科学的研究结合起来，而且，神经科学、心理学和认识科学等方面提出的一些重大问题预示着向神经网络理论研究提出了新挑战，解决这些问题对完善和发展神经网络理论是有帮助的。因此通过利用神经生理和认识科学，如果对大脑思维及智能机理的研究能取得新的突破，对智能和机器关系的认识也将发生改变。近年来人类正将人工神经网络朝着模拟人类认知方面更加深入地发展，这一前景是十分诱人的。 糊神经网络概述 将基于符号主义的人工智能专家系统和基于进化论的人工生命这两个研究领域结合起来是智能理论发展的方向。对人工神经网络智能化应用方面的研究是它最重要的价华南理工大学硕士学位论文 10 值之一，这是由人工神经网络的特性来决定的。而要实现这一价值只靠单纯地研究神经网络是很困难的，所以必须有机地结合智能科学与神经网络的研究。模糊理论同神经网络相结合的产物就是模糊神经网络，神经网络与模糊力量论的优点都被融合在一起，将学习、联想、识别、自适应及模糊信息处理集合于一体。实现机器智能的关键技术之一就是将模糊逻辑与神经网络结合起来进行研究，国际人工智能领域的前沿方向之一就是它，它在研制具有模糊处理和联想学习功能的新一代专家系统、智能计算机系统、智能机器系统等方面具有十分重要的意义。 神经网络技术与模糊技术相互融合在模糊神经网络中，模糊化概念和规则推理等也被嵌套到神经网络节点中，这样网络的透明度也提高了。网络具有较强的解释推理能力是模糊神经网络造成的，而且模糊神经网络还减少了网络对专家意见的依赖性，提高了网络的自适应14。 模糊神经网络模型对样本进行模糊化处理，并转换成规则的表示形式，使得输入到输出之间的映射关系转换为相应的隶属度函数的线性或非线性的函数关系，把其作为不确定模糊指标与样本结果的关系。设输入指标因素向量为x=x1，其中，每个分量设T（，Ai ，i=1，2，n，其中j=1，2，定义在论域 )ji （i=1，2，n；j=1，2，出量y）=2，其中j=1，2，定义在论域( )jB y 是前最为广泛使用的两种规则模型是：型15。 Ri：if x1 i1 x2 i2 xn in y i 其中i=1，2，m，m的规则结构为： Ri：if x1 i1 x2 i2 xn in y=+中i=1，2，m，规则总数用模糊规则的条件是模糊神经网络模型的输入，通过建立映射关系，模糊规则的结论第二章 模糊神经网络理论概述 11 就是模型输出。当已知的是确定性样本时（而不是模糊规则时），需要将确定性样本进行模糊化，计算相应样本与定义的取值模糊集合的隶属度，形成不同取值与隶属度条件下具有相应结论的模糊规则。在（1） 对输入进行模糊化运算，输入对于规则的前提条件部分的隶属度可直接计算。 （2） 对于具有很多个前提条件部分的规则的模糊运算，“处理也包括在其中。通过模糊蕴涵推理计算出输出模糊集合；而对于具有很多条规则的模糊系统，算。 （3） 计算“系。通过各条规则推理结果的合成来计算；如果要得到具有非模糊输出的系统，解模糊化计算在（4）获得非模糊的输出，通过解模糊化来获得。 图2模糊规则 神经网络 y 2糊神经网络模型结构 适应模糊神经网络 适应模糊神经网络产生的背景 由于模糊推理本身