（基础数学专业论文）获取加权模糊产生式规则的神经网络方法.pdf

摘要 摘要 本文的主要工作就是针对连续实值属性的分类问题，提出了一一种利用神经网络，“，j ： 加权模糊产生式规则的新方法。主要工作分为三方面：一、将数据库中的知识转移到神 经网络中。这可通过神经网络的学习来做到，但为了神经网络中隐含的不易理解的知识 转化为i f t h e n 形式的易于理解的规则知识，这一阶段对神经网络的建立和训练进行 了分析，给出了相应的方法，通过此方法建立和训练得到的神经网络结构简单，隐含节 点个数少，这有利于将其中蕴涵的知识转化为规则知识。二、将神经网络中隐含的不易 理解的知识转化为易于理解的表示能力更强的加权模糊产生式规则知识。通过对连接权 重的分析，构造重要性指标矩阵来表示某属性值对某类别的重要程度，进而产生加权模 糊产生式规则。文中提出了从神经网络中抽取加权模糊产生式规则的方法和步骤。 关键词加权模糊产生式规则：神经网络；模糊推理 i a b s t r a c t a b s t r a c t t h i sp a p e rp r o p o s e san e wa p p r o a c ht og e n e r a t i n gw e i g h t e df u z z yp r o d u c t i o nr u l e su s i n g t r a i n e dn e u r a ln e t w o r k s a tf i r s tt h ek n o w l e d g ei nt h ed a t ai st r a n s f o r m e di n t on e u r a ln e t w o r k t h r o u g ha n a l y s i so f t h ew e i g h to fn e u r a ln e t w o r k ，am a t r i xo fi m p o r t a n c ei n d e xi sc o n s t r u c t e d t h a ti n d i c a t e st h ei n f l u e n t i a lp o w e ro fe a c hi n p u tn o d ei nd e t e r m i n i n gt h eo u t p u tf o re a c h o u t p u tn o d e t h e nw e i g h t e df u z z yp r o d u c t i o nr u l e sa r ee x i r a c t e df r o mt h en e u r a ln e t w o r k i n o r d e rt or e f l e c tt h ek n o w l e d g ei m p l i e di nt h en e u r a ln e t w o r ka c c u r a t e l nar e a s o n i n ga l g o r i t h m i sc o n s t n i c t e d k e yw o r d s ：w e i g h t e df u z z yp r o d u c t i o nr u l e s ；n e u r a ln e t w o r k s ；f u z z yr e a s o n i n g i i - 河北大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知， 除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写的研究成果，也不包含为获得河北大学或其他教育机构的学位或证书 所使用过的材料。- 5 我- - n t 作的同志对本研究所傲的任何贡献均己在论文中作了明确 的说明并表示了致谢。 作者签名：ji 遑夔 日期：二缘业月二乏一日 学位论文使用授权声明 本人完全了解河北大学有关保留、使用学位论文的规定，即：学校有权保留并向国 家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。学校可以公布 论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 本学位论文属于 1 、保密口，在年月日解密后适用本授权声明。 2 ，不保密。 f 请在以上相应方格内打“”) 作者签名：至垂趣 日期：缒年二二月三一f ：= ：j 导师签名：垃堕日期：2 鲤垒年业月土r 1 第1 章绪论 1 1 课题的背景及意义 第1 章绪论 数据库中的知识主要为规则形式发现与数据采掘( k d d m ) 是2 0 世纪9 0 年代初期崛 起的一个活跃的人工智能的研究领域k d d m 的目的是从数据库中获取正确、新颖、有 潜在应用价值和可理解的模式。在k d 2 d m 的许多应用中，人们要求对新发现的知识作 出某种解释，而规则可提供这种解释，即通过规则提取，可以改进对数据的理解。在人工智 能领域最常用的知识形式是i f t h e n 形式的产生式规则，它具有理解性强、易于增加、 删除或更新信息等优点。为了提高传统的i f n e n 形式的产生式规则对知识的表示能 力，从而产生了模糊产生式规则和加权模糊产生式规则。而规则知识的获取，由于各种 原因，至今仍是一件相当困难的工作。例如专家系统，它是人工智能中应用最成功的。 个领域，专家系统的力量在于它拥有的知识，这些知识使它在专家水平上工作和解决问 题，而这些知识的获取被公认为专家系统建造过程中的一个“瓶颈”问题。 人工神经元网络是由大量简单神经单元以及这些单元的分层组织大规模并行联结 丽成的一种网络，它力图像生物神经系统一样处理事物。人工神经元网络理论综合了神 经生理学、生物生理学、计算机科学等各种学科知识，在一定程度上反映了人脑功能的 若干特征。尽管目前人们对大脑的神经网络结构、运行机制，甚至对单个神经元细胞的 工作原理的了解还很肤浅，但是基于生物神经系统的分布式存储、并行处理、自适应学 习的这些现象使得人工神经网络具有了初步智能。8 0 年代以来，特别是r n m e n h o r t 在 1 9 8 6 年提出的一种前馈网络的b p ( b a c k p r o p a g a t i o n ) 学习算法以来，人工神经网络的研 究迅速发展，它已成为一种大规模并行分布处理系统，具有自组织、自学习、自适应、 获得的知识精度高、容错能力强等特点，已经被广泛的应用到非线性系统、优化组合、 模式识别等很多不同的领域，为知识获取提供了一个有力的工具，并取得了大量成果。 然而，由于训练好的人工神经网络是典型的“黑箱”结构，即神经网络学到的知识分布 地存储于网络结构和网络连接系数中，是隐式的、难于理解的，其进一步的发展受到这 一固有缺陷的限制，使用者难以对神经网络的能力有清晰的了解，也无法获得明确的推 河北大学理学硕1 学位论文 理过挥的解释，所阻影响了这些知识在一些智能系统中的应用。因此，从神经网络中提 取易于理解且知识表示能力较强的1 f - t h e n 形式的加权模糊产生式规则对获取规则知识 和增强神经刚络的可理解性具有十分重要的意义。本课题研究的内容就是如们利用神经 州络获取加权模糊产生式规则。 1 2 国内外研究现状 从2 0 世纪8 0 年代末g a l l a n t 的丁作，尤其是9 0 年代初，随着数据挖掘的兴起， 机器学习和神经计算领域的很多研究者论述了从神经网络中抽取规则的重要性，纷纷投 身研究该领域，使得它成为机器学习和神经计算的新热点。1 9 9 5 年，a n d r e w s 等人对该 领域的早期的一些成果作了综述l l i 。 a m i tg u p t a 口1 等人根据一些存在的抽取规则算法在“输入一网络一训练一输出一抽 取一知识”各阶段中的特点，总结了i n t o e k 分类框架( 图1 ) ，提出了另一种分类方法， 的方法是基于搜索的方法，计算量大；分析的方法是一种非搜索的方法，通过直接解释 的方珐足基于搜索的方法，计算量大；分析的方法是一种非搜索的方法，通过直接解释 - 2 - 第1 章绪论 - j 络连接权重强弱来产生规则。 利用神经网络从数据库中提取规则是一种易于实现且十分有效的方法，其所用的 种经网络或是既有的神经网络模型或是特别设计的新型神经网络。 1 2 1 对既有的神经网络模型设计新的规则学习算法 1 21 1 基于b p 网络 袁曾任等【3 l 基于b p 网络，提出了一种由预处理和规则提取两阶段学习提取规则的方 法在预处理阶段，首先采用标准b p 算法对网络进行训练，训练中动态地加入隐层节点， 直到网络收敛；然后对隐层节点进行分类，删除多余隐层节点，并对网络进行剪枝，删除多 余和不重要的连接，从而找到相对最佳的网络结构在规则提取阶段，先按照网络输出屡节 点进行分类，然后再将每个输出层节点对应的规则合并，得到最终的规则集，这里关键在于 给出一种提取规则的算法： ( 1 1 构造权值组合。在输出层与隐层节点的连接权值中和隐层与输入层节点的连接 权值中，取部分权值进行组合，组合的原则是被组合的权值之和大于阈值t 犯1 确定规则的前提与结论。阐值非负时，对于组合中的正值：若隐节点与输入节点权 值：为正，输入节点的肯定为前提之一；为负，输入节点的否定为前提之一。对于组合中的 负值：若隐节点与输入节点权值：为正，输入节点的否定为前提之一；为负，输入节点的肯 定为前提之一。输出层节点所对应命题的肯定为结论。 阈值为负时，若隐节点与输入节点权值：为正，输入节点的否定为前提之一；为负，输 入节点的肯定为前提之一。输出层节点的肯定为结论。 应用该方法，可从美国a d 报告中气象方图数据中提取出4 种特征规律，并用规则集 表示 121 2j l l 用模糊推理神经网络 杨煜普等f 4 1 利用模糊推理神经网络来提取模糊规则： 河北人学理学硕 ：学位论文 0 为第，个单元的竞争状态。 1 + e x p ( ，a y ) ( 3 ) 随机输入向量x ( o ，找出竞争的获胜权向量m j ( oj l l 埘一黟一x ( ol i = r a i ni 蜥移- x ( ol 。 ( 4 ) 对获胜的权向量修改权值： m j ( t + j ) = m x o 斗c ( o 凸s y j ( o ) 。( x t ) 一m d o j 其中，c ( t ) = 0 1 ( 1 0 n d ，n 为学习样本个数； s ( y j ( ，) ) = s ( y j ( t + 1 ) ) 一s ( y j ( d ) a s 卵【置o ) m o , o ) = 2 s ( y k ( t ) ) 】 ( 5 ) 经过充分学习后，p 个权向量驰将收敛于模式分类的p 个中心 1 2 2 基于特别设计的新型神经网络产生规则 12 21 基于生长自组织映射( g s o 吣神经弼络 ld a l a h a k 0 0 n 等两l 提出了一种无监督的神经网络生长自组织映射( g s o m ) 神经 网络采用分级蒙类的方法发现规则，g s o m 网络用4 个节点初始化，并用生长节点表 示输入数据，如图4 所示。 爷点生长的时期，节点的权值按照与s o m 类似的方法自组织，这一算法称为g s o m 过程g s o m 过程分为3 个阶段： f 1 ) 初始化阶段 第1 章绪论 仞始节点的权值向量，用随机 数初始化； 埘于给定的数据集按照用户 要求计算闽值( g t ) 。 f 2 1 生长阶段 给网络提供输入； 利用欧氏距离确定映射到当 前特征映射最接近于输入向量的权向 量： 对获胜者及其邻域m + ，内的 宵点j 按下式修改权向量： 吣邶= m 搿舭。h 州功纷j 仨n k m + l + 图4 ：g s o m 网络结构图 新坫点 其中l r ( k ) 为学习率且当k 一十一时工尼r 矽一o ； 增大获胜单元的误差值( 误差值为输入向量与权向量之间的差) ； 当节点i 的总误差t e i g t 时，如果节点i 为边界节点，则生长新节点；如果节点 i 不是边界节点，则分配权值给邻近节点； 初始化新节点的权向量与邻近节点的权向蟹，使之与邻近节点的权向量匹配； 初始化学习率l r ； 重复步骤，直到所有样本都已输入且节点生长已降低到最小水平 ( 3 ) 光滑阶段 减小学习率并固定一个小的初始邻域； 求获胜者并按照与生长阶段相同的方式修改获胜者及其邻域内节点的权值 12 2 2 基于可信度因子( c f ) 模型的神经网络 f ul i r a i n 等【7 1 最近提出了一种基于可信度因子c f n e t ，如图5 所示。 河北人学理学硕仁学位论文 在c f n e ! 中每一个节点用一 个符号标示，以表示属性或概念， 这单将规则视为概念，如果个 槿陛常点与相应的概念节点c 之 恻的连接权值为正，则称此属性为 概念c 的正属性( p o s - a r t ) ，表示 该属性对于建立概念c 的作用 是正的，类似地，可以定义负属性 ( n e g a t t ) 。 在c f n e t 中，规则用i f t h e n 表示，其中i f 称为前提，t h e n 部 分称为操作或结论，例如 图5 ：c f n e t 网络结构图 r ：i f a l + a n d a 0 八a n d - 1a i a n d 八a n d - ia m t h e n c 令w 十a i ( w a 0 为由节点a + i ( a 。i ) 到节点c 之间的连接权值；w + x i ( w 3 a ) 为对于 擒则c 提取前提与正属性f i ( 负属性x ，) 的连接权值。 规则的c f 定义为： c f r ( r ) = f c f ( w + a i ，八，、矿a n i ，- - i 、矿a i ，八， w k ，八，w + x - ，八，w ，八，b ) 其中b 为概念节点c 的偏置，f o r 为组合可信度因子的函数。 规则r 的有效性准则定义为： c f r ( r 1 0 r 其中0 。为规则有效性的阈值，且0 5 0 ， 1 。 在c f n e t 中学习规则的步骤如下： 在一数据集上训练神经网络； 对于每一个隐层节点生成有效规则； 关联每条规则到输出节点； 消去冗余规则 122 3 模糊颗粒神经网络( f g n n ) 第1 章绪论 z h a n gy a n q i n g 等州 提m 了一种基于颗粒计 算。神经i p 算、模期计算、 语高计算和模式识别的 模糊颗粒神经网络 ( f g n n ) 用于数值语言 数据中的规则发现。 f g n n 的一般结构如图6 所示， 其中，第1 层为语言 特征提取层，将数值语 言数据x 和y 分别转换 成对应的模糊特征向量 图6 ：f g n n 结构图 ( a l ，b l ，c l ，d 1 ) 和( a 2 ，b 2 ，e 2 ，d 2 ) ；第2 层为4 个模糊神经网络知识发现模块f n n k d i ( i _ l ，2 ，3 ，4 ) ， f n n k d 。分别为2 xk i lf n n ，它们分别利用k j 条模糊规则生成输出模糊集的中心a 、宽 度b 和参数c 、d 涕3 层为输出层，其输出为数值a 或模糊特征向量z 气a ，b ，c ，d ) 。 f g n n 采用基于启发式知识的学习算法：设给定n 维输入数据向量x 9 ，即 x p = ( x p l ，x p ：，x s o 和l 维输出数据向量y p ，1 ，2 ，n ； 能量函数定义为： e p = l 2 f ( x p j 。叠0 矿曩 其算法步骤为： ( 1 ) 开始； ( 2 ) 基于知识的参数初始化； ( 3 ) 按照数据梯度下降进行学习； ( 4 ) 发现模糊知识( 模糊i f t h e n 规则) ； ( 5 ) 结柬 河北人学理学硕f5 学位论文 1 2 3 已有算法不同程度的存在一些有待解决的问题 ( 1 ) i 算量大。尤其足基丁搜索的学习算法，由于搜索过程的计算复杂度和输入分 量之间是指数级的关系，当分量很多时，会出现组合空间爆炸问题，虽然一些算法采用 j 蓟枝、聚类等方法减少网络中的连接，以降低计算复杂度，但也限制了抽取规则的能 力，无法对原神经网络进行精确地描述。 ( 2 ) 对连续型数据的处理能力差。很多算法只适用于处理离散属性，当对输入属性 值为连续实数值时，则需在规则抽取前将所有连续属性进行离散化处理，这样造成了输 入数据中所包含信息的损失。 ( 3 ) 抽取的规则的形式单一，表达能力较差。多数算法从神经网络中抽取的是传统 的i f _ _ t h e n 规则，虽有一些算法能抽取模糊产生式规则，但为了得到知识表示能力更 强的加权模糊产生式规则，还需通过其他的算法在已有规刘基础上来得到权值。 这些问题将成为今后研究的重要内容。 1 3 课题研究的主要内容 本文研究的内容：针对连续实值属性的分类问题，利用b p 神经网络产生加权模糊 规则，并构造了相应的推理方法，主要包括以下几方面： ( 1 ) 将蕴涵于已知数据中的知识转化到神经网络中。首先对数据进行模糊化，然后 建立并训练神经网络。神经网络结构确定很重要，应使得易于从中抽取规则。对某问 题，没有固定可循的步骤，有许多参数要靠经验选择，其中包括隐含层数、隐含节点数 等。公认的原则是：在没有其他先验知识时，能与给定样本满意符合( 一致) 的最简单 ( 规模最小) 的网络就是最好的选择。而从抽取规则的角度考虑，连接权重有明确的信 息表示和神经网络的简单结构更便于于从中产生规则。因此如何产生易于从中抽取规则 的神经网络结构成为首要问题。 ( 2 ) 将神经网络中的知识转化为加权模糊产生式规则。由于学到的知识分布地存储 于网络结构和网络连接权重中，如何从中产生规则的前件、后件及权值，主要是通过对 神经网络连接权重的分析，构造某属性值对某类别的重要性指标，在重要性指标基础上， 生成加权模糊产生式规则。 1 0 第1 章绪论 ( 3 ) 设计与生成的加权模糊产生式规则相适应的模糊推理方法。加权模糊产生式规 则包含了知识的模糊性、j i 确定性及权重等信息，模糊推理方法应用这些信息对事例分 类( 针对分类问题) 。现有的模糊推理方法有多种，相同的数据和规则，由于推甥方法 不同，结果会有很大的差异。前面方法所得的加权模糊产生式规则也应有相应的模糊推 理力法，这样才能较完整的体现出神经网络中所蕴含的知识。因此认识到：加权模糊产 生式规则只含有网络中隐含知识的一部分，加权模糊产生式规则及相应的模糊推理方法 才能较完整地表示隐含于神经网络中的知识。 河北大学理学硕士学位论文 第2 章预备知识 2 ，1 人工神经网络和b p 算法 人工神经网络【9 】的基本单位是人工神经元，人工神经元是对生物神经元的模拟和简 化，足个多输入单输出的非线性元件。人工神经元( 图7 ) 有三个基本要素： ( 1 ) 一组连接( 对应生物神经元的突出) ，连接强度由各连接上的权重值表示。 ( 2 ) 一个求和单元，用于求取各输入信号的加权和( 线性组合) 。 ( 3 ) 一个非线性激活函数，起非线性映射作用并将神经元输出幅度限制在一定范围 内( 一般限制在( 0 ，1 ) 或( 一l ，1 ) 之间) ， 此外还有一个阈值( 偏置) 0 。其多输入、单输 出的关系可描述为： = _ 一只， y ，= f ( i 。) 产1 其中工，是从其他神经元传来的输入信号，以为输 入信号数目，目，为神经元的偏置( 阈值) ，w 。表 x o = 1 图7 ：人工神经元 示从神经元，到神经元f 的连接权重，y i 为神经元输出，( ) 为激活函数。常用的非线 性激活函数有以下几种： ( 1 ) 闽值函数 m ，= 髋三： f 2 1 分段线性函数： f1 ，x 1 厂( x ) 。 丢( 1 + n - l “ 1 l 0 ，x 一1 ( 3 ) s i g m o i d 函数 常用的函数形式为对数s i g m o i d 函数或双曲正切s i g m o i d 函数 第2 章预备戋识 对数s i g m 。i d 函数：厂( x ) 。i 参，通常情况一f p a n # j 1 姗糊s i g m o i d 嗽m ) = 等 神经网络是由大量的神经元广泛连接而成的网络，根据连接方式的不同主要分为两种： ( 1 ) 前馈型网络 各神经元接受前一层的输入，并输出给下一层，没有反馈。由输入层、隐含层( 可 有若干层) 、和输出层组成。由两个输入节点，两个隐含层，一个输出节点组成的前馈 型网络如图8 ： 窿屡l 图8 前馈型网络( 两个输入节点， 层2 两个隐含层，一个输出节点) ( 2 ) 反馈型网络 所有节点都是计算单元，同时可接受输入，并向外界输出，若总单元数为n ，则每 个节点有n - 1 个输入和一个输出，可画成图9 形式 图9 单层全连接反馈网络 洲北大学理学硕士学位论文 1 9 8 6 年r u m e l h a r t ，h i n t o n ，和w i1 a m s 完整而简洁的提出的一种人二 神经网 络的误差反向传播算法( 简称b p 算法) ，系统的解决了多层神经网络中隐含单元连接权 蕈7 亨爿问题，还对其能力和潜力进行了探讨。目前在神经网络的实际应用中，绝大部分 采用b p 网络和它的变化形式。b p 算法是在导师指导下，建立在梯度下降法的基础上， 适合。】j 多层神经网络的+ 种学习方法。学习过程由正向和反向传播两部分组成，在l 卜向 传播过程中每一层神经元的状态只影响到下一层神经元网络。如果输出层不能得到期梁 输m 就是实际输出值由期望输出值之问有误差，那么转入反向传播过程将误差信号沿 原来的连接通路返回，通过修改各层神经元的连接权重，逐次向输入层传播去进行计算， 再经过正向传播过程，这两个过程的反复运用，使得误差信号达到人们所希望的要求时， 网络学习过程结束。 算法步骤概括如下： ( 1 ) 选定连接权重初值 ( 2 ) 重复下列过程直到收敛： 对k = l 到n 正向过程计算：每层各节点的输入、输出。 反向过程计算：每层各节点的局部梯度d 。 修正权值： 虮川矿喏，其中驰气1 割 局部梯度6 的值如下方法得到“”：设激活函数为， ) 2 r 芝i ，( 后= 1 ) 盟：旦一a e 5 ：盟比 籼j ia n e t j 加j ii ，n e t i 盟：堕堕；万 孤d ：8 0 ia n e t j i 玎8 0 = ，x y ， 当节点j 为输出层节点时， 第2 章预备知识 堕：堡兰2 c a n e t i0 0 ia n e t j 等= 岳三2 。毫”= 岳o o 三2 ”咿杓t8 0 it 品s 。f 。i 、i = 丢2 ( 。一q ) 2 旦! 笔；生= 一( 。一。i ) o o i o c t ( n e t ，) 蒜2 掌2 0 ( 1 一o ) 当节点j 为隐含层节点时， 盟：y 盟一o n e 6 ：y 一万一o n e t k a n e t 女。肋j 孟。( ，) o n e t ia n e t j 。d 名( j ) 讹f ， = ；。点砌，一壤等告2 。；点一瓯苦 = 一磊q ( 1 一q ) k e d o w n s t r e a ( ，) 2 - 2 神经网络结构学习算法 神经网络结构的设计是一个综合问题，需要满足不同的要求，至今没有确定的方法 可依。一个公认的原则是：在没有其他先验知识时，能与给定样本满意符合( 一致) 的 最简单( 规模最小) 的网络就是最好的选择。可以通过一定的训练方法得到规模较小的 网络，一种是修剪法，从个较大的网络开始逐步删去一些不重要的节点或连接权重。 与修剪法相对的是逐步构造法，它是从一个较小的网络开始逐步增长到一个合适的网络 结构。 这里介绍的遗忘式神经网络结构学习算法( s t r u c t u r a ll e a r n i n g w i t hf o r g e t t i n g ) 是修剪法的一种，由1 9 9 6 年m a s u m ii s h i k a w a i 拴】提出的。该算法通过在常用的b p 算 法目标函数后增加惩罚项，在b p 算法训练过程中，使得不重要的连接权重接近于0 ，网 络训练好后，设定阀值，剪除部分连接，得到简单的网络结构。 河北大学理学硕+ 学位论史 标函数为： = i ，+ 占1 = ( q t k ) 2 + s i l l ，i k i ，i 其中j = o i - t t ) 2 为常用的b p 算法目标函数，g f 为惩罚项，为相关 i ，j 权重。，= a w ，一s s 鲥) ， 每次迭代连接权重的改变量，w 。= 印熹是b | ) 算法中的连接权重的改变量，叩为学习率，s = 叩s 为每次迭代连接权重的衰减值， s g n ( w f ) 为符号函数，为正时取1 ，为负时取一1 。 通过惩罚项，每次迭代都使得某些不重要的连接权重向0 衰减。衰减值s 的确定是 非常重要的，如果占取值过大，一些重要连接衰减，将不能满足精度要求，如果s 取值 过小，一些冗余连接仍然从在，得不到简单的网络结构。可以采取如下策略，训练初期 可取较大值，随着训练精度的提高，可适当将的取值交小。这样既提高了训练速度， 又能得到较简单的网络结构。 2 3 加权模糊产生式规则与模糊推理 知识表示是人工智能( a i ) 中最重要的闯题之一，最常用知识形式是i f l 、h e n 形式 的产生式规则，它具有理解性强、易于增加、删除或更新信息等优点。由于数据的不准 确、不完善，或获取知识的方法等原因使得人们掌握的知识存在不准确性e 模糊性和不 确定性是知识不准确性中的两个重要方面，为了提高传统的i f t h e n 形式的产生式规则 对知识的表示能力，产生了模糊产生式规则。而加权模糊产生式规则在模糊产生式规则 的基础上进一步表示出了规则前件之间和规则之间韵权重属性，具有更强的知识表示能 力。合取的加权模糊产生式规则【1 3 】形式如下： r ：i f ”i s 爿，a n d a n d 圯i s4t h e n i s 局 c f r j 町i ，。g w ( r ) f a c t1 ： i s 爿，c f f l 第2 章预备知识 f a c lf 1 ：ki sa 。c f f 。 其中， 和是属性，7 ，月。和口这些属性的值，他们是模糊的。 “，( 1 i ”) 表示前件“”i sa ，”的局权，每一个孵是非负的；g w ( r ) 表示规则r 的仝权( g w ( r ) 0 ) 。局权表明规则的前件对该规则的结论的相对重要程度，而全权用 r ：表示为了达到最终目标，每一规则所做贡献的相对重要程度：a ，是属性值a i 和观测值 4 相似度的阀值，来限制规则的激活，从而排除产生无效结果。 下例表明了加权模糊产生式规则比模糊产生式规则具有更强的知识表示能力， 例1 ： 考虑下列三个模糊规则r 1 ，r zr 3 和一个样例f ： r i ：i f ( ti sh o t ) a n d ( o i ss u n n y ) t h e nu i ss w i m m i n g r 2 ：i f ( ti sh o t ) a n d ( 0 i sc l o u d y ) t h e nui ss w i m m i n g r 3 ：i f ( ti sm i l a ) a n d ( w i sn o t - w i n d y ) t h e nu i s v o l l e y b a l l 观钡4 值f = 1 o s u n n y + o 2 c t o u d y + o 5 h o t + 0 5 m i l d + o o w i n d y + 1 o n o t w i n d y ( t ：t e m p e r a t u r e 。 h o r , c o o l ，m i l d ， o ：o u t l o o k ； s u n n y , c l o u d y , r a i n w ：w i n d 2 w i n d y , n o t w i n d y ) 按最大最小匹配推理算法【1 4 】得到结论为：( o 5 s w i m m i n g ，0 5 v o l l e y b a l l ) 。人们很 难做出明确的决策。 例2 ：将例1 中的三个规则变为如下的加权模糊产生式规则： r i ：i f ( t i s h o t 【1 0 )a n d ( o i ss u n n y 【o 6 】) t h e n u i ss w i m m i n g ，【1 0 】 r 2 ：i f ( t i s h o t 【0 9 )a n d ( 0 i s c l o u d y 【1 0 】) t h e n u i ss w i m m i n g ， 0 8 】 r 3 ：i f ( ti sm i l d 【0 4 】) a n d ( wi s j o t w i n d y 【0 9 】) t h e nu i sv o l l e y b a l l ， 1 0 对于观测值f 按相应的推理算法( 见下一部分) 得到的结果正规化以后为： ( 1 s w i m m i n g 0 3 v o l l e y b a l l ) ，根据这个结论我们很容易做出明确的决策。 模糊推理是基于观测值不能准确匹配规则前件的情况下得出结论的推理方法，作为 一种知名的近似推理，在人工推理中起着重要作用，原因在于很多情况下人们必须在不 完整、模糊的信息基础上做出结论。 荆北大学理学硕七学位论文 钉两类模糊推理方法，一类是基于c r 的方法。z a d e h 的c r i 方法f 15 l 通过定义规则 | j i 抖a j 规则结论b 的模糊关系0 = ( a b ) u ( r - a x b ) ，则结论b = a 。q ，a 为观测值，。为合成算子。l e u n g 和l a i n t ”1 通过定义不同的模糊关系改进了c r i 方法。 男 类是基于相似度的方法。t u r k s e n 和z h o n g 1 1 8 1 认识到虽然c r i 方法简单，但可能 出现不希望得到的结果，例如，a 。a b ：b 。于是他们提出了基于相似度的方法a a r s ( a p p r o x i m a t ea n a l o g i c a lr e a s o n i n gs c h e m a ) 。c h e n 1 9 1 提出了一种基于加权模糊产牛 式规则的推理方法，考虑了权重和确定性因子。 对于分类问题，常用的模糊推理方法是基于相似度( s m ) 的推理，通过计算输入属 性值与规则前件的相似度，应用局权、全权得出输入样本属于某类别的确定性因子( c f ) 已经有多种相似度( s m ) 定义和推理过程。基于相似度的模糊推理基本过程如下： ( 1 ) 对规则集中的每条规则飓分别计算规则前件a ，和观测值a ，之问的相似度 s m ，1 ，s m j = s m ( 以，a ，) ，s m 为相似度函数；如果a ，是实数值，s m ，1 = 爿，( 以) ，以( ) 是a 的隶属函数。 ( 2 ) 通过阀值 ，判断哪些规则被激活。 ( 3 ) 应用局权计算规则r j 总相似度s m ，= f ( s m ，l w 。) i = l n ，f ( ) 为函数。 ( 4 ) 根据结论相同的规则的总相似度s m j 和确定性因子c f j 来计算属于某类别的确 定性因子c f 。 ( 5 ) 选择确定性因子c f 最大的类别即为样例所属类别。 例2 中加权模糊产生式规则的推理方法就是基于相似度的推理。推理过程如下： 对每一个s 中的规则r 。，前件4 和被观测的属性值爿j 。之间的相似度，记为 s m i ”，被定义为隶属值，它表明这个例子( 被观测的物体) 属于该规则相应项的程度。 总相似度s m ( 1 被定义为： s m o = m i t 2 l 班。l 硝卜肼纠 设有斤个模糊分类，给定的t t l 个规则的分类结果被分入个类中，记为c l a s s ， c l a s s ，得出的结果作为一个向量( x i ) x 2 ，k ) m 由下式给出： 雉= 卿- 刚( 厅= 1 ，2 ，劢 把口 韪 - 1 8 - 第2 章预备知识 将得到的结果正规化，得到( d i ，d 2 ，d x ) 。其中d 表示例子属于类c l a s s ( = i ! ，肋的程度。 d 。：x “ m a x l j k x ， 当明确的分类结果被需要的时候，人们选取带有最大值d k ( 1 k k ) 的类。 第3 章加权模糊产生式规则的生成过程 第3 章加权模糊产生式规则的生成过程 3 1 将蕴涵于已知数据中的知识转化到神经网络中。 3 ，1 1 对数据进行模糊化。 在许多分类问题中，观测值为连续型的实数值，将连续值属性的训练数据模糊化为 若干个由模糊子集表示的术语( 语义值) ，用对训练数据模糊化代替传统的离散化，使 得连续值属性的处理有了本质上的改变。为得到模糊产生式规则，在神经网络训练之前 属性值由实数型模糊化为语义型，主要是确定每个属性对应语义值的个数和每个语义值 对应的隶属函数。就产生的方法而言可归纳为三大类： ( 1 ) 统计方法，它通常使用传统数理统计的有关概念和结论。 ( 2 ) 参数估计方法，它一般依据某种理论( 如可能性理论、证据理论等) 在某种优 化准则下估计出参数的最优值。 ( 3 ) 专家经验方法，即使用的隶属函数由领域专家凭经验直接给出。 3 1 2 建立并训练神经网络 为使得连接权重有更明确的信息表示，可以这样建立神经网络，输入节点个数等于 各输入属性的属性值个数( 模糊化) 之和，使每个输入节点对应一个属性值：输出节点 个数等于类别数，每个输出节点对应个类别。这样某个输入节点的连接权重只表示与 该输入节点对应的属性值有关的信息，菜输出节点的连接权重只表示与该输出节点对应 的类别有关的信息。从而使得这些连接权重所表示的知识更具体。如果神经网络的每个 输入节点对应一个属性，则某输入节点的连接权重表示与该节点对应属性有关的信息， 无法表示属性值的信息。每输入节点的输入值为样例实数值属于对应模糊属性值的隶属 度，取值范围 0 ，1 ，每输出节点的输出值表示属于对应类别的隶属度，取值范围 0 ， 1 j 。隐含层数和隐含节点数的确定。 2 0 - 第3 章加权模糊产牛式规则的生成过聪 简单的网络结构易于抽取规则，对= ! l ；一分类问题我们希望在保证分类精度的鲍提卜， f l 经网络的隐含层数和隐含节点数尽量小，而如何确定这两个数目前没有一个好的办 沼，但通过一定的网络训练算法可以减少网络中冗余的连接和节点个数，使网络简化， 种是修剪法，是从一个较大的网络开始逐步删去一些不重要的节点或连接权重；与修 剪法相对的是逐步构造法，它是从一个较小的网络开始逐步增长到一个合适的结构。通 过以_ 卜方法训练得到的神经网络结构较简单，从而更易于将隐含于网络结构中的知识转 化为规则集。本课题研究中网络训练过程使用遗忘式结构学习算法( s l f ) ，它是一种简 便易用的修剪法，通过结构学习算法进行训练，然后设定一闽值，在保证达到一定分类 准确度的前提下裁剪小于此阙值的连接权重，于是得到节点个数和连接较少的神经网 络。 通过以上方法建立并训练得到简单神经网络的同时，还起到了特征予集提取的作 用。随着数据量的增大，数据的冗余信息也随之增多，如何从海量的数据中获取有用的 知识，成为人工智能领域急需解决的闯题。处理大规模数据时相当困难，这就需要个 行之有效的方法来减少不必耍的特征和数据，以求减少数据量。而特征子集选择正是解 决这一问题的有效手段。特征子集选择是指从给定的特征集合中选择出一个特征子集， 使其能够一致地描述给定的样本集合。在应用属性值( 特征) 产生规则时，并非所有的 属性值都是有用的。通过阻上方法建立并训练得到的简单神经网络中，某些输入节点到 隐含节点的连接权重值为零，那么这些输入节点的输入值的变化对神经网络输出值没有 影响，这就说明这些输入节点所表示的属性值对分类结果没有影响，属于不必要的属性 值，从而在产生规则时可以不考虑，而属性值就是特征集中的特征，这就起n t 特征子 集提取的作用 3 2 将隐含干神经网络中的知识转化为加权模糊产生式规则 3 2 1 分析连接权重对神经网络输入输出值的影响 神经网络的输入值通过网络结构和连接权重的作用得到输出值，下面在网络激活函 数为单调增的情况下定性的分析连接权重在这一过程中起到的影响。 从输出节点考虑，要想使得某输出节点的值为l 或接近于1 ( 即属于某类) ，要求前 一2 l - 河北大学理学颁十学位论文 层1 芎点中与之连接权重为征的节点的输出值要尽量大，连接权重为负的节点的输出值 要尽璧小，同理，可以考虑其他相邻两层间后一层节点输出值对前一层节点的要求。连 接权零的缝对值越大，前一节点的输出对后一节点输出的影响越大。 例如考虑三层b p 网络，分析在一条路径( 从某输入节点经连接至某隐含节点再经 连接刮某输出节点，其中连接权重值不为零) 中连接权重的影响( 假设其他输入节点的 输入值不变) 。 ( 1 ) 当两个连接权重w ，、w 。都是正数时，要想使得输出值增大( 接近于1 ) ，要求输 入值尽可能大( 接近于1 ) ，还可以认为当两个连接权重都是正数时输入值的增大将使输 出值增大。 ( 2 ) 当两个连接权重w 。、w 2 都是负数时，要想使得输出值增大( 接近于1 ) ，要求隐 节点的输出减小，而隐节点的输出减小要求输入值尽可能大，即输入值的增大将使输出 值增大。 ( 3 ) 当两个连接权重w ，、w ：一正一负时，与前类似的分析，要使输出值增大要求输 入值减小。表1 为w 。、虬取值的四种不同下，输入值增加对输出值的影响。 表l 输入值增加对输出值的影响 输入值机也输出值 增加为正为正增加 增加 为正 为负 减少 增加 为负为正减少 增加 为负 为负 增加 类似的可以将上述分析推广到多层神经网络，从而得到以下结论： 对b p 神经网络( 激活函数单谪增加) 中的条路径，当负连接权重的个数为奇数时， 输出值的增大要求输入值减小，当负连接权重的个数为偶数时，输出值的增大要求输入 擅增大。 通过这一结论我们定义单径影响度的概念：用来表示某输入节点通过一条路径对输 出接点的影响程度的实数值，当值为正时表示输出值随输入值的增加而增加；当值为负 时表示输出值随输入值的增加丽减小，绝对值越大，输入值对输出值的影响越大，0 值 第3 章加权模糊产生式规则的生成过释 表示没有影响。单径影响度是路径中连接权重的函数用e = f ( w l ，w 2 ，w n ) 表示( w i 为该 路狰中的连接权重) ，此函数满足如下条件： ( 1 ) f 随1 w i i 的增加而增加： ( 2 ) 当w i 中负数个数为奇数时，e 为负值： ( 3 ) 当w i 中负数个数为偶数时，e 为正值。 3 2 2 构造某属性值对某类别的重要性指标 列某输入节点i ，输出节点o ，有多条连接路径，基于前面定义的单径影响度，计算 所有路径的单径影响度e 。，i = l ，2 k ，k 为连接节点i 、0 的路径个数。e 1 的符号可正 呵负，表明当输入僮增加时，通过不同路径对输出值的影响是不同的。将全部单径影响 度的和作为输入节点i 对输出节点o 的总影响度，它反映了输入节点i 通过多条路径对 输出节点的0 的影响程度。总影响度就定义为输入节点i 所对应的属性值对输出节点0 所对应的类别的重要性指标。分别计算各输入节点对各输出节点的重要性指标，从而可 以生成重要性指标矩阵w n 。每一列对应一个属性值，每一行对应一类别，如第i 行j 列的元素表示第j 个属性值对第i 个类别的重要程度。 3 2 3 生成带有局权的加权模糊产生式规则 通过重要性指标矩阵巩。产生合取加权模糊产生式规则集的方法如下： 以重要性指标矩阵w 。的每一行来产生该行对应类别的一个或多个规则：某行不为 零的元素对应的属性值产生规则前件，该行对应的类别产生规则后件，每一规则前件只 含某属性的一个属性值，如果属于同一属性的属性值对应的元素有多个不为零，则将 产生多个规则，即前件中无o r ；元素的绝对值将作为相应前件的局权，如果元素为负值， 对应的属性值将生成n o t 前件。 例3 ： r 4 50 02 0300 w 。= 1 2 3 - 3 3 设计相应的模糊推理方法 现有的模糊推理方法有多种，相同的数据和规则，由于推理方法不同，结果会有 很大的差异。如何构造与所得到的加权模糊产生式规则相适应的模糊推理方法? 针对分 类问题，模糊推理过程可以理解为将输入的样本属性值利用加权模糊产生式规则转化为 圈+ 圆 图l o 神经网络中隐含的知识转化为加权模糊产生式规则及相应的模糊推理方法 相应的类别的过程，这一过程与神经网络计算输出值的过程类似，而加权模糊产生式规 则是利用神经网络连按权重产生的，因此通过模拟数据从神经网络输入节点到输出节点 的流向过程来产生推理方法。也可以这样认为：加权模糊产生式规则只含有网络中隐含 知识的一部分，可以将神经网络中隐含的知识转化为加权模糊产生式规则及相应的模糊 推理方法( 图1 0 ) 。 基于以上的想法，构造的推理方法( 基于相似度) 如下：对每一给定的样例 ( 1 ) 对规则集中的每条规则r ，分别计算规则前件因子和观测值。之间的相似