数学的实践与认识 一般模糊极小极大神经网络的改进研究(1).doc

编号:13-1955一般模糊极小极大神经网络的改进研究高志文, 金 智, 李风军收稿日期: xxxx-xx-xx; 收修改稿日期: xxxx-xx-xx.通讯作者. E-mail: 基金项目: 国家自然科学基金项目(61063020, 11261042).(宁夏大学 数学计算机学院, 宁夏 银川750021)摘要: 针对一般模糊极小极大神经网络在处理重叠超盒和包含超盒时, 出现新的类而标识为未知类, 进而无法达到聚类预期效果的问题, 本文提出了通过超盒的收缩过程来加入新类或删除一个已存在类的一般模糊极小极大神经网络, 它继承了一般模糊极小极大神经网络的优点, 并且避免了一般模糊极小极大神经网络在分类时的随意性, 弥补了一般模糊极小极大神经网络无法达到聚类预期效果的目的, 以及提高了模式分类的准确性和高效性. 最后, 通过实例验证了该方法实用有效. 关键词: 一般模糊极小极大神经网络; 聚类; 超盒扩张; 收缩过程中图分类号: TP183 文献标识码: A Research on improved general fuzzy min-max neural network GAO Zhi-wen, JIN Zhi, LI Feng-jun(College of Mathematics and Computer, Ningxia university, Ningxia yinchuan 750021, China)Abstract: Through adding new class or deleting an existing class of general fuzzy min-max neural network(GFMN), a new GFMN is proposed. It inherits the merit of the GFMN. A new GFMN avoids randomness of the traditional GFMN in classification and makes up the purpose of the traditional GFMN cant reach clustering the desired effect. At the same time, it improves the accuracy and efficiency in the pattern classification. The experimental results demonstrate the effectiveness of this new approach.Key words: GFMN; clustering; hyperbox expansion; contraction process1 引言我们知道, 一般模糊极小极大神经网络（general fuzzy min-max neural network, GFMN）学习样本数据时是通过网络自动调整超盒的大小来消除重叠区的1-2. GFMN的主要优点是可以同时处理被标记数据和未被标记数据3. 但该网络存在一定不足, 不能够完全聚类和自适应在线学习, 其训练样本仍然需要部分标识出来; 当遇到新的类时, 则只能将其全部归为未知的类, 进而无法达到聚类的预期效果. 本文提出改进后的GFMN正好填补了这一不足. 在学习实验样本过程中, 网络试图包含这个实验样本于已存在的同一类的超盒中, 那么这个过程被称为超盒扩张. 若超盒扩张不存在, 则网络加入一个新的超盒, 并且属于同一类的超盒的聚合形成一个完整的类. 通过修改其结构和学习算法, 实现了加入新类或删除一个已存在类功能的GFMN, 解决了原有算法中存在的不足之处. 最后, 以对企业资信评估分析为例来验证本文提出的结构和学习算法的有效性. 2 改进的GFMN模型与拓扑结构2.1 重叠模型 在解决模式分类问题中, 我们首先利用GFMN处理训练标记样本. 图1描述了一种情况: 当两个超盒存在重叠, 为了消除重叠, 超盒则需要收缩. 图1(b)是收缩过程的结果. 记B, C各自属于类1和类2的隶属度为, . 观察B, C隶属度的变化: 收缩过程前: 和 和收缩过程后: 和 和图1 重叠问题B, C各自属于类1和类2的隶属度发生变化, 说明收缩过程同时也导致了训练误差的存在, 同样非模糊区域（即灰色区域）也受到干扰. 针对图1类型的重叠, 改进后的GFMN在训练过程中加入重叠补偿神经元, 使网络的准确性更高. 重叠补偿神经元是一个超盒, 等同于属于不同类的两个超盒间的重叠部分. 重叠补偿神经元产生对应于不同类的两个输出值(如图2(a). 当测试集数据落入重叠区域, 重叠补偿神经元被激活, 激活函数为: 其中是类1和类2的输出值, 是输入数据, 是重叠补偿神经元的最小值和最大值, . 为阈值函数: 当测试集数据落入重叠区域外, 为了避免方程(1)被激活, 则有: 是网络的隶属度函数4: 其中V, W是节点层中超盒的极小和极大值. 是双参数门限斜坡函数: 是模糊控制参数5. 图2 重叠补偿神经元和包含补偿神经元图3(a)描述了超盒包含问题, 类2完全包含于类1. GFMN还是通过超盒收缩解决此问题.如图3(b), D在类1中隶属度的变化, 收缩过程前, 收缩过程后, 收缩过程也导致了分类错误. 图4(a)描述了超盒部分包含问题, 收缩后如图4(b). 部分包含类2的类1的最大值发生改变, B点的隶属度也发生改变. 非模糊区域也受到影响. 图3 全包含问题针对图中的重叠, 改进后的GFMN加入包含补偿神经元. 它处理部分包含和全包含问题, 等同于属于不同类的两个超盒间的重叠部分. 当测试集数据落入其区域时, 包含补偿神经元被激活. 其激活函数为: 其中,为包含补偿神经元的输出值, 为包含补偿神经元的最小最大值, 为输入数据, 为阈值函数. 2.2 混合模型混合模式用来处理含有标记样本和未标记样本的混合样本的训练数据, 这种模型不存在于GFMN. 在模糊模型学习中, 改进的GFMN从标记训练数据的先验知识下标记未标记的数据. 2.1中的分析在混合模型对于标记训练集样本是有效的. GFMN不允许标记超盒和未标记超盒的重叠, 改进后GFMN允许这种重叠的存在. 另外, 我们给未标记超盒一个类标签. 当两个未标记超盒存在重叠, 改进后的GFMN还允许一个超盒的收缩过程. 图4 部分包含问题2.3 聚类模型 在分类模型中, 所有的训练集样本是未标记的. GFMN会沿着最小重叠那一维度收缩重叠超盒. 在改进后的GFMN对于未标记超盒间的重叠也使用同样的收缩方法. 但是与GFMN相比较, 超盒扩张发生变化. 如果超盒中某点的隶属度大于零, 且平均扩张小于给定的一个最大值, 则改进后的GFMN可以利用超盒扩张去包含一个训练样本. 当训练一个未标记样本, 网络试图包含它于已存在的标记超盒或未标记超盒, 否则建立一个新的类标记的超盒. 2.4 改进的GFMN的拓扑结构 改进的GFMN的输入模式是一个区间形式的维模糊量, 即一个维超盒. 同时输出端增加了一个类, 对应未标明类型的输入数据, 在加入补偿神经元后, 可以添加一个新类或者删除一个已存在类. 网络的具体拓扑结构如图5: 图5 改进的GFMN的拓扑结构: 输入数据: 输入节点: 超盒节点: 类节点: 重叠补偿超盒节点: 包含补偿超盒节点: 总体补偿节点U, Y, Z: 连接矩阵3 改进的GFMN学习算法当网络学习训练样本时, 它将会包含样本在已存在类的超盒中, 已存在的超盒大小不能超过给定的最大值. 否则, 网络将加入新的超盒, 为避免一类中出现模糊性, GFMN必须加入重叠检测, 若重叠存在, 则GFMN将执行收缩过程, 所以GFMN学习算法主要包括三步: 1)超盒扩张; 2)重叠检测; 3)超盒收缩. 对于超盒, 我们要检测其是否存在超盒扩张. 重叠检测和超盒收缩则是对初步建立的超盒节点层进行调整, 主要根据相应规则修改超盒极小端和极大端的位置, 使其改变覆盖的范围5. 我们现改进原有学习算法中数据处理部分以及重叠检测. 具体如下: 假设是训练集样本, 是类中的超盒, 是超盒允许的最大扩张, 超盒的初始化, 未标记数据由类表示. 对于以下步骤1和步骤2, 反复训练所有训练集样本. STEP 1: 数据处理a) 找到一个超盒,使得或者,并且满足下面以下条件:(1) (2)不与重叠补偿神经元或者包含补偿神经元相关联. (3)如果或, 则, 是隶属于超盒的隶属度. 调整超盒: b)如果满足条件的找不到, 则创建一个新的超盒并归为类. 超盒的极小点和极大点初始化, 转到STEP 1. STEP 2: 重叠检测 假设超盒在STEP 1已扩张. 如果和, 则进行重叠检测和收缩检测(TEST 2). 否则进行下一轮TEST 1学习. TEST 1 a) 独立测试: 如果或者, 则是独立的. 否则进行包含测试.b)包含测试: 如果或者, 则: CASE 1: 如果, 则, 并返回STEP 1. CASE 2: 如果, 则, 并返回STEP 1. CASE 3: 如果和, 则创建一个包含补偿神经元, 其超盒极小值, 极大值为: 并返回STEP 1. 否则超盒不会面对包含问题, 则进行step (c).c)重叠补偿神经元的创建: CASE 1: 如果, 则, 并返回STEP 1. CASE 2: 如果, 则, 并返回STEP 1. CASE 3: 如果和,则创建一个重叠补偿神经元,其超盒极小值,极大值为: 返回STEP 1. TEST 2: 测试遵循最小扰动原则. 这个测试会找到最小重叠的那一维度, 并且进行收缩过程. 假设的是在某一维度上的重叠. a)重叠测试: 假设起始重叠为, 测试以下情况: CASE 1: CASE 2: CASE 3: 或者 如果重叠存在（以上三种情况有一个是真的）, 并且, 则. 如果不存在重叠, 则, 并返回STEP 1. b)收缩: 如果重叠存在, 则用一下条件收缩超盒: CASE 1: CASE 2: CASE 3: 若, 则. 否则CASE 4: 若, 则. 否则返回STEP 1. 4 基于改进后的GFMN的企业资信评价分析4.1 企业资信影响因素的选择 资信评级, 通常也被称为信用评级, 是对各类企业所负各种债务能否如约还本付息的能力和可信任程度的综合评估, 是对债务偿还风险的综合评价. 精确地量化信用风险, 有助于银行进行有效的信用分析和风险管理, 从而增加利润规避风险. 本文以宁夏吴忠金积工业园区20家非公企业为研究对象, 将改进的GFMN方法运用到企业资信评估中. 为了对企业有个全面的评价, 建立一个用于信贷企业选择的评价指标体系7（见表1）. 信贷企业评价指标体系指标类型一级指标二级指标软指标企业素质领导素质职工素质管理素质竞争能力发展前景行业前景主营业务经营前景新技术、新产品开发、创业前景企业发展战略硬指标偿债能力资产负债率流动比率速动比率利息保障倍数赢利能力总资产赢利率销售利润率净资产收益率经营能力帐款周转率存货周转率总资产周转率履约能力合同履约率贷款偿还率利息支付率技术创新能力技创费用与销售收入比率技创人员比例、素质新产品销售比率表1 企业评估指标4.2 网络结构设计 企业资信评估是一个模式分类问题, 神经网络的目标是根据企业财务情况给出准确的信用等级. 本文主要验证改进后的一般模糊极小极大神经网络的可行性与准确性问题, 其数据来源于宁夏吴忠金积工业园区20家非公企业, 共收集近五年来100组样本数据, 其中50组作为数据, 另外50组作为检验数据. 利用改进后一般模糊极小极大神经网络进行训练, 得出企业最后的评价结A（优）、B（良）、C（中）、D（差）. 本文构建的一般模糊极小极大神经网路共有三层, 其中输入神经元个数为24, 输出神经元个数为1, 具体隐层神经元个数由Kolmogorov定理验证得出适合的为15. 经过实际操作, 超盒与训练数据的误差为图6, 改进后的GFMN, 超盒扩张在某一范围内, 误差达到最小值, 也是通过超盒的扩张和收缩过程, 才使得改进后的GFMN对于模式分类来说达到了较高的水平. 图6 误差分析改变超盒的尺寸大小去影响测试准确性以及改变其数量来添加新类或删除旧类的目的, 其与一般模糊极小极大神经网络比较如图7. 图7 测试准确率和超盒数量 从图7我们可以看出, 本文提出了加入新类或删除一个已存在类的一般模糊极小极大神经网络, 避免了一般模糊极小极大神经网络在分类时的随意性, 并且提高了模式分类的准确性和高效性. 5 结束语本文提出的改进后GFMN方法在处理重叠超盒和包含超盒问题时加入新类或删除一个已存在类的方法, 提高了在模式分类中的准确性和有效性. 通过与原有的GFMN学习比较, 更能很好的执行标记未知数据来加入新类. 资信评估结果表明, 该算法能有效地对企业进行分类, 为资信评估提供了解决方案. 参考文献:1Ham F M, Kostanic I. Principles of Neurocomputing for Science and EngineeringM. China Machine Press, 2007.2Nandedkar A V, Biswas P K. A Fuzzy Min-Max Neural Network Classifier With Compensatory Neuron ArchitectureJ. Neural Networ