河北省自然科学奖推荐书.doc

河北省自然科学奖推荐书（ 2015年度）一、项目基本情况学科评审组：信息与系统科学组项目名称不确定环境下的归纳学习项目英文名称Inductive Learning in Uncertain Environment主要完成人王熙照,翟俊海,董春茹,邢红杰,陈爱霞第一完成人工作单位（盖章）单位名称河北大学推荐单位或推荐专家（盖章）保定市科技局组织机构代码401705060学科分类名称1人工智能理论代码52010602代码3代码所属科学技术领域520-计算机科学技术本项目涉及主要计划项目（含基金）任务下达单位项目名称项目编号起止年限经费验收时间科技报告编号国家自然科学基金委员会加权模糊规则泛化的能力研究604730453年182008-02-01河北省科技厅异常点挖掘研究及其应用08963522D3年102011-12-06河北省自然科学基金委员会基于最大Margin的决策树归纳学习系统及在多光谱数据分类中的应用F20080006353年52011-03-07项目投入总经费33项目起止时间起始2005-01-01完成2010-12-31 河北省科学技术厅二、项目简介（限1200字）归纳学习从样例数据中学习有价值的规律或规则，是机器学习领域最重要的分支之一。传统的机器学习研究是在这样一个前提下进行的：每一个样例表示必须是分明的。然而由于学习系统处理的实际数据中常常存在不确定性，很多实际问题中抽取出来的学习模型的属性取值都不满足这个前提，这在很大程度上限制了机器学习的应用范围，因此研究不确定环境下的归纳学习具有重要的理论意义及实际应用价值。 该项目属于计算机科学技术智能理论领域。主要研究内容包括 1. 研究了知识表示的不确定性与模糊产生式规则的泛化能力之间的关系，进一步给出了知识表示参数的一种建模方法及其优化准则，并设计了有效的学习算法来学习知识表示参数，从而改进模推理系统的泛化能力。 2. 研究了不确定环境下的训练样例选取、分类规则学习以及基于规则的学习系统的集成问题。 3. 研究了基于互信息的多层前馈神经网络结构选择问题，及结构选择与神经网络泛化性能之间的关系。 主要创新点： 1. 首次提出了模糊规则中知识表示参数与模糊学习系统泛化能力之间关系的优化模型和优化准则，建立了基于极大模糊熵原理的模糊规则知识表示参数精炼方法。 2. 首次提出了应用粗糙集技术学习模糊规则的方法，提出了多模糊决策树集成学习方法，建立了基于属性约简的多样性基本分类器构造方法，同时考虑了知识的粗糙性和模糊性，可有效提高学习系统的泛化能力。 3. 提出了用于增量模糊决策树学习的样例选择方法，从理论上证明了（1）该方法可使模糊决策树的调整量达到最小；（2）基于这种选择机制归纳出的模糊决策树的泛化能力优于基于随机选择机制归纳出的模糊决策树。 4. 提出了基于极限学习机的模糊上积分分类方法，该方法首次将模糊积分用于极限学习机，提高了学习系统的鲁棒性。提出了基于粒子群优化的模糊测度确定方法。 5. 提出了基于互信息的多层感知器结点相关性度量模型，给出了自动选取最优网络结构的策略。 科学价值： 1. 提出的优化模型对于改善学习系统的性能，提高学习系统的适用性、鲁棒性、稳定性等具有重要的理论及应用价值。 2. 将学习系统的泛化能力研究纳入到极大熵原理的框架之下，对优化模糊控制器的设计、改进专家系统的预测能力、提高机器的智能水平等有着重要的实用价值。 3. 发现的不确定环境下增量选择样例与模糊学习系统的泛化能力之间的关系，对在保证模糊归纳学习系统具有较强泛化能力的前提下，降低学习算法的计算复杂度具有重要的理论及应用价值。 项目研究得到了国家自然科学基金资助，研究成果出版专著2部，发表学术论文160余篇，其中SCI检索40篇。GOOGLE SCHOLAR搜索单篇最高他引总次数119次（注：后面提到的他引总次数都是指GOOGLE SCHOLAR搜索的他引总次数，特此说明），WEB OF SCIENCE单篇SCI最高他引次数88次。利用该项目研究技术，在2007年国际数据挖掘大赛中获得了任务2的冠军，在国际学术会议作大会报告3次，邀请报告4次。项目研究成果得到了众多国内外专家的积极评价。三、项目详细内容（限8页）（1）总体思路总体思路是通过分析学习系统中的不确定性（如模糊性、粗糙性、随机性等）对学习系统泛化能力的影响，构建不确定性与学习系统泛化能力之间关系的数学模型，构建具有较强泛化能力的学习系统。针对具体的研究内容，采用的研究思想和研究方法如下：A使用极大模糊熵思想来提高模糊规则的泛化能力在分类不确定的情况下根据极大熵原理调整参数，分析训练数据的概率分布与模糊规则组关于知识表示参数的熵的解析关系，理论分析并证明了“具有极大熵的知识表示参数”所对应的规则推理系统有较强的泛化能力，提出了知识表示参数的精炼方法。所采用的技术路线如图1所示。图1. 基于极大模糊熵来提高模糊规则泛化能力的技术路线B不确定性环境下的归纳学习算法设计思想在不确定环境下的归纳学习算法研究中，提出了（1）基于粗糙集技术的多模糊决策树归纳方法，该方法利用粗糙集技术计算得到多个约简，分别构造模糊决策树，并用模糊积分融合得到的模糊决策树。因为不同的约简表示从不同的视角观察对象，由这些约简归纳出的模糊决策树具有多样性，从而使得融合得到的学习系统泛化能力加强。（2）从模糊样例数据中学习模糊分类规则的方法,该方法采用的技术路线是首先将经典粗糙集中上近似、下近似、属性约简、核等概念推广到模糊环境下，然后求属性约简和值约简，最后抽取模糊规则。（3）基于极限学习机的模糊上积分分类方法，该方法通过单隐含层前馈神经网络将多个上积分分类器融合，利用极限学习机算法训练该网络。（4）基于模糊粗糙集技术的模糊决策树归纳方法，该方法利用模糊粗糙集中的粗糙依赖度为选择扩展属性的启发式构建决策树，该方法既考虑了知识的粗糙性也考虑了认知模糊性，归纳出的模糊决策树具有较强的泛化能力。（5）提出了基于粒子群优化的确定模糊测度方法，该方法为不确定环境中的归纳学习提供了一种有效的确定模糊测度方法，具有比遗传算法和梯度下降法更优的性能。C不确定性环境下的样例选择方法提出了基于最大不可指定性的样例选择方法，该方法利用不可指定性度量样例的重要性，逐渐往训练集中添加样例，增量地构建模糊决策树。理论上证明了，利用该方法当往训练集中添加选择出的样例时，模糊决策树的调整量是最小的；还证明了基于这种选择机制归纳出的模糊决策树的泛化能力优于基于随机选择机制归纳出的模糊决策树。基于不可指定性的样例选取的技术路线如图2所示。图2. 基于不可指定性的样例选取的技术路线D. 基于互信息的两阶段多层前馈神经网络构造方法采用两阶段的研究方法，第一阶段通过互信息度量特征对网络性能的贡献程度，并对输入层结点剪枝。第二阶段，通过我们定义的一个相关性度量，可以逐一地对冗余隐含结点进行剪枝，研究结果表明该方法够取得更强的泛化能力。（2）科学技术内容（2.1）在对不确定环境中的模糊产生式规则学习研究中，发现了模糊产生式规则中的知识参数设置直接影响着规则的泛化能力，提出使用极大模糊熵原理来指导学习优化这些参数，从而改进模糊推理系统的泛化能力。我们的研究给出了一种新的基于极大模糊熵原理的参数获取准则，该方法在保证不降低训练精度的前提下，调整权重来极大化训练集的模糊熵。新的权重获取策略有效解决了过度拟合问题,同时在很大程度上改善了测试精度。（2.2）在不确定环境下的归纳学习研究中，我们的前期工作证明了构建最小模糊决策树是NP-hard问题，理论澄清了构建最小模糊决策树的计算复杂性。基于这一结论，我们提出了（a）基于粗糙集技术的多模糊决策树集成归纳方法；（b）基于模糊粗糙集技术的模糊决策树归纳方法。并从扩展属性选择、推理机制、树的规模以及学习精度等方面与Fuzzy ID3算法进行了比较研究。另外，还提出了（c）从模糊样例数据中学习模糊分类规则的方法，在这一研究中，我们将经典粗糙集中上近似、下近似、属性约简、核等核心概念推广到了模糊环境，规则学习充分利用知识的粗糙性和模糊性，学习出的规则具有很好的泛化能力和鲁棒性。（d）基于极限学习机的模糊上积分分类方法，该方法首次将模糊积分用于极限学习机，提高了学习系统的鲁棒性。（e）提出了基于粒子群优化的确定模糊测度方法，该方法为不确定环境中的归纳学习提供了一种有效的确定模糊测度方法，具有比遗传算法和梯度下降法更优的性能。（2.3）在不确定性环境下的样例选择研究中，针对模糊决策树归纳学习算法，我们提出了基于最大不可指定性的样例选择方法，并分析了不确定环境下基于最大不可指定性增量选择样例与模糊学习系统的泛化能力之间的关系。我们的研究证明了该方法可使模糊决策树的调整量达到最小，还证明了应用这种选择机制归纳出的模糊决策树的泛化能力优于基于随机选择机制归纳出的模糊决策树。（2.4）多层前馈神经网络在实际中得到了广泛的应用，但是其结构选取仍是神经网络研究领域亟待解决的问题，至今仍无严格的理论指导和统一的选取准则。我们利用信息理论中的互信息设计了一种自动剔除不相关输入结点和冗余隐含结点的策略，两阶段构造方法在分类和函数逼近问题上显示了它的有效性。（3）科学价值在不确定环境下的归纳学习研究中，我们的前期工作证明了构建最小模糊决策树是NP-hard问题，理论澄清了构建最小模糊决策树的计算复杂性，这对于模糊决策树归纳学习的研究具有很重要的指导意义。在此基础上，我们的课题研究成果的科学价值体现在以下几方面：（3.1）由于学习系统处理的数据都存在某种程度的不确定性，因此研究不确定环境下的归纳学习，对于改善学习系统的性能，提高学习系统的适用性、鲁棒性、稳定性等具有重要的理论及应用价值。（3.2）澄清了知识表示参数的不确定性与学习系统泛化能力之间的关系，建立了优化知识表示参数的数学模型及求解算法，将学习系统的泛化能力研究纳入到极大熵原理的框架之下。这对解决许多现实问题，像优化模糊控制器的设计、改进专家系统的预测能力、提高机器的智能水平等有着重要的实用价值。（3.3）分析了不确定环境下基于最大不可指定性增量选择样例与模糊学习系统的泛化能力之间的关系，进一步建立了基于不可指定性的样例选择方法，并证明了该方法可使模糊决策树的调整量达到最小，还证明了应用这种选择机制归纳出的模糊决策树的泛化能力优于基于随机选择机制归纳出的模糊决策树。这对构建面向大数据集的学习系统具有指导意义和实际应用价值。（3.4）研究了基于互信息的多层前馈神经网络结构选择问题，设计的结构选择算法在应用多层前馈神经网络解决分类问题和回归问题中具有应用价值。（4）学术界公认程度在对不确定环境中的模糊产生式规则学习研究中，发现模糊产生式规则中的知识参数设置直接影响着规则的泛化能力，提出了基于模糊最大熵原理的知识表示参数精炼方法，该成果发表在著名国际期刊IEEE Transactions on Fuzzy Systems上1。该工作GOOGLE SCHOLAR搜索他引总次数119次，SCI他引87次，得到了国内外同行的好评。其中著名国际刊物Information Science主编W. Pedrycz等在引用文献C1指出，本文的方法提供了一种有效获取基于模糊语言的模糊知识库的途径，为建立高预测能力的模糊推理系统打下了基础。引用文献C2的作者指出，由于当前机器学习与数据挖掘数据中大量存在的不确定性和随机性，本文提出的方法为构建具有较好鲁棒性的分类器提供了一种新方法，具有非常重要的意义。台湾长庚大学的T. Y. Chen教授在引用文献C3中指出，本文基于最大化模糊熵提出了一种新的规则精炼方案，能够提高分类决策的质量。中科院院士徐宗本教授等在引用文献C4中指出“Wang等提出的方法通过调整学习器误差界函数中的参数，期望使得学习器的经验误差和泛化误差达到一个好的折衷”。在不确定环境下的归纳学习研究中，关于模糊规则的抽取，课题组提出了四种模糊规则抽取方法：（1） 基于粗糙集技术的多模糊决策树归纳方法该成果发表在著名国际期刊Information Science上2，GOOGLE SCHOLAR搜索他引总次数108次，SCI他引88次。该工作首次提出了基于模糊粗糙集多属性约简构造模糊决策树集成学习系统的方法，以提高学习系统的泛化能力，受到了国内外同行的关注。引用论文C1的作者对该工作给出了较高的评价：“最近，Wang等提出了更为先进的模糊决策树归纳和优化技术。”引用论文C5的作者在其论文中说：“Wang等用一些新技术如极大化不确定性或组合多个属性约简来改进学习系统的泛化能力。”基于这些技术，作者提出了基于多上下文环境的级联遥感图像分类方法。国家杰出青年基金获得者哈尔滨工业大学的于达仁教授在其论文C6评价说：“Wang等提出了组合多个粗糙集约简来改进由模糊决策树抽取的决策规则的泛化能力。”引用文献C7的作者对该工作也给出了较高的评价：“关于泛化能力更多的细节我们推荐参考一些最近的工作1和2，在1中提出了一种通过新的最大化不确定性来提高学习系统泛化能力的参数精炼技术；而在2提出了一种新的组合多个约简来提高学习系统泛化能力的方法。”（2） 基于粗糙集技术从模糊样例数据中学习模糊规则的方法该成果也发表在Information Science上3，GOOGLE SCHOLAR搜索他引总次数98次，SCI他引83次。该工作提出了从模糊样例数据中学习模糊分类规则的方法，它将经典粗糙集中上近似、下近似、属性约简、核等核心概念推广到了模糊环境，然后通过属性约简和值约简来抽取模糊规则。引用论文C2的作者在其论文中说：“粗糙集已成功应用于模糊分类规则抽取，如Wang等提出了基于粗糙集从模糊样本数据中抽取模糊规则的有效方法。”引用论文C8的作者在其论文中评价说：“Wang等利用粗糙集技术提出了处理模糊和数值数据的有效方法。”中国人工智能协会粗糙集与软计算专业委员会主任苗夺谦教授在其论文C9中评价说：“Wang等提出的模型已被证明是知识抽取的强有力工具。”（3） 基于模糊上积分的分类方法该成果发表在SCI期刊Neurocomputing上7中，GOOGLE SCHOLAR搜索他引总次数51次，SCI他引37次。该工作提出了基于极限学习机的模糊上积分分类方法，它首次将模糊积分用于极限学习机，提高了学习系统的鲁棒性。引用文献C10的作者指出，与基于梯度的方法相比，该方法更有效且能取得更好的泛化性能。引用文献C11的作者给出了类似的评价。引用论文C12称该方法是传统极端学习机的成功改进，它通过训练一个前馈神经网络，实现由多个上积分分类器组成的集成模型。（4） 基于模糊粗糙集技术的模糊决策树归纳方法该成果发表在SCI期刊Soft Computing上7中，GOOGLE SCHOLAR搜索他引总次数28次，SCI他引18次。该工作提出了基于模糊粗糙集技术的模糊决策树归纳方法。引用论文C13的作者在其论文中给出了这样的评价：“Zhai提出的改进模型成功应用于许多领域，这种改进模型的显著特点是能使粗糙集技术直接处理连续型数据。”引用文献C14的作者说：“我们利用文献7中的方法，对本文提出的方法LGA与每一个代表性的方法进行成对T-检验，以统计分析方法LGA的性能。”在不确定环境下的样例选择研究中，针对模糊决策树学习系统，提出了基于最大不可指定性的样例选取方法4，该成果发表在著名国际期刊IEEE Transactions on Knowledge and Data Engineering上，GOOGLE SCHOLAR搜索他引总次数64次，SCI他引33次。西班牙格拉纳达大学的Enrique教授等在引用论文C15中指出“该方法是一种有吸引力的半监督样例选择方法”。引用论文C16的作者指出：“Wang等提出的决策树学习方法很好的研究了基于规则的学习算法”。引用论文C17的作者指出：“Wang等提出了一种计算开销小、学习精度高的学习方法”。日本东京大学的学者Bollegala等人在引用论文C18中指出:“由Wang等提出的方法学习到的模糊规则由于可引入置信度等参数从而非常适合于对分类器的多个输出进行排序操作”。在确定模糊测度的研究中，提出了基于粒子群优化的模糊测度确定方法，该成果发表在著名国际期刊Information Science上5，GOOGLE SCHOLAR搜索他引总次数65次，SCI他引38次。引用论文C19的作者称文献5提出w的值以及r1和r2的值是影响粒子群算法收敛的关键因素。引用论文C20称文献5中的模糊测度通过考虑模糊性，推广了传统的模糊集。在多层前馈神经网络学习模型的选择问题研究中，建立了基于不确定性信息熵的多层感知器构造方法，该方法能够自动完成输入节点选取和隐含节点删减，有效提高了传统多层感知器的泛化性能。该成果发表在著名国际期刊IEEE Transactions on Neural Networks上8，GOOGLE SCHOLAR搜索他引总次数16次，SCI他引5次。引用论文C21的作者在其论文中详细介绍了该方法，并称该方法是一种更为成熟的方法，并取得了较好的效果。引用论文C22的作者称，与其他相关方法相比，该方法取得了更优的性能。代表性论文及SCI他引论文1 Xizhao Wang, Chunru Dong. Improving generalization of fuzzy if-then rules by maximizing fuzzy entropy. IEEE Transactions on Fuzzy Systems, 2009, 17(3): 556-567.2 Xizhao Wang, Junhai Zhai, Shuxia Lu. Induction of multiple fuzzy decision trees based on rough set technique. Information Sciences, 2008, 178(16): 3188-3202.3 Xizhao Wang, Eric C. C. Tsang, Suyun Zhao, Degang Chen, Daniel Yeung. Learning fuzzy rules from fuzzy samples based on rough set techniques. Information Sciences, 2007, 177(20): 4493-4514.4 Xizhao Wang, Lingcai Dong, Jianhui Yan. Maximum ambiguity based sample selection in fuzzy decision tree induction, IEEE Transactions on Knowledge and Data Engineering, 2012, 24(8): 1491-1505.5 Xizhao Wang, Yulin He, Lingcai Dong, Huanyu Zhao. Particle swarm optimization for determining fuzzy measures from data. Information Sciences, 2011, 181(19):4230-4252.6 Xizhao Wang, Aixia Chen, Huimin Feng. Upper integral network with extreme learning mechanism. Neurocomputing, 2011, 74(16): 2520-2525.7 Junhai Zhai. Fuzzy decision tree based on fuzzy-rough technique. Soft Computing, 2011,15(6): 1087-1096.8 Hongjie Xing, Baogang Hu. Two-phase construction of multilayer perceptrons using information theory. IEEE Transactions on Neural Networks, 2009, 20(4):715-721.C1 L. Chen, C. L. P. Chen, W. Pedrycz. A Gradient-Descent-Based Approach for Transparent Linguistic Interface Generation in Fuzzy Models. IEEE Transactions on Systems Man and Cybernetics Part B-Cybernetics, 2010, 40(5):1219-1230.C2 Q. H. Hu, L. Zhang, S. An, D. Zhang, D. R. Yu. On Robust Fuzzy Rough Set Models. IEEE Transactions on Fuzzy Systems, 2012, 20(4):636-651.C3 T. Y. Chen. Bivariate models of optimism and pessimism in multi-criteria decision-making based on intuitionistic fuzzy sets. Information Sciences, 2011, 181(11):2139-2165.C4 D. Meng, Y. Leung, Z. B. Xu. The strong convergence of visual classification method and its applications. Information Sciences, 2013, 249:85-95.C5 J. Guo, H. Zhou, C. Zhu. Cascaded classification of high resolution remote sensing images using multiple contexts. Information Sciences, 2013, 221:84-97.C6 D. R. Yu, X. Yu, Q. H. Hu, J. F. Liu, A. Q. Wu. Dynamic time warping constraint learning for large margin nearest neighbor classification. Information Sciences, 2011, 181(13):2787-2796.C7 X. W. Liu, J. P. Yin, L. Wang, L. Q. Liu, J. Liu, C. P. Hou, J. Zhang. An Adaptive Approach to Learning Optimal Neighborhood Kernels. IEEE Transactions on Cybernetics, 2013, 43(1):371-384.C8 W. Z. Wu. Attribute reduction based on evidence theory in incomplete decision systems. Information Sciences, 2008, 178(5):1355-1371.C9 Y. Cheng, D. Q. Miao, Q. R. Feng. Positive approximation and converse approximation in interval-valued fuzzy rough sets. Information Sciences, 2011, 181(11):2086-2110.C10 G. Huang, S. Song, J. N. D. Gupta, C. Wu. Semi-supervised and unsupervised extreme learning machines. IEEE Transactions on Cybernetics, 2014, 44(12): 2405-2417.C11 S. Mirjalili, S. M. Mirjalili, A. Lewis. Let a biogeography-based optimizer train your multi-layer perceptron. Information Sciences, 2014, 269: 188-209.C12 J. M. Lopez-Guede, B. F. Fernandez-Gauna, J. A. Ramos-Hernanz. A L-MCRS dynamics approximation by ELM for reinforcement learning. Neurocomputing, 2015, 150(Part A):116-123.C13 J. Derrac, N. Verbiest, S. Garca, C. Cornelis, F. Herrera. On the use of evolutionary feature selection for improving fuzzy rough set based prototype selection. Soft Computing, 2013, 17(2):223-238.C14 H. H. Yeh, K. H. Liu, C. S. Chen. Salient object detection via local saliency estimation and global homogeneity refinement. Pattern Recognition, 2014, 47(4):1740-1750.C15 L. Enrique, G. Antonio, P. Raul. Knowledge-based instance selection: A compromise between efficiency and versatility. Knowledge-Based Systems, 2013, 47:65-76.C16 J. Chai, J. N. K. Liu, Z. Xu. A rule-based group decision model for warehouse evaluation under interval-valued Intuitionistic fuzzy environments. Expert Systems with Applications, 2013, 40(6):1959-1970.C17 G. V. Miguel A, M. Paloma, S. Rosario. The effect of block parameter perturbations in Gaussian Bayesian networks: Sensitivity and robustness. Information Sciences, 2013, 222:439-458.C18 B. Danushka, O. Naoaki, I. Mitsuru. A preference learning approach to sentence ordering for multi-document summarization. Information Sciences, 2012, 217:78-95.C19 Y. H. Li, Z. H. Zhan, S. Lin, J. Zhang, X. Luo. Competitive and cooperative particle swarm optimization with information sharing mechanism for global optimization problems. Information Sciences, 2015, 293: 370-382.C20 S. Zhao, H. Chen, C. Li, M. Zhai, X. Du. RFRR: Robust fuzzy rough reduction. IEEE Transactions on Fuzzy Systems, 2013, 21(5): 825-841.C21 M. G. Augasta, T. Kathirvalavakumar. A Novel Pruning Algorithm for Optimizing Feedforward Neural Network of Classification Problems. Neural Processing Letters, 2011, 34:241-258.C22 S. Curteanu and H. Cartwright. Neural networks applied in chemistry. I. Determination of the optimal topology of multilayer perceptron neural networks. Journal of Chemometrics, 2011, 25:527-549.（5）与当前国内外同类研究的综合比较由于模糊规则推理系统的泛化能力是评价系统的最重要指标，因此关于模糊规则泛化能力的相关研究，国内外学者已经提出了许多技术和方法：(a) 关于模糊决策树归纳学习算法的研究，有Fuzzy ID3算法B1、Yuan的模糊决策树生成算法B2等，这些算法大多遵循最简原则（Occams razor）来设计，默认生成的树越小（即规则越少）其泛化能力越强。(b) 基于模糊神经网络抽取模糊规则方法的研究B3-B5,即通过训练较好的模糊神经网络，主要是提高其训练精度，从而期望提高抽取的模糊规则的泛化能力。(c) 基于遗传进化算法的模糊规则泛化能力研究B6-B8，其主要思路是通过遗传算法来学习或优化模糊规则中的参数，从而提高规则的泛化能力。在本项目的研究中，我们首次提出基于极大熵原理的模糊规则精炼方法，即通过调整权重等知识参数，使得一组模糊规则在训练集合上的模糊熵达到最大，从而提高模糊规则的泛化能力，并克服过拟和问题。更重要的是，该方法是一种通用的模糊规则精炼方法，即初始模糊规则集可以使用任何学习机制抽取，进而使用该方法进行精炼，这显示了该方法研究的重要意义。我们发表的论文1包括了一个我们提出的极大熵方法和以上方法的的详细比较，我们提出的方法的比较优势可概括如下：（1）利用极大熵原理提高规则的泛化能力是我们在此项目中首次提出的；（2）该方法可有效地防止过度拟和，但基于训练精度进一步提高的方法容易产生过度拟和；（3）该方法与上述列举的方法比较具有较强的稳健性和较小的时间复杂性。我们提出的基于粗糙集技术的模糊规则抽取方法2, 3, 7与经典的模糊规则提取方法（如B1、B2和B9中的方法）相比，优点主要体现在：（1）在抽取模糊规则的过程中，可同时去除了冗余属性，具有更强的泛化能力； （2）同时考虑了知识的粗糙性和模糊性，具有更好的鲁棒性；我们提出的基于极限学习机的模糊上积分分类规则抽取方法6与相关方法B10, B11相比，可避免非可加集函数的确定这一难题，并可大大降低学习时间。另外，该方法能够充分利用交互作用，可提高学习系统的分类性能。我们提出的基于最大不可指定性的样例选取方法4与其它样例选取方法B12-B16不同。与这些方法相比，我们提出的方法的优点主要体现在：（1）理论证明了每次通过该原则选择新加入样本的训练集使得学习到的模糊决策树调整量最小；（2）该方法学习到的模糊决策树往往比在整个数据集上学习到的模糊决策树性能更好；（3）模糊决策树的泛化能力远远优于常用的随机重复选择训练样本的方法。我们提出的基于粒子群优化的模糊测度确定方法5，与基于遗传算法的方法B17相比，我们提出的方法具有易于编码、计算复杂度低、收敛速度快和稳定性强的优势。另外，与基于梯度下降的方法B18相比，我们提出的方法具有更强的鲁棒性。我们提出的基于互信息的多层前馈神经网络剪枝方法8，与Engelbrecht所提出的基于敏感度分析的结构选取方法B19对比表明，这种方法在基准数据集上能够取得更强的泛化能力。另外，对于不同区间上的样本或者同一区间上不同分布的样本而言，基于敏感度分析方法B20计算得到的敏感度的值会产生不同，而由互信息计算得到的互信息的值就会完全（或近似）相同；另外，当输入之间函数相关情况下，基于敏感度分析的方法就会失效B21，而所提基于互信息的方法却能成功地克服这一局限。比较论文B1 M. Umano, H. Okamolo, I. Hatono, H. Tamura. Fuzzy decision trees by fuzzy ID3 algorithm and its application to Diagnosis System. Proceeding of Third IEEE International Conference Fuzzy Systems, 1994, 3:2113-2118.B2 Y. Yuan and M. J. Shaw. Induction of fuzzy decision trees. Fuzzy Sets and Systems, 1995, 69:125-139.B3 N. Kasabov. Learning fuzzy rules and approximate reasoning in fuzzy neural networks and hybrid systems. Fuzzy Sets and Systems, 1996, 82(2):135-149.B4 D. Chakraborty, N.R. Pal. A neuro-fuzzy scheme for simultaneous feature selection and fuzzy rule-based classification. IEEE Transaction on Neural Networks, 2004, 15(1):110123.B5 A. Blanco, et al. A learning procedure to identify weighted rules by neural networks. Fuzzy Set and Systems, 1995, 69:29-36.B6 P. P. Angelov, R. A. Buswell. Automatic generation of fuzzy rule-based models from data by genetic algorithms. Information Sciences, 2003, 150(1-2):17-31.B7 S.Y. Ho, et al. Design of accurate classifiers with a compact fuzzy-rule base using an evolutionary scatter partition of feature space. IEEE Transaction on Systems, Man and Cybernetics, Part B, 2004, 34(2):10311044.B8 H. Ishibuchi, Y. Nojima. Analysis of interpretability-accuracy tradeoff of fuzzy systems by multi-objective fuzzy genetics-based machine learning. International Journal of Approximate Reasoning, 2007, 44(1):4-31.B9 T. P. Hong. Learning approximate fuzzy rules from training examples, in: The Tenth IEEE International Conference on Fuzzy Systems, 2001, 256-259.B10 R. Yang, Z. Wang, P. A. Heng, K. S. Leung. Fuzzified Choquet Integral With a Fuzzy-Valued Integrand and Its Application on Temperature Prediction. IEEE Transactions on Systems, Man, and Cybernetics-Part B: Cybernetics, 2008, 38(2):367-380.B11 Z. Wang, K. S.Leung, G. J. Klir. Apllying fuzzy measures and nonlinear integrals in data mining. Fuzzy Sets and Systems, 2005, 156(3):371-380.B12 G. Schohn, D. Cohn. Less is More: Active Learning with Support Vector Machines. In Proceedings of the Seventeenth International Conference on Machine Learning, 2000, pp. 839-846.B13 D. Cohn, A. R. Ladner. Improving Generalization with Active Learning. Machine Learning, 1994, 5(2):201-221.B14 P. Melville, R. J. Mooney. Diverse Ensembles for Active Learning. Proc. 21th Intl Conf. Machine Learning: ACM Intl Conf. Proceeding Series, 2004, vol.69, pp.74-74.B15 Y. Baram, R. E. Yaniv, K. Luz. Online Choice of Active Learning Algorithms. Journal of Machine Learning Research, 2003, 5:255-291.B16 L. Enrique, G. Antonio, P. Raul. Knowledge-based instance selection: A compromise between efficiency and versatility. Knowledge-Based Systems, 2013, 47:65-76.B17 Z. Y. Wang, K. S. Leung, J. Wang. Genetic algorithms used for determining non-additive set functions in information fusion. in: Proceedings of IFSA97, 1999, pp.518521.B18 S. H. Alavi, J. Jassbi, P. J. A. Serra, R. A. Ribeiro. Defining fuzzy measures: a comparative study with genetic and gradient descent algorithms. Intelligent Systems at the Service of Mankind, vol. 3, Springer, 2009.B19 A. P. Engelbrecht. A new pruning heuristics based on variance analysis of sensitivity information. IEEE Transactions on Neural Networks, 2001, 12(6):1386-1399.B20 J. M. Zurada, A. Malinowski, S. Usui. Perturbation method for deleting redundant inputs of perceptron networks. Neurocomputing, 1997, 14:177-193.B21 M. A. Mazurowski, P. M. Szecwka. Limitations of sensitivity analysis for neural networks in cases with dependent inputs. in Proceedings of the 4th IEEE International Conference on C