（计算机应用技术专业论文）机器学习及其神经网络分类器优化设计.pdf

摘要 机器学习以知识的自动获取和产生为研究目标，是人工智能领域研究的热点问题之一分 类器的优化设计一直是机器学习、模式识别和数据挖掘等领域研究的核心问题，它在图像识别、 语音理解、自然语言处理、医疗诊断及w e b 页面的分类等领域具有广泛的应用如何提高分类 器对环境的适应能力，是分类器优化设计的关键问题应用机器学习方法实现分类器的优化设 计，是机器学习和人工智能界的一个重要研究课题。 本文以机器学习及其在神经网络分类器设计中的应用为研究内容，重点研究了机器学习在 求解神经网络分类器设计中的网络结构优化和样本选择优化问题的方法本文的主要研究工作 如下： 1 ) 从分类器设计的角度出发，讨论了机器学习的最新发展方向及面l 临的具体问题，并对近 年来出现的一些新机器学习方法进行了分析和研究 2 ) 研究了流形学习的分类器网络结构优化设计问题，针对利用神经网络对同一对象的非线 性结构样本集进行分类和识别时，如何合理地设计网络结构的问题，提出了一个新颖的基于低 维参数空间估计的神经网络结构设计的方法。该方法以流形学习为基础，结合s a m m o l l 系数有 效估计出低维参数空间大小，并将此对应到神经网络结构分组设计的隐节点分组数目上，从而 设计出具有一定泛化能力的网络结构 3 ) 研究了主动学习的分类器样本优化选择准则：针对模糊神经网络分类器设计过程中所遇 到的样本采样与标记过程耗时长、代价大的问题，提出了一个新颖的模糊神经网络样本主动选 择准则，以最小一最大边界法以及确定样本的不确定性阈值两个新概念来定义样本的选择标准， 确保选择其中信息量尽可能大的样本进行标记，使得网络设计过程中对未标记样本的标记工作 量和时间大为减少 4 ) 未标记样本的模糊神经网络分类器设计；针对已标记和未标记样本的混合分类问题，提 出了一种基于非刻度一多维度收缩的、新的排序一模糊神经网络分类器模型。该模型首先利用 非刻度一多维度收缩法对输入的所有样本进行了摊序，然后获得样本间的相似性测度值，并利 用该相似性测度值指导随后的分类器超盒扩张与压缩过程。从而使得该模型不仅提高了对未标 记样本进行有效分类的性能，而且无论是在网络结构方面，还是在训练时间方面都有所改进。 关键词：机器学习，分类器结构优化设计，样本优化选择准则，流形学习，主动学习 a b s t r a c t m a c h i n el e a r n i n gm a k e sat a r g e to fa u t o m a t i cr e t r i e v a la n dp r o d u c eo fk n o w t e d g e i th a s b e c m eo n eo f t h ek e ya r e a si na r t i f i c i a li n t e l l i g e n c ea n dm 鼬h j l l cl e a r n i n g t h eo p t i m i z 砸帅d e s i g no f c l a s s i f i e ra l s oi sn u c l e a rq u e s t i o ni nf i e i do f m a c h i n e “铂m i 略p a t t e r nr e c o g n i t i o na n d 呦m i n i n g , i th a sw i d ca p p l i c a t i o ni ni m a g er e c o g n i t i o n , s p e e c hu n d e r s t a n d i n g , m e d i c a lu v a l t m e n td i a g n o s i sa n d c l a s s i f i c a t i o no fw e bp a g e t oi m p r o v et h ea d a p t a t i o nt ot h ee n v i r o n m e n to fc i n s 蜘i st h ek e y p r o b l e mf o ro p t i m i z a t i o nd e s i g no fc l a s s i f i e r m a k i n gu s eo fm a c h i n et e a m i n gm e t h o d st or e a l i z e o p t i m i z a t i o nd e s i g no fc l a s s i f i e rb e c o m e sa l li m p o r t a n tr e s e a r c ht o p i c i nm a c h i n ek m n i n ga n d a t t i f i c a ii n t e l l i g a l 1 1 r e s e a r c ht o p i co ft h i sp a p e ri sm a c h i n el e a m i n ga n di t sa p p l i c a t i o n si nd e s i g nn e u r a l n e t w o r kc l a s s i f i e r i th a sb e e nf o c u s e do nm e t h o d so fo p t i m i z a t i o nd e s i g no fn e u r a ln e t w o r k c l a s s i f i e r ss t r u c t u r ea n ds a m p l e ss e l e c t i o n t h er e s e a r c ht o p i co f t h i sp a p e rh a s4p a r t sa sf o l l o w ： 1 ) f r o mt h ep o i n to fd e s i g nc l a s s i f i e rv i e w , t h eq u e s t i o n so ft h ed e v e l o pw a ya n dp r o b l e mo f m a c h i n el e a r n i n gh a v eb e e nd i s c u s s e d s o m e 鹏wm e t h o d sa p p e a r e di nr e c e n ty e a r sh a v e b e e na n a l y z e da n dr e s e a r c h e d 2 ) r e s e a r c ho fo p t i m i z a t i o nd e s i g no fc l a s s i f i e r ss t r u c t u r e b a s e do nm a n i f o l dk 枷i 玛a n o v e la p p r o a c ho fd e s i g n i n go fn e u r a ln e t w o r k sb a s e do np a r a m e t e rs p a c ei nt h e l o w - d i m e a s i o nm a n i f o l dw a sp r o p o s e dt os o l v et h ep r o b l e m sa b o u tn e u r a ln e t w o r k sd e s i g n r a t i o n a l l y , w h 础i su s e d i nr e c o g n i t i o na n dc l a s s i f i c a t i o no fc o n g e n e r 湖p l e sw i t h n o n - l i n e a rc o n f i g u r a t i o n 弛m e t h o db a s e do nm a n i f o l dl e a r n i n gc o m b i n e ss a m m o ns t r e s s i no r d e rt oe s t i m a t et h ev a l u eo fp a r a m e t e rs p a i nl o w - d i m e n s i o n , f u r t h e r m o l t h i sv a l u e c o r r e s p o n d s w i t h t h e n u m b e r o f h i d d e n i n n e u r a l n e t w o r k s 3 1r e s e a r c ho f o p t i m i z a t i o ns e l e c t i o no f c l a s s i f i e r ss a m p l e sb a s e do na c t i v el e a r n i n g an o v e l a p p r o a c ho fa c t i v el e a r n i n gb a s e do nf u z z yn e u r a ln e t w o r kc l a s s i f i e rw a sp r o p o s e dt os o l v e t h ep r o b l e m so f s u r p r i s i n g l yt i m ec o n s u m i n ga n dc o s t l yi ns a m p l ec o l l e c t i o na n da n n o t a t i o n t w on e wc o n c e p t so fm i n - m a xm a r g i nb a s e da p p r o a c ha n du n c e r t a i n t yt h r e s h o l do i l s a m p l e sw e r ei n t r o d u c e da s ar u l eo fa c t i v es a m p l es e l e c t i n gt 0g u a r a n t e ea t em o s t i n f o r m a t i v es a m p l e sa n n o t a t e d t h e r e f o r e , t h ea n n o t a t i o na n dt h n ec o s tw e r eg r 0 yr e d u c e d 舢d e s i g no ff u z z yn e u r a l n e t w o r kc l a s s i f i e ro fu n l a b e l e ds a m p l e an o v e lk i n do f o r d i n a t i o n - f u z z ym i n - m a xn e u r a ln e t w o r k ( o f m m ) h a s e do nn o n - m e t r i cm u l t i d i m e n s i o n a l s c a l i n g ( m d s ) w a sp r o p o s e dt os o l v et h ec l a s s i f i c a t i o np r o b l e m so fu n l a b e l e di n p u tp a t t e r n f i r s t l y , a l lt h ei n p u tp a t t e r n sw e s o r t e db ym d s t og e tt h e i rs i m i l a t i t ym e a s u r o & t h e nt h e s e m e a s u r e sw c f eu s e dt os u p e r v i s et h ef o l l o w i n ge x p a n s i o na n dc o n t r a c t i o ns t a g eo f h y p e r b o x e sf o rc l a s s i f i c a t i o n o f m mh a di m p m v e m e n t sb o t hi nt h ev a l i d i t yo fu n l a b e l l e d p a t t e r n sc l a s s i f i c a t i o n , a n dt h en c t w o r ks t r u c t u r ea n dt r a i n i n gt i m e k e y w o r d s ：m a c h i n el e a r n i n g , o p t i m a z a t i o nd e s i g no fc l a s s i f i e r ss t f u c t t u e , a c t i v es e l e c t i o nm l eo f c l a s s i f i e r ss a m p l e ，m a n i f o l dl e a r n i n g , a c t i v el e a r n i n g 插图清单 图2 一l 神经网络分类器设计流程 9 1 0 1 2 1 9 图2 2 用心电图特征对心脏状态进行分类的例子 圈2 - - 3 图像信息的层次特征生成示意图 图2 4 输出误差随次数变化的曲线，其中训练集是过训练 图2 5 流形s 的切空间2 8 图2 6 主动学习算法流程图。3 3 图3 - - 1 依据设计准则构造的网络结构4 4 图3 2 不同对象与同一对象样本集4 6 图3 - - 3 三角形交通标识符的训练样本 图3 - - 4c y l i n d e r 流形的剩余方差与维数间的关系 图3 5k 不同取值的一维流形 图3 6l l e 算法对人脸图像的降维。5 2 图3 7 三个不同的实验对象 图3 8 三个实验对象的s a m l n o n 系数随邻域值k 和嵌入维数d 的改变而变化5 4 图3 9 人脸2 及其聚类中心点( k = 4 ) 5 5 图4 3 超盒并集构造的两类模式的分类空间( 二维) 7 l 图4 4 模糊最小最大神经网络结构图 图4 5 同一类别中三个不同样本的最大隶属度值排列 7 2 7 6 图4 6 实验设计图。7 7 图4 7 两个策略并用时主动学习与被动学习的比较实验 图4 8 最小最大边界法7 8 图4 - - 9 不确定阈值法7 9 图5 一l 协强系数随着维数增加而递减8 7 图5 - - 2 超盒间的相似性测度8 8 图5 - - 32 4 个样地的s h e p a r d 图8 9 图5 4 协强系数在迭代过程中的递减情况8 9 图5 - - 5 修改后的f m m n 结构示意图 图5 6o f m m n 原理示意图 图5 7 0 f m m 模型的结构图 9 0 9 l 9 1 图5 8o f m m 与f m m n 的未标识样本分类性能比较9 5 表格清单 表2 - - 1 各种类型神经网络的学习准则。 表2 2 神经网络错误率估计 1 6 表2 3 机器学习方法。 表3 一l 隐节点分组与不分组比较实验 表3 2 样本集大小与低维参数空间估计 表4 一l 不确定性阈值口的影响 表4 20 值对主动学习算法的影响 表5 - - 1o f m m n 模型与f m m n 模型的实验比较结果 4 7 5 6 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果据我 所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究 成果，也不包含为获得 金目l 王些太堂 或其他教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意 学位论文储签名枷约 签字魄缈z 厶心 学位论文版权使用授权书 本学位论文作者完全了解金目王些塞堂有关保留、使用学位论文的规定，有权保留并向 国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅本人授权金b 王些太 堂一可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存，汇编学位论文 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 签字日期：孤，1 77 学位论文作者毕业去向： 工作单位： 通讯地址： 导师签名： 签字日期：癌7 占 电话： 邮编： 稍似 致谢 值此博士论文即将完成之际首先感谢我的导师高隽教授论文是在高老师的直接指导下 完成的，高老师提出了许多的宝贵意见。并对论文多次进行了悉心的审阅和修改高老师严谨 的治学态度、踏实勤恳的工作作风、敏锐的学术洞察力、开阔的学术思维都深深的影响了我。 论文中许多思想都是在与高老师不断的探讨中产生的 衷心感谢图像信息处理研究室的所有老师和同学，图像室良好的学术氛围、协作竞争的团 队精神是我得以顺利完成博士论文的重要基石特别感谢汪荣贵老师、张旭东老师、胡良梅老 师等对我学业方面的指导感谢杨静( 小) 、钱乐乐、杨静( 大) 、王辉等同学在论文相关内容 的讨论与合作感谢与徐小红、孙永宣、范之国、谢昭、王磊、王晓嘉、邵静、赵莹、陈果、 伯梅、刘小英等同学的交流带来的启示和帮助。 感谢0 3 级博士l 班所有同学，难忘大家在一起学习和交流的日子 感谢中国科技大学计算机与信息学院的王熙法教授和陈恩红教授对论文相关研究工作的指 导、建议和帮助。 衷心感谢我的父母、是你们数十年来默默无闻的照顾和帮助鼓舞了我；你们的理解和支持 是我前进的最大动力衷心感谢我的爱人白布刚，正是他的理解和支持才使我以最佳状态克服 困难，完成论文。感谢我的儿子白云清，是他给我的生活带来无尽的快乐和欢笑 其他同事、朋友和亲人的帮助，在此无法一一列出，但这都是我所要深表谢意的 再次感谢所有关爱我的人，你们的支持将激励我不断进取。 胡静 2 0 0 7 0 5 第一章绪论 第一章绪论 本章简单概速了神经网络分类嚣的优化设计；介绍了有关机器学习的公认定义爰其在两 个不同领域中的相对狭义的定义；重点论述了机器学习方法与分类器设计之间的相互关系； 最后，给出了本文的主要研究内容、研究方法与研究成果，并简单介绍了本论文的组织与结 柏 1 1 研究背景 1 1 1 神经网络分类器概述 分类器的优化设计一直是机器学习、模式识别和数据挖掘等领域研究的核心问题，它在 图像识别、语音理解、自然语言处理、医疗诊断及w e b 页面的分类目录组织等领域具有广 泛的应用。 早期经典的分类方法是统计分类，其表达形式建立在一个坚实的方法和公式的基础上 它主要基于用概率统计模型得到各类别的特征向量分布，以取得分类的功能用已知类别标 签的样本集来训练从而得知如何分类，如果分类器设计得有效，它将可以处理新的、未经训 练过的样本，并且处理效果很好。但是，前提条件是“样本分布模型”事先可知，这个条件 很苛刻，现实应用中一般较难满足 与统计模型相反，神经网络是一个“模型无关”的机器，是通过适当的权重系数调整来 使输出收敛于正确的目标值，表现出一种非监督学习条件下分类器的性能，具有能够通过调 整使得输出在特征空间逼近任意目标的优点。存在的不足就是，关于神经网络的数学解释很 复杂，对于一些重要的决策，设计者常常没有什么理论根据，不得不进行大量的实验，并从 实验失败中得到启发从而不断改进虽然，神经网络分类器在工程领域也都获得一些研究和 应用成果。但是，一些根本的问题依然存在，例如，模式特征的选取是否适当和充分；样本 是不是足够并具有代表性：分类器模型复杂度是否适中；等等要想解决好这些问题，对于 没有神经网络背景知识以及分类器设计经验的工程人员来说是一件较为困难的事【l l 。 神经网络分类器的设计过程主要是：样本的采集与标记：特征选择与提取；分类器网络 结构的设计；分类器的训练过程：分类测试( 系统评估) 。首先设计一个神经网络分类器 需要一个原始数据集。设计人员所要做得第一项工作就是从这些原始数据集中获取信息量最 大的训练样本集，以有效指导后面的分类器网络结构设计，以及分类器的训练和测试，最终 确定出一个针对具体分类任务最为合适的分类器模型。设计的最大原则就是分类错误率最小 化【2 l 。 2 合肥工业大学博士学位论文 一个性能优化的神经网络分类器设计应追求以下四个最佳化目标，即： 1 ) 复杂度适中的分类器网络结构； 2 ) 包含信息量尽可能多的样本集合； 3 ) 对分类规则产生贡献尽可能大的特征集合； 4 ) 具有较高的分类正确率。 在分类器设计过程中，最重要的工作是在于针对一个具体的分类问题，找到一组合适的 特征集合，并设计出复杂度适中的分类器结构实际应用中，通常有两种选择：一是从多个 专家处获得的专业知识直接产生，另个是通过机器学习的方式，从已知的训练集中获取先 验知识，然后指导网络结构的设计第一种方法带有明显的主观性和经验性，受人为因素影 响很大。因此。近几十年来，许多分类器设计工作者都希望采用第二种方法来完成分类器的 设计任务。 1 1 2 机器学习 机器学习是研究怎样使用计算机模拟或实现人类学习活动的科学，是人工智能中最具智 能特征、最前沿的研究领域之一自8 0 年代以来，机器学习作为实现人工智能的途径，在 人工智能界引起了广泛的兴趣。特别是近十几年来，机器学习领域的研究工作发展很快，它 已成为人工智能的重要课题之一 l 。机器学习不仅在基于知识的系统中得到应用，而且在 自然语言理解、非单调推理、机器视觉、模式识别等许多领域也得到了广泛开展。一个系统 是否具有学习能力已成为是否具有“智能”的一个标志 关于机器学习的定义，一般公认s i m o n 对学习的论述：“如果一个系统能够通过执行某 个过程改进它的性能，这就是学习”。这是一个相当广泛的说明，它的要点在于“系统”然 而不同的系统的学习显然属于不同的领域，于是在不同领域对于机器学习又有着相对狭义的 定义。 卡内基梅隆大学的t o mm m i t c h e l l 教授在机器学习) 一书中对机器学习的定义是： “对于某类任务r 和性能度量p ，如果一个计算机程序在r 上以p 衡量的性能随着经验e 而自我完善，那么称这个计算机程序在从经验e 中学习删。 在这个定义下“学习”必须明确这样三个特征：任务的种类，衡量任务提高的标准，经 验的来源。并且机器学习问题经常归结于搜索问题，即对非常大的假设空间进行搜索，以确 定最佳拟和观察到的数据和学习器已有知识的假设。在“搜索”的前提下，一些不同的搜索 算法，例如：线性函数、逻辑描述、决策树、人工神经网络分别适应于不同的目标函数。对 于其中的每一种假设表示方法，对应的学习算法发挥不同内在结构优势来组织对假设空间的 搜索。 2 0 0 4 年在复旦大学的“智能信息处理系列研讨会”上，将机器学习及其应用发展成为 一个系列研讨会，会后王珏教授和周志华教授策划并组织出版了机器学习及其应用一书， 书中将讨论限制在“从有限观察概括特定问题世界模型的机器学习”与“从有限观察发现数 据中暗含的各种关系的数据分析”的方法上，并通称为机器学习在此基础上给出了新的机 器学习定义如下： 第一章绪论 3 通常意义下，机器学习可以描述为：令w 是一个问题空间o ，j ，) ew ，称为样本或对 象由于我们的观察能力有限，一般只能获得1 ，的一个真子集，记为qcw ，称为样本集 合由此，根据样本集合建立一个模型m ，并期望这个模型对w 中的所有样本预测的正确 率大于一个给定的常数口显然，常数口越小，对模型j | l ，的要求就越高，一个模型对w 的 预测正确率，也可以称为模型对w 的泛化能力1 7 1 出于讨论问题的方便而明确的需要，本文将以上述机器学习定义为基础，并且所有有关 闯题的解决方案都将建立在此定义的基础上 在这个定义下，。学习”必须明确这样三个特征：首先根据学习算法采集所需要的样本 集；其次寻找一个空问来表示这个问题；最后模型的泛化指标满足一致性假设。并将机器学 习早期的研究特点从划分转为泛化能力意义下的指导算法设计同时，将数据分析的概念也 纳入了机器学习的领域 之所以将数据分析纳入到机器学习的领域之内，主要原因有两条：其一是观察数据性质 非常复杂共享同一个数据集合的用户往往具有不同的需求；其二是如今获得的有些数据是 涌现的，最典型就是网络数据，人们不能有效的控制这些数据的产生，只能被动地接收它们， 对付这类数据的方法就是数据分析 目前，机器学习理论研究又进入了一个新的发展时期，机器学习所面临的问题是：数据 复杂、需求多样，要求考虑科学原理来解决表示问题。此外，应用驱动成为必然，各种实际 应用问题需要采用各种不同的方法来解决，由此而导致各种新的应用驱动型的机器学习方法 出现，如流形机器学习、半监督机器学习、多实例机器学习、g a n g i n g 机器学习等等，但是， 这些机器学习范式还都处于实验阶段，没有坚实的理论基础。这些范式主要以任务为驱动力， 大多数采用的方法是传统机器学习的方法，应用效果还不十分明显。 1 1 3 机器学习方法与分类器设计 ( 一) 机器学习方法在理论方面对分类器设计的影响 从上节所述机器学习的定义可以看出，这个定义包含了三个方面的内容： 2 ) 一致性假设：假设样本集合g 与问题空间w 之间存在某种一致性的性质，如果使 用统计模型，则一般假设口与w 满足同分布，这是机器学习的本质 3 ) 划分：根据实际问题，将样本集合划分为不相交的区域( 等价类) ，这是模型对样 本集合适用能力的描述，是机器学习必须满足的必要条件 4 )泛化能力：从样本集合建立的模型必须是对问题空间的描述，这样，依据样本集合 获得对问题空间具有最大泛化能力的模型成为机器学习的主要任务。 关于分类器的设计，假设要设计一个能够区分绿苹果和红桔子的分类器系统，可以用显 而易见的特征，即颜色和形状进行区分，首先，将一个水果提供给机器通过计算它的特征得 到一个向量( 颜色和形状) ，然后机器使用该特征值作为输入来判断它是绿苹果还是红桔 子。一种合理的方法是根据该点与典型模式所对应点之间的欧式距离来判别。也就是说。对 机器来说，相似度的依据是欧式距离，这样的机器称之为分类器。 4 合肥工业大学博士学位论文 但是，假设将红苹果和浅绿色桔子作为上述分类器的输入。则存在下列情况发生的可能 性，第一，有可能将红苹果误分为桔子，因为它所对应的点距离桔子的典型模式点比距离苹 果的典型模式点要近；第二，对于浅绿色桔子，有可能无法进行分类，因为它的特征向量距 两个典型模式点的欧式距离几乎相等。因此，总的说来。模式分类器在实际应用中存在的缺 陷，主要是由于下列原因所引起的： 1 )使用的特征不适当或不充分。例如，通过补充表面粗糙度作为纹理特征。原先无法 分类的浅绿色桔子将有可能被正确分类 用来设计分类器的样本不是足够全面和具有代表性。例如，如果想区分苹果和桔子， 那么就不得不考虑苹果中的每一种类，包括红苹果。 3 1分类器设计效率不是很高。例如。测量距离时准确率不高，使用了不适当的典型模 式。 从上述主要原因的分析中可以看出，模式分类器在设计过程中同样会面l 临数据是否单 纯；样本是否稠密；解答是否最优等一系列问题。这些问题直接对应机器学习的三个假设。 用来设计分类器的样本不仅要足够，而且还要具有代表性( 即应满足样本空间与问题空间同 分布的基本假设) ；分类器设计效率不应低于某一极限( 即应考虑分类器模型对当前样本集 合的适用能力问题) ；特征选择应当充分而合理( 即分类器模型对问题空间的有效性) 因此 在理论上，模式分类器设计过程中的实际问题与机器学习的理论研究的本质问题有着非常紧 密的联系，本文主要讨论用某些机器学习方法来解决神经网络模式分类器设计过程中的一些 实际问题。 ( 二) 机器学习方法在应用方面对分类器设计影响 随着机器学习方法在完成各种特定学习任务的应用不断深入，一些披机器学习方法所忽 视，但又非常重要的问题开始浮现出来，并且这类问题越来越多，例如，在获取数据过程中， 由于信息稀疏而带来的维数灾难问题，传统的机器学习已经变得束手无策，因此，一些面向 解决实际问题的，新的机器学习方法应运而生例如，解决稀疏数据特征提取的流形机器学 习方法鸭解决样本采集与标记过程中节省人力和物力问题的主动学习方法1 9 1 ：根据领域知 识来有效推测未标记样本的类别信息，从而增加已知样本数目的半监督学习l l o l ：解决机器 人在变化环境中有效适应问题的增强学习i l i j 等等。这些新的学习方法出现，为机器学习领 域注入了一股新的生机，使得基于机器学习的数据分析方法成为解决复杂问题的关键手段之 一，也成为本论文中解决神经网络分类器设计过程中一些实际问题的研究方法和手段。 通过一些专项成果可以看到机器学习在各个学科领域中扮演越来越重要的角色：计算机 已经能够成功识别人类的讲话【1 2 l ；预测肺炎患者的康复率1 1 3 l ：在高速公路上自动驾驶汽车 1 1 4 1 ；以接近人类世界冠军的水平对弈西洋陆棋。已有很多理论成果证明，基丁机器学习 的算法明显胜过其他的方法 此外，机器学习方法也被用于模式分类器的设计应用中，例如，决策树方法已经被美国 国家航空和航天局( n a s a ) 用来分类天体数据0 6 1 ，这些天体来自第二帕洛马天文台的太空 观察数据，其中包含了3 t 字节的图像数据，采用了神经网络分类器的学习算法对该数据进 行分类，获得了极高的分类效率 第一章绪论 1 2 本论文的研究目的与内容 1 2 1 研究目的和内容 在神经网络分类器设计研究中，关于如何选择和提取对分类性能提高贡献较大特征的研 究较多，而关于如何选取有效样本集，并从中获取先验知识来指导网络结构的设计问题的研 究不多本文研究的主要目的在于结合机器学习方法研究的最新进展，运用数据分析的手段 来解决神经网络分类器设计过程中的一些具体问题具体研究内容有： 1 ) 基于主动机器学习的分类器样本优化选择： 针对神经网络分类器设计过程中所遇到的样本采样与标记过程耗时长、代价大的问题， 引入合适的反馈机制，确保选择其中信息量尽可能大的样本进行标记，使得网络设计过程中 对未标记样本的标记工作量和时间大为减少达到具有训练样本数目大为减少，训练时闻大 大缩短的网络性能 2 ) 基于流形机器学习的分类器结构优化设计： 如何根据样本的性质将样本空问进行分类，并将其直接对应到分类器的网络结构设计 上，以获得合理而紧致的网络结构是一个设计方面的难题，本文通过机器学习领域的新学习 方法一一流形学习，针对利用神经网络对同对象的非线性结构样本集进行分类和识别时， 如何合理划分样本空间，并将其映射到前馈神经网络分类器的隐节点设计上去，提出一个利 用样本集中先验知识来指导网络结构设计的新方法 3 ) 基于未标记样本的模糊神经网络分类器设计： 在神经网络分类器设计过程中，要想得到大量的训练样本比较困难，而有限的训练样本 集给采用监督学习方法设计分类器带来了一定的困难。虽然关于有效利用未标记样本来提高 分类器性能方面的研究不少，但是，在设计模糊神经网络分类器时，这方面的研究却很少。 本文借鉴半监督学习的基本思想，针对模糊神经网络的已标记与未标记样本混合分类器设计 过程中遇到的一些实际问题，提出一个新的、包含结构与样本两方面的优化设计方案，以验 证利用机器学习方法来解决神经网络分类器设计过程中难题问题的有效性。 1 2 2 研究方法与成果 ( 一) 研究方法 神经网络分类器设计一般都以“学习”为主要手段，透过学习获取环境中的先验知识， 以提高分类器的设计性能本文所采用的方法主要有以下几种： 针对利用神经网络对同一对象的非线性结构样本集进行分类和识别时，如何合理地设计 网络结构的问题，提出了一个新颖的基于低维参数空间估计的神经网络结构设计的方法该 方法以流形学习为基础，结合s a m o n 系数有效估计出低维参数空间大小。并将此对应到神 经网络结构分组设计的隐节点分组数目上，从而设计出具有一定泛化能力的网络结构。 针对模糊神经网络分类器设计过程中所遇到的样本采样与标记过程耗时长、代价大的问 6合肥工业大学博士学位论文 题，提出最小一最大边界法以及确定样本的不确定性阈值两个新概念为主动样本选择准则， 确保选择其中信息量尽可能大的样本进行标记，使得网络设计过程中对未标记样本的标记工 作量和时间大为减少 针对已标记和未标记样本的混合分类问题，提出了一种基于非刻度一多维度收缩 ( n 如s ) 的、新的捧序一模糊神经网络分类器模型o f 删。该模型首先利用多维度收缩法 对输入的所有样本进行了捧序，然后获得样本间的相似性测度值，并利用该相似性测度值指 导随后的分类器超盒扩张与压缩过程，从而使得该模型不仅提高了对未标记样本进行有效分 类的性能，而且无论是在网络结构方面，还是在训练时间方面都有所改进 ( 二) 研究成果 1 ) 在设计模糊神经网络分类器的样本优化选择准则时，定义了合适的样本性能评价基 准，建立了确保选择信息量尽可能大的样本被标记的主动学习模型，大大减少了样本采集与 标记过程中所需花费的时间和人力代价，同时也缩短了分类器的训练时间。 2 ) 在设计前馈神经网络分类器的结构过程中。提出了一种新的、基于低维参数空间估 计的分类器结构设计方法，有效解决了面对同一对象的非线性结构样本集进行分类和识别 时如何合理地设计复杂度适中的网络结构问题 3 ) 提出了一种在模糊神经网络分类器设计过程中。如何有效利用未标记样本来有效提 高分类器性能的新设计方法，以解决有限样本数给分类器设计带来的诸多问题，并利用未标 记样本中的先验知识来指导分类器的结构优化设计 4 ) 从理论和实验两个角度，分析和验证了应用机器学习方法来解决神经网络分类器设 计过程中一些实际问题的有效性。 1 2 3 论文组织与结构 从第二章起，本论文内容安排如下： 第二章综述了神经网络分类器设计的基本过程包括样本的采集与标注、分类器与分类 特征、分类器的结构设计，分类器的训练测试与性能评价，以及在分类器设计过程中的一些 实际问题。此外，对机器学习的发展历史、学科背景、研究进展、以及本文所涉及到的几种 机器学习方法进行了概述 第三章首先对神经网络的结构优化与分类器泛化性能之间的关系进行了概括，在此基础 上，以提高前向神经网络泛化性能的隐节点分组结构设计准则为例，讨论了针对该准则在实 际应用中遇到的实际问题，如何利用流形学习方法，有效估计低维参数空间维数，并将此映 射到网络的结构设计上，可以取得良好的网络性能及较高的设计效率 第四章讨论了主动学习与被动学习之间的差异，综述了目前最常用的几种主动学习算法 和样本选择准则，详细介绍了多层前向感知器与支持向量机的主动学习算法针对模糊神经 网络的主动学习算法设计，提出了两种样本选择准则，并从理论和实验上论证了其有效性。 第五章首先指出了模糊最小一最大神经网络在设计过程中将遇到的一些实际问题分析 第一章绪论7 了解决这些问题的有效方法，提出了一种基于非刻度一多维度收缩法的模糊神经网络设计方 案，有效解决了该网络设计过程中己标记与未标记样本的混合分类问题、结构优化问题等， 提高了分类性能和减少了网络训练时间 第六章对本论文所完成的研究工作进行了简要总结，对进一步研究的方向进行了讨论 s 合肥工业大学博士学位论文 参考文献 【l 】c h r i s t o p h e rb i s h o p , p a t t e r nr e c o g n i t i o na n dn e u r a ln e t w o r k s ，i e e et r a n s a c t i o no nn e u r a l n e t w o r k sv 0 1 8 n o 3m a y1 9 9 7 ：8 1 5 - 8 1 9 【2 】a n u p a mj o s h i ，n a r e n d r a n 蛐h m a n , j o h nr r i c e 。o nn e u r o b i o l o g i c a l , n e u r o - f u z z y , m a c h i n e “狮i n 舀a n ds t a t i s t c a lp a 触r e c o g n i t i o nt e c h n i q u e s i e e et r a n s a c t i o no n n e u r a ln e t w o f k s , v 0 1 8 ，n o 1 ，j a n u a r y1 9 9 7 ：l 阳1 【3 】r i s s a n e nj m m o d e l i n gb ys h o r t e s td a t ad e s c r i p t i o n 唧，a u t o m a t i o n , 1 9 7 8 。1 4 ：4 6 5 - 4 7 1 【4 】c a r b o n e l ij i n t r o d u c t i o n ：p a r a d i g m sf o rm a c h i n el e a r n i n g 川，a i 溅1 9 8 9 , 4 0 ( 1 ) ：i - 9 【5 】d i e t t e r i c htm a c h i n el e a r n i n gr t m a r c h ：f o n xc u r r e n td i r e c t i o n s 们，a im a g a z i n e , 1 9 9 7 ，1 8 ( 4 ) ：9 7 - 1 3 6 f 6 】t o mm m i t c h a l l m a c h i n el e a r n i n g 【h 田，暂华军等译，北京，机械工业出版社，2 0 0 3 【7 】王珏。周志华，周傲英，机器学习及其应用【m 】，北京，清华大学出版杜。2 0 0 6 f 8 】t e n e n b a n mj b ，d es i l v a 、l a n g f o r dj c ag l o b a lf r a m e w o r kf o rn o n l i n e a rd i m e n s i o n a l i t y r e d u c t i o n s c i e n c e ，2 0 0 0 ，2 9 0 ( 1 2 ) ：2 3 1 9 2 3 2 3 【9 】s t o n g , d k o l l h , s u p p o r tv e c t o rm a c h i n ea c t i v el e a r n i n gw i t ha p p l i c a t i o n st ot e x t c l a s s i f i c a t i o n st ot e x tc l a s s i f i c a t i o n 明m a c h i n e , e a r n i n gr e s 髓i ：c l l ，2 0 0 1 ，t 0 12 p p ：4 5 - 6 6 1 0 】b c h z a dm ，s h a h s h a h a n i ，d a v i da ，t h ee f f e c to fu n l a b e l e ds a m p l e si nr e d u c i n gt h es m a l l s m a p l es i z ep r o b l e ma n dm i t i g a t i n gt h eh u g h e sp h e n o m e n o n , i e e et r a n s a c t i o n so n g e o s c i e n c ea n dr e m o t es e n s i n g , v 0 1 3 2 ，n o 5s e p t , 1 9 9 4 ：1 0 8 7 1 0 9 5 【l l 】s u l i o n b a r l o a ，r e i n f o r c e m e n tl e a r n i n g ：a ni n t r o d u c t i o n , m i tp r e s s ，1 9 9 8 1 2 1w a i b e la h a n a z a w alp h o n e m er e c o g n i t i o nu s i n gt i m e - d e l a yn e u r a lr l e w o r k s ，i e e e t r a n s a c t i o n so na c o u s t i c s ，s p e e c ha n ds i g n s jp r o c e s s i