基于特征变换的协同学习方法.doc

日期：月西日本人在导师指导下完成的论文及相关的职务作品，知识产权归属郑州大学。根据郑州大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权郑州大学可以将本学位论文的全部或部分编入有关数据库进行检索，可以采用影印、缩印或者其他复制手段保存论文和汇编本学位论文。本人离校后发表、使用学位论文或与该学位论文直接相关的学术论文或成果时，第一署名单位仍然为郑州大学。保密论文在解密后应遵守此规定。日期：牛 摘要选取猅惴魑4恚卣鞅浠挥糜赥中。与传统的溆糜诨谔卣鞅浠坏腡基于腡方法表现出更好的泛化性能。 瑄瓾甋珻，琣， 瑃 目录 惴谔卣鞅浠坏腡方法慕较颉算法描述实验平台 研究背景椭蓖蒲 此同时引入了对分类器种类的限制。此外，在挑选未标记实例进行标记和选择分类器对未标记实例进行预测这两个阶段需要频繁的使用交叉验证，使得算法基于蚅提出的噪音理论，和推导出了能以较高概率确 记实例中包含的类分布信息，文本构建了一种新的基于和约束集合的尽量小而类间实例距离尽量大。诜治鲇跋霻算法成功关键问题的基础上，结合特征变换珻本文组织架构安排 第四章实验设计与分析本章以简单评述总结全文，并指出了下一个阶段的研究方向。最后列出本文的参考文献、致谢和附录信息。 协同学习理论分析 总结出存在三种常用的建立准确而又有差异的基分类器方法：型的代表是椒褂糜蟹呕厮婊檠姆椒友盗肥道疍中 被抽中的概率是鹗绻鸓很大，该概率为：合学习方法。蚙隽艘恢只诔啥栽际脑际队癷】 ，简称又称作费舍尔线，简称。作为一种经典的特征变换方法，数据挖掘、机器学习领域经典并且热门的一个算法。对于训练实例集而言，与主成分分丰斤【、独立成分分析【不同，前二者并没有考虑实例集的类标号，所以属于无监督学习。而线性判别分析必须使用带有类标号的训练数据集，通过投影的方法，投影到维度更低的特征空间中，使得投影后的实例会形成一个一个团，这些团按它们所属的类别区分。我们首先考虑线性判别方法的最简单形式，也就是对于训练实例集来说只包含两个类别：正类或者负类。在此情况下这样做可以很好地从本质上理解它的基本算法思想。 ，图实例在直线上的投影盼畑亿，绘一患疻 对于二类问题，我们可定义类内散度矩阵甤那么目标函数最终可以表示为：图多类情况下具有二维特征实例的分布情况 特征时，如图所示。类间散度矩阵为：那么目标函数最终可以表示为：，曼 约束投影，简称椒窃暧蒢和假定对于一个卣骺占涞难盗肥道枋鑫狣：川琂痏，甓食稹尾，约束投影的目标是寻找一个变换矩阵 ，口獃其中，蚆分别定义如下：鱧驯誓一囊籣， 表随机从仇中选取鍪道钩涞経中仇变为空集或者迭代次数达到预先设定的值 再次放入未标记实例集中，这样起到了避免噪声被放大的效果。记实例特别稀少时。算法篢算法的伪代码输入：有标记实例集晚 空集：，俊个实例蔇， 算法【】是建立在标最后可以得出实例遥的标记置信度为：，齦一 !鯻亿，根据数据集仇的视角来初始化分类器也使用分类器昙莡巾所有的实例使用分类器昙莡巾所有的实例利用数据编辑技术来评估分类器厅，和的标记置信度渭凇更新分类器打， 息，在节我们构建了一种基于和约束集合的特征变换出介绍。 的性能。特别是在极端情况下，可能会导致采样的结果是全部实例集为正类或者负类，进而导致训练失败。图在实例集上的差异砦髍椒 上分别构建包含个基分类器的差异错误图。其中裕橇礁龌掷嗥髟庖恢碌谋壤珹称为随机判断一致性： 肨方法作为节提出的算法的重要组成部分，首先给出使定的已标记实例集合，采用基于自助采样的对约束集合或许能够帮助基分类器 为了使用成对约束集合来构建基分类器，我们首先使用和两个成对约束集合共同来学习一个变换矩阵，然后使用该变换矩阵使得原始的已标记实例集变换到新的特征空间，从而能得到新的实例集描述，这样就把成对约束集合中包含的已标记实例集的信息转变成了一种新的实例集描述，然后就可以在新的实例集描述下构建基分类器。基分类器之间差异性的，弩，也号植槐洌疽G笫鞘沟迷诒浠缓蟮男碌奶卣骺占渲校粲中的实表示集合哦中包含的元素在新的特征空间中的平 谔卣鞅浠坏腡方法经过简单的矩阵运算，式可以用一种更简洁的方式来捕述，在实践中经常将式改写为度矩阵和类内散度矩阵。不同点在于线性判别分析是直接通过实例集的类标号 特征值一一对应的，同时前面提到这鎏卣髦涤质乔癲个最大的特征值，那为那榭龊苣殉鱿郑识荒敲囱细竦厮担珻也是半正定的。们可以将得到的成对约束集合蚼。信息加以有效的利用，转变成一种新的算法描述 过大，使用欠抽样方法【约跎偌铣曛械氖道行詈螅惴 蕒现骸獻甆：构造新描述的实例集甪琸该函数用于标记，的实例 初始化口：的值薳一八几钆“以，酬產 实验平台或学术界进行数据挖掘科学实验、测试，方便开发人员根据实际需求移植、修淖芴寮芄谷缤荆渲校苣？槭荓的核心，它向下通过模块获取文件或数据库中的数据、又通过模模块向图形用户接口莨苣？橹懈鞲鏊惴牟问滞飧瞿？榛袢中对 图 滤模块蝗分类模块凰摹半监督分类算法模 实验数据实验设计法，但是考虑到有些训练数据集并不一定具有充分且冗余的视角，因此将训练 变换方法。然后将这两种特征变 、严均准确翠 和表的结果进一步验证了我们的结论：使用特征变换方法更容易构建准确 狶，和。在序比猅和。半均准确翠方法同样对算法有效；赨数据集上，较之于算 数据集个菁隙既昧俗罡叩淖既仿剩渲蠺蚑季个，猅瑀狶，。平均序排名依次是猅。琓，狶琓虲猅。 准确率数据集 馡瘛駆馹上取得了最高的准确率，其它依次是甌，狶琓虲猅。相比于在未标记率、和下的实验结果，在未标记比率下，它特征变换方法，我们的椒踔粮行赥算法。 零未标记率痮经典的猂算法总体来说更有效。 瓹热缭谑笛中未标记比率设定为时。孀盼幢昙潜嚷什欢仙撸只谔卣鞅浠坏腡算法性 工作总结初始化方法采用了特征变换的思想，据我们所知，这是第一次将特征变换方法献：换矩阵，使得类内实例距离尽量小而类间实例距离尽量大。 永砺凵侠捶治鑫颐翘岢龅腡特征变换指标，从而使其有较好的数学支撑。颐翘岢龅腡特征变换方法应用到组合学习领域之中。颐翘岢龅腡特征