特征选择与稀疏学习-子集搜索与评价_第1页
特征选择与稀疏学习-子集搜索与评价_第2页
特征选择与稀疏学习-子集搜索与评价_第3页
特征选择与稀疏学习-子集搜索与评价_第4页
特征选择与稀疏学习-子集搜索与评价_第5页
已阅读5页，还剩8页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

特征选择：子集搜索与评价FeatureSelection:SubsetSearchandEvaluation主讲：王雯计算机与信息技术学院视觉智能实验室（VisInt）BeijingJiaotong

University引入年龄身高体重学历爱好饭量专业……特征任务相关特征无关特征特征选择

What

从全部特征中选取一个特征子集，使构造出来的模型更好。Why

在机器学习的实际应用中，特征数量往往较多，其中可能存在不相关的特征，特征之间也可能存在相互依赖，容易导致如下的后果：分析特征、训练模型耗时长模型复杂、推广能力差引起维数灾难维数灾难随着维数的增加，特征空间指数增大，从而导致各方面的成本指数增加样本数量存储空间计算量……如何从中选出有用的特征？？特征选择How

从全部特征中选取一个特征子集，使构造出来的模型更好。属性1属性2属性3属性4属性6属性1000属性5……

组合爆炸！特征选择How

从全部特征中选取一个特征子集，使构造出来的模型更好。

搜索-评价！评价停止条件结果特征子集YN搜索原始特征集合特征选择子集搜索特征子集的产生可以看作是一个搜索过程，搜索空间中的每一个状态都是一个可能特征子集。搜索的算法分为完全搜索(Complete)，启发式搜索(Heuristic)，随机搜索(Random)3大类。评价函数评价函数是评价一个特征子集好坏的准则特征的评估函数分为五类：相关性，距离，信息增益，一致性和分类错误率。子集搜索

完全搜索枚举特征集中的所有特征组合从而选出最优的特征子集启发式搜索序列前向搜索：从一个特征，不断增加相关特征序列后向搜索：从全部特征集合中，不断删掉无关特征双向搜索：前两者结合随机搜索随机产生序列选择算法：随机产生一个特征子集，然后在该子集上执行序列前向与后向搜索算法模拟退火算法：以一定的概率来接受一个比当前解要差的解，因此有可能会跳出这个局部的最优解，达到一个全局次最优解评价函数

评价函数距离度量（DistanceMeasure）信息增益度量（InformationGainMeasure）依赖性度量（DependenceMeasure）一致性度量（ConsistencyMeasure）分类器错误率度量（ClassifierErrorRateMeasure）评价函数按照其工作原理，评价函数可以分为三种模型：过滤模型（FilterModel）根据特征子集内部的特点来衡量其好坏，如欧氏距离、相关性、信息熵等封装模型（WrapperModel）把最终将要使用的学习器的性能作为特征子集的评价准则混合模型（EmbeddedModel）把这两种模型进行组合扩展阅读DashM,LiuH.FeatureSelectionforClassification[J].IntelligentDataAnalys

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论