特征选择与稀疏学习-包裹式选择

特征选择与稀疏学习-包裹式选择FeatureSelectionandSparseLearning–Wrapper主讲：王丹羽计算机与信息技术学院视觉智能实验室（VisInt）BeijingJiaotong

University特征选择的意义特征选择是一个重要的“数据预处理”（datapreprocessing）过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后再训练学习器，那么，为什么要进行特征选择呢？特征选择的意义特征选择是一个重要的“数据预处理”（datapreprocessing）过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后再训练学习器，那么，为什么要进行特征选择呢？维数灾难问题，这是由于属性过多造成的。若能从中选择出重要的特征，则能缓解该问题。随着维度的增加，分类器性能逐步上升，到达某点之后，其性能便逐渐下降特征选择的意义特征选择是一个重要的“数据预处理”（datapreprocessing）过程，在现实机器学习任务中，获得数据之后通常先进行特征选择，此后再训练学习器，那么，为什么要进行特征选择呢？维数灾难问题，这是由于属性过多造成的。若能从中选择出重要的特征，则能缓解该问题。去除不相关特征往往会降低学习任务的难度。特征选择的意义在实际使用机器学习算法的过程中，往往在特征选择这一块是一个比较让人模棱两可的问题，有时候可能不知道如果想要让当前的模型效果更好，到底是应该加还是减掉一些特征，加又是加哪些，减又是减哪些。包裹式选择意义包裹式特征选择，目的就是为给定学习器选择最有利于其性能，量身定做的特征子集。包裹式选择，直接把最终将要使用的学习器的性能作为特征子集的评价准则。包裹式选择递归特征消除递归特征消除（RecursiveFeatureElimination）使用一个基模型（学习器）来进行多轮训练，每轮训练后移除若干特征，再基于新的特征集进行下一轮训练。对特征含有权重的预测模型，RFE通过递归减少待考察特征集规模来选择特征。RFE的稳定性很大程度上取决于迭代时，底层使用的预测模型。包裹式选择递归特征消除步骤：

首先，预测模型在原始特征集上进行训练，通过coef_（回归系数）

属性或feature_importances_属性为每个特征指定一个权重；然后，剔除那些权重绝对值较小的特征；如此循环，直到剩余的特征数量达到所需的特征数量。包裹式选择递归特征消除递归特征消除还有一些改进方法如RFECV方法，该方法通过交叉验证的方式执行RFE，以此来选择最佳数量的特征：对于一个数量为d的特征集合，它的所有子集的个数是2^d−1。举个例子，假设特征集为{A,B,C}，那么其所有特征子集为{A}、{B}、{C}、{A,B}、{A,C}、{B,C}、{A,B,C}。包裹式选择LVW（LasVegasWrapper）拉斯维加斯算法(LasVegas)是一种随机算法思想，它具备随机算法最为重要的特征之一——基于随机数进行求解。拉斯维加斯算法在生成随机值的环节中，会不断的进行尝试，不断地返回没有找到结果从而继续；或者返回合法的结果并结束。在这过程中，每进行一次随机运算都会提高下一次得到解的概率，但拉斯维加斯算法的时间效率通常比蒙特卡洛算法来的低，在规定时间内还可能无法得到解。优点是一旦该算法找到一个解，那么这个解一定是问题的正确解。包裹式选择LVW（LasVegasWrapper）蒙特卡洛算法也不是一种具体的算法，而是一类算法的统称。

其基本思想是基于随机事件出现的概率。蒙特卡洛算法得到的最终结果并不一定是正确的，我们可以通过计算算法出错的概率值，然后进行多次求解，使得最终得到正确结果的可能性变得很高。

由于求解次数人为设定，所以该算法耗时可控。最终结果不一定是最优解，但如果求解次数足够大，也可以得到最优解。包裹式选择LVW（LasVegasWrapper）LVW是一个典型的包裹式特征选择方法，它在拉斯维加斯（LasVegasmethod）框架下使用随机策略来进行子集搜索，并以最终分类器的误差为特征子集评价准则。包裹式选择LVW（LasVegasWrapper）方法步骤：包裹式选择意义优点与缺点：包裹式选择方法直接针对给定学习器进行优化，因此，从最终学习器性能