数据挖掘-第五章-分类：其它技术

1、生物数据信息挖掘 第6节 组合方法第五章 分类：其它技术组合方法6.1 装袋（bagging）（重点）6.2 提升（boosting）6.3 随机森林（random forest）（重点）6.4 组合决策（ensemble decision）（难点）独木难支！categoricalcategoricalcontinuousclassRefundMarStTaxIncYESNONONOYesNoMarried Single, Divorced 80K训练数据模型: 决策树随机森林基本算法一、抽样从某固定概率分布抽样，创建多个训练数据集。 二、构建分类器随机选择F个特征来构建决策树。 三、投票使用

2、多数表决的方法来组合预测。一、抽样27131461010103223146789第1次第2次。原始训练数据抽样N次27131461010103223146789二、构建分类器最佳划分的度量Gini熵（entropy）分类错误（classification error） 属性测试方法标称（nominal）序数（ordinal）连续（continuous）categoricalcategoricalcontinuousclassRefundMarStTaxIncYESNONONOYesNoMarried Single, Divorced 80K训练数据模型: 决策树D2。DND3原始训练数据一、抽

3、样二、构建分类器D1RefundMarStTaxIncYESNONONOYesNoMarried Single, Divorced 80K测试数据Start from the root of tree.RefundMarStTaxIncYESNONONOYesNoMarried Single, Divorced 80K测试数据RefundMarStTaxIncYESNONONOYesNoMarried Single, Divorced 80K测试数据RefundMarStTaxIncYESNONONOYesNoMarried Single, Divorced 80K测试数据RefundMarS

4、tTaxIncYESNONONOYesNoMarried Single, Divorced 80K测试数据RefundMarStTaxIncYESNONONOYesNoMarried Single, Divorced 80K测试数据Assign Cheat to “No”三、投票Yes使用多数表决的方法来组合预测。D2。DND3原始训练数据一、抽样二、构建分类器三、投票D1Yes随机森林算法一、抽样从某固定概率分布抽样，创建多个训练数据集。 二、构建分类器随机选择F个输入特征来对决策树的结点进行分裂。不是考察所有可用的特征来决定。树完全增长而不进行任何修剪。三、投票使用多数表决的方法来组合预测

5、。组合方法6.1 装袋（bagging）（重点）6.2 提升（boosting）6.3 随机森林（random forest）（重点）6.4 组合决策（ensemble decision）（难点）结肠癌表达谱数据组合决策基本算法一、抽样M倍交叉验证抽样。 二、构建分类器考察所有可用的特征来构建决策树。三、投票提取每棵决策树上的基因，构建打分矩阵。 使用组合加权表决方法预测疾病基因的强度。 TestSetTraining SetModelLearn Classifier第1次第2次。判断结果：D1一、抽样M倍交叉验证抽样。一、抽样所有样本按照类别分成两个样本集（癌症和正常）。对每类样本集继续（近

6、似）均分成m个样本集。在两类样本集（癌症和正常）中，各取1个样本集作为检验集，其余作为训练集，用作训练分类器。这样共有mm个训练集产生。原始训练数据一、抽样D1D2D340癌症样本22正常样本55=25二、构建分类器最佳划分的度量Gini熵（entropy）分类错误（classification error） 属性测试方法标称（nominal）序数（ordinal）连续（continuous）二、构建分类器gene1gene2gene3YESNONONO25 70训练数据决策树1 20D1二、构建分类器当一个结点 p 分割成 k 个部分 (孩子), 划分的质量可由下面公式计算二、构建分类器得到

7、的GINI值越小，这种划分越可行.gene1?25Node N1Node N2Gini split= 2/3 * 0.5 +1/3 * 0 = 0.333二、构建分类器划分点排序。原始训练数据一、抽样二、构建分类器0.90.80.6D1D2D3三、投票gene1gene3gene5YESNONONO15 70 20树1gene2gene3gene4YESNONONO17 60 40树2。原始训练数据一、抽样二、构建分类器三、投票0.90.80.6D1D2D3三、投票Score(Gene1)=(0.9+0.6)/(0.9+0.8+0.6)=0.6520.90.80.6分类正确率：Score(Ge

8、ne2)=(0.8+0.6)/(0.9+0.8+0.6)=0.608Score(Gene3)=(0.9+0.8)/(0.9+0.8+0.6)=0.739。原始训练数据一、抽样二、构建分类器三、投票基因得分0.90.80.6D1D2D3组合决策算法一、抽样M倍交叉验证抽样。 二、构建分类器考察所有可用的特征来构建决策树。树完全增长而不进行任何修剪。计算每个基分类器的正确率。三、投票提取每棵决策树上的基因，构建打分矩阵。 使用组合加权表决方法预测疾病基因的强度。 M26383，Human monocyte-derived neutrophil-activating protein (MONAP)T51849, tyrosine-protein kinase receptor ELKprecursor组合决策与随机森林不同目的不同。特征优化vs分类。抽样方法不同。构建决策树使用的属性不同。投票方式不同。创新