决策树练习题

决策树练习题决策树作为一种直观且易于理解的监督学习算法，在分类与回归任务中均有广泛应用。其核心思想在于通过对特征空间的递归划分，构建一个类似树状的决策模型。掌握决策树的构建逻辑与关键技术，离不开理论学习与实践练习的结合。本文将通过精心设计的练习题，帮助读者深化对决策树核心概念的理解，并提升实际应用能力。一、基础概念回顾与热身在进入复杂练习之前，我们先简要回顾决策树的几个核心要素，这对于后续解题至关重要：1.根节点、内部节点与叶节点：根节点是树的起点，代表整个数据集；内部节点表示一个特征测试；叶节点则对应决策结果（分类标签或回归值）。2.特征选择：选择最优特征进行分裂，常用的准则有信息增益（ID3算法）、信息增益比（C4.5算法）和基尼指数（CART算法）。3.决策树生成：从根节点开始，递归地选择最优特征对数据集进行划分，直至满足停止条件（如所有样本属于同一类别，或没有更多特征可用）。4.剪枝：为防止过拟合，通过对已生成的树进行简化，移除部分节点。热身思考：*为何在特征选择时，信息增益倾向于选择取值较多的特征？信息增益比是如何试图缓解这一问题的？*Gini指数与熵在衡量数据纯度时，其思想有何异同？二、练习题一：基于信息增益的决策树构建（离散特征）背景：某电商平台收集了部分用户的购买行为数据，希望通过决策树模型预测用户是否会购买某款新产品。数据集包含以下特征及目标变量：*特征：*年龄（A）：青年(Y)，中年(M)，老年(O)*收入（I）：高(H)，中(M)，低(L)*是否学生（S）：是(Y)，否(N)*信用等级（C）：良好(G)，一般(F)*目标变量：购买决策（P）：是(Y)，否(N)数据集如下（为简化计算，样本量较小）：样本ID年龄(A)收入(I)是否学生(S)信用等级(C)购买决策(P):-----:-------:-------:-----------:-----------:-----------1YHNGN2YHNFN3MHNGY4OMNGY5OLYGY6OLYFN7MLYFY8YMNGN9YLYGY10OMYGY11YMYFY12MMNFY13MHYGY14OMNFN问题：1.计算整个数据集关于目标变量“购买决策(P)”的信息熵（Entropy）。3.根据信息增益准则，上述两个特征中，哪一个更适合作为决策树的根节点？解答思路：1.计算信息熵H(P)：首先统计目标变量P的各类别数量。在14个样本中，购买(Y)的样本数为y_count，不购买(N)的样本数为n_count。信息熵公式：H(P)=-sum[p_i*log2(p_i)]，其中p_i是第i类的概率。对于特征A（年龄），它有三个可能的取值：Y,M,O。*对每个取值v，计算该子集的信息熵H(P|A=v)。*计算特征A的条件熵H(P|A)=sum[(|D_v|/|D|)*H(P|A=v)]，其中D_v是A取v值的样本子集，|D|是总样本数。特征S（是否学生）的计算过程类似，它有两个取值：Y,N。提示：计算过程中注意对数的底为2，若某子集的纯度为1（即所有样本属于同一类），则该子集的信息熵为0。三、练习题二：基于基尼指数的决策树构建（含连续特征）背景：某银行希望通过客户的一些信息来预测其贷款是否会违约。现有数据集包含以下特征及目标变量：*特征：*年龄（连续值，单位：岁）*学历（离散：本科，硕士，博士）*月收入（连续值，单位：千元）*目标变量：是否违约（D）：是(1)，否(0)部分简化数据（为突出连续特征处理，样本量及特征数精简）：样本ID年龄学历月收入是否违约(D):-----:---:-----:-----:-----------125本科80232硕士150345本科121428博士200550本科91636硕士180722本科61840博士220问题：1.若采用CART算法（使用基尼指数作为分裂准则），尝试判断“学历”和“月收入”这两个特征中，哪一个更适合作为当前根节点的分裂特征？（仅考虑这两个特征，“年龄”特征暂不参与本次判断）2.对于连续特征“月收入”，如何确定其最佳分裂点？（简述步骤，无需计算所有可能分裂点，但需说明分裂点选择的原则）解答思路：1.计算基尼指数Gini(D)：基尼指数公式：Gini(D)=1-sum[p_i^2]，其中p_i是第i类的概率。对于离散特征“学历”，其可能的取值为本科、硕士、博士。CART是二叉树，因此对于多值离散特征，需要考虑所有可能的二分划分方式（例如，本科vs(硕士,博士)；硕士vs(本科,博士)；博士vs(本科,硕士)）。对每一种划分，计算其基尼指数，取最小值作为该特征的基尼指数。对于连续特征“月收入”，首先需要对其取值进行排序，然后在每两个相邻值之间取中点作为可能的分裂点，计算每个分裂点将数据集分为两部分后的基尼指数，取最小值作为该特征的基尼指数。比较“学历”（取最优二分划分的基尼指数）和“月收入”（取最优分裂点的基尼指数）的基尼指数，选择基尼指数更小的特征作为分裂特征。2.连续特征分裂点确定步骤：*对连续特征的所有取值进行升序排序。*生成所有可能的分裂点，通常取相邻两个不同值的中点。*对于每个分裂点，将数据集分为小于等于该值和大于该值的两个子集。*计算每个分裂点对应的基尼指数（或其他不纯度指标）。*选择使得基尼指数最小的分裂点作为该特征的最佳分裂点。提示：CART算法总是产生二叉树，因此对于多类别离散特征，需要进行二分处理。基尼指数越小，表示数据的纯度越高。四、练习题三：决策树剪枝思想应用背景：考虑一个已经构建好的决策树模型，在训练集上表现非常好，准确率接近完美，但在独立的测试集上表现不佳，准确率明显下降。问题：1.上述现象最可能是什么原因造成的？2.简述决策树剪枝的主要目的，并列举至少两种常见的剪枝策略。3.在实际应用中，如何确定剪枝的程度？解答思路：2.剪枝目的与策略：*目的：通过简化决策树结构，降低模型复杂度，减少过拟合风险，提高模型在未知数据上的泛化能力。*常见策略：*预剪枝(Pre-pruning)：在决策树构建过程中就进行剪枝。例如，设定最大深度、最小样本分裂数、最小叶节点样本数等阈值，当达到这些阈值时停止树的生长。*后剪枝(Post-pruning)：在决策树完全构建完成后进行剪枝。例如，代价复杂度剪枝（CCP），通过计算每个子树被剪枝前后的代价复杂度，选择最优的剪枝方案。3.剪枝程度确定：通常通过交叉验证（如k折交叉验证）来选择最优的剪枝参数（如CCP中的α值，或预剪枝中的深度阈值）。在验证集上表现最佳的模型对应的剪枝程度即为合适的选择。五、总结与拓展通过上述练习题，我们对决策树的核心构建过程（特征选择、信息增益、基尼指数）、连续特征处理以及剪枝策略有了更深入的理解。实际应用中，决策树的构建往往更为复杂，需要考虑更多因素，例如：*多类别分类问题的处理。*缺失值的处理方法。*特征重要性评估：决策树如何提供特征重要性排序。*集成学习：如随机森林、梯度提升树（GBDT,XGBoost