第7章 分类：决策树习题参考答案

第七章分类：决策树习题参考答案（1）解释决策树分类模型的工作原理。决策树分类模型是一种基于树形结构进行分类的监督学习模型。它通过一系列“判断条件”将数据逐步划分到不同类别中。其基本工作过程包括特征选择、递归分割、剪枝等。预测新样本时，从根节点开始按照条件向下走，最终到达某个叶子节点，该叶子节点的类别就是预测结果。（2）比较ID3算法和C4.5算法在处理数据集时的不同之处。ID3算法主要使用信息增益作为属性选择标准，容易偏向取值较多的属性，而且对连续属性和缺失值的处理能力较弱；C4.5算法是在ID3算法基础上的改进，它使用信息增益率作为属性选择标准，能够减少对多取值属性的偏好，同时可以处理连续属性和离散属性。对于连续属性，C4.5会通过选择合适的阈值将其转化为二分类问题；对于缺失值，C4.5也能通过概率或权重方式进行处理。此外，C4.5还引入了剪枝机制，可以减少过拟合，提高模型在测试数据上的泛化能力。（3）描述CART算法在构建分类树时如何选择最佳的分割点。CART算法在构建分类树时通常使用基尼指数来选择最佳分割属性和分割点。基尼指数越小，表示划分后的数据纯度越高，分类效果越好。过程如下：①.对每个属性尝试不同的划分方式。②如果是离散属性，则按照属性取值划分。③如果是连续属性，则将属性值排序，选取相邻值的中点作为候选分割点。④计算每种划分方式对应的基尼指数。⑤选择基尼指数最小的属性和分割点作为当前节点的最佳划分。（4）讨论在使用ID3算法时可能遇到的主要挑战及其解决方案。ID3算法可能遇到以下挑战。（a）偏向取值较多的属性ID3使用信息增益作为划分标准，而信息增益容易偏向取值种类较多的属性。解决方法：使用C4.5中的信息增益率代替信息增益。（b）ID3主要适用于离散属性，对连续属性处理能力较弱。解决方法：先对连续属性进行离散化，或改用C4.5、CART算法。（c）如果树生长得过深，使用ID3算法可能会过度适应训练数据中的噪声，导致在新数据上表现较差。解决方法：采用预剪枝或后剪枝技术。（d）现实数据中经常存在缺失值，而ID3本身没有完善的缺失值处理机制。解决方法：可以使用均值、众数填充，或使用C4.5算法处理缺失值。（5）C4.5算法如何处理连续和离散属性？请给出示例。对于离散属性，C4.5会按照属性的不同取值进行划分。例如属性“天气”有三个取值：天气是否打球晴是阴是雨否C4.5可以直接按照“晴、阴、雨”三个分支划分。对于连续属性，C4.5会先对属性值排序，选择合适的阈值进行二分。例如属性“温度”如下：温度是否打球20是25是30否35否C4.5可能选择阈值27.5，将数据分为：温度≤27.5以及温度>27.5然后计算不同阈值下的信息增益率，选择最优分割点。（6）什么是预剪枝，它是如何帮助防止决策树过拟合的？预剪枝是在决策树生成过程中提前停止树的继续生长的一种方法。也就是说，在划分节点之前，先判断继续划分是否真的能提升模型效果。如果提升不明显，就停止划分，把当前节点作为叶子节点。常见的预剪枝条件包括：（a）当树到达一定的深度；（b）当到达当前结点的样本数量小于某个阈值时；（c）当此次分裂对验证集的分类准确率（泛化性能）提升小于某个阈值的时候。预剪枝可以防止树过于复杂，从而减少模型对训练数据噪声的学习，提高模型在新数据上的泛化能力。（7）后剪枝与预剪枝相比有何优势？请列出至少两点。后剪枝是在决策树完全生成之后，再自底向上删除不必要的分支。与预剪枝相比，后剪枝有以下优势：（a）减少欠拟合风险：由于树已经完全生长，模型有更好的机会捕捉数据中的重要模式。（b）通常更准确：后剪枝通常能生成更准确的模型。（c）无需手动设置参数（或参数敏感性较低），更具自动化性。（8）尝试通过具体数据建模比较不采用剪枝技术和采用剪枝技术的决策树分类模型的效果。具体示例过程略，学生可根据实验结果写出无剪枝模型、预剪枝模型和后剪枝模型，列出训练集准确率和测试集准确率，观察实验结果。分析示例：不采用剪枝时，决策树会尽可能完全拟合训练数据，因此训练集准确率很高，甚至可以达到100%。但是模型可能学习到训练集中的噪声，导致测试集准确率下降。采用剪枝后，树的结构更加简单，虽然训练集准确率略有下降，但测试集准确率可能提高，说明模型泛化能力更强。结论：剪枝可以降低过拟合风险，使决策树模型在未知数据上的分类效果更加稳定。（9）通过具体数据建模比较决策树分类模型和其他分类模型。具体示例过程略，学生可根据实验写出决策树模型、逻辑回归模型等分类模型的