(2025年)李航《统计学习方法》课后习题答案

(2025年)李航《统计学习方法》课后习题答案感知机习题解答考虑训练数据集：T=(,),(,感知机对偶形式的基本思想是将权重w和偏置b表示为训练样本的线性组合，即w=，b=（其中=η，是样本被误分类的次数，η1.初始化：设=0（i=1,2,3），b计算得：=+=18，==21，=+==6，=7，2.迭代更新：遍历样本，检查是否满足误分类条件(+第一轮遍历：检查：(+++b)=检查：(++检查：(+++b)=第二轮遍历：检查：(++检查：(++检查：(+++b)=第三轮遍历：检查：1×(检查：1×(检查：−1×(1×1第四轮遍历：检查：1×(1×1×第五轮遍历：检查：1×(检查：1×(检查：−1×(2×1继续迭代，直到所有样本正确分类。最终收敛时，=2,=0,=4，bKNN习题解答给定三维数据集：T=(1KD树构造步骤：1.选择分割维度：计算各维度方差，维度1方差Var(1,2.确定分割点：将维度1的取值排序：1,2,4,5,7，中位数为4，对应样本(43.划分左子树和右子树：维度1小于4的样本为左子树：(1,24.递归构造子树：左子树：剩余维度选维度2（交替选择），维度2取值为2,3，中位数为2.5，取样本(1,2,3)（因2≤2.5，3>2.5），但实际KD树中分割点应为排序后的中位数，此处左子树样本为(1右子树：剩余维度选维度2，样本(5,6,7)和最终KD树结构：根节点(4,5,6)，左子节点(2最近邻搜索：1.下降到叶节点：从根节点(4,5,6)开始，比较(3,4,52.回溯检查父节点：回到父节点(2,3,4)的父节点(4,53.检查另一子树：根节点的右子树分割轴为维度1（4），(3,4,5)到分割超平面（维度1=4）的距离为|3−4最终最近邻为(2,3朴素贝叶斯习题解答某文本分类任务中，训练集包含3个“体育”类文档和2个“科技”类文档，词汇表为{篮球,比赛,算法,数据}。文档内容如下：体育类：d1:篮球比赛d2:比赛比赛d3:篮球篮球比赛科技类：d4:算法数据d5:算法算法数据要求用朴素贝叶斯（拉普拉斯平滑，λ=1）对新文档步骤1：计算先验概率P(体育步骤2：计算条件概率（拉普拉斯平滑）词汇表大小V=体育类总词数：2+2+科技类总词数：2+3=条件概率：P(P(P(P(P(P(P(P(步骤3：计算后验概率P(=0.6P(=0.4比较后验概率，P(科技决策树习题解答某天气数据集如下，特征包括“天气”（晴、阴、雨）、“温度”（高、中、低）、“湿度”（大、小），目标变量“打球”（是、否）。数据如下：天气温度湿度打球晴高大否晴中大否阴高大是雨中小是雨低小是雨中大否阴低小是要求用信息增益准则选择根节点特征。步骤1：计算总熵H(总样本数N=7，“是”的样本数=4H(步骤2：计算各特征的条件熵天气特征（晴、阴、雨）：晴：样本2个（否、否），H(阴：样本2个（是、是），H(雨：样本3个（是、是、否），H(条件熵H(信息增益g(温度特征（高、中、低）：高：样本2个（否、是），H(中：样本3个（否、是、否），H(低：样本2个（是、是），H(条件熵H(信息增益g(湿度特征（大、小）：大：样本4个（否、否、是、否），H(小：样本3个（是、是、是），H(条件熵H(信息增益g(步骤3：选择最优特征信息增益最大的特征是“天气”（0.578），因此根节点选择“天气”。支持向量机习题解答考虑线性可分训练集：T=(,),(,步骤1：构建原始问题目标函数：mi(w·+(w·+(w·+b)≥1，即−步骤2：转换为对偶问题拉格朗日函数：L(w,求导得：=w=−代入对偶问题：ma约束：≥0，+=0（因=计算内积：·=5，·=4，·=0；代入约束=+W(求导并令梯度为0：=2=2解得：==，=步骤3：求解w和bw=支持向量为>0的样本，即,,（但需验证约束是否紧）。取（因=−1，w·+b=验证：w·+b=×1+×21=1=≥1，等号不成立（>0但约束非紧，矛盾，说明计算有误）。重新检查对偶问题推导，发现内积计算正确，但约束条件中(w·+b重新假设>0（支持向量），则(w·+b)=1，即−b=1⇒b=−1；和可能为0或正数。假设>0，则w·+b=1⇒+2验证KKT条件：((w·+b最终分离超平面为+1=0，即2+2Adaboost习题解答给定一维训练数据：x=[1步骤1：初始化样本权重(i)=第一轮迭代（t=1）：训练弱分类器(x)：选择阈值v，最小化加权误差尝试v=1.5：分类规则(x)=1（x≤1.5），(x)=尝试v=2.5：(x)=1（选择v=2.5，(x)=1（x≤计算分类器系数=0.5更新样本权重：=∑正确分类样本（()=1）：i错误分类样本（i=5，()=0.1(i)==0.125第二轮迭代（t=2）：训练弱分类器(x)：样本权重集中在i=5（x=5），尝试阈值v=4.5，(x)=或选择v=3.5，(x)=1（x>选择v=3.5，(x)=计算=0.5更新样本权重：正确分类样本：i=4,5（()=(−1)(1)=−1？不，正确样本：i=5，错误样本：i=1,=0.1945(i)=≈0.233