厦门大学机器学习考试题

1、第一题判断题（10分，每小题1分）1 逻辑斯蒂回归模型可以用来做分类，但是SVM不能用来做回归。（）2 训练数据较少时更容易发生过拟合。（）3 如果回归函数A比B简单，则A泄会比B在测试集上表现更好。（）4 在核回归中，最影响回归的过拟合性和欠拟合之间平衡的参数为核函数的宽 度。（）5 在AdaBoost算法中，所有被错分的样本的权重更新比例相同。丄丄6 Boosting的一个优点是不会过拟合。（）7 梯度下降有时会陷于局部极小值，但EM算法不会。（）8 SVM对噪声（如来自其他分布的噪声样本）鲁棒。（）9 经验风险最小化在一泄条件下与极大似然估计是等价的。丄丄10 在回归分析中，最佳子集选择

2、可以做特征选择：Lasso模型也可以实现特 征选择。（）第二题统计学习方法的三要素（10分）1. （5分）H是一个函数空间，p（x,y）是X"上一个概率测度，£> = ©）；.是X" 的一个子集（采样），£（/） = （, L（x,y,f（x,刃血，不（/）=丄£上（兀,片,/（兀,儿），fH = arg min £（/）. f. = arg min 运（/）,请问:/e/'fe/l1 （2分）#（/：）随着N增大而增大吗为什么2 （3分）|£（/：）-班/）|随着H增大而增大吗为什么2. （5分）比

3、较感知机、逻辑斯蒂回归模型、AdaBoost和SVM的损失函数。第三题产生式模型和判别式模型（10分）1 （5分）解释产生式模型和判别式模型，并分析二者的不同点；2 列岀三种判别式模型（3分）和两种产生式模型（2分）第四题 EM and Naive Bayes （15 分）1 （5分）概述EM算法的用途及其主要思想：2 （10分）EH算法可以用到朴素贝叶斯法的非监督学习，写出其算法。第五题HMM （10分）考虑盒子和球模型入=（AzBf n）t状态集合Q = 1,2,3,观测集合V = 红，白,'0.5 0.2 0.3'"0.5 05A =03 0.5 0.29B =

4、0.4 0.6,n = (0>2,0.4,0<4)0.2 0.3 0.5.0.7 03设 T二3, 0二（红、白、红），试用前向算法计算P（OIA）.第六题SVM （15分）考虑利用线性支持向量机对如下两类可分数据进行分类：+1： （1,1）, （2,2）, （2,0）-1： （0,0）, （1,0）, （0, 1）1 （4分）在图中做出这6个训练点，构造具有最优超平而和最优间隔的权重向量:2 （3分）哪些是支撑向虽：3 （8分）通过寻找拉格朗曰乘子来构造在对偶空间的解.并将它与1中的 结果比较。第七题Logistic回归模型（15分）如图1 G）所示，数据釆用简化的线性logis

5、tic回归模型进行两类分类，即,叩=| W,J=g （忖+忖）=+旳（十,厂忖）为了简化，不采用偏差畑训练数据可以被完全分开（训练误差为0,如图1所示的厶）。、O O、 、 7小/ + /+图1（a）二维训练数据图1（b）可能的决策而:NLlX2.L5.L41（8分）考虑一个正则化的方法，即最大化工logpjlxvj-f呢，注意只1 2有找2被惩罚。则当C很大时，如图1所示的4个决策边界中，哪条线可能是由该正则方法得到的厶、厶和厶可以通过正则找2得到吗简要说明理由。2（7分）如果我们将正则项给岀厶范式，即最大化£強卩（：1兀“,叫）-+（同|+|叫|），则随着c增大,下面哪种情形可能

6、出现（单选）_ 和：简要说明理由（A）旳将变成0,然后心 也将变成0“（B）2将变成0,然后WL也将变成0。（0吨和W2将同时变成s（D）两个权重都不会变成0,只是随着Q的增大而减小为0。第八题AdaBoost （15分）考虑如下图2所示的训练样本，其中X和0分别表示正样本和负样本。采用 AdaBoost算法对上述样本进行分类。在Boosting的每次迭代中，选择加权错误率最小的弱 分类器。假设釆用的弱分类器为平行两个坐标轴的线性分类器*1 （4分）在图2中标岀第一次迭代选择的弱分类器（乙），并给出决策而的'+ ' 和'面。2 （4分）在图2中用圆圈标岀在第一次迭代后权重最大的样本，其权重