中科院研究生院机器学习课程习题

1、1、考虑回归一个正则化回归问题。在下图中给出了惩罚函数为二次正则函数，当正则化参数取不同值时，在训练集和测试集上的 10g 似然（meanlog-probability）。（10 分）（1）说法“随着 C 的增加，图 2 中训练集上的 10g 似然永远不会增加”是否正确，并说明理由（2）解释当 C 取较大值时，图 2 中测试集上的 10g 似然下降的原因。正期化参翻222、考虑线性回归模型：yN（w0+wiX,。），训练数据如下图所不。（10 分）（1）用极大似然估计参数，并在图（a）中画出模型。（3 分）C2（2）用正则化的极大似然估计参数，即在 10g 似然目标函数中加入正则惩罚函数-：（

2、w2）,2并在图（b）中画出当参数 C 取很大值时的模型。（3 分）2（3）在正则化后，图斯分布的万差 CT 是变大了、变小了还是不变？（4 分）2.考虑二维输入空间点 x=(X1，X2T上的回归问题，其中XjW1-1,1,j=1,2在单位正方形内。训练样本和测试样本在单位正方形中均匀分布，输出模型为352yN(XiX2-10XiX2+7xi+5x23,1),我们用 1-10 阶多项式特征，采用线性回归模型来学习X与y之间的关系(高阶特征模型包含所有低阶特征)，损失函数取平方误差损失。(1)现在N=20个样本上，训练 1 阶、2 阶、8 阶和 10 阶特征的模型，然后在一个大规模的独立的测试集

3、上测试，则在下 3 列中选择合适的模型(可能有多个选项)，并解释第 3 列中你选择的模型为什么测试误差小。(10 分)训练误差最小训练误差最大测试误差最小1 阶特征的线性模型X2 阶特征的线性模型X8 阶特征的线性模型X10 阶特征的线性模型X(2)现在N=106个样本上，训练 1 阶、2 阶、8 阶和 10 阶特征的模型，然后在一个大规模的独立的测试集上测试，则在下 3 列中选择合适的模型（可能有多个选项），并解释第 3 列中你选择的模型为什么测试误差小。（10 分）训练误差最小训练误差最大测试误差最小1 阶特征的线性模型X2 阶特征的线性模型8 阶特征的线性模型XX10 阶特征的线性模型X

4、（3）多项式回归模型的预测误差与训练样本的数目有关。（T）3、我们对下图（a）所示的数据采用简化的线性 logistic 回归模型进行两类分类，即PY=1|x,w1,w2=gW1X1w2&二（为了简化，我们不采用偏差w0。）训练数据可以被完全分开（训练误差为0,如图1（b）所示的LI）。（b）数据点可以被LI（实线）完全分开。L2、L3和L4是另外几个可能的决策边界。NO1exp-WK-w2x2（a）2维训练数据。（1）考虑一个正则化的方法，即最大化)-CwtlogPyi|Xi,w1,w2i1注意只有02被惩罚。则当C很大时，如图1（b）所示的4个决策边界中，L2、L3和L4可以通过正

5、则02得到吗？答：L2不可以。当正则w2时，决策边界对x2的依赖越少，因此决策边界变得更垂直。而图中的L2看起来不正则的结果更水平，因此不可能为惩罚w2得到；L3可以。w2A2相对w1A2更小（表现为斜率更大），虽然该决策对训练数据的10g概率变小（有被错分的样本）；L4不可以。当C足够大时，我们会得到完成垂直的决策边界（线 x1=0 或 x2 轴）。L4跑到了 x2 轴的另一边使得其结果比其对边的结果更差。当中等程度的正则时，我们会得到最佳结果（w2 较小）。图中的L4不是最佳结果因此不可能为惩罚w2得到；（2）如果正则项为L1范式，即最大化2N_CZlogP（yi|Xi,w1,w2）（w1

6、+w2）。2则随着C增大，下面哪种情形可能出现（单选）？（a）w,将变成0,然后w2也将变成0。（T）（b）W和w2将同时变成0。（c）也将变成0,然后必也将变成0。（d）两个权重都不会变成0,只是随着C的增大而减小0。该数据可以被完全正确分类（训练误差为 0）,且仅看 x2 的值（w1=0）就可以得到。虽然最佳分类器 w1 可能非 0,但随着正则量增大 w1 会很快接近 0。L1 正则会使得 w1 完全为 0。随着 C 的增大,最终w2 会变成 0。4、LDA现有 100 个标注好的训练样本（共有两个类），我们训练以下模型：GaussI:每类一个高斯分布，两个类的方差矩阵均设为单位矩阵 I;

7、GaussX:每类一个高斯分布，但协方差矩阵不做任何约束；LinLog:线性 logistic 回归模型（特征的线性组合）；QuadLog:二次 logistic 回归模型（所以特征的一次和二次组合）。训练后，我们用训练集上的平均 log 似然作为模型性能的度量，并用等式或不等式表示模型间的性能关系，如model1=model2或model1=model2”GaussI=LinLog(bothhavelogisticpostiriors,andLinLogisthelogisticmodelmaximizingtheaveragelogprobabilities)GaussX=QuadLog(

8、bothhavelogisticpostiriorswithquadraticfeatures,andQuadLogisthemodelofthisclassmaximizingtheaveragelogprobabilities)LinLog=QuadLog(logisticregressionmodelswithlinearfeaturesareasubclassoflogisticregressionmodelswithquadraticfunctionsthemaximumfromthesuperclassisatleastashighasthemaximumfromthesubcla

9、ss)GaussI=QuadLog(followsfromaboveinequalities)(GaussXwillhavehigheraveragelogjointprobabilitiesofexamplesandlabels,thenwillGaussI.Buthavehigheraveragelogjointprobabilitiesdoesnotnecessarilytranslatetohigheraveragelogconditionalprobabilities)一、交叉验证1、4.给定如下数据集，其中X为输入变量，Y为输出变量。假设考虑采用 k-NN 算法对x对应的y进行预测，其中距离度量采用不加权的欧氏距离。(12 分)十+-+-+WV-01仆；1.0162。2.5工？3H4.14.9(1)算法 1-NN 的训练误差的是多少？(用分类错误的