机器学习练习题与答案

《机器学习》练习题与解答1.小刚去应聘某互联网公司的算法工程师，面试官问他“回归和分类有什么相同点和不同点”，他说了以下言论，请逐条判断是否准确。1）回归和分类都是有监督学习问题[单选题][必答题]○对○错参考答案：对。解析：这道题只有一个同学做错。本题考察有监督学习的概念。有监督学习是从标签化训练数据集中推断出函数的机器学习任务。有监督学习和无监督学习的区别是：机器学习算法的图谱如下：在回归问题中，标签是连续值；在分类问题中，标签是离散值。具体差别请看周志华《机器学习》书中的例子，一看便懂：2.背景同上题。请判断2）回归问题和分类问题都有可能发生过拟合[单选题][必答题]○对○错答案：对解析：这题有两个同学做错。过拟合的英文名称是Over-fitting(过拟合)。为了说清楚“过”拟合，首先说一下“拟合”【拟合的几何意义】：从几何意义上讲，拟合是给定了空间中的一些点，找到一个已知形式未知参数的连续曲线或曲面来最大限度地逼近这些点。一个直观的例子，是下面的电阻和温度的例子。通过五组数据，我们通过肉眼直观地看，可以初步判断房屋的价格和size之间是二次函数的关系，也就是中间这幅图所拟合的情况。而右边这幅图中，自作聪明地用了一个四次函数来拟和这五组数据，虽然在已知的五个数据上都是100%准确，却得出了“当房子的size大于某个值时房子的价格会随着房屋面积增大而越来越低”这样的荒谬结论！这样的是过拟合。左边这个用一条直线来拟合但是拟合的误差很大也不置信，这叫“欠拟合”。在周志华老师的书中，举的例子是这样的：发现了没有？周志华老师用的是“是不是树叶”这样的分类问题举例，andrewng用的是“房价和房屋面积的关系”这样的回归问题举例。这说明，分类和回归都有可能过拟合。3.背景同上题。请判断3）一般来说，回归不用在分类问题上，但是也有特殊情况，比如logistic回归可以用来解决0/1分类问题[单选题][必答题]○对○错答案：对解析：Logistic回归是一种非常高效的分类器。它不仅可以预测样本的类别，还可以计算出分向量x=[1,2,3,4,-9,0]的L1范数是多少[单选题][必答题]○1○19○6○sqrt(111)答案：19解析：这题错了三个同学，其实很简单。请记住：L0范数是指向量中非0的元素的个数。L1范数是指向量中各个元素绝对值之和，也有个美称叫“稀疏规则算子”（Lassoregularization）。L2范数是指向量各元素的平方和然后求平方根。小明参加某公司的大数据竞赛，他的成绩在大赛排行榜上原本居于前二十，后来他保持特征不变，对原来的模型做了1天的调参，将自己的模型在自己本地测试集上的准确率提升了5%，然后他信心满满地将新模型的预测结果更新到了大赛官网上，结果懊恼地发现自己的新模型在大赛官方的测试集上准确率反而下降了。对此，他的朋友们展开了讨论，请将说法正确的选项打勾（不定项选择题）[多选题][必答题]□小芳：从机器学习理论的角度，这样的情况不应该发生，快去找大赛组委会反应□小刚：你这个有可能是由于过拟合导致的□小月：早就和你说过了，乖乖使用默认的参数就好了，调参是不可能有收益的□小平：你可以考虑一下，使用交叉验证来验证一下是否发生了过拟合答案：选择第二项、第四项解析：大家都同意第二项，是过拟合导致的。设置第四项的目的，是提醒大家，交叉验证可以用于防止模型过于复杂而引起的过拟合。具体什么是交叉验证，请期待后续课程。关于L1正则和L2正则下面的说法正确的是[多选题][必答题]□L2范数可以防止过拟合，提升模型的泛化能力。但L1正则做不到这一点□L2正则化标识各个参数的平方的和的开方值。□L2正则化有个名称叫“Lassoregularization”□L1范数会使权值稀疏答案：第二项、第四项解析：同第解析：同第6题9.判断这个说法对不对：给定n个数据点，如果其中一半用于训练，另一半用于测试，则训练误差和测试误差之间的差别会随着n的增加而减小[单选题][必答题]○对○错答案：对解析：训练数据越多，拟合度越好，训练误差和测试误差距离自然越小八卦：亲们，这道题曾经出现在《百度2016研发工程师笔试题》。咱们有四个同学做错。10.Consideraproblemofbuildinganonlineimageadvertisementsystemthatshowstheusersthemostrelevantimages.Whatfeaturescanyouchoosetouse?[单选题][必答题]○concrete,abstract○concrete,raw,abstract○concrete,raw○concrete答案：B解析：本题源于林轩田《机器学习基石》课件，给在线图片广告系统挑选特征。concreteuserfeatures,rawimagefeatures,andmaybeabstractuser/imageIDs大致理解一下特征的几种类型，请做错的同学去看一下林轩田老师的视频11.【附加题】考虑回归一个正则化回归问题。在下图中给出了惩罚函数为二次正则函