2026年机器学习算法笔试精

2026年机器学习算法笔试精一、选择题（共5题，每题2分，总计10分）1.下列哪种算法属于监督学习算法？A.K-means聚类B.主成分分析（PCA）C.决策树D.Apriori关联规则2.在逻辑回归中，以下哪个参数用于控制模型的正则化强度？A.学习率（learningrate）B.正则化参数λ（lambda）C.批量大小（batchsize）D.最大迭代次数（maxiterations）3.以下哪种方法可以用于处理线性不可分的数据？A.线性回归B.K近邻（KNN）C.支持向量机（SVM）D.线性判别分析（LDA）4.在交叉验证中，k折交叉验证的k值通常选择为多少？A.2B.5或10C.20D.1005.以下哪种技术可以用于特征选择？A.LASSO回归B.PCA降维C.决策树D.K-means聚类二、填空题（共5题，每题2分，总计10分）1.机器学习中的过拟合现象指的是模型在训练数据上表现很好，但在测试数据上表现较差。解决过拟合的方法包括：____________________、____________________。2.决策树算法中，常用的分裂标准有____________________和____________________。3.在神经网络中，激活函数的作用是引入非线性，常见的激活函数有____________________、____________________和____________________。4.朴素贝叶斯分类器基于的假设是特征之间相互独立。该假设在现实世界中往往不成立，但朴素贝叶斯在某些领域（如____________________）仍然表现良好。5.交叉熵损失函数主要用于____________________模型的训练。三、简答题（共5题，每题4分，总计20分）1.简述过拟合和欠拟合的区别，并分别提出至少两种解决方法。2.解释什么是梯度下降法，并说明其在机器学习中的作用。3.描述K近邻（KNN）算法的基本原理，并说明选择k值时需要考虑的因素。4.什么是特征工程？简述特征工程在机器学习中的重要性。5.解释支持向量机（SVM）的基本思想，并说明其在处理高维数据时的优势。四、计算题（共5题，每题6分，总计30分）1.假设有一组数据点如下：[（1,2）、（2,3）、（3,5）、（4,4）、（5,6）]。（1）计算这组数据点的均值和方差；（2）使用PCA降维，保留一个主成分，计算主成分的方向向量。2.假设有一个逻辑回归模型，其参数为w=[0.5,-0.3]，b=0.1。（1）计算输入x=[1,2]时的预测概率；（2）如果阈值θ=0.5，判断该输入属于正类还是负类。3.假设有一个SVM模型，其核函数为高斯核（RBF核），参数C=1，σ=0.5。（1）解释高斯核的作用；（2）计算输入x1=[1,2]和x2=[3,4]之间的核函数值。4.假设有一个决策树，其分裂规则为：如果x1>2，则走左子树，否则走右子树。左子树的预测结果为“是”，右子树的预测结果为“否”。（1）画出该决策树的结构；（2）对于输入x=[1,3]，预测结果是什么？5.假设有一个5折交叉验证，共有50个数据点。（1）如何划分数据集；（2）如果每次验证的平均准确率为90%，则最终准确率大约是多少？五、论述题（共1题，10分）结合实际应用场景，论述特征工程在机器学习中的重要性，并举例说明如何通过特征工程提升模型性能。答案与解析一、选择题1.C决策树属于监督学习算法，其他选项均属于无监督学习或关联规则算法。2.B正则化参数λ用于控制L1或L2正则化的强度，防止过拟合。3.CSVM可以处理线性不可分的数据，通过核函数映射到高维空间。4.Bk折交叉验证通常选择5或10，以保证结果的稳定性和泛化能力。5.ALASSO回归通过惩罚项进行特征选择，其他选项主要用于降维或聚类。二、填空题1.正则化、早停正则化（如L1/L2）可以限制模型复杂度，早停可以在验证集性能下降时停止训练。2.信息增益、基尼不纯度信息增益用于决策树中选择分裂特征，基尼不纯度用于评估节点纯度。3.ReLU、Sigmoid、TanhReLU计算高效，Sigmoid适合输出概率，Tanh对称性更好。4.文本分类尽管特征独立性假设不成立，但在文本分类中，朴素贝叶斯仍表现良好。5.逻辑回归交叉熵损失函数用于优化逻辑回归模型的分类性能。三、简答题1.过拟合和欠拟合的区别及解决方法-过拟合：模型对训练数据过度拟合，泛化能力差。解决方法：①正则化（L1/L2）；②早停；③增加数据量。-欠拟合：模型过于简单，无法捕捉数据规律。解决方法：①增加模型复杂度（如深度）；②减少正则化强度；③特征工程。2.梯度下降法梯度下降法通过计算损失函数的梯度，逐步更新参数，使损失最小化。作用：优化模型参数，使模型在训练数据上表现最优。3.K近邻算法原理：根据输入样本最近的k个邻居的类别，进行投票分类。选择k值考虑：①数据量大小；②特征维度；③噪声水平。4.特征工程特征工程是通过对原始数据进行处理和转换，生成更有效的特征。重要性：提升模型性能，减少数据量，增强模型泛化能力。例如：将时间序列数据转换为傅里叶特征，可提升预测精度。5.支持向量机基本思想：通过寻找一个最优超平面，使不同类别的数据点尽可能分开。优势：处理高维数据时，通过核函数映射到高维空间，效果更好。四、计算题1.PCA降维（1）均值：μ=(1+2+3+4+5)/5=3，方差：σ²=(（1-3）²+...+(5-3)²)/5=2。（2）主成分方向向量：[0.707,0.707]。2.逻辑回归预测（1）概率：P=1/(1+e^(-（0.51-0.32+0.1）))≈0.548；（2）因0.548>0.5，属于正类。3.SVM高斯核（1）高斯核：K(x1,x2)=e^(-||x1-x2||²/(2σ²))；（2）K(1,2)=e^(-((1-3)²+(2-4)²)/(20.25))≈0.135。4.决策树预测（1）结构：x1>2/\是否（2）输入x=[1,3]，因1<2，走右子树，预测结果为“否”。5.交叉验证（1）划分：50/5=10个数据点每折，轮流作为验证集；（2）准确率：90%（4/5）≈80%。五、论述题特征工程的重要性及案例特征工程通过处理和转换原始数据，生成更有效的特征，对模型性能提升至关重要。例如：-电商推荐系统：将