2025年机器学习面试重点题

2025年机器学习面试重点题一、选择题（每题2分，共10题）1.在监督学习中，以下哪种模型通常对异常值最敏感？A.决策树B.线性回归C.K近邻D.支持向量机2.下列哪个指标最适合评估不平衡数据集的分类模型性能？A.准确率B.F1分数C.AUCD.MAE3.以下哪种特征选择方法属于过滤法？A.递归特征消除B.Lasso回归C.基于模型的特征选择D.互信息4.在聚类算法中，K-means的收敛速度主要受以下哪个因素影响？A.聚类数量B.数据维度C.初始质心位置D.数据量5.以下哪种模型最适合进行时间序列预测？A.随机森林B.LSTMC.逻辑回归D.朴素贝叶斯6.在模型集成中，以下哪种方法可以减少过拟合？A.提升树（Boosting）B.随机森林C.装袋法（Bagging）D.简单平均7.以下哪种算法属于无监督学习？A.线性回归B.逻辑回归C.K-meansD.支持向量机8.在特征工程中，以下哪种方法可以处理缺失值？A.标准化B.主成分分析C.插值法D.数据增强9.在深度学习中，以下哪种优化器通常收敛速度更快？A.SGDB.AdamC.RMSpropD.Adagrad10.在模型评估中，交叉验证的主要目的是？A.提高模型泛化能力B.减少训练时间C.选择最佳超参数D.增加模型复杂度二、填空题（每题2分，共10题）1.决策树中的`信息增益`是衡量特征重要性的常用指标，其计算公式为：`信息增益=信息熵(父节点)-Σ(子节点概率×信息熵(子节点))`。2.在逻辑回归中，损失函数通常使用`逻辑损失`（LogLoss），其表达式为：`-Σ[y×log(p)+(1-y)×log(1-p)]`。3.PCA（主成分分析）通过将原始特征投影到新的特征空间，可以降维同时保留数据的主要信息。4.在K-means聚类算法中，每个数据点属于距离最近的质心所在的簇，算法迭代直到质心位置不再变化。5.LSTM（长短期记忆网络）通过引入门控机制（输入门、遗忘门、输出门）来解决RNN中的梯度消失问题。6.在模型集成中，`装袋法`（Bagging）通过自助采样（BootstrapSampling）构建多个训练集，分别训练模型并聚合结果。7.特征交叉（FeatureInteraction）是特征工程中的重要方法，通过组合原始特征生成新的特征，可以捕捉特征间的非线性关系。8.在深度学习中，`Dropout`是一种正则化技术，通过随机丢弃部分神经元，可以防止模型过拟合。9.评估分类模型时，`混淆矩阵`是重要的工具，可以清晰地展示模型在各个类别上的预测性能。10.在时间序列分析中，`ARIMA`模型通过自回归（AR）、差分（I）和移动平均（MA）三个部分来捕捉序列的动态特性。三、简答题（每题5分，共6题）1.简述过拟合和欠拟合的区别及其常见解决方法。过拟合是指模型在训练数据上表现很好，但在测试数据上表现差的现象。欠拟合则相反，模型在训练和测试数据上都表现不佳。解决方法：-过拟合：增加数据量、正则化（L1/L2）、Dropout、早停（EarlyStopping）-欠拟合：增加模型复杂度（增加层数/节点）、减少特征选择、降低正则化强度2.解释交叉验证的工作原理及其在模型评估中的作用。交叉验证通过将数据集分成k个折（folds），轮流使用k-1折训练，1折测试，重复k次并取平均性能。作用：-减少评估偏差-更充分地利用数据-有效选择超参数-评估模型泛化能力3.描述决策树算法的基本原理，包括如何选择分裂属性。决策树通过递归分裂节点构建树形结构。分裂属性选择通常基于：-信息增益（ID3）-信息增益率（C4.5）-基尼不纯度（CART）基本步骤：1.选择最优分裂属性2.根据属性值分裂节点3.递归构建子树4.终止条件（所有样本同类别/达到最大深度）4.解释LSTM如何解决RNN的梯度消失问题。LSTM通过引入门控机制：-遗忘门：决定丢弃多少历史信息-输入门：决定输入多少新信息-输出门：决定输出什么这些门控机制使信息可以在时间维度上传递，避免梯度在长序列中消失。5.简述特征工程的主要方法及其在模型性能中的作用。主要方法：-特征缩放（标准化/归一化）-特征编码（独热/嵌入）-特征提取（PCA/傅里叶变换）-特征组合（多项式特征/交互特征）-缺失值处理（插值/均值填充）作用：提高数据质量、增强模型表达能力、减少噪声干扰、加速模型收敛6.描述集成学习的两种主要方法（装袋法和提升法）及其区别。装袋法（Bagging）：-构建多个独立训练集（自助采样）-训练多个模型并平均结果（分类用投票/回归用平均）-提高稳定性，适用于树模型提升法（Boosting）：-按顺序训练模型，每个新模型修正前一个模型的错误-强调难分类样本-需要顺序训练，计算复杂度较高四、编程题（每题15分，共2题）1.编写Python代码实现简单的K-means聚类算法，输入为二维数据点集和聚类数量k，输出为每个点的聚类标签和质心位置。pythonimportnumpyasnpdefk_means(X,k,max_iter=100):#随机初始化质心n_samples,n_features=X.shapecentroids=X[np.random.choice(n_samples,k,replace=False)]for_inrange(max_iter):#分配簇distances=np.linalg.norm(X[:,np.newaxis]-centroids,axis=2)labels=np.argmin(distances,axis=1)#更新质心new_centroids=np.array([X[labels==i].mean(axis=0)foriinrange(k)])#判断收敛ifnp.all(centroids==new_centroids):breakcentroids=new_centroidsreturnlabels,centroids#示例X=np.random.rand(100,2)labels,centroids=k_means(X,3)print("聚类标签:",labels)print("质心位置:",centroids)2.编写Python代码实现简单的线性回归模型，输入为训练数据X和目标y，输出为模型参数（权重和偏置）以及训练损失曲线。pythonimportnumpyasnpimportmatplotlib.pyplotaspltdeflinear_regression(X,y):#添加偏置项X_b=np.c_[X,np.ones((X.shape[0],1))]#计算参数theta=np.linalg.inv(X_b.T@X_b)@X_b.T@y#预测和损失计算y_pred=X_b@thetamse=((y-y_pred)2).mean()#绘制损失曲线plt.plot(range(len(y_pred)),y,'b-',label='真实值')plt.plot(range(len(y_pred)),y_pred,'r--',label='预测值')plt.xlabel('样本序号')plt.ylabel('目标值')plt.legend()plt.title(f'训练损失:{mse:.4f}')plt.show()returntheta[0],theta[1:]#偏置和权重#示例X=np.random.rand(100,1)*10y=3*X.squeeze()+5+np.random.randn(100)*2bias,weights=linear_regression(X,y)print("偏置:",bias)print("权重:",weights)五、开放题（每题10分，共2题）1.假设你要处理一个包含缺失值、异常值和不平衡类别的电商用户行为数据集，请描述你会采取的特征工程和模型处理步骤。处理步骤：1.数据清洗：-缺失值处理：数值特征用均值/中位数填充，分类特征用众数填充/创建新类别-异常值处理：用3σ原则识别并替换/删除-标准化：对数值特征进行Z-score标准化2.特征工程：-特征衍生：创建购物频率、客单价等业务特征-特征组合：交叉特征（如年龄×购买品类）-特征选择：用Lasso/SelectKBest筛选重要特征3.处理不平衡数据：-重采样：过采样少数类/欠采样多数类-类别权重：为不同类别设置不同损失权重-代价敏感学习：调整模型对不同误分类的惩罚4.模型选择：-基础模型：尝试逻辑回归/随机森林-集成模型：用XGBoost/LightGBM优化性能5.评估指标：-用F1分数/AUC评估分类性能-绘制ROC曲线分析模型区分能力2.描述深度学习模型训练中常见的优化问题及其解决方案。常见优化问题及解决方案：1.梯度消失/爆炸：-解决方案：使用ReLU激活函数、BatchNormalization、梯度裁剪2.不收敛：-解决方案：调整学习率、使用学习率衰减、增加数据多样性3.过拟合：-解决方案：Dropout、早停（EarlyStopping）、正则化（L1/L2）4.训练不稳定：-解决方案：梯度裁剪、Adam优化器、权重初始化5.局部最优：-解决方案：随机初始化权重、使用动量（Momentum）、多次训练6.训练速度慢：-解决方案：GPU加速、混合精度训练、模型剪枝答案选择题答案1.B2.B3.D4.C5.B6.B7.C8.C9.B10.A填空题答案1.信息熵(父节点)-Σ(子节点概率×信息熵(子节点))2.-Σ[log(p)+(1-p)×log(1-p)]3.通过将原始特征投影到新的特征空间，可以降维同时保留数据的主要信息4.每个数据点属于距离最近的质心所在的簇，算法迭代直到质心位置不再变化5.通过引入门控机制（输入门、遗忘门、输出门）来解决RNN中的梯度消失问题6.构建多个训练集（自助采样），训练多个模型并平均结果7.通过组合原始特征生成新的特征，可以捕捉特征间的非线性关系8.随机丢弃部分神经元，可以防止模型过拟合9.可以清晰地展示模型在各个类别上的预测性能10.自回归（AR）、差分（I）和移动平均（MA）简答题答案1.过拟合是指模型在训练数据上表现很好，但在测试数据上表现差的现象。欠拟合则相反，模型在训练和测试数据上都表现不佳。解决方法：-过拟合：增加数据量、正则化（L1/L2）、Dropout、早停（EarlyStopping）-欠拟合：增加模型复杂度（增加层数/节点）、减少特征选择、降低正则化强度2.交叉验证通过将数据集分成k个折（folds），轮流使用k-1折训练，1折测试，重复k次并取平均性能。作用：-减少评估偏差-更充分地利用数据-有效选择超参数-评估模型泛化能力3.决策树通过递归分裂节点构建树形结构。分裂属性选择通常基于：-信息增益（ID3）-信息增益率（C4.5）-基尼不纯度（CART）基本步骤：1.选择最优分裂属性2.根据属性值分裂节点3.递归构建子树4.终止条件（所有样本同类别/达到最大深度）4.LSTM通过引入门控机制：-遗忘门：决定丢弃多少历史信息-输入门：决定输入多少新信息-输出门：决定输出什么这些门控机制使信息可以在时间维度上传递，避免梯度在长序列中消失。5.特征工程的主要方法：-特征缩放（标准化/归一化）-特征编码（独热/嵌入）-特征提取（PCA/傅里叶变换）-特征组合（多项式特征/交互特征）-缺失值处理（插值/均值填充）作用：提高数据质量、增强模型表达能力、减少噪声干扰、加速模型收敛6.装袋法（Bagging）：-构建多个独立训练集（自助采样）-训练多个模型并平均结果（分类用投票/回归用平均）-提高稳定性，适用于树模型提升法（Boosting）：-按顺序训练模型，每个新模型修正前一个模型的错误-强调难分类样本-需要顺序训练，计算复杂度较高编程题答案1.K-means实现代码见题目部分2.线性回归实现代码见题目部分开放题答案1.电商用户行为数据集处理步骤：1.数据清洗：-缺失值处理：数值特征用均值/中位数填充，分类特征用众数填充/创建新类别-异常值处理：用3σ原则识别并替换/删除-标准化：对数值特征进行Z-score标准化2.特征工程：-特征衍生：创建购物频率、客单价等业务特征-特征组合：交叉特征（如年龄×购买品类）-特征选择：用Lasso/SelectKBest筛选重要特征3.处理不平衡数据：-重采样：过采样少数类/欠采样多数类-类别权重：为不同类别设置不同损失权重-代价敏感学习：调整模型对不同误分类的惩罚4.模型选择：-基础模型：尝试逻辑回归/随机森林-集成模型：用XGBoost/LightGBM优化性能5.评估指标：-用F1