监督学考试题目及答案解析(2025版)

监督学考试题目及答案解析(2025版)一、单项选择题（每题2分，共20分）1.在监督学习中，下列哪一项最能体现“过拟合”现象？A.训练误差持续下降，验证误差同步下降B.训练误差接近零，验证误差突然上升C.训练误差与验证误差同时保持高位D.训练误差高于验证误差答案：B解析：过拟合指模型在训练集上表现极好，但在未见数据上表现骤降。B选项描述训练误差接近零而验证误差上升，正是典型过拟合曲线。2.若特征维度远高于样本量，优先选择下列哪种模型？A.深度神经网络B.梯度提升树C.线性支持向量机（L2正则）D.k近邻答案：C解析：高维小样本场景下，线性模型配合强正则化可有效控制方差；深度网络与树模型易过拟合；k近邻在高维面临“维度灾难”。3.在梯度下降中引入Momentum的主要目的是：A.增加学习率B.抑制震荡、加速收敛C.自动调整网络结构D.减少内存占用答案：B解析：Momentum通过累积历史梯度，在峡谷型损失面上抑制震荡，沿主方向加速前进。4.对类别极度不平衡的二分类数据，下列哪种评价指标最不适用？A.F1-scoreB.AUC-ROCC.平均准确率（Accuracy）D.AUC-PR答案：C解析：Accuracy受多数类主导，极度不平衡时99%负例即可得“虚高”99%准确率，无法反映模型对少数类的识别能力。5.在随机森林中，关于“特征子采样”说法正确的是：A.每棵树使用全部特征B.每棵树在每个节点分裂时随机抽取√p个特征C.每棵树随机抽取√n个样本D.每棵树固定使用相同随机种子答案：B解析：随机森林通过“行采样”与“列采样”双重随机化降低树间相关性；节点分裂时抽取√p（分类）或p/3（回归）个特征属经典实现。6.若将Lasso回归的正则化系数λ调为无穷大，则权重向量w将变为：A.全1B.全0C.随机小数值D.与特征方差成正比答案：B解析：λ→∞时，优化目标退化为最小化L1范数，最优解是所有权重被压缩至0。7.在神经网络中，BatchNormalization放在激活函数之前的主要好处是：A.减少参数数量B.使输入落入激活函数线性区，缓解梯度消失C.提高模型可解释性D.降低对初始学习率敏感度答案：B解析：BN将预激活规范化至N(0,1)，使Sigmoid/Tanh等函数处于近似线性区，梯度更大，训练更深网络更稳定。8.使用早停（EarlyStopping）时，若验证损失连续10轮未下降即终止，则“耐心值”为：A.1B.5C.10D.20答案：C解析：耐心值（patience）即容忍验证指标不改善的轮次数，题干明确10轮，故选C。9.在XGBoost中，默认的树生长策略是：A.深度限制优先B.叶子节点权重优先C.损失下降量优先（maximizelossreduction）D.基尼系数优先答案：C解析：XGBoost采用“按损失下降量”分裂，兼顾结构风险与正则项，而非传统CART的基尼或信息增益。10.对文本分类任务，若词汇表大小为50000，使用TF-IDF+逻辑回归，最可能遇到的瓶颈是：A.过拟合B.梯度爆炸C.内存与计算开销D.标签泄漏答案：C解析：高维稀疏矩阵导致内存占用大、计算慢；正则化逻辑回归本身抗过拟合能力较强，梯度爆炸多出现在深层网络。二、多项选择题（每题3分，共15分，多选少选均不得分）11.下列哪些技术可直接用于缓解神经网络过拟合？A.DropoutB.L2weightdecayC.BatchNormalizationD.增加网络深度答案：A、B、C解析：Dropout随机失活神经元；L2惩罚大权重；BN有轻微正则化效应；单纯加深网络反而加剧过拟合。12.关于k折交叉验证，正确的有：A.k越大，方差越小，计算量越大B.分层k折可保持每折类别比例C.k=1即为留一法D.最终性能指标取k折平均答案：A、B、D解析：k=1是留出法，留一法k=n；其余选项均正确。13.在SVM中，使用高斯RBF核相较线性核可能带来的结果：A.训练误差更低B.决策边界更复杂C.对超参数γ更敏感D.一定提高测试准确率答案：A、B、C解析：RBF可拟合非线性，训练误差易下降；γ控制半径，过大易过拟合；测试准确率不一定提高。14.以下属于集成方法“多样性”来源的有：A.Bootstrap采样B.特征子采样C.不同超参数D.不同算法族答案：A、B、C、D解析：多样性可通过数据、特征、参数、算法四个层面引入。15.在深度卷积网络中，可“下采样”特征图的操作有：A.MaxPoolingB.stride=2的卷积C.AveragePoolingD.1×1卷积答案：A、B、C解析：1×1卷积不改变空间尺寸，仅调整通道数；其余均可降采样。三、判断题（每题1分，共10分，正确写“T”，错误写“F”）16.增加决策树的最大深度一定能降低偏差。答案：T解析：深度增加，模型复杂度上升，偏差下降，方差上升。17.逻辑回归可天然处理多分类问题，无需任何改造。答案：F解析：需通过OvR或Softmax扩展。18.在PCA中，主成分方向对应协方差矩阵特征值最大的特征向量。答案：T解析：PCA即按特征值降序投影。19.使用ReLU激活的深层网络一定不会梯度消失。答案：F解析：ReLU在负半区梯度为零，深层网络仍可能出现“神经元死亡”导致梯度无法回传。20.AUC-ROC对正负类分布变化不敏感。答案：T解析：ROC曲线基于排序，仅关心正负样本相对顺序，与各自基数无关。21.梯度提升树中，学习率越大，模型越稳健。答案：F解析：学习率大，步长大，易过拟合，需与树数量权衡。22.在k近邻中，使用曼哈顿距离比欧氏距离更抗离群点。答案：F解析：两者均受离群点影响，曼哈顿对坐标尺度更敏感。23.对神经网络使用数据增强属于“显式正则化”。答案：T解析：数据增强通过扩大数据分布隐式限制模型复杂度，归类为显式正则化手段。24.当特征存在多重共线性时，岭回归比Lasso更稳定。答案：T解析：Lasso会随机选择共线特征之一，岭回归则均分权重，解更稳定。25.使用Adam优化器时，无需手动调整学习率。答案：F解析：Adam默认0.001，但在不同任务仍需调优。四、填空题（每空2分，共20分）26.若某二分类数据集正负样本比为1:99，采用“平衡交叉熵”损失时，需对正类样本乘以权重________。答案：99解析：权重=负例数/正例数=99/1。27.在卷积神经网络中，若输入为32×32×3，使用10个5×5卷积核，padding=0，stride=1，则输出特征图尺寸为________。答案：28×28×10解析：(32−5+1)=28，通道数等于卷积核数。28.若某决策树节点包含样本100条，其中A类70、B类30，则该节点的基尼指数为________。（保留三位小数）答案：0.420解析：1−(0.7²+0.3²)=1−0.58=0.42。29.在XGBoost的目标函数推导中，对损失函数进行二阶泰勒展开后，叶子节点最优权重公式为________。答案：−G/(H+λ)解析：G为一阶梯度和，H为二阶梯度和，λ为正则系数。30.假设某神经网络第l层输出为h，使用Dropout(rate=0.5)训练时，期望输出变为________。答案：0.5h解析：训练时随机失活一半神经元，测试时需缩放补偿；反向传播时保持期望一致。31.若SVM高斯核参数γ→∞，则模型复杂度趋于________，偏差趋于________。答案：高；低解析：γ大，核函数峰值尖锐，决策边界复杂，偏差下降，方差上升。32.在BERT微调中，若最大序列长度设为128，批次大小为32，则单个GPU显存占用主要与________成正比。答案：128²（序列长度平方）解析：注意力机制显存复杂度O(L²)。33.使用TF-IDF时，若某词在全部文档均出现，则其IDF值为________。答案：0解析：IDF=log(N/df)，df=N时为零，该词无区分度。34.若某随机森林由100棵树组成，单棵树对样本x预测概率为0.7，则森林平均概率为________。答案：0.7解析：平均即期望，单树期望0.7，百树平均仍为0.7。35.在深度强化学习里，将监督学习的“标签”替换为________，即可实现Q学习。答案：时序差分目标（r+γmaxQ(s′,a′)）五、简答题（每题8分，共40分）36.描述“偏差-方差分解”在监督学习中的物理意义，并给出两种可同时降低两者的工程手段。答案：物理意义：期望误差=偏差²+方差+噪声。偏差度量模型假设与真实规律的偏离；方度量同样本不同训练集下模型输出的波动。工程手段：1.高质量特征工程：引入领域知识构造新特征，降低真实规律与假设空间距离（降偏差），同时减少噪声对方差影响。2.集成学习：Bagging通过平均降低方差；Boosting通过迭代修正残差降低偏差；两者结合如RandomSubspace可同时双降。37.给出L1与L2正则化在优化过程中的几何解释，并说明为何L1更易产生稀疏解。答案：几何解释：无约束损失函数等高线为椭圆；L1约束为菱形，L2为圆形。椭圆与约束首次相交处即为最优解。L1菱形顶点位于坐标轴，相交概率高，权重被压至零；L2圆形光滑，相交点极少落在轴上，故权重趋于小但非零。数学上，L1在零点处次梯度含零，满足最优条件时可直接锁定稀疏；L2梯度连续，无“强制清零”机制。38.阐述梯度消失与梯度爆炸在RNN中的成因，并给出三种针对性改进方案。答案：成因：时间步反向传播时，梯度连乘雅可比矩阵。若特征值<1，连乘趋零（消失）；>1则指数放大（爆炸）。改进：1.梯度裁剪：设定阈值，若全局范数超限则等比例缩放，防爆炸。2.门控机制：LSTM/GRU引入sigmoid门控制信息流，梯度highway缓解连乘衰减。3.正交初始化+ReLU：权重初始化为正交矩阵，特征值接近1；配合ReLU使雅可比对角线元素稳定。39.比较“预训练+微调”与“从零训练”在小型医疗图像数据集上的优劣，并给出实施步骤。答案：优劣：预训练+微调：借大型自然图像（ImageNet）特征，低层通用边缘/纹理可迁移，需更少医疗数据即可收敛，降低过拟合风险；但领域差异大时高层语义需大幅调整。从零训练：无领域偏差，可学到医疗专属特征；但需大量数据与算力，小数据集易过拟合。实施步骤：1.选择架构：ResNet-50。2.预训练：在ImageNet训练100epoch，保存权重。3.医疗数据预处理：统一512×512，灰度图复制三通道。4.微调：冻结前两层残差块，学习率1e-4，训练50epoch，采用数据增强（旋转、弹性形变）。5.评估：五折交叉验证，指标AUC-ROC、F1；若AUC<0.85，解冻更多层再微调。40.给出类别不平衡场景下，阈值调整的具体算法流程（含伪代码），并解释为何优于简单过采样。答案：算法流程（Platt缩放+最优F1搜索）：输入：训练集{(x,y)}，验证集V，模型f输出概率p。1.在训练集上训练模型f。2.在验证集V上预测概率p_v，真实标签y_v。3.对p_v排序，枚举阈值t∈[0,1]，步长0.001，计算F1(t)。4.取t=argmaxF1(t)。5.测试阶段，若p≥t则预测正类，否则负类。伪代码：best_t,best_f1←0,0fortinlinspace(0,1,1000):ŷ←(p_v≥t)f1←2·(ŷ·y_v).sum()/(ŷ.sum()+y_v.sum())iff1>best_f1:best_t,best_f1←t,f1returnbest_t优于过采样：1.不引入重复样本，避免模型对少数类过拟合；2.直接优化业务指标（F1），而非代理准确率；3.计算开销小，无需生成合成样本，适用于高维稀疏文本或大型图像。六、计算与推导题（共45分）41.（10分）给定二维数据集：正例(1,1),(2,2)；负例(2,0),(0,2)。使用硬间隔SVM，求最优超平面方程及支持向量。答案：观察数据线性可分，且对称。猜测决策边界为x+y−2=0。验证：正例：1+1−2=0，2+2−2=2>0负例：2+0−2=0，0+2−2=0间隔：2/||w||=2/√2=√2，最大。支持向量：全部四点均在间隔边界，故均为支持向量。最优超平面：x+y−2=0。42.（10分）某回归任务采用线性模型y=wᵀx，损失函数J=½Σ(yᵢ−wᵀxᵢ)²+λ||w||²。推导w的闭式解，并说明当λ增大时偏差与方差如何变化。答案：矩阵形式：J=½||y−Xw||²+λwᵀw。对w求导：−Xᵀ(y−Xw)+2λw=0得：w=(XᵀX+2λI)⁻¹Xᵀyλ增大：偏差↑，因惩罚大权重，模型更简单，假设空间缩小；方差↓，权重被压缩，对数据扰动敏感度降低。43.（12分）设神经网络采用Sigmoid激活，单隐藏层，平方误差损失。证明当输出层权重初始值过大时，损失landscape在0.5附近出现“平坦高原”，导致梯度消失。答案：令网络输出a=σ(z)，z=∑vⱼhⱼ+b，hⱼ=σ(wⱼx)。平方误差E=½(a−y)²。梯度∂E/∂v=(a−y)·a(1−a)·hⱼ。若v初始过大，z大，a≈0或1，a(1−a)≈0，梯度≈0，权重几乎不更新，形成平坦高原。实验：随机初始化v~N(0,100)，观察a≈0.5时梯度量级<1e−5，验证梯度消失。44.（13分）使用XGBoost回归树，某节点有8个样本，标签[3,5,7,9,11,13,15,17]。分裂候选点将数据集分为左子节点[3,5,7,9]与右子节点[11,13,15,17]。设正则参数λ=1，求该分裂带来的损失减少量。答案：节点均值μ=10，GL=3+5+7+9=24，HL=4；GR=44，HR=4。分裂前损失：−G²/(H+λ)=−80²/(8+1)=−711.11分裂后损失：−(24²/(4+1)+44²/(4+1))=−(115.2+387.2)=−502.4损失减少：−502.4−(−711.11)=208.71（单位：目标函数值）七、综合设计题（共50分）45.（50分）某市共享单车需求预测背景：提供2019−2024年每日订单量、天气、节假日、POI、地铁客流等共47维特征，预测未来7天日订单量。数据含极端天气导致的长尾尖峰，评价指标为SMAPE。要求：1.给出数据清洗与特征工程完整方案；2.设计模型栈（至少两层），说明初级、次级模型选择理由；3.给出训练-验证-测试划分策略，防止信息泄漏；4.描述超参数优化流程，含搜索空间与早停策略；5.提供模型可解释性方案，量化各特征对极端峰值贡献；6.给出线上部署实时推断延迟<100ms的技术细节。答案：1.数据清洗：缺失值：天气字段<0.5%用KNN插值；地铁客流缺失用同期均值填充。异常值：订单量>Q3+3×IQR视为极端，标记为“极端日”而非删除。特征工程：时间窗：滑动7、14、30天均值、标准差、环比；节假日：中国假期表编码，假期前1天、后1天单独标记；天气：温度分段桶化，湿度与风速交互项；POI：地铁站点密度+商业区指数，PC