2026年机器学习工程师试卷及答案

2026年机器学习工程师试卷及答案一、单项选择题（共15题，每题2分，共30分。每题只有1个正确答案）1.关于机器学习模型的偏差与方差权衡，下列说法正确的是（）A.模型复杂度越高，偏差越高，方差越低B.训练集上准确率99%，测试集上准确率60%，说明模型偏差过高C.增加训练数据量可以同时降低偏差和方差D.L2正则化的作用是降低模型方差，可能小幅提升偏差2.某二分类模型在测试集的混淆矩阵如下：TP=92，FN=8，FP=18，TN=82，该模型的F1值为（）A.0.876B.0.822C.0.920D.0.7943.针对大语言模型的参数高效微调方法LoRA，下列关于其秩r的说法正确的是（）A.r越大，微调需要的参数量越小B.r越小，微调后模型的下游任务适配能力越强C.当r等于原始线性层的输出维度时，LoRA微调等价于全参数微调D.相同训练轮次下，r越大，微调过程的显存开销越低4.RLHF（人类反馈强化学习）流程中，奖励模型的训练数据来源是（）A.无标注的通用语料B.人工对同一prompt的多个模型输出的排序标注C.PPO阶段输出的模型应答D.监督微调阶段的标注数据5.向量数据库中常用的HNSW（层次化导航小世界）索引，其平均查询时间复杂度为（）A.O(n)B.O(6.下列分布式训练策略中，属于模型并行范畴的是（）A.将训练数据切分为多份，每个GPU计算一份数据的梯度后聚合B.将Transformer的每一层分配到不同的GPU上执行计算C.多个GPU同时训练不同的超参数组合，最终选最优模型D.将同一batch的不同样本分配到不同GPU计算7.多模态预训练模型CLIP的核心损失函数是（）A.交叉熵损失B.对比损失C.均方误差损失D.三元组损失8.下列对抗样本防御手段中，属于训练阶段防御的是（）A.输入样本自适应去噪B.对抗训练，将对抗样本加入训练集C.模型输出校准D.异常样本检测拦截9.关于联邦学习的分类，下列说法正确的是（）A.横向联邦学习适用于参与方样本重叠少、特征重叠多的场景B.纵向联邦学习适用于参与方样本重叠多、特征重叠多的场景C.联邦迁移学习适用于参与方样本和特征重叠都很多的场景D.横向联邦学习需要对齐样本ID后再训练10.扩散模型的反向过程核心是预测下列哪项内容（）A.生成图像的像素值B.每一步添加的高斯噪声C.文本和图像的匹配度D.噪声的方差11.关于Transformer的RoPE（旋转位置编码），下列说法正确的是（）A.RoPE是绝对位置编码的一种，无法建模相对位置关系B.RoPE通过对Query和Key向量施加旋转操作，实现相对位置信息的注入C.RoPE可以无需任何优化直接支持远超过训练时最大长度的序列推理D.RoPE仅适用于Decoder-only结构的大语言模型12.大模型4位量化（INT4）相比FP16推理，精度损失的核心原因不包括（）A.权重值的离散化带来的舍入误差B.激活值量化带来的截断误差C.量化参数校准不充分导致的分布偏移D.推理时KV缓存容量降低13.MLOps流程中，特征漂移的定义是（）A.模型预测结果的分布随时间发生变化B.模型输入特征的在线分布与训练时的分布发生显著差异C.标注数据的分布随时间发生变化D.模型权重随迭代发生的更新偏移14.小样本学习场景中，Few-shot学习的核心思路不包括（）A.利用预训练大模型的通用能力，仅通过少量示例提示完成任务B.学习任务无关的通用特征表征，少量样本即可适配新任务C.针对每个新任务收集百万级标注数据进行全参数微调D.基于元学习的方法，让模型学会如何快速学习新任务15.自动驾驶感知中常用的BEV（鸟瞰视角）表征，相比传统的前视角2D表征的核心优势是（）A.对摄像头硬件的要求更低B.可以直接建模3D空间位置关系，更适配下游规划控制任务C.训练需要的标注数据量更少D.推理速度更快二、多项选择题（共5题，每题4分，共20分。每题有2-4个正确答案，多选、少选、错选均不得分）16.下列属于大语言模型参数高效微调方法的有（）A.LoRAB.QLoRAC.PrefixTuningD.全参数微调17.向量数据库的典型适用场景包括（）A.检索增强生成（RAG）系统的知识库召回B.推荐系统的多路召回阶段C.多模态图文检索系统D.结构化数据的SQL查询18.下列属于大语言模型推理优化技术的有（）A.KV缓存B.FlashAttention2C.动态批处理D.INT4量化19.联邦学习落地过程中面临的核心挑战包括（）A.参与方之间的通信开销大B.参与方数据异质性导致模型收敛慢、精度低C.存在梯度泄露导致的用户隐私风险D.无法适配深度学习模型的训练20.扩散模型的典型应用场景包括（）A.文生图、图生图生成B.视频生成与超分辨率C.药物分子结构生成D.语音合成与增强三、判断题（共10题，每题1分，共10分。正确填√，错误填×）21.SVM的核函数核心作用是将低维空间的线性不可分数据映射到高维空间，使其线性可分。（）22.LoRA微调过程中，仅允许调整注意力层的Query和Value投影矩阵的LoRA参数，无法调整其他层的参数。（）23.RLHF的标准流程分为三个阶段：监督微调（SFT）、奖励模型（RM）训练、PPO强化学习优化。（）24.HNSW索引的查询复杂度随向量维度的升高而线性上升。（）25.采用成熟的4位量化方案（如GPTQ、AWQ）时，7B参数级大语言模型的精度损失通常可以控制在1%以内。（）26.多模态预训练模型CLIP采用对比学习的方式，对齐文本和图像的表征空间。（）27.特征漂移会导致模型在线推理效果下降，需要定期触发模型重新训练或微调。（）28.横向联邦学习的参与方需要先通过隐私求交（PSI）对齐共同的样本ID，再进行模型训练。（）29.RoPE位置编码的线性插值方法可以在无需微调的前提下，将大模型的最大支持序列长度提升2-4倍，且精度损失可控。（）30.扩散模型的前向过程是逐步向原始数据添加高斯噪声，直到数据变为完全随机的噪声。（）四、简答题（共3题，每题6分，共18分）31.请对比大语言模型参数高效微调方法LoRA、QLoRA、PrefixTuning的核心原理、显存开销、适用场景。32.请描述检索增强生成（RAG）系统的核心工作流程，并列举3种提升RAG召回准确率的常用手段。33.请解释大语言模型推理过程中KV缓存的作用原理，以及动态批处理（DynamicBatching）相比静态批处理的核心优势。五、编程题（共1题，7分）34.请基于PyTorch实现一个可直接嵌入Transformer线性层的LoRA模块，要求满足以下条件：（1）支持输入参数：in_features（输入维度）、out_features（输出维度）、r（LoRA秩）、lora_alpha（缩放因子）、lora_dropout（dropout概率）、merge_weights（是否在推理时合并LoRA权重到原始线性层）（2）训练阶段冻结原始线性层权重，仅更新LoRA的A、B矩阵参数（3）推理阶段支持将LoRA权重合并到原始线性层，消除推理额外开销（4）代码添加必要的注释说明六、综合案例设计题（共1题，15分）35.某头部电商平台计划2026年上线新一代多模态商品搜索系统，支持用户输入文本query、上传商品图片两种搜索方式，要求返回的商品准确率相比现有文本搜索提升30%以上，单请求平均响应延迟低于200ms，QPS支持峰值10万。请完成以下设计：（1）绘制系统整体架构图并分模块说明核心功能（2）核心算法选型与优化思路，分别说明表征层、召回层、排序层的设计方案（3）上线后的运维监控方案，覆盖性能、效果、异常三个维度的核心指标（4）针对用户输入模糊query（如“便宜的好看衣服”）、模糊图片的Badcase优化方案答案与解析一、单项选择题答案与解析1.答案：D解析：A选项错误，模型复杂度越高，偏差越低，方差越高；B选项错误，训练集准确率远高于测试集是过拟合，方差过高；C选项错误，增加训练数据量可以降低方差，但对偏差影响很小；D选项正确，L2正则化限制权重的大小，降低模型的拟合能力，从而降低方差，可能小幅提升偏差。2.答案：A解析：Precision=TP/(TP+FP)=92/(92+18)=0.836，Recall=TP/(TP+FN)=92/(92+8)=0.92，F1==≈0.876，故选A。3.答案：C解析：A选项错误，r越大，LoRA的参数量是r(in_features+out_features)，参数量越大；B选项错误，r越小，参数量越少，适配能力越弱；C选项正确，当r等于输出维度时，LoRA的BA矩阵可以拟合任意线性变换，等价于全参数微调；D选项错误，r越大，计算量越大，显存开销越高。解析：A选项错误，r越大，LoRA的参数量是r(in_features+out_features)，参数量越大；B选项错误，r越小，参数量越少，适配能力越弱；C选项正确，当r等于输出维度时，LoRA的BA矩阵可以拟合任意线性变换，等价于全参数微调；D选项错误，r越大，计算量越大，显存开销越高。4.答案：B解析：奖励模型的训练数据是人工对同一prompt的多个模型输出进行排序标注，学习人类的偏好，故选B。5.答案：B解析：HNSW是分层的图索引结构，平均查询时间复杂度为O(6.答案：B解析：A、D属于数据并行，C属于超参数并行，B是将模型的不同层分配到不同GPU，属于张量/模型并行，故选B。7.答案：B解析：CLIP的训练是将同一图文对的表征拉进，不同图文对的表征推远，采用的是对比损失，故选B。8.答案：B解析：A、C、D属于推理阶段的防御手段，对抗训练是训练阶段将对抗样本加入训练集，提升模型鲁棒性，故选B。9.答案：A解析：A正确，横向联邦是样本维度拆分，特征重叠多，样本重叠少；B错误，纵向联邦是特征维度拆分，样本重叠多，特征重叠少；C错误，联邦迁移学习适用于样本和特征重叠都少的场景；D错误，纵向联邦需要对齐样本ID，横向不需要。10.答案：B解析：扩散模型反向过程的核心是预测每一步添加的高斯噪声，然后逐步减去噪声得到原始数据，故选B。11.答案：B解析：A错误，RoPE是相对位置编码，可以建模相对位置；B正确，RoPE对Q和K做旋转，不同位置的QK点积包含相对位置信息；C错误，直接外推长序列会精度大幅下降，需要插值等优化；D错误，RoPE适用于Encoder、Decoder、Encoder-Decoder等所有Transformer结构。12.答案：D解析：INT4量化精度损失来自权重和激活的量化误差，KV缓存容量降低是量化带来的优势，不是精度损失的原因，故选D。13.答案：B解析：特征漂移的定义是模型输入特征的在线分布与训练时的分布发生显著差异，故选B。14.答案：C解析：小样本学习的核心是用少量样本完成任务适配，C选项收集百万级标注数据全参数微调是监督学习的思路，不属于小样本学习，故选C。15.答案：B解析：BEV表征可以统一多传感器的信息，直接建模3D空间的位置关系，更适配下游的规划控制任务，是其核心优势，故选B。二、多项选择题答案与解析16.答案：ABC解析：全参数微调需要调整模型所有参数，不属于参数高效微调，LoRA、QLoRA、PrefixTuning都只调整不到1%的参数，属于参数高效微调，故选ABC。17.答案：ABC解析：向量数据库适用于非结构化数据的相似性检索，结构化数据的SQL查询是关系型数据库的适用场景，故选ABC。18.答案：ABCD解析：KV缓存可以复用之前生成的Token的K、V向量，减少重复计算；FlashAttention2优化注意力计算的访存开销；动态批处理提升推理的GPU利用率；INT4量化降低显存开销，提升推理速度，都是大模型推理优化技术，故选ABCD。19.答案：ABC解析：联邦学习可以适配深度学习模型的训练，D错误，ABC都是联邦学习落地的核心挑战。20.答案：ABCD解析：扩散模型已经在文生图、视频生成、分子生成、语音合成等多个场景得到广泛应用，故选ABCD。三、判断题答案与解析21.答案：√解析：核函数是SVM的核心，通过高维映射实现线性可分。22.答案：×解析：LoRA可以根据需要应用到任意线性层，包括注意力层的K投影、MLP层的线性层等，不仅限于Q和V。23.答案：√解析：RLHF的标准三阶段流程正确。24.答案：×解析：HNSW的查询复杂度随向量维度升高是亚线性上升，不是线性。25.答案：√解析：GPTQ、AWQ等成熟4位量化方案，7B模型的精度损失通常在1%以内，部分场景甚至可以超过FP16精度。26.答案：√解析：CLIP采用图文对比学习的方式对齐表征空间，描述正确。27.答案：√解析：特征漂移会导致模型分布不匹配，效果下降，需要定期重训或微调。28.答案：×解析：纵向联邦需要对齐样本ID，横向联邦不需要。29.答案：√解析：RoPE的线性插值是常用的长度外推方法，无需微调即可将序列长度提升2-4倍，精度损失可控。30.答案：√解析：扩散模型前向过程是逐步加噪，反向是去噪，描述正确。四、简答题答案与解析31.答案：（1）核心原理：①LoRA：在Transformer的线性层旁插入两个低秩矩阵A和B，训练时冻结原始线性层，仅更新A和B的参数，推理时可以将BA乘以缩放因子后合并到原始线性层权重中，无额外推理开销。（1分）①LoRA：在Transformer的线性层旁插入两个低秩矩阵A和B，训练时冻结原始线性层，仅更新A和B的参数，推理时可以将BA乘以缩放因子后合并到原始线性层权重中，无额外推理开销。（1分）②QLoRA：在LoRA的基础上，将原始模型的权重量化为4位存储，同时引入双量化和分页优化器，进一步降低显存开销，训练时仅更新LoRA参数。（1分）③PrefixTuning：冻结模型主干参数，仅在Transformer的每一层输入前添加可训练的前缀向量，通过调整前缀向量适配下游任务，推理时需要保留前缀向量，会占用额外的序列长度空间。（1分）（2）显存开销：QLoRA<LoRA<PrefixTuning，QLoRA仅需要约1/10的全参数微调显存，7B模型仅需要6GB显存即可微调，LoRA需要10-15GB，PrefixTuning需要20GB以上。（1分）（3）适用场景：①LoRA：适用于显存充足、需要快速微调、推理无额外开销的场景，是目前工业界的主流方案。（1分）②QLoRA：适用于消费级GPU、显存受限的场景，适合个人开发者或中小规模团队的大模型微调。（0.5分）③PrefixTuning：适用于多任务场景，不同任务可以使用不同的前缀向量，无需为每个任务存储单独的模型权重。（0.5分）32.答案：（1）RAG核心工作流程：①离线阶段：将知识库文档进行分片、向量化，存储到向量数据库中，同时保留原始文本内容。（1分）②在线阶段：用户query经过向量化后，到向量数据库中检索Top-K个最相似的文档分片，将文档分片和query拼接成提示词，输入大语言模型，大模型基于检索到的文档内容生成准确的应答。（2分）（2）提升召回准确率的手段：①多路召回：采用多种不同的向量模型（如BGE、E5、BM25）分别召回，合并召回结果后进行重排，覆盖更多的相关文档。（1分）②分片优化：采用语义分片替代固定长度分片，将语义相关的内容划分到同一个分片中，避免相关内容被拆分到不同分片导致召回失败。（1分）③召回后重排：引入交叉编码器模型对召回的Top-K文档进行二次排序，筛选出最相关的前N个文档输入大模型，提升相关文档的排序位置。（1分，其他合理答案如query改写、HyDE生成伪文档召回等也可得分）33.答案：（1）KV缓存作用原理：大语言模型生成Token是自回归的，每生成一个新的Token时，都需要计算之前所有Token的注意力值。KV缓存将之前已经计算过的所有Token的Key和Value向量存储下来，生成新Token时只需要计算新Token的K、V，和缓存中的K、V一起计算注意力，避免重复计算之前的Token的K、V，大幅降低推理的计算量。（3分）（2）动态批处理相比静态批处理的优势：①静态批处理需要等待一个批次的所有请求都完成所有Token的生成后，才会处理下一个批次，GPU利用率低，不同请求的输出长度差异大时会出现明显的“木桶效应”。（1.5分）②动态批处理会将不同请求的生成步骤打散，在每个迭代步将当前空闲的请求加入批次，充分利用GPU的算力，大幅提升GPU利用率，提升系统的整体吞吐量，降低平均响应延迟，更适合高并发的在线推理场景。（1.5分）五、编程题答案与解析34.答案：```pythonimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFclassLoRALayer(nn.Module):def__init__(self,original_linear:nn.Linear,r:int,lora_alpha:float,lora_dropout:float=0.0,merge_weights:bool=False):super().__init__()self.r=rself.lora_alpha=lora_alphaself.merge_weights=merge_weights缩放因子，避免r变化时需要调整学习率self.scaling=lora_alpha/r冻结原始线性层的参数self.original_linear=original_linearself.original_linear.weight.requires_grad=Falseifself.original_linear.biasisnotNone:self.original_linear.bias.requires_grad=False当r=0时不启用LoRA，直接返回原始线性层的输出ifr>0:初始化LoRA的A矩阵，输入维度到r，用正态分布初始化self.lora_A=nn.Linear(self.original_linear.in_features,r,bias=False)nn.init.normal_(self.lora_A.weight,std=1e-5)初始化LoRA的B矩阵，r到输出维度，初始化为0，保证训练初始阶段LoRA不影响原始模型输出self.lora_B=nn.Linear(r,self.original_linear.out_features,bias=False)nn.init.zeros_(self.lora_B.weight)LoRA的Dropout层self.lora_dropout=nn.Dropout(p=lora_dropout)iflora_dropout>0elsenn.Identity()标记是否已经合并了LoRA权重self.merged=Falsedefforward(self,x:torch.Tensor)->torch.Tensor:原始线性层的输出original_out=self.original_linear(x)ifself.r==0orself.merged:returnoriginal_out计算LoRA的输出：x->Dropout->A->B->缩放lora_out=self.lora_B(self.lora_A(self.lora_dropout(x)))self.scalinglora_out=self.lora_B(self.lora_A(self.lora_dropout(x)))self.scaling合并原始输出和LoRA输出returnoriginal_out+lora_outdefmerge(self):推理阶段合并LoRA权重到原始线性层，消除额外开销ifself.r>0andnotself.merged:计算LoRA的权重：BAscaling计算LoRA的权重：BAscalinglora_weight=(self.lora_B.weight@self.lora_A.weight)self.scalinglora_weight=(self.lora_B.weight@self.lora_A.weight)self.scaling合并到原始线性层的权重中self.original_linear.weight.data+=lora_weightself.merged=Truedefunmerge(self):如需继续微调，可拆分LoRA权重ifself.r>0andself.merged:lora_weight=(self.lora_B.weight@self.lora_A.weight)self.scalinglora_weight=(self.lora_B.weight@self.lora_A.weight)self.scalingself.original_linear.weight.data-=lora_weightself.merged=False```评分标准：原始线性层冻结（1分）、LoRA矩阵A和B的初始化（2分）、缩放因子计算（1分）、forward逻辑正确（1分）、merge方法实现（1分）、注释完整（1分）。六、综合案例设计题答案与解析35.答案：（1）系统整体架构分为6个核心模块，模块说明如下：（4分）①接入层：负责接收用户的搜索请求，包括文本query和图片，进行参数校验、限流、降级，同时做负载均衡，将请求分发到下游的处理节点。②预处理层：对文本query进行纠错、改写、实体识别等预处理；对上传的图片进行去噪、裁剪、主体检测等预处理，提取商品主体区域。③表征层：将预处理后的文本和图片输入多模态表征模型，生成统一维度的向量表征。④检索层：将表征向量输入向量数据库进行Top-K召回，同时结合传统的文本检索引擎（如Elasticsearch）进行多路召回，召回结果输入排序层。⑤排序层：召回结果经过粗排、精排、重排三个阶段，最终输出排序后的商品列表返回给用户。⑥离线层：负责商品库的定期更新、表征模型的微调、向量数据库的更新、效果数据的回流分析。（2）核心算法选型与优化思路：（4分）①表征层：选用2025年开源的多模态预训练模型SigL