AI 大模型微调工程师岗位招聘考试试卷及答案

AI大模型微调工程师岗位招聘考试试卷及答案一、填空题（共10题，每题1分）1.大模型微调中，仅更新部分参数（如适配器）的方法称为______微调。2.LoRA（低秩适应）通过在______和______矩阵中插入低秩矩阵实现参数高效微调。3.微调数据集通常需标注______，匹配模型输出格式。4.HuggingFaceTransformers加载预训练模型的核心类是______。5.学习率过高会导致______，过低会训练缓慢。6.指令微调核心是让模型学习______的映射关系。7.PrefixTuning在输入前插入______。8.分类任务常用______交叉熵损失。9.显存不足可采用______（如梯度累积、混合精度）。10.多模态微调需整合______和文本模态。二、单项选择题（共10题，每题2分）1.以下属于参数高效微调的是？A.全参数微调B.LoRAC.数据增强D.模型蒸馏2.LoRA利用矩阵______特性减少参数。A.低秩分解B.正交性C.稀疏性D.对称性3.指令微调提升模型______能力。A.生成多样性B.任务泛化C.推理速度D.显存占用4.HuggingFace分类任务Trainer默认损失函数是？A.MSEB.交叉熵C.BCEWithLogitsLossD.HingeLoss5.哪种情况无需微调？A.预训练与目标分布差异大B.目标是预训练子任务C.目标数据极少D.需适配特定领域6.PrefixTuning可训练参数位于？A.模型权重内部B.输入嵌入层前C.输出层后D.注意力层中间7.混合精度训练优化______。A.训练速度B.显存占用C.两者都是D.模型精度8.梯度累积作用是______。A.减少轮数B.模拟大批次C.提升精度D.减少过拟合9.指令微调适合______数据集。A.单任务标注B.多任务指令-输出C.无标注文本D.图像分类10.全参数微调优势是______。A.训练快B.显存少C.任务适配强D.实现简单三、多项选择题（共10题，每题2分）1.大模型微调方法包括？A.全参数微调B.LoRAC.PrefixTuningD.PromptTuning2.微调前准备工作有？A.标注数据集B.选预训练模型C.配置框架D.准备GPU3.LoRA适用场景？A.显存不足B.数据量小C.多任务快速适配D.追求极致性能4.指令微调关键要素？A.多样化指令B.高质量输出C.明确任务边界D.大批次训练5.显存优化策略？A.混合精度B.梯度累积C.模型并行D.数据并行6.微调常用框架？A.HuggingFaceTransformersB.PyTorchLightningC.TensorFlowKerasD.FastAPI7.属于PEFT的是？A.LoRAB.AdapterTuningC.PromptTuningD.全参数微调8.微调需监控的指标？A.训练损失B.验证准确率C.学习率D.显存占用9.多模态微调整合的模态？A.文本B.图像C.音频D.视频10.指令微调与PromptTuning区别？A.指令微调用任务指令，PromptTuning用提示词B.指令微调针对多任务C.指令微调需标注，PromptTuning不需要D.两者都是参数高效方法四、判断题（共10题，每题2分）1.LoRA可应用于Transformer所有层。（）2.全参数微调效果一定比PEFT好。（）3.指令微调无需标注数据。（）4.混合精度训练降低模型精度。（）5.PrefixTuning参数比LoRA多。（）6.数据量越大微调效果越好。（）7.HuggingFaceTrainer可自动处理梯度累积。（）8.多模态微调仅需文本+图像。（）9.梯度累积增加训练时间。（）10.指令微调提升零样本能力。（）五、简答题（共4题，每题5分）1.简述LoRA核心原理。2.指令微调主要优势是什么？3.微调前数据集准备工作有哪些？4.说明混合精度训练的逻辑及优势。六、讨论题（共2题，每题5分）1.对比全参数微调与LoRA的适用场景及优缺点。2.指令微调中设计高质量指令集的原则（至少3个）。---答案部分一、填空题答案1.参数高效2.注意力Query；注意力Value（顺序可换）3.目标标签4.AutoModel5.过拟合/训练不稳定6.指令到输出7.可训练前缀向量8.分类9.显存优化策略10.图像（或音频、视频等合理模态）二、单项选择题答案1.B2.A3.B4.B5.B6.B7.C8.B9.B10.C三、多项选择题答案1.ABCD2.ABCD3.ABC4.AB5.ABCD6.ABC7.ABC8.ABCD9.ABCD10.AD四、判断题答案1.对2.错3.错4.错5.错6.错7.对8.错9.对10.对五、简答题答案1.LoRA在Transformer注意力层的Query/Value矩阵中插入低秩矩阵A（r×k）和B（d×r，r<<d,k），仅训练A、B，冻结原矩阵W。利用低秩分解减少参数（仅原矩阵的(r/d+r/k)倍），平衡效果与资源成本。2.①提升任务泛化：无需单任务微调，支持零样本适配；②降低使用门槛：自然语言指令即可引导任务；③整合多任务数据：减少对特定标注的依赖；④快速适配新场景。3.①明确任务输入输出格式；②收集标注数据并清洗（去噪、去重）；③划分训练/验证/测试集（7:2:1）；④可选数据增强提升鲁棒性；⑤适配框架格式（如HuggingFaceDataset）。4.逻辑：权重/激活用FP16，前向FP16计算，损失/梯度累加用FP32，梯度转FP16更新。优势：显存减50%，计算提速，动态损失缩放避免精度损失，解决大模型显存不足。六、讨论题答案1.全参数微调：适用极致性能、任务分布差异大场景，优点效果最优，缺点资源成本高、训练慢；LoRA：适用显存不足、多任务快速适配，优点参数少（1-5%）、训练快，缺点复杂任务效果略逊。选择需平衡性能与成本：