大模型微调工程师岗位招聘考试试卷及答案

大模型微调工程师岗位招聘考试试卷及答案第一部分填空题（共10题，每题1分）1.大模型微调的核心目标是______预训练模型以适应特定任务。2.LoRA的全称是______。3.大模型微调常用开源数据集包括MSMARCO、______（举1例）。4.参数高效微调的英文缩写是______。5.PEFT库由______（组织）开发。6.QLoRA的关键技术之一是______量化。7.微调常用优化器包括AdamW、______（举1例）。8.大模型微调的两种主要方式是全参数微调和______微调。9.HuggingFace处理大模型的库是______。10.微调常用学习率策略是______（如线性衰减）。第二部分单项选择题（共10题，每题2分）1.LoRA的rank通常范围是？A.1-100B.100-500C.500-1000D.1000以上2.全参数微调的主要缺点是？A.速度慢B.显存占用高C.效果差D.部署难3.QLoRA是否支持4-bit量化？A.是B.否C.仅7B模型D.仅13B模型4.PEFT中低秩适应的方法是？A.LoRAB.PrefixTuningC.PromptTuningD.AdapterTuning5.微调batchsize过小会导致？A.训练不稳定B.速度过快C.效果过好D.显存溢出6.不属于参数高效微调的是？A.LoRAB.QLoRAC.全参数微调D.AdapterTuning7.7B模型微调至少需要多少显存？A.8GBB.16GBC.24GBD.32GB8.LoRA通常插入Transformer的哪一层？A.输入嵌入层B.注意力Q、V矩阵C.输出层D.全连接层9.梯度裁剪的作用是？A.加速训练B.防止梯度爆炸C.减少显存D.提升效果10.常用参数高效微调库是？A.TensorFlowB.PyTorchC.PEFTD.NumPy第三部分多项选择题（共10题，每题2分，多选/少选不得分）1.参数高效微调方法包括？A.LoRAB.QLoRAC.PrefixTuningD.全参数微调2.微调前需完成的步骤有？A.数据预处理B.模型加载C.学习率设置D.硬件配置3.大模型微调应用场景包括？A.对话系统B.代码生成C.文本分类D.图像识别4.QLoRA的优势有？A.显存低B.速度快C.性能不损失D.支持任意模型5.微调需监控的指标包括？A.LossB.AccuracyC.PerplexityD.训练时间6.PEFT支持的模型包括？A.LLaMAB.GPT-2C.BERTD.Mistral7.文本预处理方法有？A.清洗B.分词C.标签映射D.数据增强8.微调注意事项包括？A.学习率不宜大B.避免过拟合C.合理batchsizeD.无需监控9.LoRA应用于Transformer的哪些组件？A.注意力Q矩阵B.注意力V矩阵C.全连接层D.嵌入层10.微调后部署方式包括？A.API服务B.本地推理C.量化部署D.直接部署第四部分判断题（共10题，每题2分，√/×）1.全参数微调效果一定比参数高效微调好。（）2.LoRA仅训练少量参数。（）3.QLoRA不能用于13B及以上模型。（）4.PEFT仅支持HuggingFace模型。（）5.学习率越大，训练效果越好。（）6.参数高效微调无需高显存。（）7.LoRArank越大效果越好。（）8.参数高效微调需冻结大部分预训练参数。（）9.大模型微调必须分布式训练。（）10.微调后模型可直接部署。（）第五部分简答题（共4题，每题5分）1.简述LoRA的核心思想。2.对比全参数微调与参数高效微调的差异。3.说明QLoRA的关键技术及优势。4.微调前数据预处理的主要步骤。第六部分讨论题（共2题，每题5分）1.如何选择大模型微调方法（全参数/参数高效）？结合场景说明。2.微调出现过拟合，应采取哪些措施？---答案部分填空题答案1.适配2.Low-RankAdaptation3.SQuAD（或IMDB、LCSTS）4.PEFT5.HuggingFace6.4-bit7.SGD（或Adagrad）8.参数高效9.Transformers10.学习率衰减单项选择题答案1.A2.B3.A4.A5.A6.C7.C8.B9.B10.C多项选择题答案1.ABC2.ABCD3.ABC4.ABC5.ABC6.ABCD7.ABCD8.ABC9.AB10.ABC判断题答案1.×2.√3.×4.×5.×6.√7.×8.√9.×10.×简答题答案1.LoRA通过低秩矩阵分解，将预训练模型需更新的权重拆分为两个小矩阵（A、B），仅训练这两个矩阵，冻结原模型大部分参数。既保留预训练通用知识，又快速适配任务，大幅减少参数和显存占用。2.差异：①参数：全参数更新所有，参数高效仅更新少量；②显存：全参数需高显存（7B需数十GB），参数高效仅几GB；③速度：参数高效更快；④效果：全参数在适配度高的场景略好，但参数高效更灵活、成本低。3.关键技术：4-bit量化、冻结原模型+训练LoRA、梯度累加。优势：显存减少75%，训练速度快，性能接近全参数，支持大模型在消费级GPU微调。4.步骤：①文本清洗（去噪声）；②分词（用模型分词器）；③标签映射（任务标签转模型格式）；④数据划分（7:2:1分训练/验证/测试）；⑤格式转换（适配模型输入，如对话标签）。讨论题答案1.选择依据：①资源：有A100选全参数（极致效果），消费级GPU选QLoRA；②场景：专业问答选全参数，客服对话选LoRA；③模型：7B以上选QLoRA，小模型可选全参数；④成本：全参数成本高，参数高效更经济。例如：医疗问答需高准确率+A100，选全参数；客服对话需快速上线，选LoRA。2.措施：①数据增强