垂类行业大模型微调工程师考试试卷及答案

垂类行业大模型微调工程师考试试卷及答案垂类行业大模型微调工程师考试试卷及答案一、填空题（共10题，每题1分，共10分）1.轻量级微调方法中，仅训练低秩适配器（Adapter）的是______。2.指令微调（SFT）常用数据集格式是______（JSON/JSONL）。3.QLoRA通常采用______位量化平衡显存与性能。4.对齐人类偏好的核心方法是______（RLHF）。5.预训练模型tokenizer的核心算法是______（字节对编码）。6.防止预训练知识遗忘，常______（冻结/解冻）底层参数。7.生成任务常用______交叉熵损失（token级预测）。8.提升推理速度的部署工具是______（vLLM）。9.垂类微调核心目标是______行业场景+提升任务准确率。10.微调学习率一般选______（1e-5/1e-2）小数值。二、单项选择题（共10题，每题2分，共20分）1.显存占用最低的微调方法是？A.FullFine-tuningB.LoRAC.QLoRAD.零样本2.LoRA的“秩（r）”通常选？A.1-10B.100-200C.500+D.1000+3.SFT的核心目标是？A.泛化能力B.对齐人类指令C.提升速度D.降显存4.RLHF中PPO的作用是？A.训奖励模型B.优化输出匹配偏好C.生成数据D.量化模型5.不属于微调前数据预处理的是？A.清洗B.去重C.随机生成D.格式统一6.tokenizer不做的是？A.文本转tokenB.算长度C.生成模型参数D.处理特殊符号7.batchsize受限于？A.模型大小B.GPU显存C.学习率D.损失函数8.用于推理部署的工具是？A.TransformersB.vLLMC.PyTorchD.TensorFlow9.垂类微调最大优势是？A.泛化更强B.行业任务准确率高C.训练更快D.无需标注10.SFT输入格式不含？A.指令B.输入文本C.输出文本D.模型参数三、多项选择题（共10题，每题2分，共20分）1.微调前数据预处理环节包括？A.清洗B.去重C.格式统一D.标注指令-响应2.LoRA可调参数有？A.秩rB.alphaC.预训练权重D.Adapter权重3.QLoRA核心技术？A.4bit量化B.冻结大部分层C.LoRAAdapterD.全参数训练4.SFT常见任务？A.行业问答B.文档摘要C.代码生成D.图像识别5.RLHF核心阶段？A.预训练B.SFTC.奖励模型训练D.PPO微调6.微调需监控的指标？A.损失值B.困惑度C.任务准确率D.GPU温度7.垂类微调优势？A.适配行业B.降推理成本C.提准确率D.替代预训练8.模型部署方式？A.API服务B.本地运行C.容器化D.修改预训练模型9.避免过拟合的方法？A.早停B.正则化C.数据集增强D.增大学习率10.微调硬件要求？A.GPU显存B.GPU算力C.CPU核心数D.内存大小四、判断题（共10题，每题2分，共20分）1.LoRA需训练所有预训练参数。（）2.QLoRA支持4bit量化。（）3.SFT无需标注数据。（）4.奖励模型评估输出质量。（）5.tokenizer词汇表越大性能越好。（）6.batchsize越大效果越好。（）7.垂类微调可替代预训练。（）8.vLLM用连续批处理提速度。（）9.交叉熵仅用于分类。（）10.SFT输出需严格遵循格式。（）五、简答题（共4题，每题5分，共20分）1.简述LoRA的核心原理及优势。2.SFT的主要步骤是什么？3.垂类微调前数据预处理关键环节？4.简述RLHF的三个核心阶段及作用。六、讨论题（共2题，每题5分，共10分）1.对比LoRA、QLoRA、FullFine-tuning的适用场景及优缺点。2.微调中如何平衡模型性能与硬件资源消耗？---答案部分一、填空题答案1.LoRA2.JSONL3.44.强化学习人类反馈（RLHF）5.BPE（字节对编码）6.冻结7.词级（token级）8.vLLM9.适配10.1e-5二、单项选择题答案1.C2.A3.B4.B5.D6.C7.B8.B9.B10.D三、多项选择题答案1.ABCD2.ABD3.ABC4.ABC5.BCD6.ABC7.ABC8.ABC9.ABC10.AB四、判断题答案1.×2.√3.×4.√5.×6.×7.×8.√9.×10.√五、简答题答案1.LoRA核心原理：冻结预训练模型大部分参数，仅在注意力层插入低秩Adapter，训练Adapter参数（远少于全参数）。优势：显存占用低、训练速度快、可复用Adapter、避免灾难性遗忘。2.SFT步骤：①收集指令-响应标注数据；②预处理（清洗、格式统一）；③加载预训练模型并冻结底层参数；④设置微调参数（学习率、batchsize）；⑤训练并监控指标；⑥验证后保存模型。3.关键环节：①数据清洗（去噪声）；②去重（消重复）；③格式统一（指令-输入-输出）；④标注（清晰响应）；⑤平衡样本；⑥划分训练/验证/测试集。4.RLHF三阶段：①SFT（用标注数据微调，理解指令）；②奖励模型训练（用偏好数据评估输出质量）；③PPO微调（用奖励模型反馈优化输出，对齐人类偏好）。六、讨论题答案1.FullFine-tuning：适用数据量大、硬件充足（多GPU大显存）；优点性能最优，缺点显存高、易遗忘。LoRA：适用数据中等、硬件有限（单GPU）；优点显存低、速度快，缺点复杂任务略逊。QLoRA：适用超大规模模型（7B+）、显存不足；优点显存节省（1/4