大模型微调辅助技师考试试卷及答案

大模型微调辅助技师考试试卷及答案一、填空题（10题，每题1分）1.大模型微调中常用的轻量级方法是______2.显存有限场景的微调技术是______3.有监督微调（SFT）依赖______数据4.微调时通常冻结预训练模型的大部分______5.文本生成的常用评估指标是______6.大模型微调首选硬件是______7.微调目标是适配______任务8.预训练模型学习通用______9.数据集需划分为训练集、验证集和______10.垂直领域微调用______数据答案：1.LoRA2.QLoRA3.标注4.层5.BLEU6.GPU（如A100）7.下游8.知识/表示9.测试集10.领域专属二、单项选择题（10题，每题2分）1.LoRA的核心优势是？A.参数量少B.无需标注C.速度最快D.支持所有任务2.QLoRA量化精度是？A.8-bitB.4-bitC.16-bitD.32-bit3.SFT的输入是？A.无标注文本B.标注问答对C.图像D.音频4.冻结预训练层的目的是？A.提升精度B.减少计算C.简化代码D.多任务支持5.BLEU用于评估？A.文本分类B.文本生成C.命名实体D.情感分析6.最适合大模型微调的GPU是？A.GTX1660B.RTX3090C.A100D.CPU7.零样本微调是否需要标注？A.需要B.不需要C.可选D.必须大规模8.LoRA中“r”代表？A.学习率B.秩（参数量控制）C.epoch数D.批量大小9.微调性能不足优先调？A.学习率B.模型大小C.硬件D.任务类型10.不属于微调技术的是？A.LoRAB.QLoRAC.预训练D.SFT答案：1.A2.B3.B4.B5.B6.C7.B8.B9.A10.C三、多项选择题（10题，每题2分）1.微调前准备包括？A.领域数据集B.GPU显存检查C.预训练模型加载D.标注工具2.LoRA适用场景？A.显存不足B.垂直领域C.全参数微调D.无标注数据3.评估微调的指标有？A.准确率B.F1值C.BLEUD.ROUGE4.微调正则化方法？A.权重衰减B.DropoutC.学习率衰减D.批量调整5.QLoRA核心特点？A.4-bit量化B.冻结所有层C.低显存D.性能损失小6.SFT步骤包括？A.数据清洗B.标注C.划分数据集D.训练评估7.大模型微调常见任务？A.文本分类B.问答C.摘要D.图像生成8.需调整的超参数？A.学习率B.批量大小C.epoch数D.LoRA秩r9.领域微调好处？A.提升垂直性能B.减少泛化误差C.降低成本D.跨领域迁移10.微调后优化方法？A.量化B.剪枝C.蒸馏D.增加层数答案：1.ABC2.AB3.ABCD4.AB5.ACD6.ABCD7.ABC8.ABCD9.AB10.ABC四、判断题（10题，每题2分）1.LoRA参数量远小于全参数微调。（√）2.QLoRA可在CPU高效运行。（×）3.SFT必须依赖标注数据。（√）4.微调需更新所有预训练层。（×）5.BLEU是文本分类核心指标。（×）6.A100适合大模型微调。（√）7.零样本微调无需标注。（√）8.领域微调仅适用于NLP。（×）9.LoRA秩r越大参数量越多。（√）10.微调后模型可直接部署。（×）五、简答题（4题，每题5分）1.简述LoRA与全参数微调的区别答案：LoRA是轻量级微调，仅更新注意力层的少量秩矩阵（参数量为全参数的0.1%-1%），显存占用低；全参数微调需更新所有预训练参数，参数量大、显存需求高。LoRA适合资源有限场景，全参数微调性能可能更高但成本高、易过拟合下游任务。2.微调前数据预处理关键步骤答案：①数据清洗：去噪声、重复、无效数据；②领域适配：筛选垂直专属数据；③标注：SFT需标注问答对/分类标签；④划分：70%训练、20%验证、10%测试；⑤格式化：转换为prompt+response等模型输入格式。3.如何评估微调后效果答案：①定量：用任务指标（分类用准确率/F1，生成用BLEU/ROUGE）；②定性：人工检查输出准确性、流畅性；③泛化：用未见过的数据验证是否过拟合；④效率：检查推理速度、显存占用是否符合部署要求。4.QLoRA核心原理及优势答案：原理：对预训练模型4-bit量化（减少显存），同时添加LoRA可训练参数。优势：①显存降75%（对比全参数）；②保留99%以上性能；③支持消费级GPU（RTX3090）微调10B+模型；④无需重训预训练模型，降低成本。六、讨论题（2题，每题5分）1.医疗领域微调需注意哪些问题？答案：医疗对准确性要求极高，需注意：①数据合规：遵循HIPAA等隐私法规，避免患者数据泄露；②数据质量：用权威数据集（如MIMIC），医生参与标注；③领域适配：聚焦医疗问答、病历摘要，避免通用知识偏差；④安全验证：模拟临床场景测试，确保无错误输出；⑤伦理标注：明确“非专业诊断”，避免误导。2.如何平衡微调性能与计算成本？答案：①选轻量技术：优先LoRA/QLoRA，减少参数量