大模型训练工程师考试试卷及答案

大模型训练工程师考试试卷及答案一、填空题（共10题，每题1分）1.大模型训练中，常用的分布式训练策略包括数据并行、模型并行和______并行。2.Transformer架构的核心是自注意力机制，其计算复杂度与序列长度的______成正比。3.大模型预训练数据预处理通常需经过去重、清洗和______等步骤。4.AdamW优化器的核心改进是对______进行权重衰减。5.模型参数超单卡显存时，需用______技术拆分到多卡。6.大模型预训练常见目标是______任务（预测下一个token）。7.主流大模型训练加速卡厂商除NVIDIA外，还有______。8.LoRA技术仅训练______参数来降低微调成本。9.分布式训练同步梯度的方式包括AllReduce和______。10.大模型常用避免梯度消失的激活函数是______。二、单项选择题（共10题，每题2分）1.下列不属于大模型数据预处理的是？A.去重B.标注C.量化D.清洗2.Transformer自注意力Q、K、V矩阵维度关系是？A.d_k=d_vB.d_k>d_vC.d_k<d_vD.无固定关系3.大模型训练最适合的加速硬件是？A.CPUB.GPUC.机械硬盘D.内存4.LoRA主要针对大模型哪个部分微调？A.嵌入层B.注意力层C.输出层D.所有层5.下列不是预训练常见任务的是？A.MLMB.NSPC.CLSD.图像分类6.数据并行的核心是？A.拆分模型B.拆分数据C.拆分梯度D.拆分优化器7.AdamW与Adam的主要区别是？A.学习率B.权重衰减C.动量D.梯度计算8.梯度累积的作用是？A.增batch不增显存B.减训练时间C.提精度D.降过拟合9.常用于大模型训练的框架是？A.TensorFlowB.Scikit-learnC.PandasD.NumPy10.大模型推理量化的目的是？A.提精度B.降显存C.增参数D.加快训练三、多项选择题（共10题，每题2分）1.大模型训练优化技巧包括？A.梯度累积B.LoRAC.模型并行D.数据增强2.Transformer核心组件有？A.自注意力层B.前馈网络C.残差连接D.层归一化3.预训练数据来源包括？A.公开文本B.私有领域数据C.代码仓库D.图像数据4.分布式训练类型有？A.数据并行B.模型并行C.流水线并行D.任务并行5.大模型常用激活函数有？A.ReLUB.GELUC.SwiGLUD.Sigmoid6.LoRA优势包括？A.减训练参数B.降显存C.保性能D.加快训练7.大模型训练硬件因素包括？A.显存容量B.计算算力C.带宽D.存储容量8.微调常见方法有？A.全参数微调B.LoRAC.AdapterD.冻结嵌入层9.避免过拟合的方法包括？A.增数据量B.正则化C.早停D.量化10.大模型训练关键步骤有？A.数据预处理B.模型构建C.分布式训练D.评估验证四、判断题（共10题，每题2分）1.模型并行只能拆分注意力层。（）2.自注意力不需要计算注意力分数。（）3.LoRA可用于所有大模型微调。（）4.AllReduce比参数服务器效率高。（）5.batchsize越大训练效果越好。（）6.GELU比ReLU更适合大模型。（）7.梯度裁剪可避免梯度爆炸。（）8.量化只用于推理，不用于训练。（）9.模型参数越大性能一定越好。（）10.数据并行中每卡训练相同模型副本。（）五、简答题（共4题，每题5分）1.简述大模型数据预处理的主要步骤及目的。2.解释LoRA的核心原理及优势。3.数据并行与模型并行的区别是什么？4.梯度累积的作用及实现方式是什么？六、讨论题（共2题，每题5分）1.如何平衡大模型性能与训练成本？2.大模型训练常见瓶颈及解决方法有哪些？---答案一、填空题1.流水线2.平方3.格式统一4.权重矩阵5.模型并行6.掩码语言模型（MLM）7.AMD（或昇腾）8.低秩矩阵9.参数服务器10.GELU二、单项选择题1.C2.A3.B4.B5.D6.B7.B8.A9.A10.B三、多项选择题1.ABC2.ABCD3.ABC4.ABCD5.ABC6.ABCD7.ABCD8.ABCD9.ABC10.ABCD四、判断题1.×2.×3.√4.√5.×6.√7.√8.×9.×10.√五、简答题1.答案：步骤包括去重（删重复文本）、清洗（除噪声）、格式统一（统一编码/结构）、token化（转模型可处理序列）。目的是提升数据质量，减少噪声干扰，保证训练稳定有效，适配模型输入要求。2.答案：核心是冻结大模型大部分参数，仅在注意力层添加低秩矩阵，训练这些低秩矩阵适配下游任务。优势：减训练参数（仅0.1%-1%）、降显存占用、保性能、加快训练速度。3.答案：数据并行是拆分数据到多卡，每卡训相同模型副本；模型并行是拆分模型到多卡，传递中间结果。区别：数据并行适合参数≤单卡显存，实现简单；模型并行适合参数>单卡显存，突破显存限制。4.答案：作用是模拟大batch训练（显存不足时），避免溢出。实现：设小batch（如16），累积N步梯度后更新参数（总batch=16×N），需调整学习率与batch成正比，保证稳定。六、讨论题1.答案：平衡需多维度：①数据：用高质量低冗余数据；②模型：用LoRA/Adapter轻量微调，选高效架构；③硬件：合理分布式训练，选性价比加速卡；④训练：梯度累积、混合精度、早停；⑤推理：训练时考虑量化。避免盲目追大参数，按需选模型规模。2.答案：常见瓶颈