2025年大模型笔试真题（网友回忆版）及答案解析

2025年大模型笔试真题（网友回忆版）及答案解析一、单项选择题（本大题共15小题，每小题2分，共30分）1.Transformer模型中，标准自注意力机制关于输入序列长度n的计算复杂度是以下哪一项？A.OB.OC.OD.O答案C解析标准自注意力需要计算QKT，得到n×2.GPT系列模型在预训练阶段通常采用的任务是？A.掩码语言模型B.下一句预测C.自回归语言模型D.对比学习答案C3.LoRA（Low-RankAdaptation）的主要思想是？A.推理时对模型进行剪枝B.冻结原始预训练权重，注入可训练的低秩矩阵来近似权重更新C.对模型权重进行低位量化D.使用教师模型蒸馏学生模型答案B4.关于Transformer中的位置编码，下列说法正确的是？A.正弦位置编码可以不受限制地外推到任意序列长度B.可学习位置编码在训练长度之外通常也能自然泛化C.旋转位置编码RoPE通过旋转向量来编码相对位置信息D.位置编码只用于Transformer解码器答案C5.大模型推理阶段的显存占用主要取决于？A.学习率大小B.模型参数量、KVcache和激活值C.训练数据规模D.优化器状态答案B6.以下哪一项是RLHF的典型流程？A.SFT→训练奖励模型→PPO强化学习优化B.PPO→SFT→训练奖励模型C.DPO→SFT→训练奖励模型D.训练奖励模型→SFT→PPO答案A7.关于KVcache，下列说法正确的是？A.减少模型参数量B.推理时缓存历史token的Key和Value，避免重复计算C.主要用于训练阶段加速D.会显著降低模型生成质量答案B8.大模型“幻觉”通常指的是？A.模型参数持续更新B.生成内容与事实、用户输入或上下文不一致C.注意力权重过大D.反向传播梯度爆炸答案B9.在显存有限的训练场景中，以下哪项技术可以用于模拟更大的batchsize？A.数据增强B.梯度累积C.直接增大batchsizeD.提高学习率答案B10.Transformer中使用LayerNorm的主要作用是？A.防止模型欠拟合B.稳定训练过程并加速收敛C.降低注意力计算复杂度D.增加网络参数量答案B11.Top-p（nucleus）采样中，参数p的含义是？A.取概率最高的p个tokenB.从累积概率达到p的最小token集合中进行采样C.随机丢弃概率为p的tokenD.直接控制softmax温度答案B12.在多头注意力机制中，不同头之间的参数通常是？A.完全共享B.相互独立C.交替共享D.只在训练时共享答案B13.BERT与GPT在模型结构上的根本区别是？A.BERT采用Transformer编码器，GPT采用Transformer解码器B.BERT的参数量一定大于GPTC.GPT无法进行微调D.BERT是自回归语言模型答案A14.关于Softmax函数，下列说法正确的是？A.输出值可以大于1B.输出所有元素之和为1C.常用于二分类问题的输出层D.对输入整体平移非常敏感答案B15.将FP32权重量化为8-bit权重，理论上权重存储大小会变为原来的多少？A.1B.1C.1D.1答案B二、多项选择题（本大题共5小题，每小题2分，共10分。多选、少选、错选均不得分）1.关于Transformer中的多头注意力，下列说法正确的有？A.允许模型在不同表示子空间中关注不同位置B.每个头的维度通常为dC.增加头数一定会减少总参数量D.自注意力计算可以并行化答案ABD解析C错误。当总维度固定时，增加头数会降低每个头的维度，但多头注意力总参数量大致不变。2.以下属于大模型推理优化技术的有？A.KVcacheB.FlashAttentionC.PagedAttentionD.数据并行训练答案ABC解析数据并行训练主要用于训练阶段，不属于推理优化技术。3.关于LoRA，下列说法正确的有？A.训练时通常冻结原始预训练权重B.只训练两个低秩矩阵A和BC.通常选择较小的秩r以降低可训练参数量D.训练完成后无法合并回原始权重，推理时必须增加额外计算答案ABC解析D错误。LoRA训练完成后可以将BA4.下列指标中，常用于评估大模型生成文本质量的有？A.PerplexityB.BLEUC.AccuracyD.ROUGE答案ABD解析Accuracy主要用于分类任务，不适合作为文本生成质量的通用评估指标。5.关于RLHF中的PPO算法，下列说法正确的有？A.用于优化语言模型策略B.通常需要约束当前策略与参考模型之间的KL散度C.直接优化奖励模型的内部参数D.属于强化学习算法答案ABD解析C错误。PPO用于优化语言模型策略，奖励模型参数在训练完成后通常保持固定。三、判断题（本大题共10小题，每小题1分，共10分）1.标准自注意力机制中，query和key之间的相似度通常可以使用点积计算。答案正确2.BERT使用自回归方式逐个预测下一个token。答案错误3.LoRA训练完成后，可以将低秩矩阵合并到原始权重中，推理时无额外计算开销。答案正确4.采样时温度参数越低，模型生成文本的随机性越强。答案错误5.Transformer编码器可以并行处理整个输入序列。答案正确6.大模型参数量越大，推理阶段显存占用一定越小。答案错误7.RLHF中的奖励模型通常输出一个标量分数，用于衡量prompt-response对的质量。答案正确8.多模态大模型只能处理文本输入。答案错误9.梯度累积可以在显存有限的情况下模拟更大的batchsize。答案正确10.提示工程通过修改输入prompt来引导模型输出，通常不更新模型参数。答案正确四、简答题（本大题共4小题，每小题5分，共20分）1.简述Transformer中自注意力机制的计算流程。答案(1)对输入矩阵X进行线性投影，得到Q、K、V；(2)计算注意力分数矩阵S=(3)将分数矩阵除以dk(4)对缩放后的分数矩阵按行进行Softmax，得到注意力权重；(5)用注意力权重对V加权求和，得到输出。2.什么是大模型的“幻觉”？请列举至少两种缓解方法。答案幻觉是指模型生成的内容与事实、用户输入或上下文不一致。缓解方法包括：使用RAG检索增强生成约束输出；通过RLHF或DPO等方法进行人类偏好对齐；在prompt中增加明确的事实约束；引入外部知识库或事实核查模块；使用高质量可信数据进行微调。3.说明LoRA的基本原理，并比较其相对于全参数微调的主要优势。答案LoRA冻结原始预训练权重，将权重更新近似为低秩分解ΔW=BA，其中A和B的秩r远小于隐藏维度。训练时只更新4.什么是KVcache？为什么它能够加速大模型的自回归解码？答案KVcache是指在自回归生成过程中，将已经生成token对应的Key和Value缓存下来。生成下一个token时，只需计算当前token的Query、Key和Value，并将当前Query与缓存的Key进行注意力计算，无需重新计算所有历史token的Key和Value。这样可以避免大量重复矩阵乘法，从而降低计算量并加速解码。五、综合题（本大题共2小题，每小题15分，共30分）1.某Transformer模型隐藏维度dmodel=4096(1)计算Q、K、V三个投影矩阵的总参数量，忽略bias；(2)写出自注意力分数矩阵的形状，并计算其元素个数；(3)分析标准自注意力关于序列长度n的计算复杂度，并说明当n很大时的主要瓶颈。答案(1)Q、K、V投影矩阵形状均为dmod3(2)自注意力分数矩阵由QKT计算得到，形状为n×2048(3)标准自注意力的计算复杂度可表示为O(n2dk)，仅关于序列长度2.某基于GPT架构的大模型采用自回归生成，并使用KVcache。已生成100个token，接下来要生成第101个token。请分析：(1)不使用KVcache与使用KVcache时，当前步self-attention的计算差异；(2)KVcache为什么能够提高推理速度；(3)指出KVcache的主要显存开销，并说明它随batchsize和序列长度如何变化。答案(1)不使用KVcache时，需要对全部101个token重新计算Key和Value，并计算完整注意力；使用KVcache时，前100个token的Key和Value已经被缓存，只需为第101个token计算新的Query、Key和Value，并将其Query与缓存的Key进行注意力计算即可。(2)自回归解码时每步只新增一个token，历史token的