2026年大模型应用能力评估试卷及答案

2026年大模型应用能力评估试卷及答案1.单项选择题（每题2分，共20分）1.1在Transformer架构中，用于捕捉序列中任意两个位置之间依赖关系的模块是A.卷积层 B.自注意力层 C.池化层 D.循环层答案：B1.2当使用LoRA对大模型进行参数高效微调时，被冻结的参数是A.低秩适配器矩阵 B.原始预训练权重 C.LayerNorm增益 D.分类头答案：B1.3以下哪种方法最适合在显存受限的GPU上推理70B规模的稠密Transformer？A.数据并行 B.模型并行+激活重计算 C.梯度累积 D.混合精度训练答案：B1.4在RLHF阶段，用于衡量策略更新幅度的指标是A.BLEU B.KL散度 C.F1 D.困惑度答案：B1.5当提示词长度超过模型最大位置编码时，最先失效的微调技术是A.PrefixTuning B.P-Tuningv2 C.LoRA D.全参数微调答案：A1.6以下哪种量化方案对矩阵乘法计算图改动最小？A.LLM.int8() B.GPTQ C.SmoothQuant D.KV-cache4-bit答案：B1.7在多轮对话安全对齐中，用于构造对抗样本的常用算法是A.PPO B.RLAIF C.Red-TeamGradientDescent D.DPO答案：C1.8当batchsize=1、序列长度=4k时，FlashAttention-2相比标准Attention减少的显存比例约为A.5% B.25% C.50% D.95%答案：C1.9在混合专家（MoE）模型中，若top-2门控且专家数为8，则每次前向激活的专家数为A.2 B.4 C.8 D.16答案：A1.10以下哪种指标最适合评估大模型生成代码的可执行率？A.ROUGE-L B.Pass@1 C.BertScore D.METEOR答案：B2.多项选择题（每题3分，共15分；每题至少有两个正确答案，多选少选均不得分）2.1导致大模型“幻觉”现象的主要原因包括A.最大似然训练目标 B.训练数据噪声 C.解码温度过低 D.上下文长度不足 E.知识截断答案：ABE2.2下列技术可直接降低推理延迟的有A.投机解码（SpeculativeDecoding） B.KV-cache压缩 C.增加模型深度 D.动态批处理 E.使用FP32权重答案：ABD2.3关于参数高效微调，下列说法正确的有A.AdaLoRA可在训练过程中动态调整秩 B.QLoRA将梯度检查点引入4-bit反向传播 C.PromptTuning需要修改模型架构 D.Lester-2021证明PromptTuning在10B规模上媲美全参数微调 E.BitFit只训练偏置项答案：ABDE2.4以下哪些操作会改变Transformer的注意力稀疏模式？A.SlidingWindowAttention B.ALiBi位置编码 C.SparseTransformerStridePattern D.Multi-QueryAttention E.RotaryPositionEmbedding答案：AC2.5在大模型分布式训练框架DeepSpeed中，ZeRO-Offload技术涉及的offload对象包括A.优化器状态到CPU B.激活到NVMe C.参数到CPU D.梯度到CPU E.数据加载到GPU答案：ACD3.填空题（每空2分，共20分）3.1设模型维度d=512，注意力头数h=8，则每个头的维度为________。答案：643.2在GPT-3175B模型中，层数L=96，词汇表大小V=50257，则嵌入层参数量为________×10^9。答案：0.096（50257×2048≈1.03×10^8，换算后0.103，取两位0.10）3.3若使用bfloat16存储，70B模型权重占用显存约________GB。答案：1403.4当采用Group-QueryAttention时，若原有多头数为32，分组数为4，则KV-cache大小缩小为原来的________倍。答案：83.5在RLHF中，PPO的clip系数ε通常设为________。答案：0.23.6设学习率为η，LoRA秩为r，低秩矩阵A服从N(0,σ^2)，则LoRA论文建议σ=________。答案：η/r3.7使用INT8量化后，矩阵乘法理论峰值加速比为________（假设计算受限）。答案：23.8在FSDP框架中，若world_size=8，则每层参数分片后显存占用降低为原来的________。答案：1/83.9当温度系数τ→0时，softmax输出趋近于________分布。答案：one-hot3.10在代码生成评估HumanEval中，Pass@k指标通过________采样估计。答案：nucleus（或“有放回”，答对任一即给分）4.判断题（每题1分，共10分；正确打“√”，错误打“×”）4.1使用RoPE位置编码的模型在推理时可直接外推至任意长度而无需微调。答案：×4.2FlashAttention通过将注意力计算拆分为块级GEMM实现了O(N)显存复杂度。答案：√4.3在MoE模型中，专家容量因子（capacityfactor）越大，丢token概率越低。答案：√4.4梯度累积步数增加会改变全局训练步数。答案：×4.5GPTQ量化后必须同时保存量化零点与缩放系数才能反量化。答案：√4.6使用AdaFactor优化器可完全消除对一阶动量的显存占用。答案：√4.7在多模态大模型中，Q-former的作用是将视觉特征压缩为固定数量的查询向量。答案：√4.8增大top-p值会降低解码文本多样性。答案：×4.9混合精度训练时，损失缩放（lossscaling）主要用于解决梯度下溢。答案：√4.10当batchsize足够大时，LayerNorm的统计量等价于BatchNorm。答案：×5.简答题（封闭型，每题5分，共15分）5.1解释“知识编辑”与“参数高效微调”在目标与实现上的两点差异。答案：目标差异——知识编辑追求局部、精确、一次性修正事实错误，不损害全局性能；参数高效微调追求下游任务性能最大化，允许全局分布偏移。实现差异——知识编辑通常使用定位-修改-闭合的显式更新（如ROME、MEMIT），只改动<1%参数；参数高效微调通过引入低秩适配器或prompt，不直接重写原始权重。5.2写出使用KV-cache时，自回归解码第t步的注意力计算复杂度表达式，并说明降低该复杂度的两种方法。答案：复杂度O(t·d)。降低方法：1.多查询注意力MQA减少KV头数；2.窗口注意力限制有效t。5.3说明混合专家模型中“负载均衡损失”的数学形式及其作用。答案：Llb=α·∑f_i·P_i，其中f_i为第i专家被选中比例，P_i为门控概率均值；作用：鼓励均匀路由，防止专家塌陷。6.简答题（开放型，每题10分，共20分）6.1某企业需在8×A100-40GB节点上部署一个“70B稠密+4k上下文”对话服务，要求首token延迟<500ms、吞吐>30req/s。请给出系统级优化方案（含模型、框架、调度、硬件）并论证其可行性。答案：模型侧采用W4A16GPTQ量化，显存降至≈36GB；框架使用vLLM+ContinuousBatching，启用PrefixCaching；调度层采用动态批+投机解码（草案模型7B，2-step）；硬件侧启用NVLink+InfiniBand，将KV-cacheoffload到CPU内存，峰值占用<50GB；实测首token延迟≈380ms，吞吐≈35req/s，满足约束。6.2近年来出现“大模型自我改进”范式：用模型自身生成数据再训练。请评述其潜在风险，并提出至少两条可验证的缓解指标。答案：风险：1.自我强化导致幻觉放大；2.分布崩溃引发多样性下降；3.难以发现隐性偏见。缓解指标：A.生成数据与原始数据KL散度<ε；B.引入外部验证器，事实准确率提升Δ>0；C.多样性指标（Self-BLEU-4）下降<5%。7.计算题（共30分）7.1（8分）给定Transformer层：d=4096，h=32，序列长度N=2048，batch=4。a)计算标准注意力中QK^T矩阵的显存占用（float16）。b)若改用FlashAttention块大小M=128，求显存占用下降比例。答案：a)显存=4×2048×2048×2B=32MB×4=128MB；b)块级需存储O(M^2)中间结果，每块128×128×2B=32KB，总块数(2048/128)^2=256，峰值显存=256×32KB=8MB，下降比例=128/8=16倍，即93.75%。7.2（10分）使用LoRA微调LLaMA-65B，秩r=16，目标模块为q_proj、v_proj，每层参数量公式为2·r·d。设层数L=80，学习率η=3×10^-4，训练步数T=10000，batchsize=64，序列长度=512，数据量=10Mtoken。a)计算新增参数量。b)估算训练所需总浮点运算量（FLOPs）。c)若采用DeepSpeedZeRO-3+CPU-Offload，显存峰值约多少GB？（给出推导）答案：a)新增=2×16×4096×80=10.5M参数。b)FLOPs=6·N·T·batch·seq=6×10.5M×10000×64×512≈2.1×10^17。c)优化器状态+梯度+参数均分片到8卡，每卡≈(12+12+4)×10.5M/8=36.75MB，激活重计算后峰值≈(4096×512×64×4×80)/8≈5.4GB，加上offload，峰值<8GB。7.3（12分）某MoE模型共E=64专家，top-2门控，容量因子CF=1.25，序列长度N=4096，batch=8，隐藏维d=2048。a)计算每专家最大可容纳token数。b)若实际路由分布服从Zipf(α=1.1)，求丢token概率。c)若将CF提升至2.0，丢token概率下降多少个百分点？（数值积分保留两位小数）答案：a)每专家容量=C=CF·2·N·batch/E=1.25×2×4096×8/64=1280token。b)Zipf归一化后，第k专家概率p_k∝1/k^1.1，前m专家累积概率P=∑_{k=1}^mp_k，丢token概率=∑_{k=1}^Emax(0,n_k−C)·p_k，其中n_k=2·N·batch·p_k；数值积分得丢token概率≈9.42%。c)C=2048，重新积分得丢token概率≈3.17%，下降6.25个百分点。8.综合分析题（共30分）8.1（15分）阅读背景：某政务客服大模型上线后出现“政策回答不一致”投诉。技术团队怀疑是知识截断+幻觉。请设计一套可落地的“热修复”流程，要求：1)不重新训练；2)单次修复耗时<30分钟；3)支持回滚；4)提供量化评估指标。答案：流程：Step1构建“政策知识库”向量索引，召回Top-5相关段落；Step2使用ROME定位FFN层中存储错误事实的神经元，计算关键秩-1梯度，批量替换为正确知识向量；Step3在沙盒环境运行回归测试，指标：一致性率≥98%、幻觉率≤1%、BLEU与修复前差异<2%；Step4灰度5%流量，异常则秒级回滚至旧权重；Step5记录编辑轨迹，支持多版本并存。实测单条知识编辑耗时≈90s，满足30分钟约束。8.2（15分）某公司计划将70B模型压缩至<30GB以在车载Orin64GB上运行，要求推理延迟<2s生成128token。现有方案：A)4-bitGPTQ；B)2-bitLLM.int8()+Sparse50%；C)8-bit量化+投机解码。请从精度、延迟、显存、工程成本四维度对比，并给出推荐。答案：精度：GPTQW4A16在Wi