2026年模型去公司做测试题及答案

2026年模型去公司做测试题及答案

一、单项选择题，20分1.在Transformer架构中，用于捕捉序列位置信息的核心组件是A.多头自注意力B.层归一化C.正弦位置编码D.前馈网络2.当使用Adam优化器时，若β₁=0.9、β₂=0.999，则初始时间步t=1的偏差修正后学习率约为A.0.001B.0.01C.0.1D.1.03.在混合精度训练中，FP16梯度下溢的最直接解决方案是A.动态损失缩放B.权重衰减C.梯度裁剪D.学习率预热4.模型并行与数据并行的根本区别在于A.是否拆分参数矩阵B.是否使用All-ReduceC.是否共享优化器状态D.是否复制前向图5.当使用ReLU激活时，出现“神经元死亡”现象的直接原因是A.权重初始化过大B.学习率过高C.梯度恒为零D.批归一化参数γ=06.在对比学习损失InfoNCE中，温度系数τ趋近于0时，损失函数的行为趋近于A.交叉熵B.合页损失C.硬负挖掘D.最大似然7.联邦学习场景下，客户端上传本地模型差分而非完整权重的主要目的是A.减少通信量B.提高收敛速度C.增强隐私保护D.降低服务器内存8.当使用BeamSearch解码时，增加beamwidth会单调提升A.解码速度B.内存占用C.重复惩罚D.长度惩罚9.在模型蒸馏中，教师模型输出使用softmax温度T>1的主要作用是A.增加负标签信息B.减少计算量C.抑制过拟合D.加速学生收敛10.若某LLM在FP16推理时发生溢出，最合理的补救策略是A.切换至BF16B.缩小词汇表C.降低批大小D.关闭注意力dropout二、填空题，20分11.GPT系列模型采用__________位置编码以支持任意长度推理。12.在自监督预训练中，MLM损失函数对掩码token的预测使用__________分布。13.当使用DeepSpeedZeRO-3时，优化器状态被__________到所有数据并行进程。14.若学习率调度采用cosinedecay，则最终学习率将降至初始值的__________。15.在RLHF阶段，PPO算法中的优势估计通常采用__________差分形式。16.为了抑制生成重复，Transformer解码器常引入__________惩罚项。17.当使用张量并行时，注意力矩阵QK^T被按__________维度切分。18.若模型参数量为175B，使用Adam+FP32优化器，则仅存储一阶动量需约__________GB显存。19.在指令微调中，模板“Human:{q}\nAssistant:{a}”属于__________格式。20.当使用GroupQueryAttention时，查询头数与键值头数之比称为__________。三、判断题，20分21.使用RoPE位置编码的模型在推理时无法直接外推至更长序列。22.BF16数据类型的动态范围与FP32相同。23.梯度累积等价于线性增加有效批大小。24.在LoRA微调中，可训练参数位于attention的QKV投影矩阵。25.对比学习batchsize越大，则负样本数量越多，损失越稳定。26.使用FlashAttention可以显著降低注意力计算的FLOPs总量。27.当temperature→∞时，softmax输出分布趋近于均匀分布。28.在模型并行中，激活值也需要按层切分并跨设备通信。29.使用INT8权重后，必须同时采用INT8激活才能发挥最大加速。30.联邦平均算法FedAvg在数据Non-IID场景下必然发散。四、简答题，20分31.描述混合精度训练中动态损失缩放的工作原理，并指出其触发回退的条件。32.解释为什么Transformer在推理阶段会出现KV-cache，并说明其内存复杂度与序列长度的关系。33.对比LoRA与AdaLoRA在参数预算分配策略上的差异，并给出各自适用场景。34.阐述RLHF中RewardModel过拟合可能带来的后果，并给出两种缓解方法。五、讨论题，20分35.结合ScalingLaw，讨论在算力固定的情况下，模型参数量与数据量之间的最优分配策略，并给出实验设计思路。36.当企业要求本地化部署175B模型且显存上限80GBA100×8时，请从并行策略、压缩、调度三方面论证可行方案。37.探讨“数据质量”与“数据数量”在继续预训练阶段对下游任务性能的边际贡献，并设计可量化的评估指标。38.分析在多轮对话场景下，模型出现“上下文遗忘”的潜在技术根因，提出至少两种系统级改进路径。答案与解析一、1C2A3A4A5C6D7C8B9A10A二、11RoPE12多项式/softmax13分片/shard14015GAE-λ16重复/重复性17列1870019对话/对话式20GQA比三、21×22√23√24√25√26×27√28√29×30×四、31动态损失缩放通过持续放大损失值来防止FP16梯度下溢；当缩放后的梯度出现NaN/Inf时触发回退，将缩放因子减半并重新迭代。32KV-cache保存每层已计算的键值向量，避免重复计算；内存复杂度O(n·d·l)，n为序列长度，d为隐维度，l为层数，随n线性增长。33LoRA按固定秩r分解矩阵；AdaLoRA按重要性动态剪枝并分配秩，适合预算极紧场景；LoRA实现简单，适合中等预算。34RM过拟合会导致奖励值分布偏移、策略梯度方差爆炸；缓解：1.早停+dropout；2.使用偏好数据增强与正则化。五、35固定算力C≈6ND下，通过IsoFLOP曲线拟合发现模型参数N与数据D呈幂律权衡；实验采用网格搜索N、D组合，保持C不变，测量验证损失。36采用ZeRO-3+TP=2+PP=4，参数分片+激活检查点；权重INT8+KV-cacheBF16；调度层间流水预取，峰值显存<78GB，吞吐达52tokens/s。37继续预训练实验显示，当原始