2026年人工智能训练师职业等级考试理论试题

2026年人工智能训练师职业等级考试理论试题1.单项选择题（每题1分，共30分）1.1在联邦学习框架下，客户端上传的梯度信息若被恶意篡改，最可能触发下列哪种攻击？A.模型逆向攻击 B.后门投毒攻击 C.成员推理攻击 D.梯度泄露攻击1.2当使用Adam优化器训练Transformer时，若β₁从0.9降至0.5，训练初期损失曲线最可能出现的现象是：A.震荡加剧且收敛变慢 B.平滑下降且更快收敛 C.出现NaN D.无明显变化1.3在DiffusionModel中，若扩散步数T从1000减至250，而保持噪声调度不变，则采样阶段所需的网络前向计算量约：A.增加4倍 B.减少75% C.不变 D.增加2倍1.4下列关于LoRA（Low-RankAdaptation）的描述，错误的是：A.仅训练低秩矩阵 B.可插入任意线性层 C.推理阶段必须保留原始权重与LoRA权重相加 D.秩r越大则参数量越小1.5在强化学习人类反馈（RLHF）中，若奖励模型过拟合，则PPO阶段最可能出现的异常是：A.策略熵持续上升 B.KL散度急剧下降 C.优势函数方差爆炸 D.价值函数损失为负1.6当使用混合精度训练时，若LossScaling因子设置过大，则下列现象最先发生的是：A.权重梯度下溢 B.激活值上溢 C.权重更新停滞 D.优化器状态失效1.7在VisionTransformer中，若将PatchSize从16×16改为32×32，则序列长度与计算复杂度分别如何变化？A.减半，减至1/4 B.减至1/4，减至1/16 C.减半，减至1/2 D.减至1/4，减至1/41.8下列关于DPO（DirectPreferenceOptimization）与PPO的比较，正确的是：A.DPO需显式学习奖励模型 B.DPO目标函数不含KL正则 C.DPO无法直接使用人类偏好对 D.DPO训练稳定性低于PPO1.9在模型蒸馏中，若教师模型输出为软标签，温度参数τ→∞，则软标签分布趋近于：A.均匀分布 B.狄拉克分布 C.教师逻辑值本身 D.学生预测分布1.10当使用DeepSpeedZeRO-3时，下列哪类参数被切片到所有GPU？A.优化器状态 B.梯度 C.模型权重 D.激活值1.11在文本生成任务中，若重复惩罚系数从1.0提升至1.2，则BeamSearch最可能产生的副作用是：A.生成文本过短 B.生成文本重复率上升 C.生成文本多样性下降 D.生成文本出现乱码1.12当使用FlashAttention时，内存复杂度从O(n²)降至：A.O(n) B.O(nlogn) C.O(n√n) D.O(n³)1.13在多模态CLIP训练中，若批次大小B增大8倍，则InfoNCE损失中的负样本数量变为：A.不变 B.8倍 C.64倍 D.B²倍1.14下列关于Mamba架构的描述，正确的是：A.依赖自注意力机制 B.状态空间模型为线性时不变 C.无法处理长序列 D.推理复杂度随序列长度平方增长1.15当使用QLoRA进行4-bit量化时，双重量化（DoubleQuant）主要针对：A.权重 B.激活 C.优化器状态 D.量化常数1.16在模型合并技术中，若使用TaskArithmetic，则“任务向量”通过下列哪种方式获得？A.微调后权重减去预训练权重 B.预训练权重减去微调后权重 C.权重插值 D.权重平均1.17当使用Kaiming初始化时，若激活函数为ReLU，则方差缩放因子为：A.2/fan_in B.1/fan_out C.2/fan_out D.√(2/fan_in)1.18在扩散模型采样中，若使用DDIM调度，当η=0时，采样过程等价于：A.确定性隐式过程 B.随机隐式过程 C.完全随机噪声 D.无法确定1.19当使用GradientCheckpointing时，时间复杂度与空间复杂度的变化是：A.时间略增，空间略减 B.时间翻倍，空间减半 C.时间减半，空间翻倍 D.时间不变，空间减半1.20在RLHF中，若KL惩罚系数β设为0，则最可能导致的后果是：A.策略崩溃到单一高奖励模式 B.策略熵恒增 C.价值函数过拟合 D.奖励模型失效1.21当使用MixtureofExperts（MoE）时，若Top-2门控且专家数为8，则每个令牌激活的专家数为：A.1 B.2 C.4 D.81.22在Transformer中，若将QK^T缩放因子从√d_k改为1，则当d_k=64时，注意力权重梯度方差约：A.缩小8倍 B.扩大8倍 C.缩小64倍 D.扩大64倍1.23当使用FSDP（FullyShardedDataParallel）时，下列哪项通信操作发生在反向传播之后？A.All-Gather参数 B.Reduce-Scatter梯度 C.Broadcast参数 D.All-Reduce激活1.24在量化感知训练（QAT）中，若使用Straight-ThroughEstimator，则梯度回传时：A.绕过量化函数 B.量化函数可导 C.使用近似导数 D.停止梯度1.25当使用RMSNorm代替LayerNorm时，可训练参数量的变化是：A.增加偏置项 B.减少偏置项 C.不变 D.增加缩放与偏置1.26在多任务学习中，若使用GradNorm进行梯度平衡，则其优化目标是：A.最小化各任务梯度L2范数差异 B.最大化各任务损失之和 C.最小化共享层参数变化 D.最大化梯度内积1.27当使用CurriculumLearning时，若课程难度增长过快，则最可能出现的训练现象是：A.损失震荡 B.过拟合提前 C.梯度消失 D.收敛加速1.28在模型剪枝中，若使用MagnitudePruning且稀疏度为90%，则权重绝对值阈值的选择依据是：A.全局前10%小权重 B.每层前10%小权重 C.全局前10%大权重 D.随机10%权重1.29当使用GroupQueryAttention（GQA）时，若分组数g=4，则KV头数量与Q头数量之比为：A.1:4 B.4:1 C.1:1 D.2:11.30在自监督学习中，若使用SimCLR，则批次大小B与负样本数量关系为：A.2(B−1)B.B−1 C.2B D.B²2.多项选择题（每题2分，共20分）2.1下列哪些技术可有效降低Transformer推理延迟？A.KV-Cache B.SpeculativeDecoding C.FlashAttention D.增加层数2.2关于RoPE（旋转位置编码），下列说法正确的是：A.可外推更长序列 B.无需额外可训练参数 C.依赖绝对位置向量 D.在注意力计算前注入2.3当使用DeepspeedMoE时，下列哪些内存优化技术可用？A.ZeRO-Offload B.ExpertParallelism C.ActivationCheckpointing D.FP32主权重2.4在扩散模型中，下列哪些方法可加速采样？A.DDIM B.DPM-Solver C.EDM D.增加扩散步数2.5下列哪些损失函数可用于多模态对比学习？A.InfoNCE B.TripletLoss C.KL散度 D.CircleLoss2.6当使用量化时，下列哪些方案属于权重量化？A.LLM.int8() B.QLoRA C.SmoothQuant D.GPTQ2.7在PPO中，下列哪些超参数与策略更新幅度直接相关？A.ClipRatio B.KL惩罚系数 C.熵系数 D.GAEλ2.8下列哪些技术可缓解LLM幻觉？A.Retrieval-AugmentedGeneration B.Chain-of-Verification C.提高Temperature D.ConstitutionalAI2.9当使用数据并行时，下列哪些通信原语必须出现？A.All-Reduce B.Broadcast C.All-Gather D.Reduce-Scatter2.10下列哪些方法可用于模型可解释性？A.IntegratedGradients B.LIME C.AttentionRollout D.GradientInputA.IntegratedGradients B.LIME C.AttentionRollout D.GradientInput3.判断题（每题1分，共10分）3.1使用ReLU激活的深层网络一定不会出现梯度消失。 （ ）3.2在Transformer中，注意力掩码为下三角矩阵是为了防止信息泄露到未来。 （ ）3.3QLoRA的4-bit量化对激活值也进行量化。 （ ）3.4当使用GroupNorm时，通道数必须能被分组数整除。 （ ）3.5在DDPM中，扩散过程为马尔可夫链。 （ ）3.6使用GradientAccumulation时，等效批次大小与显存占用无关。 （ ）3.7在SpeculativeDecoding中，草稿模型必须比主模型小。 （ ）3.8当使用CurriculumLearning时，损失权重必须单调递增。 （ ）3.9在对比学习中，温度参数τ越小，则梯度越大。 （ ）3.10使用MagnitudePruning后，稀疏模型无需微调即可保持精度。 （ ）4.填空题（每空2分，共20分）4.1当使用cosine学习率调度时，若初始学习率为η₀，warmup步数为W，总步数为T，则第t步的学习率公式为：若t≤W，则η_t=η₀·____；若t>W，则η_t=η₀·0.5·(1+cos(π·____))。4.2在Transformer中，自注意力计算复杂度为O(____)，FlashAttention通过____算法将内存复杂度降至O(n)。4.3若使用混合精度训练，LossScaling因子为S，则梯度回传前需将损失乘以____，权重更新前需将梯度除以____。4.4在PPO中，优势函数A_t使用GAE计算时，公式为A_t^{GAE}=∑_{l=0}^{∞}(γλ)^l·____，其中δ_{t+l}=____。4.5当使用KL散度作为正则项时，其表达式为KL(π_θ||π_ref)=∑_aπ_θ(a|s)·____。4.6在扩散模型中，若前向过程方差调度为线性，则β_t=β_min+____·(β_max−β_min)。4.7若使用4-bit量化，则每组权重需存储一个____位缩放因子与一个____位零点。4.8当使用MoE时，若专家容量因子为1.0，则每个专家可处理的最大令牌数为____。4.9在RoPE中，对于位置m的二维向量(x,y)，旋转矩阵为[cos(mθ) −sin(mθ)][sin(mθ) ____]，其中θ=____。4.10若使用DPO，其目标函数为L_DPO=−logσ(β·log(π_θ(y_w|x)/π_ref(y_w|x))−β·log(____))。5.简答题（每题10分，共30分）5.1请阐述FlashAttention如何通过分块与重计算降低GPU内存占用，并给出内存复杂度推导过程。5.2对比PPO与DPO在利用人类偏好数据时的异同，并说明DPO为何无需显式奖励模型。5.3说明QLoRA中4-bitNormalFloat量化的核心思想，并推导其量化与反量化公式。6.计算题（每题15分，共30分）6.1某7B参数模型采用GPTQ4-bit权重量化，组大小为128。已知：权重矩阵W∈ℝ^{m×n}，m=4096，n=11008；每组需存储一个16-bit缩放因子与一个16-bit零点；额外存储1-bit标志位用于标识是否为零组。求：(1)压缩后权重所需字节数；(2)缩放与零点所需字节数；(3)相比原始FP16存储，总压缩比为多少？6.2在扩散模型中，给定线性噪声调度β_t=10^{−4}+t·1.5×10^{−4}，T=1000。求：(1)前向过程均值μ_t(x_t,x_0)的表达式；(2)若x_0~N(0,I)，求x_T的方差Var[x_T]；(3)当T→∞时，Var[x_T]的极限值。7.综合设计题（20分）7.1设计一个面向边缘设备的1B参数多模态模型，需满足：推理内存<2GB；首令牌延迟<100ms（ARMA781.8GHz单线程）；支持图文检索与VQA两任务；给出模型架构、量化方案、缓存策略、任务切换机制，并估算峰值内存与推理延迟。———答案与解析———1.单项选择1.1B 1.2A 1.3B 1.4D 1.5C 1.6B 1.7B 1.8B 1.9A 1.10C1.11A 1.12A 1.13B 1.14B 1.15D 1.16A 1.17A 1.18A 1.19B 1.20A1.21B 1.22B 1.23B 1.24A 1.25B 1.26A 1.27A 1.28A 1.29A 1.30A2.多项选择2.1ABC 2.2ABD 2.3ABC 2.4ABC 2.5ABD2.6BD 2.7ABC 2.8ABD 2.9AB 2.10ABCD3.判断3.1× 3.2√ 3.3× 3.4√ 3.5√3.6× 3.7√ 3.8× 3.9√ 3.10×4.填空4.1t/W ；(t−W)/(T−W)4.2n² ；Tiling+重计算4.3S ；S4.4δ_{t+l} ；r_{t+l}+γV(s_{t+l+1})−V(s_{t+l})4.5log(π_θ(a|s)/π_ref(a|s))4.6t/T4.716 ；164.8ceil(令牌数/专家数)4.9cos(mθ) ；10000^{−2i/d}4.10π_θ(y_l|x)/π_ref(y_l|x)5.简答5.1FlashAttention将Q,K,V分块放入共享内存，计算Softmax时采用在线归一化与重计算，避免存储大型注意力矩阵，内存复杂度由O(n²)降至O(n)。5.2PPO需先训练奖励模型再运行RL，DPO直接把偏好对转化为最大似然目标，省去奖励模型与RL环节，目标函数隐含KL正则。5.3NormalFloat将权重归一化到[−1,1]，再按分位数量化为16个离散值，反量化用查表乘以缩放，公式：w_q=round(16·(w−w_min)/(w_max−w_mi