2026年AI工程师秋招面试题及答案

2026年AI工程师秋招面试题及答案一、单项选择题（共10题，每题2分，共20分）1.在大规模预训练语言模型的训练过程中，以下哪种激活函数与归一化的组合最常用于降低梯度消失风险并提升训练稳定性？A.Sigmoid+LayerNormB.Tanh+BatchNormC.GELU+RMSNormD.ReLU+InstanceNorm【答案】C【解析】Sigmoid与Tanh激活函数的导数在输入饱和区趋近于0，极易导致梯度消失，且BatchNorm在大模型的变长序列训练中表现不稳定，因此A、B选项错误。GELU激活函数是GPT、Llama等主流大模型的默认选择，其兼具ReLU的非线性与平滑性，梯度消失风险远低于Sigmoid与Tanh；RMSNorm仅对输入的根均方进行归一化，计算效率高于LayerNorm，且在大模型训练中稳定性更优，因此C选项正确。ReLU虽然能缓解梯度消失，但在大模型中容易出现神经元死亡问题，InstanceNorm多用于图像风格迁移任务，不适用于语言模型，因此D选项错误。2.以下关于检索增强生成（RAG）系统的优化方法中，哪项不属于检索阶段的优化策略？A.引入向量数据库的混合检索（向量+关键词）B.对文档切片加入父子块关联结构C.使用重排序（Reranker）模型对候选文档排序D.对生成结果加入事实性校验模块【答案】D【解析】RAG系统分为检索、生成两大核心阶段，检索阶段的目标是从知识库中筛选出与用户查询最相关的文档。混合检索通过结合语义匹配与字面匹配提升检索精度，父子块结构平衡检索粒度与上下文完整性，重排序模型对初筛结果进行二次精排，三者均属于检索阶段的优化策略，因此A、B、C选项不符合题意。生成结果的事实性校验属于生成后处理环节，用于验证生成内容与检索文档的一致性，不属于检索阶段的优化范畴，因此D选项符合题意。3.在稀疏混合专家模型（MoE）中，以下哪种路由机制最容易导致专家负载不均衡问题？A.无约束top-k路由B.哈希路由C.专家选择路由（ExpertChoice）D.平衡门控路由（BalancedGating）【答案】A【解析】无约束top-k路由由token自主选择得分最高的k个专家，若未加入负载均衡约束，高频语义对应的专家会被大量token选中，冷门专家几乎不被激活，极易出现严重的负载不均衡问题，因此A选项符合题意。哈希路由通过哈希函数固定token与专家的映射关系，负载分布相对均匀；专家选择路由由每个专家主动选取固定数量的高匹配度token，天然保证各专家的输入token数量一致，负载均衡性最优；平衡门控路由在损失函数中加入负载均衡项，主动约束各专家的激活频率，三者均能有效缓解负载不均衡问题，因此B、C、D选项不符合题意。4.在多模态大模型（MLLM）的训练中，以下哪项技术的核心目标是实现不同模态特征空间的对齐？A.指令微调B.对比学习C.人类反馈强化学习（RLHF）D.LoRA微调【答案】B【解析】对比学习通过拉近正样本对（如匹配的图文对）、推远负样本对（如不匹配的图文对）的方式，将不同模态的特征映射到同一语义空间，是实现跨模态特征对齐的核心技术，CLIP、BLIP等多模态基础模型均采用对比学习实现图文对齐，因此B选项正确。指令微调的核心目标是提升模型遵循用户指令的能力，RLHF的核心目标是让模型输出对齐人类偏好，LoRA是一种参数高效微调方法，三者均不涉及跨模态特征空间对齐，因此A、C、D选项错误。5.关于支持向量机（SVM）的核函数，以下说法错误的是？A.线性核适用于特征维度远高于样本数量的场景B.高斯核（RBF）可以将数据映射到无穷维特征空间C.多项式核的计算复杂度低于线性核D.核函数的本质是计算特征空间中两个样本的内积【答案】C【解析】线性核直接计算原始特征的内积，计算复杂度为O(n·d)（n为样本数，d为特征维度），是所有核函数中最低的；多项式核需要计算(x·y+c)^d（d为多项式次数），涉及高次幂运算，计算复杂度远高于线性核，因此C选项说法错误。线性核在高维稀疏场景下表现优异，当特征维度远高于样本数时，线性可分概率高，无需使用非线性核，因此A选项说法正确。高斯核通过指数函数将样本映射到无穷维希尔伯特空间，因此B选项说法正确。核函数的核心是隐式计算高维特征空间的内积，避免显式高维映射的计算开销，这是核技巧的核心思想，因此D选项说法正确。6.在端侧部署的实时目标检测模型中，以下哪种设计对提升推理速度的收益最低甚至有负向作用？A.采用深度可分离卷积替代标准卷积B.增加特征金字塔的层级数量C.对模型进行INT8量化D.使用知识蒸馏压缩模型参数量【答案】B【解析】深度可分离卷积将标准卷积拆分为深度卷积与逐点卷积，参数量与计算量可降至标准卷积的1/8-1/9，能显著提升推理速度；INT8量化将32位浮点数运算转换为8位整数运算，在精度损失可控的前提下，推理速度可提升2-4倍；知识蒸馏通过大模型监督小模型训练，可在精度损失较小的情况下压缩模型参数量与计算量，提升端侧推理速度，因此A、C、D选项均能有效提升推理速度。增加特征金字塔的层级数量会引入额外的卷积运算与特征融合开销，不仅无法提升推理速度，反而会增加推理延迟，因此B选项符合题意。7.在基于人类反馈的强化学习（RLHF）中，奖励模型（RM）的训练通常使用以下哪种数据？A.人类标注的指令-答案对的排序数据B.人类编写的高质量参考答案C.模型生成的无标注样本D.人类标注的实体关系三元组【答案】A【解析】RLHF分为监督微调（SFT）、奖励模型训练、强化学习微调三个阶段。奖励模型的核心是学习人类偏好，为模型生成的回复打分，其训练数据通常为同一prompt下的多个模型生成回复，由人类标注者对回复质量进行排序（如成对比较），再通过排序损失训练奖励模型，使其输出的奖励分与人类偏好一致，因此A选项正确。人类编写的高质量参考答案多用于SFT阶段，无标注样本多用于预训练阶段，实体关系三元组多用于知识图谱构建任务，因此B、C、D选项错误。8.在大语言模型推理优化中，以下哪种技术的核心优化目标是降低单样本推理延迟，而非提升系统整体并发吞吐量？A.连续批处理（ContinuousBatching）B.张量并行（TensorParallelism）C.KV缓存复用D.动态批处理（DynamicBatching）【答案】B【解析】连续批处理与动态批处理均通过将多个推理请求合并为同一批次进行计算，提升GPU利用率与单位时间处理的请求数，核心目标是提升系统并发吞吐量；KV缓存复用通过缓存已计算的前缀token的键值对，避免重复计算，降低单请求的计算开销，从而提升整体并发吞吐，因此A、C、D选项不符合题意。张量并行将模型的张量计算拆分到多个计算单元上并行执行，核心是缩短单个请求的推理链路时长，主要优化目标是降低单样本延迟，由于引入了跨设备通信开销，对系统整体吞吐的提升效果远弱于批处理类技术，因此B选项符合题意。9.以下关于AdamW优化器的说法错误的是？A.AdamW在Adam的基础上修正了权重衰减的实现方式B.AdamW的权重衰减等效于在损失函数中加入L2正则项C.AdamW能够有效缓解Adam优化器中L2正则失效的问题D.AdamW的学习率通常需要比标准Adam设置得更小【答案】B【解析】AdamW由Loshchilov等人于2019年提出，核心是修正了Adam优化器中权重衰减的实现逻辑：标准Adam中，若通过在损失函数中加入L2正则项实现权重衰减，由于Adam的自适应学习率会对梯度进行归一化，L2正则的效果会被削弱，导致正则化失效；AdamW直接在参数更新步骤中对权重乘以衰减系数，实现了真正的权重衰减，与损失函数加L2正则项并不等效（仅在SGD中二者等效），因此A、C选项说法正确，B选项说法错误。由于权重衰减会直接减小权重值，AdamW通常需要配合稍小的学习率使用，避免参数更新幅度过大导致模型收敛不稳定，因此D选项说法正确。10.在大模型的安全对齐中，以下哪种方法不属于红队测试（RedTeaming）的常用手段？A.构造越狱提示词诱导模型生成有害内容B.利用对抗样本攻击模型的输入嵌入层C.对模型的训练数据进行脱敏处理D.模拟多轮对话绕过模型的安全防护机制【答案】C【解析】红队测试是通过主动构造攻击样本、模拟恶意用户行为的方式，挖掘大模型的安全漏洞，评估其防护能力的测试方法，常用手段包括构造越狱提示词、生成对抗样本、多轮绕过安全策略、注入恶意指令等，因此A、B、D选项属于红队测试手段。对训练数据进行脱敏处理属于模型训练前的数据安全治理环节，用于避免训练数据泄露隐私，不属于红队测试的范畴，因此C选项符合题意。二、填空题（共5题，每题3分，共15分）1.在Transformer架构中，假设输入序列长度为L，隐藏层维度为d_model，那么单头自注意力机制的主导计算复杂度为______（用大O表示法）。【答案】O(L²·d_model)【解析】单头自注意力的核心计算包括Q与K转置的矩阵乘法（维度为L×L）、注意力权重与V的矩阵乘法，其中Q、K、V的维度均为L×d_model。QK^T的计算需要L个query分别与L个key做d_model维的内积，复杂度为O(L²·d_model)，是自注意力的主导复杂度项，因此整体复杂度为O(L²·d_model)。2.在LoRA（Low-RankAdaptation）参数高效微调方法中，若预训练模型的权重矩阵维度为d×k，设置的低秩矩阵秩为r（r远小于d、k），那么LoRA引入的可训练参数量为______。【答案】r×(d+k)【解析】LoRA通过对预训练权重矩阵W₀（维度d×k）引入两个低秩矩阵B（维度d×r）和A（维度r×k），用W₀+BA替代原始权重进行训练，训练时冻结W₀，仅更新B和A的参数。可训练参数量为d×r+r×k=r×(d+k)，远小于原始权重的d×k参数量，通常仅为原始参数量的0.1%-1%。3.在扩散模型的前向过程中，每一步向数据中添加的噪声通常服从______分布。【答案】高斯（或正态、Gaussian、Normal）【解析】扩散模型的前向过程是一个马尔可夫链，每一步都向数据中添加微小的高斯噪声，经过T步后数据近似服从标准高斯分布；反向过程则通过神经网络学习每一步的噪声分布，逐步从高斯噪声中去噪恢复原始数据。4.在检索增强生成（RAG）系统中，用于衡量生成结果与检索到的参考文档之间事实一致性的常用评估指标是______（写出一个即可）。【答案】Faithfulness（或忠实度、FactScore、Groundedness，任选其一即可）【解析】RAG系统的事实一致性评估核心是验证生成内容是否可被检索到的参考文档支撑，常用指标包括Faithfulness（忠实度）、FactScore、Groundedness等。这类指标通常通过抽取生成内容中的事实单元，与参考文档进行语义匹配，计算事实单元的支撑比例来量化一致性水平。5.在端侧AI模型部署中，将32位浮点数（FP32）的模型权重和运算转换为8位整数（INT8）的过程中，主要会引入______误差。【答案】量化（或精度截断、量化截断）【解析】INT8量化通过将FP32的浮点数映射到INT8的整数空间表示，会因数值范围压缩和精度截断引入量化误差。通常通过校准方法（如KL散度校准、最大值校准、百分位校准）选择最优的量化参数，在保证精度损失可控的前提下缩小模型体积、提升推理速度。三、简答题（共5题，每题8分，共40分）1.请简述大语言模型参数高效微调（PEFT）的核心思想，并列举至少3种常见的PEFT方法及其核心原理。【答案】核心思想：在不微调预训练模型全部参数的前提下，仅训练少量额外参数或模型的部分子模块，即可达到与全参数微调相当的效果，大幅降低训练所需的算力、存储成本，同时避免全参数微调导致的模型灾难性遗忘问题，便于快速适配多个下游任务。（2分）常见方法（写出任意3种即可得6分）：（1）LoRA（低秩适配）：在预训练模型的线性层（如注意力层的Q/K/V投影、FFN层）旁增加两个低秩矩阵，通过学习低秩的权重更新量来适配下游任务。训练时冻结原始权重，仅更新低秩矩阵的参数；推理时可将低秩矩阵合并到原始权重中，不增加额外推理延迟。（2）Prefix-Tuning（前缀微调）：在Transformer的每一层注意力输入前添加可训练的前缀向量，冻结模型全部参数，仅训练前缀向量。通过调整前缀向量来引导模型的注意力分布，使其生成符合任务要求的结果，适用于各类自然语言生成任务。（3）AdapterTuning（适配器微调）：在Transformer的每一层（通常是注意力层和前馈网络层之后）插入小型的适配器模块，适配器通常由两个全连接层组成，中间通过降维减少参数量。训练时冻结原始模型参数，仅更新适配器模块的参数，参数量通常仅为全模型的0.1%-1%。（4）PromptTuning（提示微调）：仅在模型的输入层添加可训练的软提示向量，冻结整个预训练模型，通过更新软提示来适配下游任务。是参数量最少的PEFT方法之一，在模型规模足够大时，效果接近全参数微调。2.请分析检索增强生成（RAG）系统中“检索不准”问题的常见成因，并给出至少3种针对性的优化方案。【答案】“检索不准”指检索到的文档与用户查询的语义匹配度低，无法为生成阶段提供有效支撑，是导致RAG系统事实性错误的核心原因之一。常见成因（3分，写出3点即可）：（1）文档切片不合理：切片长度过长会导致单个切片包含多个语义主题，检索时匹配度被稀释；切片过短会丢失上下文信息，导致语义理解偏差。（2）单一检索方式的局限性：仅使用向量检索（语义检索）时，对专有名词、数字、缩写等关键词的匹配精度低；仅使用关键词检索时，无法理解语义泛化和同义表达。（3）向量嵌入模型的领域适配性差：通用嵌入模型在垂直领域（如医疗、法律、电商）的语义表征能力不足，无法准确捕捉领域术语的语义关联。（4）查询语义模糊：用户查询较短、存在歧义或表述口语化，导致检索系统无法准确理解用户真实意图。优化方案（5分，写出3种以上即可，每种方案需说明原理）：（1）混合检索策略：结合向量检索（语义匹配）和关键词检索（字面匹配，如BM25）的结果，通过权重融合或重排序模型综合排序，兼顾语义匹配的泛化能力与关键词匹配的精准性，尤其适用于包含专有名词的查询场景。（2）文档切片优化：采用语义切片（SemanticChunking）方法，基于句子语义相似度进行切片，避免生硬截断语义；同时引入父子块结构，检索时匹配粒度更细的子块保证匹配精度，生成时返回对应的父块提供完整上下文，平衡检索精度与信息完整性。（3）嵌入模型领域微调：使用领域内的文本对（如问答对、语义相似句对）微调通用向量嵌入模型，提升模型对领域术语、领域语义的表征能力，增强检索的相关性。（4）查询改写优化：通过大模型对用户原始查询进行改写，包括扩展同义词、补充上下文、拆解复杂查询为多个子查询、修正口语化表述等，提升查询的语义明确性，再进行检索。（5）重排序（Reranker）优化：在初筛得到的Top-K候选文档基础上，使用参数量更大、精度更高的重排序模型（如Cross-Encoder模型）对候选文档与查询的匹配度进行重新打分，筛选出最相关的Top-N文档送入生成阶段，可大幅提升检索精度。3.请简述稀疏混合专家模型（MoE）的核心架构，并说明MoE相比密集型大模型的优势与局限性。【答案】核心架构（3分）：MoE模型的核心思想是“稀疏激活”，由多个并行的“专家子网络”和一个“门控网络（Router）”组成，通常与Transformer架构结合，将Transformer层中的前馈网络（FFN）替换为MoE结构。门控网络根据输入token的特征，仅选择少量（通常为1-2个）专家对该token进行计算，其余专家处于闲置状态，实现模型总参数量与实际计算量的解耦。为保证训练稳定性，MoE通常会加入负载均衡约束，避免专家负载差异过大。优势（3分，写出3点即可）：（1）参数量与计算量解耦：MoE模型的总参数量可以远大于同计算量的密集型模型，由于每个token仅激活少量专家，实际计算量（FLOPs）与密集型模型相当，实现了“大参数量、低计算量”的效果，在相同算力下能达到更优的模型效果。（2）训练效率更高：在相同的计算资源下，MoE模型可以训练更大的参数量，收敛速度更快，在下游任务上的表现通常优于同计算量的密集型模型。（3）模块化扩展能力强：可以通过增加专家数量的方式横向扩展模型参数量，无需调整模型的其他结构，适配不同的任务需求和算力条件。（4）领域适配成本低：可以针对特定领域新增专家，或仅微调对应领域的专家，无需改动整个模型，大幅提升领域适配的效率和效果。局限性（2分，写出2点即可）：（1）专家负载不均衡问题：若门控网络的路由策略不合理，会导致部分专家被频繁调用，部分专家几乎不被激活，既浪费了参数资源，也会影响模型的训练稳定性。（2）推理部署难度大：MoE模型的总参数量大，需要更多的存储资源；同时路由机制导致计算动态性强，难以充分利用GPU的并行计算能力，推理延迟通常高于同计算量的密集型模型。（3）训练通信开销大：在分布式训练中，MoE需要在不同设备之间传输token和专家的计算结果，通信开销远大于密集型模型，对集群的网络带宽要求高。4.请对比计算机视觉中的CNN（卷积神经网络）和ViT（视觉Transformer）的核心差异，并说明ViT在2022年后广泛应用的主要原因。【答案】核心差异（4分，写出4点即可）：（1）特征提取方式不同：CNN通过局部卷积核提取特征，具有局部感受野，依赖人工设计的归纳偏置（局部相关性、平移不变性）；ViT通过自注意力机制提取全局特征，能够捕捉长距离依赖关系，几乎不引入人工归纳偏置。（2）输入处理方式不同：CNN直接接受二维图像像素作为输入，保留了图像的空间结构信息；ViT需要将图像切分为固定大小的patch，再将patch展平为向量并加入位置编码后输入Transformer，空间结构信息需要通过学习获得。（3）数据依赖不同：CNN的归纳偏置使其在小数据集上也能取得较好的效果，对数据量的要求较低；ViT由于缺乏归纳偏置，需要大规模数据预训练才能发挥性能，数据量充足时表现优于CNN。（4）特征层次不同：CNN的特征提取是分层递进的，底层提取边缘、纹理等低阶特征，高层提取抽象语义特征；ViT的自注意力机制在各层都能捕捉全局信息，低层也能学习到一定的全局语义关联。（5）计算特性不同：CNN的卷积运算高度优化，在中小规模模型和端侧设备上推理速度更快；ViT的自注意力计算复杂度与图像分辨率的平方成正比，高分辨率下推理成本高。广泛应用的原因（4分，写出4点即可）：（1）数据与算力支撑：随着大规模图像数据集（如LAION系列）和高性能计算集群的普及，ViT的大模型训练成为可能，其性能优势得以充分发挥。（2）架构优化降低应用门槛：SwinTransformer等改进架构引入了窗口自注意力和分层结构，将自注意力的复杂度从O(n²)降至线性级别，同时具备了分层特征提取能力，适配检测、分割等下游视觉任务，大幅提升了ViT的实用性。（3）多模态任务的需求：ViT的Transformer架构与NLP领域的大模型架构统一，便于进行跨模态对齐（如CLIP、多模态大模型），能够快速适配图文多模态任务，符合AI多模态的发展趋势。（4）自监督预训练范式成熟：掩码图像建模（MIM，如MAE）、对比学习等自监督预训练方法的成熟，使得ViT可以利用大量无标注图像进行预训练，进一步提升了模型的泛化能力和下游任务性能。（5）工程优化推进：FlashAttention、FusedTransformer算子等工程优化手段的出现，大幅提升了ViT的训练和推理速度，降低了部署成本，使得ViT在工业场景的落地成为可能。5.请简述基于大模型的Agent系统的核心组成模块，并说明各模块的作用。【答案】大模型Agent是以大语言模型为核心决策大脑，能够感知环境、自主规划任务、调用工具并执行动作，最终完成特定目标的智能系统，核心组成模块及作用如下：（1）大语言模型（LLM）核心模块：是Agent的“大脑”，负责理解用户需求、进行逻辑推理、制定执行决策、生成自然语言回复、总结执行结果，是Agent智能性的核心来源。通常采用指令微调或对齐后的大模型，需具备较强的推理能力和工具调用能力。（2分）（2）感知模块：是Agent与外界交互的入口，负责感知外部环境的各类信息，包括文本输入感知、图像/语音等多模态感知、环境状态感知（如网页内容、API返回结果、传感器数据等），并将外界信息转换为大模型可理解的文本或向量格式。（1.5分）（3）规划模块：负责将复杂的用户目标拆解为多个可执行的子任务，并制定动态执行计划，是Agent处理复杂任务的核心支撑。常见的规划方法包括思维链（CoT）、思维树（ToT）、反思机制（Reflexion）等，能够提升任务完成的成功率，避免执行偏离目标。（1.5分）（4）工具调用模块：负责根据大模型的决策指令，调用外部工具完成大模型自身无法实现的任务，如搜索引擎、计算器、数据库、代码解释器、第三方业务API等，弥补大模型实时性不足、数值计算能力弱、专业知识欠缺的问题，大幅扩展Agent的能力边界。（1.5分）（5）记忆模块：负责存储Agent的历史交互信息、任务执行过程、学习到的知识与经验等，分为短期记忆和长期记忆：短期记忆存储当前会话的上下文，依托大模型的上下文窗口实现；长期记忆存储历史任务记录、领域知识库等，通常依托向量数据库或外部存储实现，使得Agent能够积累经验，保持任务执行的连贯性。（1.5分）四、算法编程题（共2题，每题10分，共20分）1.请使用Python与NumPy实现批量梯度下降（BatchGradientDescent）优化的线性回归模型，要求包含训练（fit）和预测（predict）方法，损失函数采用均方误差（MSE），并添加关键步骤注释。假设输入特征X的维度为（n_samples,n_features），标签y的维度为（n_samples,1）。【答案】```pythonimportnumpyasnpclassLinearRegressionBGD:def__init__(self,learning_rate=0.01,n_iterations=1000):"""初始化线性回归模型:paramlearning_rate:学习率，控制参数更新的步长:paramn_iterations:迭代次数，即梯度下降的训练轮数"""self.learning_rate=learning_rateself.n_iterations=n_iterationsself.weights=None#权重向量，维度为(n_features,1)self.bias=None#偏置项，标量deffit(self,X,y):"""训练模型，使用批量梯度下降优化权重与偏置:paramX:训练特征矩阵，维度(n_samples,n_features):paramy:训练标签向量，维度(n_samples,1)"""n_samples,n_features=X.shapeself.weights=np.zeros((n_features,1))self.bias=0for_inrange(self.n_iterations):y_pred=np.dot(X,self.weights)+self.biasdw=(2/n_samples)*np.dot(X.T,(y_pred-y))db=(2/n_samples)*np.sum(y_pred-y)self.weights-=self.learning_rate*dwself.bias-=self.learning_rate*dbdefpredict(self,X):"""预测函数，输入特征输出预测值:paramX:测试特征矩阵，维度(n_samples,n_features):return:预测值向量，维度(n_samples,1)"""returnnp.dot(X,self.weights)+self.bias```评分标准：初始化逻辑正确（2分），前向预测计算正确（2分），梯度推导与计算正确（3分），参数更新逻辑正确（2分），代码规范、注释清晰（1分）。2.请使用Python与PyTorch实现简化版的单头自注意力机制，要求包含缩放点积注意力的核心计算，支持可选的paddingmask（掩码位置为True），并添加关键步骤注释。假设输入张量的维度为（batch_size,seq_len,d_model），输出维度与输入一致。【答案】```pythonimporttorchimporttorch.nnasnnimporttorch.nn.functionalasFclassSingleHeadSelfAttention(nn.Module):def__init__(self,d_model):"""初始化单头自注意力层:paramd_model:输入特征的维度"""super().__init__()self.d_model=d_modelself.q_proj=nn.Linear(d_model,d_model)self.k_proj=nn.Linear(d_model,d_model)self.v_proj=nn.Linear(d_model,d_model)defforward(self,x,mask=None):"""前向传播:paramx:输入张量，维度(batch_size,seq_len,d_model):parammask:padding掩码，维度(batch_size,seq_len,seq_len)，掩码位置值为True:return:自注意力输出，维度(batch_size,seq_len,d_model)"""batch_size,seq_len,_=x.shapeQ=self.q_proj(x)K=self.k_proj(x)V=self.v_proj(x)attention_scores=torch.matmul(Q,K.transpose(-2,-1))/torch.sqrt(torch.tensor(self.d_model,dtype=torch.float32))ifmaskisnotNone:attention_scores=attention_scores.masked_fill(mask,-1e9)attention_weights=F.softmax(attention_scores,dim=-1)output=torch.matmul(attention_weights,V)returnoutput```评分标准：Q/K/V线性投影实现正确（2分），缩放点积计算逻辑与维度正确（2分），mask处理逻辑正确（2分），softmax与V的乘积计算正确（2分），代码规范、注释清晰（2分）。五、场景设计题（共1题，15分）某电商平台计划基于大模型搭建智能客服系统，要求能够准确回答用户关于商品信息、订单状态、售后政策等问题，同时具备处理复杂售后申请的能力，且回复的事实准确率需达到95%以上，单轮回复延迟控制在2秒以内。请你作为AI工程师，设计该智能客服系统的技术方案，说明核心模块、关键技术选型和优化思路。【答案】该智能客服系统可采用“大模型+RAG+工具调用”的总体架构，从事实准确性、响应延迟、业务覆盖度三个维度满足需求，具体设计如下：一、核心模块架构（5分）系统采用分层模块化设计，共分为5个核心模块：1.前端交互与安全模块：负责接收用户的文本/语音输入，返回客服回复，支持多轮对话上下文维护；同时部署输入内容安全审核模型，过滤恶意、违规、涉政内容，避免安全风险。2.意图识别与路由模块：识别用户的查询意图，