2026年培训试题及答案

2026年培训试题及答案一、单项选择题（本大题共20小题，每小题1分，共20分。在每小题给出的四个选项中，只有一项是符合题目要求的）1.在深度学习的反向传播算法中，若激活函数的导数在大部分定义域内趋近于零，最容易导致的现象是（）。A.梯度爆炸B.梯度消失C.过拟合D.欠拟合2.假设一个二分类问题中，逻辑回归模型的预测概率为=σ(x+b)，其中A.−B.−C.lD.l3.在支持向量机（SVM）中，引入软间隔的主要目的是（）。A.加快模型训练速度B.允许模型在训练集上存在一定的分类错误，以提升泛化能力C.减少支持向量的数量D.将非线性问题转化为线性问题4.对于决策树算法，C4.5算法相对于ID3算法的主要改进在于（）。A.能够处理连续型属性B.使用信息增益率作为划分标准，克服了信息增益偏向取值较多属性的缺点C.引入了剪枝策略D.能够处理缺失值5.在K-Means聚类算法中，若样本点存在多个特征，且不同特征的量纲差异极大，直接进行聚类会导致结果严重偏离。为解决此问题，必须在聚类前进行的操作是（）。A.降维处理B.特征归一化或标准化C.增加聚类簇数KD.更改距离度量方式为余弦相似度6.卷积神经网络（CNN）中，池化层的主要作用不包括（）。A.降低特征图的维度B.减少模型参数量C.提取更高层次的语义特征D.提供平移不变性7.在循环神经网络（RNN）中，长短期记忆网络（LSTM）通过引入门控机制解决了传统RNN的梯度消失问题。LSTM中负责决定当前时刻保留多少历史状态信息的门是（）。A.输入门B.遗忘门C.输出门D.候选门8.评估一个推荐系统时，若我们希望同时关注推荐列表中物品的排序质量以及用户对已推荐物品的满意度，最合适的评价指标是（）。A.点击率B.转化率C.归一化折损累计增益D.覆盖率9.在强化学习中，Q-learning算法的更新公式为Q(,)A.学习率B.折扣因子C.探索率D.奖励衰减常数10.在自然语言处理中，Word2Vec模型包含两种经典的训练架构：CBOW和Skip-gram。下列关于两者对比描述正确的是（）。A.CBOW适合训练生僻词的词向量B.Skip-gram的训练速度通常快于CBOWC.Skip-gram适合训练生僻词的词向量，且通过上下文预测中心词D.CBOW是通过中心词预测上下文11.下列关于梯度下降优化算法的描述中，错误的是（）。A.SGD每次更新仅使用一个样本，容易受到噪声影响，陷入局部最优B.Adam算法结合了Momentum和RMSProp的优点，计算了一阶矩估计和二阶矩估计C.Adagrad算法中，每个参数的学习率在训练过程中保持不变D.Momentum算法通过累积历史梯度来加速收敛12.在模型评估中，若数据集存在严重的类别不平衡问题（如正负样本比例为1:100），则以下评价指标中最为客观有效的是（）。A.准确率B.错误率C.F1-ScoreD.ROC曲线下面积（AUC）13.假设线性回归模型y=x+b使用L2正则化（Ridge回归），目标函数为J(A.逐渐趋于零B.逐渐趋于无穷大C.保持不变D.部分参数变为绝对值很大的实数14.在主成分分析（PCA）降维过程中，我们通常需要计算数据协方差矩阵的特征值和特征向量。选择前k个主成分的依据是（）。A.选择前k个最小的特征值对应的特征向量B.选择前k个最大的特征值对应的特征向量C.选择特征向量中元素绝对值最大的前k个D.随机选择k个特征向量15.在Transformer架构中，自注意力机制的计算公式为AtteA.防止矩阵乘法溢出B.缩小点积结果，使得Softmax函数处于梯度较大的区域，防止梯度消失C.对向量进行L2归一化D.减少模型的参数量16.在集成学习中，随机森林算法相较于单棵决策树的优势主要体现在（）。A.极大地降低了模型的训练时间B.提升了模型的可解释性C.通过Bagging思想和特征随机选择，降低了模型方差，防止过拟合D.增加了模型的偏差17.在评估假设空间时，根据没有免费的午餐定理（NFL），下列说法正确的是（）。A.存在一种万能算法在所有问题上都优于其他算法B.脱离具体问题，任何算法的期望性能都相同，因此算法选择无需考虑数据特性C.脱离具体问题，所有学习算法的期望性能相同，但实际问题总有偏好，故需具体问题具体分析D.深度学习算法一定优于传统机器学习算法18.若特征矩阵X的维度极高且稀疏（如文本处理的TF-IDF矩阵），在逻辑回归中加入L1正则化（Lasso回归）的主要目的是（）。A.保留所有特征，仅缩小特征权重B.产生稀疏权重矩阵，实现特征选择C.增加模型复杂度D.加速矩阵求逆运算19.在生成对抗网络（GAN）中，生成器G和判别器D进行极小极大博弈。判别器D的目标函数是（）。A.mB.mC.mD.m20.在时间序列分析的ARIMA模型中，三个参数(pA.自回归项数、差分阶数、移动平均项数B.移动平均项数、差分阶数、自回归项数C.自回归项数、平滑系数、移动平均项数D.滞后阶数、差分阶数、周期长度二、多项选择题（本大题共10小题，每小题2分，共20分。在每小题给出的四个选项中，至少有两个选项是符合题目要求的，多选、漏选或错选均不得分）1.关于模型过拟合的判断与防止方法，下列说法正确的有（）。A.训练误差持续降低，但验证误差开始上升，说明可能发生了过拟合B.增加训练数据量是防止过拟合的有效手段之一C.使用Dropout技术可以在每次迭代中随机丢弃部分神经元，从而缓解过拟合D.模型参数越少越容易发生过拟合2.在聚类分析中，DBSCAN（基于密度的空间聚类应用带有噪声的方法）相比于K-Means算法的优势在于（）。A.不需要事先指定聚类簇数B.能够发现任意形状的簇C.对异常值不敏感，能够有效识别噪声点D.时间复杂度更低，适合超大规模数据3.下列关于交叉验证方法的描述，正确的有（）。A.留一法交叉验证在每次迭代中仅使用一个样本作为验证集，计算开销极大B.K折交叉验证中，K值越大，验证集比例越小，偏差越大，方差越小C.分层K折交叉验证常用于处理类别不平衡的数据，确保每折中类别比例与总体一致D.交叉验证能够有效利用有限的数据，比单次划分训练集和测试集更稳定4.在深度学习模型训练中，可能导致梯度爆炸的原因包括（）。A.学习率设置过大B.网络层数过深且未使用合适的初始化方法C.激活函数的导数在训练过程中持续大于1D.批归一化层使用不当5.对于余弦相似度与欧氏距离的对比，下列说法正确的有（）。A.欧氏距离关注向量在空间中的绝对距离，对向量的长度敏感B.余弦相似度关注向量在方向上的差异，取值范围在[−C.在文本分类或推荐系统中，当仅关注方向差异而不关注绝对大小时，余弦相似度通常优于欧氏距离D.欧氏距离等于零等价于余弦相似度等于16.下列关于降维算法PCA和线性判别分析（LDA）的描述，正确的有（）。A.PCA是一种无监督降维方法，不需要类别标签B.LDA是一种有监督降维方法，利用了类别信息C.PCA旨在最大化投影后方差，LDA旨在最大化类间方差与类内方差的比值D.PCA和LDA均属于非线性降维方法7.在构建大型语言模型（LLM）时，为缓解大语言模型的“幻觉”现象，可采用的技术手段包括（）。A.检索增强生成（RAG）B.强化学习人类反馈对齐（RLHF）C.提高模型参数量但不增加训练数据D.增加自监督预训练的轮数但不进行指令微调8.在强化学习中，状态价值函数V(s)A.V(B.V(s)表示在状态sC.Q(s,a)表示在状态sD.V(9.下列哪些指标常用于评估回归模型的性能（）。A.均方误差B.平均绝对误差C.决定系数D.混淆矩阵10.在推荐系统中，协同过滤算法主要面临的挑战包括（）。A.冷启动问题B.数据稀疏性问题C.可扩展性问题D.特征提取困难三、填空题（本大题共10小题，每小题1分，共10分）1.机器学习中，交叉熵损失函数衡量的是预测概率分布与真实分布之间的差异。对于二分类问题，其公式通常表示为L=−[yl2.在标准的多层感知机（MLP）中，全连接层的运算可以表示为y=3.AdaBoost算法在迭代训练过程中，会根据前一轮分类器的分类错误率，动态调整样本的权重。分类错误的样本权重会被______，以便下一轮基学习器更加关注这些难分类的样本。4.在概率论与统计学中，贝叶斯定理的数学公式为P(5.在深度学习模型优化中，Adam算法的核心是计算梯度的一阶矩估计和二阶矩估计。为了消除初始化偏差，通常需要对这两个估计值进行______校正。6.图像处理中，膨胀和腐蚀是两种基本的形态学操作。其中，______操作能够消除图像中的细小噪声，使目标边界向内部收缩。7.若马尔可夫决策过程（MDP）中，状态转移概率仅依赖于当前状态和采取的动作，而与历史状态无关，这一特性称为______。8.在自编码器网络中，网络由编码器和解码器两部分组成。为了实现数据的降维，通常需要限制隐藏层的神经元数量______输入层的神经元数量。9.在衡量分类模型性能时，精确率和召回率往往相互制约。F1分数是精确率和召回率的______平均数，用于综合评估模型性能。10.在自然语言处理的序列到序列模型中，为了解决处理长序列时的信息丢失问题，通常会引入______机制，使得解码器在生成输出时能够动态关注输入序列的不同部分。四、简答题（本大题共4小题，每小题5分，共20分）1.简述偏差与方差的定义，并分析它们在机器学习模型训练中的权衡关系。2.在深度学习中，Dropout常被用于防止过拟合。请简述Dropout在训练和预测阶段的具体工作机制，并解释其能有效防止过拟合的原因。3.在处理二分类问题时，受试者工作特征曲线（ROC）和精确率-召回率曲线（PR曲线）是两种常用的评估工具。请分析两者的区别，并说明在数据类别极度不平衡的情况下，应优先选择哪种评估工具及其原因。4.简述Transformer架构中的多头注意力机制相比单头注意力机制的优势。五、应用题与计算题（本大题共3小题，共20分。要求写出详细的计算过程或分析步骤，结果保留两位小数）1.计算与推导题（7分）给定一个逻辑回归模型，其预测概率公式为=σ(z)，其中z=x+b，σ(（1）计算当前模型对该样本的预测概率。（2）假设使用交叉熵损失函数L=−[ylo+（3）若采用梯度下降法更新参数，学习率α=0.1，请计算更新后的参数2.决策树计算题（6分）给定如下包含4个样本的训练数据集D，包含两个特征（天气）和（温度），类别标签为Y（是否打网球，1代表打，0代表不打）。样本编号$A_1$(天气)$A_2$(温度)$Y$(是否打网球)1晴高02晴低13阴高14阴低1已知基尼指数的计算公式为：$Gini(D)=1-\sum_{k=1}^{K}p_k^2$，其中$p_k$为第$k$类样本在数据集$D$中的比例。特征$A$将数据集$D$划分为若干子集$D_1,D_2,\dots$，划分后的基尼指数为$Gini_A(D)=\frac{D_1}{D}Gini(D_1)+\frac{D_2}{D}Gini(D_2)+\dots$（1）计算整个数据集D的基尼指数Gi（2）分别计算在特征和特征划分下的基尼指数Gin(D)（3）根据基尼指数最小化原则，该决策树根节点应选择哪个特征进行划分？3.软件工程与算法综合设计（7分）在大规模推荐系统架构中，通常采用“召回层”与“排序层”的两阶段架构。（1）请简述为何要采用这种两阶段架构，而非直接使用单一的复杂排序模型对全量物料进行打分排序。（2）在设计召回层时，常会使用基于用户-物品协同过滤（User-CF）算法。现假设有四个用户,,,，他们对三个物品用户$I_1$$I_2$$I_3$$U_1$101$U_2$010$U_3$111$U_4$001假设当前需要为用户$U_1$推荐物品，且已知用户$U_1$尚未交互过的物品仅有$I_2$（即我们需要预测$U_1$对$I_2$的兴趣度）。请使用Jaccard相似度公式$J(A,B)=\frac{A\capB}{A\cupB}$计算用户$U_1$与用户$U_2,U_3,U_4$之间的相似度。若在User-CF算法中，我们仅选取相似度最高的前$1$名邻居用户（Top-1）来预测对未交互物品的兴趣度（即直接将该邻居对目标物品的行为作为预测得分），请问$U_1$是否会被推荐物品$I_2$？请写出详细计算过程。六、综合分析题（本大题共1小题，共10分）1.综合系统设计题某大型电商平台计划升级其首页商品推荐系统。目前面临的主要挑战是：每天都有大量新上架商品（冷启动物品问题）；部分新注册用户无历史行为（冷启动用户问题）；同时，系统需要在百毫秒级别内响应数千万用户的并发请求，且推荐结果需要具备一定的多样性和可解释性。请结合你掌握的机器学习与深度学习知识，设计一个完整的推荐系统架构方案。要求：（1）详细描述推荐系统架构的各层模块（数据层、特征工程层、召回层、排序层、重排层/策略层）的具体设计与所用算法。（2）针对物品冷启动和用户冷启动问题，分别提出至少一种有效的解决方案。（3）针对大规模并发请求的线上推理延迟问题，提出系统优化策略。【参考答案及详细解析】一、单项选择题1.【答案】B【解析】：在深度神经网络中，如果激活函数的导数在大部分定义域内小于1（如Sigmoid函数），在反向传播过程中，根据链式法则，梯度会不断相乘，导致越靠近输入层的网络权重更新梯度越小，甚至趋近于零，这种现象称为梯度消失。2.【答案】A【解析】：交叉熵损失公式为L=−[ylo+(1−y)l3.【答案】B【解析】：硬间隔SVM要求所有样本都必须严格落在间隔边界之外且分类正确，当数据存在线性不可分或噪声点时，硬间隔SVM可能无法求解或严重过拟合。引入软间隔允许某些样本不满足约束条件（即在间隔内或分类错误），通过引入惩罚项C，在最大化间隔和最小化分类错误之间寻求平衡，从而提升模型的泛化能力。4.【答案】B【解析】：ID3算法使用信息增益作为划分属性的选择标准。信息增益偏向于取值数目较多的特征。C4.5算法对此进行改进，采用信息增益率作为标准，通过引入分裂信息对特征取值数量进行惩罚，从而克服了这一缺点。虽然C4.5确实能够处理连续属性（通过离散化）和缺失值，但这不是“信息增益率”这一核心改进点所针对的直接对比问题。5.【答案】B【解析】：K-Means基于欧氏距离度量样本相似度。如果不同特征的量纲差异极大（如一个是收入上万元，一个是年龄几十岁），欧氏距离会被量纲大的特征主导，导致聚类结果严重失真。特征标准化或归一化可以将所有特征缩放到同一尺度，是K-Means聚类的标准前置操作。6.【答案】C【解析】：池化层通过下采样降低特征图的空间维度，从而减少模型参数量和计算量，同时由于池化操作通常是在局部区域取最大值或平均值，这使得特征具有一定的平移不变性。然而，提取更高层次的语义特征是卷积层和全连接层的主要任务，而非池化层的功能。7.【答案】B【解析】：LSTM包含三个门：遗忘门、输入门和输出门。遗忘门负责决定从细胞状态中丢弃多少历史信息，其公式为=σ8.【答案】C【解析】：NDCG（归一化折损累计增益）是一种衡量排序质量的指标，它对推荐列表中靠前位置的相关物品给予更高权重，同时能够处理不同用户推荐列表长度不一致的问题，非常适合评估排序质量和用户满意度。点击率仅关注点击与否，转化率关注最终交易，覆盖率关注推荐物品的长尾分布，不直接反映排序质量。9.【答案】B【解析】：在强化学习的Q-learning更新公式中，α是学习率，控制更新的步长；γ是折扣因子，代表了未来奖励在当前时刻的重要程度，γ越接近1表示越看重长远收益，越接近0表示越看重眼前收益。10.【答案】C【解析】：Skip-gram是通过中心词预测上下文词，因为对于生僻词，其作为中心词时能在多个上下文窗口中被训练，所以能更好地学习生僻词的词向量表示；而CBOW是通过上下文词预测中心词，容易将生僻词的表示平滑掉。Skip-gram由于每次中心词都要预测多个上下文，其训练速度通常慢于CBOW。11.【答案】C【解析】：Adagrad算法累积了历史所有梯度的平方和作为分母，随着训练的进行，分母会不断增大，导致每个参数的学习率实际上是不断衰减的，甚至可能提前结束训练，而不是保持不变。12.【答案】C【解析】：在类别极度不平衡的情况下，准确率会被多数类主导（例如负样本占99%，模型全预测为负，准确率也有99%，但毫无意义）。F1-Score是精确率和召回率的调和平均数，综合考量了少数类的预测性能，比准确率客观有效得多。AUC虽然也常用于不平衡数据，但F1-Score在需要设定明确阈值评估实际分类效果时更为直接客观。13.【答案】A【解析】：L2正则化（Ridge回归）的目标函数中包含λ|w。当λ增大时，惩罚力度加强，为了使损失函数最小化，模型会被迫缩小所有参数14.【答案】B【解析】：PCA的核心思想是最大化投影后的数据方差。协方差矩阵的特征值代表了对应特征向量方向上数据方差的大小。因此，为了保留尽可能多的原始信息，应选择特征值最大的前k个特征向量作为主成分。15.【答案】B【解析】：当Q和K的点积结果很大时，Softmax函数会进入饱和区，此时梯度趋近于零，导致训练困难。除以可以对点积结果进行缩放，将其控制在合理的范围内，保证Softmax函数处于梯度非零且敏感的区间，有助于模型训练的稳定性。16.【答案】C【解析】：随机森林基于Bagging集成思想，每棵树在不同的数据子集和特征子集上训练，最终通过投票或平均输出结果。这种机制显著降低了模型的方差，有效防止了过拟合。但多棵树的组合导致训练时间比单棵树更长，且模型可解释性变差（从白盒模型变为黑盒模型）。17.【答案】C【解析】：没有免费的午餐定理指出，在所有可能的问题分布均匀假设下，没有任何一个算法的性能优于其他算法。即所有算法的期望性能是相同的。但在现实世界中，问题是有特定分布和偏好的，因此不存在万能算法，必须根据具体问题特性选择或设计合适的算法。18.【答案】B【解析】：L1正则化（Lasso）在损失函数中加入λ|19.【答案】B【解析】：在GAN中，判别器D的目标是尽可能准确地区分真实样本和生成样本。因此，它希望对真实样本x的判别概率D(x)尽可能大（接近1），对生成样本G(z20.【答案】A【解析】：ARIMA模型全称为自回归积分滑动平均模型，其中p代表自回归（AR）项的阶数，d代表使时间序列成为平稳序列所做的差分阶数，q代表滑动平均（MA）项的阶数。二、多项选择题1.【答案】A,B,C【解析】：过拟合的特征是模型在训练集上表现极好，但在验证集或测试集上表现差，A正确。增加数据、Dropout均能有效缓解过拟合，B、C正确。模型参数越少，模型越简单，往往更容易发生欠拟合而非过拟合，D错误。2.【答案】A,B,C【解析】：DBSCAN基于密度，无需预先指定簇数K；能发现任意形状的簇，而非仅限球形簇；能够将低密度区域的点识别为噪声，对异常值鲁棒。A、B、C均正确。但DBSCAN需要计算所有点之间的距离，其时间复杂度通常为O(3.【答案】A,C,D【解析】：留一法每次仅留一个样本作验证，计算开销极大，A正确。分层K折能保持类别比例，适合不平衡数据，C正确。交叉验证充分利用数据，评估更稳定，D正确。在K折交叉验证中，K值越大，验证集比例越小，偏差越大（因为训练集更接近全量数据），方差越小（因为验证次数多，评估受单次划分随机性影响小），因此B项描述“方差越大”是错误的。4.【答案】A,B,C【解析】：学习率过大会导致梯度更新步长过大，引发数值不稳定甚至爆炸，A正确。网络过深且初始化不当（如权重初始化过大）会导致连乘效应使梯度指数级增长，B正确。激活函数选择不当或梯度计算中出现导数大于1的累积也会导致爆炸，C正确。批归一化层主要用于稳定训练、防止梯度消失或爆炸，通常不会导致梯度爆炸，D错误。5.【答案】A,B,C【解析】：欧氏距离度量空间绝对距离，对长度敏感，A正确。余弦相似度度量方向差异，取值[−6.【答案】A,B,C【解析】：PCA是无监督降维，最大化方差；LDA是有监督降维，最大化类间方差与类内方差之比。A、B、C均正确。两者本质上都是线性变换方法，属于线性降维，D错误。7.【答案】A,B【解析】：RAG通过检索外部知识库为模型提供事实依据，RLHF通过人类反馈对齐模型行为，都能有效缓解幻觉。A、B正确。单纯增加参数量但不增加数据或仅增加预训练轮数而不进行指令微调，不仅不能缓解幻觉，反而可能加剧模型的臆造能力，C、D错误。8.【答案】A,B,C,D【解析】：V(s)是状态期望回报，与策略和状态有关，不依赖具体动作；Q(s,a9.【答案】A,B,C【解析】：MSE、MAE、均为回归模型评估指标。混淆矩阵是分类模型的评估工具，用于计算准确率、精确率等，D不属于回归指标。10.【答案】A,B,C【解析】：协同过滤依赖用户-物品交互矩阵，面临新用户、新物品无交互信息的冷启动问题（A）；交互矩阵通常极为庞大且稀疏（B）；计算用户相似度等运算复杂度高，面临扩展性挑战（C）。特征提取困难通常是基于内容推荐面临的问题，协同过滤不提取物品内容特征，D错误。三、填空题1.【答案】−lo（或2.【答案】激活（或非线性激活）3.【答案】增大（或提高）4.【答案】独立（或条件独立）5.【答案】偏差6.【答案】腐蚀7.【答案】马尔可夫性（或无后效性）8.【答案】小于9.【答案】调和10.【答案】注意力（或Attention）四、简答题1.【参考答案】偏差度量了模型预测值的期望与真实值之间的差异，反映了模型本身的拟合能力。高偏差意味着模型过于简单，未能捕捉数据中的潜在规律，导致欠拟合。方差度量了模型在不同训练集上训练后，对同一测试样本预测结果的变化范围，反映了模型对训练数据扰动的敏感程度。高方差意味着模型可能过度拟合了训练集中的噪声，导致过拟合。在模型训练中，两者存在权衡关系。随着模型复杂度的增加，模型对训练数据的拟合能力增强，偏差逐渐降低，但方差会逐渐升高，导致过拟合风险增大。反之，若模型过于简单，方差低但偏差高，导致欠拟合。优化的目标是寻找一个平衡点，使得总误差（偏差与方差之和）最小化，即模型具备足够的复杂度以提取数据规律，但又不会过度拟合噪声。2.【参考答案】在训练阶段，Dropout会以预设的概率p随机将部分神经元的输出置为零，被丢弃的神经元在当前前向传播和反向传播中均不参与计算，相当于每次迭代都在一个不同的子网络上进行训练。在预测（测试）阶段，Dropout会被关闭，所有神经元均参与计算，但为了保持输出的期望值与训练时一致，通常需要将权重乘以保留概率(1有效防止过拟合的原因：（1）由于每次迭代丢弃的神经元不同，模型不会过度依赖某几个特定的神经元或特征，迫使网络学习到更加鲁棒的分布式特征表示；（2）Dropout相当于在每次训练中构建了一个不同的子网络，最终预测时的效果类似于多个子网络的集成，集成学习能有效降低方差，抑制过拟合。3.【参考答案】ROC曲线以假正例率（FPR）为横轴，真正例率（TPR）为纵轴；PR曲线以召回率为横轴，精确率为纵轴。两者的主要区别在于对负样本数量的敏感度：ROC曲线的FPR计算依赖于真实负样本的数量，当负样本数量远大于正样本时，FPR的变化可能非常迟缓，无法直观反映分类器在正样本上的性能。在数据类别极度不平衡的情况下，应优先选择PR曲线。原因在于，当负样本数量极大时，即使有少量负样本被误判为正样本，也会使假正例数（FP）大幅增加，导致精确率骤降。PR曲线直接反映了精确率和召回率的权衡，能够更敏锐地暴露出分类器在正类识别上的性能衰退，而ROC曲线可能会因为大量真实负样本的稀释而呈现出看似优异的假象。4.【参考答案】单头注意力机制仅使用一组Q,其优势在于：（1）增强了模型捕捉不同特征关系的能力。不同的注意力头可以关注序列中不同位置和不同维度的语义或结构信息，例如某些头专注于捕捉语法依赖，某些头专注于捕捉长距离语义依赖，从而使得特征表示更加丰富。（2）类似于集成学习的效果，多个头并行计算并在最后融合，提升了模型的表达能力和鲁棒性。（3）在保持计算效率的同时（因为每个头的维度降低了），模型能够从多个视角全面理解输入特征。五、应用题与计算题1.【参考答案与计算过程】（1）计算预测概率已知x=[1,2计算线性组合z=计算Sigmoid激活：=σ已知≈1.4918≈=即当前模型的预测概率≈0.40（2）计算偏导数已知交叉熵损失对预测概率的导数为。根据链式法则：=。其中：=对于二分类逻辑回归，上述链式求导可化简为：=−代入数据：≈0.4013，y=1=(（3）更新参数梯度下降更新公式：=−已知α=0.1，=0.5即更新后的参数约为0.56。2.【参考答案与计算过程】（1）计算数据集D的基尼指数G数据集D共有4个样本，其中标签Y=1的样本有3个（样本2,3,4），Y=概率：==0.75，Gi（2）计算各特征划分下的基尼指数特征（天气）的划分：取值为“晴”的样本有2个（样本1,2），其中Y=1有1个，Y=0Gi取值为“阴”的样本有2个（样本3,4），其中Y=1有2个，Y=0Gi划分后的基尼指数：Gi特征（温度）的划分：取值为“高”的样本有2个（样本1,3），其中Y=1有1个，Y=0Gi取值为“低”的样本有2个（样本2,4），其中Y=1有2个，Y=0Gi划分后的基尼指数：Gi（3）选择划分特征由于Gin(D)3.【参考答案与计算过程】（1）采用两阶段架构的理由在大规模推荐场景中，物料库可能有上亿级别商品。如果直接使用复杂的深度排序模型对全量物料进行打分，计算开销将导致系统无法在百毫秒级延迟内响应用户请求。因此采用两阶段架构：召回层负责从海量物料中快速筛选出数百或数千个与用户可能相关的候选集，注重计算速度和覆盖率，牺牲一定精度；排序层则使用包含丰富特征和复杂结构的深度模型对少量候选集进行精准打分，注重预测精度和业务目标的优化。这种架构在工程上实现了效率与效果的平衡。（2）User-CF预测计算过程目标：预测对的兴趣度。我们计算与其他用户的Jaccard相似度。的交互集合为：,。的交互集合为：。的交互集合为：,,。的交互集合为：。计算J(交集：,∩=∅并集：,,，|J(计算J(交集：,∩,,并集：,,，|J(计算J(交集：,∩=，并集：,，|AJ(根据计算结果，相似度排序为：J(选取相似度最高的Top-1邻居，即用户。在User-CF中，预测对未交互物品的得分即为邻居对的行为得分。查表可知对的评分为1（点击）。因此，预测对的兴趣度为1，由于1>0，系统会将物品推荐给用户。六、综合分析题1.【参考答案】