2026年NLP算法工程师（校招）高频面试题及解答

NLP算法工程师（校招）高频面试题

精选100道·含详细解答

面试前刷一遍，心中更有底

★表示出题频率：★★★较高★★★★很高★★★★★最高

一、数学与机器学习基础（15道）

1.什么是最大似然估计（MLE）和最大后验估计（MAP）？两者有什么联系与区别？

★★★★★（考察概率论基础）

2.请简述梯度下降算法的原理，并说明随机梯度下降（SGD）与批量梯度下降（BGD）的

区别。★★★★★（考察优化算法基础）

3.逻辑回归（LR）为什么使用Sigmoid函数？它的损失函数是什么？★★★★★（考察LR底

层原理）

4.详细推导一下逻辑回归的损失函数求导过程。★★★★（考察数学推导能力）

5.SVM的核函数有哪些？如何选择合适的核函数？★★★★（考察传统机器学习理论）

6.请简述决策树的划分标准（如ID3、C4.5、CART），它们之间有什么区别？★★★★★

（考察树模型原理）

7.什么是过拟合？在机器学习中通常有哪些防止过拟合的手段？★★★★★（考察模型泛化

能力）

8.随机森林和GBDT有什么区别？它们在方差和偏差的控制上有什么不同？★★★★★（考

察集成学习理论）

9.XGBoost相比于GBDT在工程和算法上做了哪些优化？★★★★（考察进阶机器学习原

理）

10.什么是L1和L2正则化？为什么L1能够产生稀疏解而L2不能？★★★★★（考察正则化底层

数学原理）

11.什么是特征工程？在处理连续型和离散型特征时，你通常会做哪些操作？★★★★（考察

数据处理基础）

12.评价二分类模型的指标有哪些？请解释Precision、Recall、F1-score和AUC的含义。

★★★★★（考察模型评估体系）

13.AUC的物理意义是什么？如果正负样本比例极度不平衡，AUC还会是一个好指标吗？

★★★★（考察评估指标深入理解）

14.朴素贝叶斯算法中的“朴素”指的是什么假设？★★★★★（考察经典算法基本概念）

15.K-means聚类算法中，如何选择初始中心点？K值如何确定？★★★★★（考察无监督学

习基础）

二、深度学习与神经网络（15道）

16.请简述反向传播算法（BP）的工作原理以及链式法则在其中的作用。★★★★★（考察深

度学习底层逻辑）

17.常见的激活函数有哪些（如ReLU、Sigmoid、Tanh）？它们各自有什么优缺点？

★★★★★（考察激活函数原理）

18.为什么ReLU函数在深度学习中比Sigmoid函数更常用？它是如何缓解梯度消失问题的？

★★★★★（考察梯度消失问题解决机制）

19.请详细解释梯度消失和梯度爆炸产生的原因，有哪些解决办法？★★★★★（考察网络训

练痛点解决机制）

20.什么是BatchNormalization（BN）？在训练和推理阶段，BN的计算过程有什么不同？

★★★★★（考察网络正则化机制）

21.LayerNormalization（LN）和BN有什么区别？为什么在NLP任务中通常使用LN而不是

BN？★★★★★（考察不同归一化机制的适用场景）

22.请简述RNN的结构及其缺陷，为什么RNN难以处理长序列信息？★★★★★（考察序列模

型基础）

23.LSTM是如何解决RNN的长期依赖问题的？请详细说明其内部的门控机制（遗忘门、输入

门、输出门）。★★★★★（考察LSTM核心原理）

24.GRU和LSTM有什么区别？在实际应用中你会如何选择？★★★★（考察经典序列模型的

对比）

25.一维卷积（1D-CNN）在NLP中通常用于解决什么任务？它与RNN在特征提取上有什么区

别？★★★★（考察CNN在文本处理中的应用）

26.优化器Adam是如何结合AdaGrad和RMSProp的优点的？简述其基本计算流程。★★★★

（考察高级优化器原理）

27.什么是Dropout？在训练和测试阶段，Dropout的处理有什么区别？★★★★★（考察防止

过拟合的深度学习机制）

28.模型训练中如果Loss出现NaN通常是由什么原因导致的？你该如何排查和解决？★★★★

（考察模型Debug思路）

29.什么是LabelSmoothing（标签平滑）？它起到了什么作用？★★★★（考察模型训练技

巧）

30.深度神经网络中权重初始化方法有哪些（如Xavier、Kaiming）？为什么不能全部初始化

为0？★★★★★（考察网络初始化原理）

三、NLP经典理论与模型（20道）

31.什么是词袋模型（BagofWords）和TF-IDF？它们在表示文本时有什么局限性？

★★★★★（考察传统文本表示方法）

32.请简述Word2Vec的核心原理，CBOW和Skip-gram模型有什么区别？★★★★★（考察静

态词向量原理）

33.Word2Vec在训练时通常会使用哪些加速技巧（如负采样、层次Softmax）？请阐述其原

理。★★★★★（考察模型加速与优化方法）

34.GloVe模型与Word2Vec相比，在全局统计信息和局部上下文特征上有什么不同的侧重

点？★★★★（考察词向量模型的差异）

35.什么是OOV（Out-of-Vocabulary）问题？有哪些常见的解决方法？★★★★★（考察NLP

常见问题处理机制）

36.简述BPE（BytePairEncoding）分词算法的具体流程，它解决了什么问题？★★★★★

（考察Subword分词原理）

37.请手写或口述Attention机制的数学公式，并解释Q、K、V的含义及作用。★★★★★（考

察注意力机制底层逻辑）

38.为什么Self-Attention计算时需要除以维度根号下d_k？★★★★★（考察注意力机制的数学

原理）

39.详细介绍Transformer的整体架构（Encoder和Decoder结构）。★★★★★（考察

Transformer核心架构）

40.Transformer中是如何引入位置信息的？请简述绝对位置编码和相对位置编码的区别。

★★★★★（考察位置编码原理）

41.什么是Multi-HeadAttention？它相比于单头注意力机制有什么优势？★★★★★（考察多

头注意力原理）

42.简述BERT的预训练任务（MLM和NSP），它们分别让模型学到了什么层面的知识？

★★★★★（考察BERT预训练机制）

43.ALBERT和RoBERTa相比于原始BERT，分别做了哪些结构改进和策略调整？★★★★

（考察BERT变体模型的理解）

44.简述TextCNN的模型结构，以及不同尺寸卷积核的作用。★★★★（考察文本分类经典模

型）

45.针对序列标注任务（如NER），为什么在BiLSTM后面通常要接一个CRF层？CRF层的作

用是什么？★★★★★（考察序列标注理论）

46.HMM和CRF有什么区别？生成式模型和判别式模型的本质不同是什么？★★★★★（考察

概率图模型基础）

47.文本分类任务中，如果遇到类别极度不均衡的情况，你会如何处理（从数据、损失函数等

角度）？★★★★（考察数据长尾分布问题解决思路）

48.什么是Seq2Seq模型？在解码时常用的BeamSearch算法原理是什么？★★★★★（考察

文本生成基础及解码策略）

49.Bleu和Rouge是NLP中常用的评价指标，请简述它们的计算思路及适用场景。★★★★

（考察生成任务评估指标）

50.你了解哪些文本数据增强（DataAugmentation）的方法？★★★★★（考察数据稀缺场景

的处理手段）

四、大模型（LLM）与前沿技术（20道）

51.GPT系列模型（GPT-1/2/3）的发展脉络是怎样的？它们与BERT在架构上最核心的区别

是什么？★★★★★（考察大规模预训练范式演进）

52.什么是PromptEngineering？In-contextLearning（ICL）与传统的Fine-tuning机制有什么

不同？★★★★★（考察大模型提示工程原理）

53.请简述InstructionTuning（指令微调）的概念及其在让模型遵循人类意图中的作用。

★★★★★（考察指令微调机制）

54.详细解释RLHF（基于人类反馈的强化学习）包含的三个关键阶段（SFT、RM、

PPO）。★★★★★（考察大模型对齐技术底层逻辑）

55.LLM在推理生成时存在的幻觉（Hallucination）问题是由什么导致的？有哪些缓解策略？

★★★★★（考察大模型核心痛点及解决思路）

56.什么是RAG（检索增强生成）？它通常包含哪几个模块，用来解决大模型的什么痛点？

★★★★★（考察外挂知识库技术应用）

57.在RAG系统中，如何评估和提升检索（Retrieval）阶段的召回率与准确率？★★★★（考

察RAG系统优化细节）

58.详细介绍LoRA（Low-RankAdaptation）微调方法的原理，它为什么能显著降低显存开

销？★★★★★（考察参数高效微调PEFT技术）

59.除了LoRA，你还了解哪些参数高效微调方法（如Adapter、P-Tuning、PrefixTuning），

它们的区别是什么？★★★★（考察PEFT技术体系）

60.在大模型推理加速中，KVCache的作用是什么？它是如何减少重复计算的？★★★★★

（考察大模型推理加速原理）

61.什么是RoPE（旋转位置编码）？它相较于传统位置编码有什么独特优势？★★★★★

（考察大模型主流位置编码技术）

62.大模型如何实现上下文长度的外推（ContextExtrapolation）？了解哪些相关技术（如

ALiBi、PI等）？★★★★（考察长文本处理前沿技术）

63.简述FlashAttention的核心思想，它是如何通过优化内存访问来加速Attention计算的？

★★★★（考察底层硬件与计算优化）

64.什么是大模型的涌现能力（EmergentAbilities）？你如何看待这一现象？★★★（考察对

大模型前沿理论的理解）

65.思维链（ChainofThought,CoT）在复杂推理任务中起到了什么作用？它的适用边界在哪

里？★★★★★（考察复杂推理激发手段）

66.简述LLaMA模型架构相比于原始TransformerDecoder的具体改进点。★★★★（考察主

流开源模型架构细节）

67.什么是MoE（混合专家模型）架构？它在扩大模型参数量的同时如何保持推理成本不增

加？★★★★★（考察前沿模型架构原理）

68.针对大模型的灾难性遗忘问题，在持续预训练（ContinualPre-training）阶段通常有哪些

应对策略？★★★★（考察增量训练问题解决思路）

69.在Agent技术中，LLM通常扮演什么角色？如何让LLM学会调用外部工具（ToolUse）？

★★★★★（考察Agent技术原理）

70.你如何看待多模态大模型（如GPT-4V）的发展趋势？文本和图像特征是如何实现对齐

的？★★★（考察前沿视野与跨模态思维）

五、编程基础与数据结构（10道）

71.Python中的装饰器（Decorator）原理是什么？请口述一个简单的计时装饰器实现。

★★★★★（考察Python语言特性）

72.Python的生成器（Generator）和迭代器（Iterator）有什么区别？在处理海量文本数据时

生成器有什么优势？★★★★★（考察Python内存管理优化）

73.Python中的GIL（全局解释器锁）是什么？它对多线程并发执行有什么限制，如何绕过GIL

实现并行？★★★★（考察Python并发编程基础）

74.讲一下快速排序（QuickSort）的实现思路及其时间、空间复杂度，什么情况下会退化成

O(n^2)？★★★★★（考察基础排序算法）

75.动态规划（DP）的核心思想是什么？什么样的问题适合用动态规划求解？★★★★★（考

察基础算法思维）

76.如何判断一个链表是否有环？（要求阐述快慢指针法原理）★★★★★（考察基础数据结

构与指针操作）

77.口述二叉树的前序、中序、后序遍历的递归和非递归实现思路。★★★★★（考察树结构

操作能力）

78.在大规模语料中查找一个给定的单词，你会使用什么数据结构（如Trie树、哈希表）？分

析其时空复杂度。★★★★（考察实际场景下的数据结构选择）

79.求解最长公共子串和最长公共子序列（LCS）有什么区别？分别口述其状态转移方程。

★★★★★（考察经典字符串DP问题）

80.给定一个非空整数数组，除了某个元素只出现一次以外，其余每个元素均出现两次，如何

用O(n)时间和O(1)空间找到该元素？★★★★（考察位运算与算法优化）

六、项目与实习经历挖掘（10道）

81.在你过往的NLP项目中，最复杂的技术难点是什么？你是如何定位并解决它的？

★★★★★（考察项目深度与问题解决能力）

82.针对你简历上的分类/生成任务，模型最终上线的评估指标是什么？在离线评估和线上表

现不一致时你是怎么排查的？★★★★★（考察工程化落地与线上验证能力）

83.描述一次模型效果未达预期的经历，你从数据、特征、模型调参等角度分别做了哪些优化

尝试？★★★★★（考察模型优化方法论体系）

84.项目中如果遇到严重的数据标注不均衡或脏数据比例高的问题，你在数据清洗与增强环节

是如何处理的？★★★★★（考察真实业务场景下的数据处理能力）

85.请详细介绍你在实习期间负责的整个模型Pipeline（从数据获取到部署测试），各个环节

的耗时瓶颈通常在哪里？★★★★（考察工程全链路视野）

86.在你的研究或项目中，为什么选择当前的模型（如BERT/GPT）而不是其他基线模型？有

做过充分的A/B测试和消融实验吗？★★★★★（考察技术选型逻辑与科研严谨性）

87.针对你参与的大模型微调项目，具体的显存占用是多少？训练数据量级和训练耗时分别是

多少？★★★★（考察大模型工程实践经验）

88.在多人协作的算法项目中，遇到代码冲突或模型迭代方向分歧时，你们团队是如何沟通和

收敛的？★★★★（考察团队协作沟通）

89.对于你在简历中提到的模型加速（如量化、剪枝），请详细阐述其实现细节及对模型精度

的影响。★★★★（考察模型压缩部署经验）

90.如果现在重新让你做一遍简历中最自豪的这个项目，你会在哪些方面做出改进或使用哪些

新技术？★★★★★（考察反思总结与技术迭代能力）

七、综合素质与软技能（10道）

91.作为应届生，你认为自己相比于其他同学最大的技术壁垒或核心优势是什么？★★★★★

（考察自我认知与求职竞争力）

92.NLP技术发展日新月异，你在平时是如何保持对前沿技术的关注并进行系统性学习的？

★★★★★（考察学习能力与自驱力）

93.请举一个你在过去一年内自学掌握的一项新技术或新工具的例子，并说明你的学习路径。

★★★★（考察知识转化效率）

94.如果入职后，发现导师分配给你的方向与你个人的兴趣（如你想做LLM但实际需求让你写

规则脚本）不符，你会怎么处理？★★★★（考察职场适应性与期望管理）

95.在接到一个完全陌生领域的算法需求时，你通常会在第一周开展哪些工作？★★★★★

（考察陌生领域的调研能力与工作方法论）

96.你如何看待算法工程师在实际业务中往往需要花费大量时间清洗数据而不是研究前沿模型

架构？★★★★（考察对岗位的真实认知）

97.未来三到五年内，你在NLP领域的职业规划是怎样的？想成为什么样的技术专家？

★★★★★（考察职业发展规划）

98.假设你负责的线上模型突然出现灾难性的大面积误报，作为直接负责人你前30分钟会采

取哪些行动？★★★（考察突发事件应急处理机制）

99.请描述一次你在学校或实习期间遭遇的重大挫折，你最终是如何走出来的？★★★（考察

抗压能力与情绪管理）

100.对于大模型可能会完全取代传统NLP算法工程师这一观点，你持什么看法？★★★（考察

行业洞察与独立思考能力）

NLP算法工程师（校招）高频面试题解答

一、数学与机器学习基础（15道）

本章节主要考察应届生在算法领域的理论基本功。对于校招而言，扎实的概率论、

最优化数学基础，以及对经典机器学习模型的底层推导能力，是评估候选人技术潜

力的核心指标。

Q1：什么是最大似然估计（MLE）和最大后验估计（MAP）？两者有什么联系

与区别？

答题分析：

考察频率：★★★★★

考察点：考察概率论基础

答题思路：用口语化的表达拆解统计学概念。先分别说出MLE和MAP的核心目标，再点

出两者的贝叶斯联系（MAP等于MLE加上先验），最后用通俗的抛硬币或数据拟合例子

辅助说明。

避坑点：切忌只背诵枯燥的公式，必须体现出对两者本质区别（是否引入先验知识）的理

解。不要长篇大论偏离核心，显得缺乏抓手。

参考回答：

在我平时的学习理解中，最大似然估计也就是MLE，它的核心思想是“存在即合

理”。当我们观察到一组数据时，MLE会去寻找一组参数，使得这组观测数据出现的

概率最大。它完全依赖于手头的数据，不掺杂主观的预设。

而最大后验估计MAP，则是引入了贝叶斯思想。它不仅仅看当前的数据，还加入了

我们对参数的先验假设。MAP的目标是最大化在给定观测数据下参数的后验概率。

它们俩的联系其实非常紧密。从数学公式上来看，MAP的对数形式就等于MLE的对

数似然函数，再加上一个参数的先验概率对数。如果假设先验概率是均匀分布的，

没有任何倾向性，那么MAP和MLE的计算结果就是完全等价的。在实际做项目时，

比如做文本分类，如果我们的训练数据量非常大，先验的影响就会被削弱，MAP会

逐渐逼近MLE；但如果数据很稀疏，MAP引入的先验知识就能起到很好的正则化作

用，帮助模型防止过拟合。

Q2：请简述梯度下降算法的原理，并说明随机梯度下降（SGD）与批量梯度下

降（BGD）的区别。

答题分析：

考察频率：★★★★★

考察点：考察优化算法基础

答题思路：先用形象的比喻（下山）解释梯度下降的基本原理，再说出SGD（每次单样

本）和BGD（每次全样本）的计算差异与优劣，最后点出实际工程中常用的折中方案

（Mini-batch）。

避坑点：不能只停留在纯理论，应届生最好能结合平时跑模型调参的经验，说明为什么工

业界或实验室都用Mini-batchSGD。

参考回答：

梯度下降的原理，我个人喜欢把它想象成一个人下山的过程。模型的目标是找到损

失函数的最低点，而在当前位置，梯度方向就是函数值上升最快的方向，所以我们

让参数逆着梯度的方向走一小步，不断迭代，最终就能逼近局部或全局极小值。

在具体计算上，批量梯度下降BGD是每次迭代都把整个训练集的数据过一遍来计算

梯度。这样梯度的方向非常准确，能平稳走到极值点，但如果数据级是百万级的，

内存和计算成本就无法承受了。

而随机梯度下降SGD走向了另一个极端，每次迭代只随机抽取一条样本来更新梯

度。它的计算速度很快，也能帮助跳出局部最优，但缺点是下降路线非常曲折，容

易在极值点附近震荡收敛不了。所以在实验室跑模型时，我更多使用的是它们的折

中方案，也就是Mini-batchSGD。每次选取一小批数据，比如32或64个样本计算

梯度，这样既保证了计算效率和内存占用，又兼顾了梯度更新的稳定性。

Q3：逻辑回归（LR）为什么使用Sigmoid函数？它的损失函数是什么？

答题分析：

考察频率：★★★★★

考察点：考察LR底层原理

答题思路：从输出边界（概率转换）和数学推导（广义线性模型/指数分布族）两个维度

解释Sigmoid。接着说明损失函数是对数损失（交叉熵），并点明它是由最大似然估计推

导而来的。

避坑点：只答出“能把数值映射到0-1”太浅了，高分回答需要点出伯努利分布和最大似然

估计的推导逻辑，展现扎实的数学功底。

参考回答：

逻辑回归使用Sigmoid函数，我理解有两个层面的原因。最直观的作用是，线性回

归的输出是连续的实数，而二分类任务需要一个0到1之间的概率值，Sigmoid函数

刚好能完美地把负无穷到正无穷的实数域，平滑映射到0到1的区间内。

从更深层的数学原理来看，这是由广义线性模型推导出来的。二分类问题的目标变

量服从伯努利分布，而伯努利分布属于指数分布族。按照广义线性模型的推导框

架，通过建立连接函数，自然而然就会推导出Sigmoid函数的形式，这其实是一个

数学上的必然结果，而不是凭空捏造的。

至于它的损失函数，通常叫做对数损失或者二元交叉熵损失。这个损失函数并不是

随便定义的，它是基于最大似然估计推导出来的。我们把每个样本分类正确的概率

相乘得到似然函数，为了方便计算取对数，再加上负号转化成最小化问题，最后得

出的公式刚好就是交叉熵的形式。

Q4：详细推导一下逻辑回归的损失函数求导过程。

答题分析：

考察频率：★★★★

考察点：考察数学推导能力

答题思路：由于口头描述公式有难度，重点要条理清晰地讲述求导的“链式推导路径”。先

列出目标损失函数，再说明对权重W求导时，如何通过复合函数求导法则分解步骤。

避坑点：避免用过多的“某个字母等于某个字母”的含糊表达，重点描述求导的结构和最终

结果的优雅形式。

参考回答：

逻辑回归损失函数的求导过程，我在平时的算法推导复习中经常练。具体步骤我会

按照链式求导法则来拆解。

我们的目标是对整体的对数损失函数关于权重参数W求导。这个复杂的导数其实可

以拆分成三个部分的乘积：第一步是损失函数对模型输出也就是预测概率的导数，

第二步是预测概率对线性组合项的导数，这步其实就是对Sigmoid函数求导，第三

步是线性组合项对参数W的导数。

这其中最精妙的一步就是Sigmoid函数的导数特性。Sigmoid求导后的结果刚好是

预测概率乘上一点减去预测概率，而这个结果刚好能和第一步损失函数求导产生的

分母抵消掉。

经过这三步相乘化简，最终得到的梯度更新公式非常简洁明了，形式就是：真实标

签和预测概率的差值，再去乘上当前样本的特征输入X。这说明模型更新的步伐，

刚好和我们预测错误的程度是成正比的。

Q5：SVM的核函数有哪些？如何选择合适的核函数？

答题分析：

考察频率：★★★★

考察点：考察传统机器学习理论

答题思路：列举最常用的线性核、多项式核和高斯核（RBF）。然后结合吴恩达的经典经

验法则，从样本量和特征维度的比例关系出发，说明选择策略。

避坑点：避免死背核函数公式，面试官更看重你结合数据特性进行模型选型的决策逻辑。

参考回答：

在SVM中，最常用的核函数主要有三种：线性核、多项式核以及高斯径向基核函

数，也就是常说的RBF核。

在实际的项目选型中，我通常会参考数据特征维度和样本数量的关系来做决定。如

果特征的维度非常高，甚至比样本量还要大，比如做传统的文本分类任务，这时候

数据在高维空间大概率已经是线性可分的了，为了避免模型过于复杂导致过拟合，

我会优先选择简单的线性核。

如果特征维度很少，但样本数量适中或者比较大，这时候数据可能存在复杂的非线

性关系，我一般会选择高斯RBF核。它可以把样本映射到无穷维的空间，拟合能力

非常强。不过RBF核需要调整超参数，比如Gamma，调参的工作量会大一些。至

于多项式核，因为参数较多且计算复杂，我在实际应用中使用的频率相对较少，基

本会把线性核和高斯核作为基线首选。

Q6：请简述决策树的划分标准（如ID3、C4.5、CART），它们之间有什么区

别？

答题分析：

考察频率：★★★★★

考察点：考察树模型原理

答题思路：清晰指出三个算法对应的指标（信息增益、信息增益率、基尼系数），重点解

释C4.5是如何弥补ID3的缺陷，以及CART为什么适合工程化和作为集成模型的基树。

避坑点：不可只报出名词。要说明它们演进的逻辑，展现对算法历史演变的宏观理解。

参考回答：

决策树的发展主要经历了ID3、C4.5和CART三个阶段，它们的区别主要在于节点

特征的划分标准不同。

最早的ID3算法使用的是信息增益。它的计算逻辑很直观，但也存在一个明显的缺

陷，就是它会偏向于选择取值种类特别多的特征，比如身份证号。为了解决这个问

题，C4.5做出了改进，引入了信息增益率。通过在分母加上一个惩罚项，抑制了模

型对多值特征的偏好。同时C4.5还支持了连续值的处理。

不过，ID3和C4.5都会生成多叉树，而且基于对数的计算成本有些高。所以现在工

业界尤其是集成学习中更常用的是CART树。CART使用基尼系数来衡量数据的不

纯度，基尼系数的计算不涉及对数，速度更快。而且CART构建的是二叉树，不仅

可以用于分类任务，还可以通过平方误差来处理回归任务。平时我们用的随机森林

或者GBDT，底层的基树默认采用的其实都是CART树。

Q7：什么是过拟合？在机器学习中通常有哪些防止过拟合的手段？

答题分析：

考察频率：★★★★★

考察点：考察模型泛化能力

答题思路：简述过拟合现象（训练好测试差，死记硬背）。然后按数据端、模型端、训练

过程三个维度系统性地梳理常用的缓解方法。

避坑点：忌杂乱无章地堆砌词汇。按照逻辑分类回答能体现很好的条理性和工程思维。

参考回答：

过拟合用通俗的话来说，就是模型在训练集上表现得特别好，但在测试集上表现很

差。本质上是因为模型的拟合能力太强了，把训练数据里的噪音和偶然特征也当成

了普遍规律死记硬背了下来，导致泛化能力下降。

在平时的实践中，我一般会从三个层面来处理过拟合问题。首先是数据层面，最有

效的方法就是扩充数据集，或者在NLP任务中做一些数据增强，比如同义词替换或

回译，让数据分布更全面。

其次是模型结构层面，如果是传统机器学习，可以控制模型的复杂度，比如限制树

的深度或剪枝；如果是深度学习，我会加入Dropout层，随机让一部分神经元失

活，避免网络对局部特征过度依赖。

最后是训练过程层面，我会经常使用正则化，比如加入L1或L2惩罚项，限制参数权

重过大。同时，在跑深度学习模型时，我通常会配置EarlyStopping，在验证集损

失不再下降时及时停止训练，避免模型在错误的路上越走越远。

Q8：随机森林和GBDT有什么区别？它们在方差和偏差的控制上有什么不同？

答题分析：

考察频率：★★★★★

考察点：考察集成学习理论

答题思路：对比两者的集成思想（Bagging与Boosting）、建树方式（并行与串行）、误

差下降侧重点（降方差与降偏差），并解释其背后的数学直觉。

避坑点：一定要讲透“方差”和“偏差”的区别，这是区分背题和真懂的关键。切忌把两者的

建树深度搞混。

参考回答：

随机森林和GBDT虽然底层用的基本都是CART树，但它们的集成思想和控制误差

的方向截然不同。

随机森林属于Bagging思想，它的树和树之间是独立并行的。它通过对训练样本和

特征进行有放回的随机抽样来建树，最后用投票或平均的方式输出结果。由于每棵

树都尽量长得很深，单棵树的偏差小但方差大，通过多棵独立树做平均，模型主要

降低的是整体的方差。

而GBDT属于Boosting思想，树之间是串行生成的。它每一轮的训练目标，都是去

拟合上一轮模型预测结果与真实值之间的残差，通过不断迭代去逼近真实值。在

GBDT中，为了防止过拟合，单棵基树通常是比较浅的弱学习器，方差小但偏差

大。随着弱学习器不断累加，模型一步步降低的是整体的偏差。

在实际使用时，如果算力充裕需要并行训练，我可能会用随机森林打个底；但为了

追求极致的预测精度，我通常会选择基于GBDT架构的模型进行深度调优。

Q9：XGBoost相比于GBDT在工程和算法上做了哪些优化？

答题分析：

考察频率：★★★★

考察点：考察进阶机器学习原理

答题思路：分层次回答，先说算法层面的改进（二阶泰勒展开、显式正则项），再说工程

实现上的优化（特征分块并行计算、缺失值处理机制）。

避坑点：校招面这个题如果只答“速度快”或者“用了二阶导”不够深入。要体现出对它之所

以能在Kaggle等比赛中称霸的原因的全面理解。

参考回答：

XGBoost可以看作是对传统GBDT的一次全方位升级，我通常从算法和工程两个维

度来理解它的优化。

在算法理论上，最核心的改进是XGBoost在计算损失函数时用到了二阶泰勒展开。

传统GBDT只用了一阶导数，而引入二阶导数让模型优化的方向更准确，收敛也更

快。同时，XGBoost在目标函数中直接加入了正则化项，包括叶子节点的数量和叶

子权重的L2惩罚，这就从原理上极大地降低了过拟合的风险。另外它还自带了对缺

失值的处理策略，能自动学习缺失值该往哪个分支走。

在工程实现上，XGBoost的设计也非常精妙。它将特征数据进行了预排序，并以

Block的数据结构缓存在内存中。这种结构让它在寻找最佳分裂点时，可以实现多

线程并行计算特征的增益，大幅提升了训练速度。这也是为什么在实际打比赛或者

做表格式数据任务时，XGBoost的运行效率远高于传统GBDT的原因。

Q10：什么是L1和L2正则化？为什么L1能够产生稀疏解而L2不能？

答题分析：

考察频率：★★★★★

考察点：考察正则化底层数学原理

答题思路：先定义两者分别是对权重的绝对值求和与平方求和。解释稀疏性时，可以用几

何相交图（正方形和圆形）或贝叶斯先验（拉普拉斯分布和高斯分布）的视角来进行阐

述。

避坑点：避免含糊其辞。最好直接引入目标函数等高线与正则化约束空间的几何图形相交

的概念，这样最直观且最符合算法工程师的语言。

参考回答：

L1和L2正则化是我们常用的缓解模型过拟合的手段。简单来说，它们都是在损失函

数后面加了一个关于模型权重的惩罚项。L1加的是权重的绝对值之和，L2加的是权

重的平方和。

关于为什么L1能产生稀疏解，也就是让很多权重变成0，而L2不行，我习惯从几何

直觉的角度来解释。假设是一个二维参数空间，L1正则化的约束空间是一个带尖角

的菱形，而L2正则化的约束空间是一个平滑的圆形。损失函数的等高线不断向外扩

展去寻找最优解时，碰到L1菱形的概率，绝大多数都会落在坐标轴上的顶点处。一

旦落在轴上，某个特征的权重就变成了0，这就在物理上实现了特征选择。

而损失函数等高线去碰L2的圆形区域时，往往是相切在某个非零的曲面上。所以L2

正则化会让所有的权重倾向于变小变均匀，但很难让它们真正变成绝对的0。另

外，如果从贝叶斯角度看，L1相当于假设参数服从拉普拉斯分布，L2则是高斯分

布，这也解释了它们不同特性的来源。

Q11：什么是特征工程？在处理连续型和离散型特征时，你通常会做哪些操作？

答题分析：

考察频率：★★★★

考察点：考察数据处理基础

答题思路：说明特征工程是从原始数据提取有用信息的环节。针对连续型说明标准化和分

箱；针对离散型说明独热编码以及高基数时的处理策略（如Embedding）。

避坑点：千万不要只是罗列名词（如“归一化、one-hot”），要简要说明“为什么”做这些操

作，比如分箱是为了引入非线性，这能体现你的实战思考。

参考回答：

特征工程是将原始数据转化为能更好地被机器学习模型理解和挖掘的特征集的过

程，俗话说“数据和特征决定了上限”。

在实际项目中处理连续型特征时，我的第一步通常是做标准化或归一化，消除不同

特征间的量级差异，这对于依赖距离计算或梯度下降的模型尤为重要。如果连续变

量的分布有长尾现象，我会做对数变换。另外，我还会做分箱或者离散化处理，这

样不仅能增强模型对异常值的鲁棒性，还能给线性模型引入非线性的特征表达。

对于离散型特征，如果类别的基数比较小，最常用的就是One-Hot独热编码。但如

果遇到高基数特征，比如具体的城市名或者用户ID，直接One-Hot会导致维度爆炸

和数据稀疏。这时候我会考虑使用TargetEncoding（目标编码），或者像我们在

深度学习里常用的那样，直接通过一层Embedding网络，把稀疏的离散类别映射到

低维稠密的向量空间中去。

Q12：评价二分类模型的指标有哪些？请解释Precision、Recall、F1-score和

AUC的含义。

答题分析：

考察频率：★★★★★

考察点：考察模型评估体系

答题思路：条理清晰地依次解释这四个指标的核心含义。强调Precision和Recall的定义区

别以及在业务中的取舍，F1的调和作用，以及AUC的全局排序特性。

避坑点：解释Precision和Recall时极其容易绕晕自己，建议使用“挑出来的有多少是对

的”和“对的里面有多少被挑出来了”这种大白话辅助解释。

参考回答：

评价二分类模型时，我们最看重的是怎么衡量模型预测的准确性和全面性。

Precision精确率，衡量的是模型挑出来的正样本里，到底有多少是真的正样本，它

反映了模型“找得准不准”。而Recall召回率，衡量的是在所有真实的正样本中，模

型成功找出了多少，它反映了模型“找得全不全”。

这两个指标在实际业务中往往是互斥的。为了平衡它们，我们引入了F1-score，它

是精确率和召回率的调和平均数，只有当两者都比较高时，F1的值才会高。

至于AUC，它的含义是ROC曲线下的面积。和前面三个指标依赖于具体的分类阈值

不同，AUC评估的是模型整体的排序能力。它的物理意义是，如果我们随机抽取一

个正样本和一个负样本，模型给正样本打分大于给负样本打分的概率。只要模型能

把正样本排在负样本前面，AUC就会很高，这使得它在不确定具体业务阈值时，是

一个非常稳定和宏观的评估标准。

Q13：AUC的物理意义是什么？如果正负样本比例极度不平衡，AUC还会是一

个好指标吗？

答题分析：

考察频率：★★★★

考察点：考察评估指标深入理解

答题思路：重申AUC的物理意义（排序概率）。重点讨论样本不平衡时AUC的表现：它

是相对鲁棒的，但如果业务极其关注少数正样本的精确度（如欺诈检测），PR曲线及

PR-AUC会更合适。

避坑点：不能简单回答“是”或“不是”。要展现辩证思维，说明AUC由于计算原理对类别分

布不敏感，这既是优点，但在某些极端重召回场景下也是缺点。

参考回答：

AUC的物理意义其实很简单，就是从数据中随机挑一个真实的正样本和一个真实的

负样本，模型对正样本预测出的得分，高于负样本得分的概率。这也是为什么随机

猜的AUC是0.5。

当遇到正负样本极度不平衡的时候，AUC依然保持着一个很大的优点，那就是它相

对比较鲁棒。因为ROC曲线的横纵坐标分别是假阳性率和真阳性率，它们是在真实

的负样本堆和正样本堆里分别独立计算的，所以即使大量塞入负样本，曲线形状也

不会发生剧烈变形。

但是，这时候AUC可能不再是“最完美”的业务指标了。比如在欺诈检测中，负样本

极多，正样本极少，模型可能轻易就把大量负样本排在了后面，导致AUC看上去很

高。但我们业务方更关心的是挑出来的几个正例到底准不准。这时候，使用PR曲线

下面的面积也就是PR-AUC，或者去关注前百分之几头部的精确率，会对这种不平

衡数据反映得更加灵敏和真实。

Q14：朴素贝叶斯算法中的“朴素”指的是什么假设？

答题分析：

考察频率：★★★★★

考察点：考察经典算法基本概念

答题思路：直接点明“条件独立性假设”。说明这个假设的内容，以及它为了简化计算而做

的妥协，顺带提一句在文本分类基线模型中的经典应用。

避坑点：切勿把“朴素”解释成算法简单或容易实现。必须准确扣住“特征间条件独立”这个

统计学上的强假设。

参考回答：

朴素贝叶斯算法中的“朴素”两个字，在统计学上指代的是一个非常强的假设，即“特

征条件独立性假设”。

它的意思是，在给定类别标签的前提下，模型假设样本的各个特征之间是完全相互

独立的，没有任何关联。比如在做一个邮件文本分类任务时，朴素假设就意味着“免

费”这个词和“中奖”这个词在垃圾邮件中出现的概率是独立计算的，互不影响。

在真实的物理世界里，这个假设几乎是不成立的，因为特征之间往往存在强烈的关

联语义。但之所以做这种“朴素”的妥协，是为了极大地简化联合概率的计算，避免

在计算多维特征时发生数据稀疏和组合爆炸的问题。虽然假设有点不切实际，但在

实际工程中，它作为文本分类或者垃圾邮件拦截的Baseline，运行速度极快，而且

取得的分类效果往往出人意料的好。

Q15：K-means聚类算法中，如何选择初始中心点？K值如何确定？

答题分析：

考察频率：★★★★★

考察点：考察无监督学习基础

答题思路：针对初始点，说明随机初始化的缺陷及K-means++的优化方案。针对K值，介

绍肘部法则（SSE）和轮廓系数，并结合实际业务探索。

避坑点：这道题既考算法细节又考业务直觉。如果只背诵肘部法则，不提K-means++，

会显得工程经验不足。

参考回答：

在K-means算法中，传统的做法是完全随机选择初始中心点，但这种方法非常容易

让模型陷入局部最优，而且收敛速度也不稳定。所以我平时更倾向于使用K-

means++算法，它的核心逻辑是先随机选一个点作为中心，然后让后续选出的中心

点尽可能离已经选好的点远一些，这样均匀撒网的初始化能大大提升聚类的稳定性

和质量。

至于K值的确定，这是一个比较开放的问题，因为无监督学习没有绝对正确的标

签。从数据驱动的角度，我最常用的是“肘部法则”。我会绘制聚类数K和误差平方和

SSE的折线图，随着K增加，SSE会下降，当下降速度突然变缓，形成一个类似“手

肘”的拐点时，这个K值通常比较合理。

另外，我也会结合计算“轮廓系数”来辅助判断，评估簇内的紧凑度和簇间的分离

度。不过在真实的业务场景下，K值的选择往往还要参考业务方的实际诉求，比如

他们希望把用户分成多少个画像群体，算法指标最终还是要服务于业务的解释性。

二、深度学习与神经网络（15道）

本章节聚焦深度学习的核心机制与网络结构。对于NLP算法工程师而言，深入理解

反向传播、梯度控制机制、序列模型（RNN/LSTM）以及归一化策略，是驾驭复杂

大模型、进行有效Debug和性能调优的基础。

Q16：请简述反向传播算法（BP）的工作原理以及链式法则在其中的作用。

答题分析：

考察频率：★★★★★

考察点：考察深度学习底层逻辑

答题思路：分为前向传播计算损失，反向传播传递误差信号两步来说明。重点点出链式法

则作为微积分工具，是如何跨越网络层传递梯度的。

避坑点：避免深陷繁复的下标字母公式描述，面试官希望听到宏观的工作流程和链式法则

的“接力”概念。

参考回答：

反向传播算法是训练神经网络的核心引擎。它的工作流程可以分为两个阶段。首先

是前向传播，输入数据经过各层网络向前流动，最终得出一个预测值。我们把预测

值和真实标签做对比，计算出当前的误差也就是损失函数。

接下来就是反向传播登场了。为了优化网络，我们需要知道损失函数对每一个权重

参数的梯度，以此来更新参数。但是深层网络的权重很多藏在内部，无法直接求

导。这时候微积分里的“链式法则”就起到了至关重要的作用。

链式法则就像是一场误差信号的接力赛。它允许我们将输出层的误差，一层一层地

向后倒推计算。通过将外层误差的导数乘以局部激活函数的导数，链式法则能够极

其高效地解构复合函数，把全局误差精准地分配给网络中哪怕最深层的每一个神经

元。没有链式法则，我们根本无法训练超过两层的深层神经网络。

Q17：常见的激活函数有哪些（如ReLU、Sigmoid、Tanh）？它们各自有什么

优缺点？

答题分析：

考察频率：★★★★★

考察点：考察激活函数原理

答题思路：比较三种经典函数的映射区间、梯度特性。重点指出Sigmoid和Tanh的梯度消

失缺陷，以及ReLU计算快、不消失但存在“神经元死亡”的特性。

避坑点：不仅要说出缺点，更要说出优点或适用场景（比如分类层仍然需要Sigmoid）。

参考回答：

引入激活函数主要是为了给神经网络增加非线性的表达能力。如果不加激活函数，

不管网络有多深，本质上都只是在做线性矩阵相乘。

最早期常用的是Sigmoid，它能把输出压缩到0和1之间，很适合作为二分类的输出

层。但它的缺点很致命，它的导数最大只有0.25，在反向传播时极其容易引发梯度

消失，而且输出不是以0为中心的。

Tanh是对Sigmoid的改进，它把输出映射到了负1到正1之间，实现了零中心化，收

敛速度比Sigmoid快，但在两端它依然存在梯度饱和与梯度消失的问题。

现在我们在隐藏层最常用的基线是ReLU。它的计算非常简单，大于0原样输出，小

于0则截断为0。它的优点是在正区间导数恒为1，完美缓解了梯度消失，还让网络

具备了稀疏性。不过它的缺点是“神经元死亡”问题，如果学习率设置太大，输入一

旦落入负区间，梯度就永远为0，无法再被激活了。

Q18：为什么ReLU函数在深度学习中比Sigmoid函数更常用？它是如何缓解梯

度消失问题的？

答题分析：

考察频率：★★★★★

考察点：考察梯度消失问题解决机制

答题思路：直接对比两者求导后的最大值特性。Sigmoid由于导数特性会导致连乘缩小，

而ReLU在正半轴导数恒定为1，保证了梯度的无损后传。

避坑点：要明确指出由于“链式法则的连乘效应”，微小的导数会导致前层网络无法更新，

凸显ReLU导数为1的战略意义。

参考回答：

ReLU之所以能在隐藏层全面取代Sigmoid，最核心的原因就是它有效缓解了深层

网络训练时的梯度消失痛点。

我们在做反向传播更新参数时，依赖的是链式法则，这会产生一连串梯度相乘的计

算。Sigmoid函数的导数是一个钟形曲线，它的最大值只有0.25，两端更是趋近于

0。如果我们有个十层以上的网络，0.25哪怕连乘十次，也会变成一个无限接近0的

极小值，这就导致网络最前面的几层几乎接收不到误差信号，权重根本无法更新。

而ReLU函数的设计非常巧妙，当输入大于0时，它是一个线性函数，导数永远等于

1。这意味着不管网络有多深，在反向传播经过ReLU层时，正区间的梯度信号能够

原封不动地传递下去，连乘1依然是1，这就从根本上解决了梯度消失的瓶颈。此

外，ReLU不涉及复杂的指数运算，计算速度极快，这对大规模深度学习训练也是

一个巨大的优势。

Q19：请详细解释梯度消失和梯度爆炸产生的原因，有哪些解决办法？

答题分析：

考察频率：★★★★★

考察点：考察网络训练痛点解决机制

答题思路：归因于网络过深导致链式连乘效应。大于1连乘导致爆炸，小于1连乘导致消

失。给出系统性解决方案：激活函数、初始化、归一化层、残差结构、梯度裁剪。

避坑点：校招容易只答单一方法，显得知识面较窄。需要按网络设计的不同维度给出多套

组合拳方案。

参考回答：

梯度消失和梯度爆炸的根源，都在于深层网络反向传播时的链式连乘效应。如果每

一层的局部导数都小于1，像Sigmoid那样，连乘几十次后梯度就会衰减到几乎为

0，也就是梯度消失；反过来，如果初始权重过大或者局部导数一直大于1，连乘下

来梯度就会呈指数级膨胀，导致模型参数更新过大直接崩溃，这就是梯度爆炸。

在平时的模型搭建中，我通常会用一套组合拳来预防这些问题。首先，在激活函数

上，我会优先使用ReLU及其变体来避免正向区间的梯度消失。其次，在权重初始

化时，不能简单随机给值，而是采用Xavier或Kaiming初始化，控制输入和输出的

方差一致。

如果是更深的网络，我会强依赖BatchNormalization等归一化层，它能把每一层

的数据强拉回到合理的分布区间。此外，引入像ResNet那样的残差连接，直接打通

了一条梯度回传的高速公路。如果是针对梯度爆炸，尤其是在训练RNN类模型时，

我一定会加上梯度裁剪，设定一个阈值，强行限制梯度的最大规模。

Q20：什么是BatchNormalization（BN）？在训练和推理阶段，BN的计算过

程有什么不同？

答题分析：

考察频率：★★★★★

考察点：考察网络正则化机制

答题思路：解释BN是对同一批次内的数据按特征维度做标准化，并学习可学习参数缩

放。重点说明训练时依赖当前Batch的均值方差，而推理时使用训练期间累积的滑动平均

值。

避坑点：绝不能忘记提BN除了标准化外，还引入了可学习参数和以恢复网络表达能

力。这也是常考的盲区。

参考回答：

BatchNormalization是在深度学习中为了加速网络收敛而提出的一种正则化技

术。随着网络层数加深，中间层数据的分布会不断发生偏移，BN的作用就是在每一

层激活函数之前，强行把这批样本的分布拉回到均值为0、方差为1的标准正态分

布，从而让优化器的寻优过程更加平滑。不过为了防止网络原有的特征表达能力被

破坏，BN还会引入两个可学习的参数，去动态地缩放和平移数据。

BN在训练阶段和推理阶段的计算过程是完全不同的。在训练时，我们手头有一个个

的Mini-batch，BN会直接计算当前这个Batch内数据的均值和方差，用它们来进行

归一化。

但是在推理或者预测阶段，我们往往是一条一条数据输入进来的，根本没有Batch

的概念，也无法计算方差。所以BN在训练的过程中，会在后台默默地维护一组全局

均值和方差的滑动平均值。等到了推理阶段，BN就固定使用这组训练积累下来的历

史均值和方差来进行计算，确保模型表现的一致性。

Q21：LayerNormalization（LN）和BN有什么区别？为什么在NLP任务中通

常使用LN而不是BN？

答题分析：

考察频率：★★★★★

考察点：考察不同归一化机制的适用场景

答题思路：对比归一化的维度方向：BN跨样本按特征归一，LN单样本按内部所有特征归

一。指出NLP中序列长度不一的问题会导致BN计算统计量极不稳定，而LN不受序列长度

影响。

避坑点：这是NLP岗位的必考题。一定要结合文本的“变长序列”属性和Padding操作来阐

述BN在NLP中的水土不服。

参考回答：

BN和LN最核心的区别在于归一化计算的方向维度不同。BN是跨越整个Batch的数

据，针对某一个特定的特征维度来进行统计归一化；而LN是对单个样本独立操作，

横向计算该样本内所有特征的均值和方差来进行归一化。

在图像CV领域，因为图片尺寸固定，BN是绝对的主流。但在我们NLP任务中，比

如基于Transformer的大模型，大家几乎清一色采用的是LN。

这是因为NLP处理的文本序列长度是参差不齐的。当我们把长短不一的句子放在同

一个Batch里时，通常会用0去Padding补齐较短的句子。如果用BN，它会在计算

Batch特征方差时，把大量无意义的Padding0也当成真实数据算进去，导致统计

出来的均值和方差产生严重的剧烈抖动，极大破坏模型训练。而LN只看当前这一条

句子自身的内部特征分布，完全不需要考虑同批次其他句子的长度，完美避开了长

度变化带来的干扰，所以在NLP领域成为了首选。

Q22：请简述RNN的结构及其缺陷，为什么RNN难以处理长序列信息？

答题分析：

考察频率：★★★★★

考察点：考察序列模型基础

答题思路：描述RNN按时间步循环展开的结构，隐状态持续传递。点出其缺陷在于难以

并行化以及长序列下的梯度消失。因为连乘使得早期时间步的梯度被后续覆盖。

避坑点：提到RNN梯度消失时，一定要说是因为“随着时间步展开”产生的连乘，区别于深

层前馈网络的“层数”展开。

参考回答：

RNN也就是循环神经网络，它的核心结构设计是为了处理序列数据。和传统网络不

同，RNN引入了一个隐藏状态，网络在处理当前时间步的输入数据时，会同时接收

上一个时间步传过来的隐藏状态。这就好比模型拥有了短期的记忆，能够把上下文

信息连贯起来。

但传统的RNN存在两个比较致命的缺陷。第一个是工程上的，因为它必须严格按时

间步先后顺序进行运算，无法像CNN或者Transformer那样高度并行化，导致训练

速度受限。

第二个也就是理论上最致命的，它难以捕捉长距离的依赖信息。当我们将RNN沿着

时间步展开后，它实际上变成了一个非常深的网络。在利用反向传播更新参数时，

由于它在每个时间步共享同一组权重矩阵，梯度的计算会包含大量该矩阵的连乘操

作。如果序列很长，连乘效应会迅速导致早期时间步的梯度衰减为零，这就是为什

么RNN读到句子结尾时，往往已经忘记了句子开头的关键信息。

Q23：LSTM是如何解决RNN的长期依赖问题的？请详细说明其内部的门控机制

（遗忘门、输入门、输出门）。

答题分析：

考察频率：★★★★★

考察点：考察LSTM核心原理

答题思路：说明LSTM引入了细胞状态（主线）和门控机制。按逻辑拆解遗忘门（决定丢

弃什么旧信息）、输入门（决定添加什么新信息）、输出门（决定当前隐藏状态输出什

么）。强调加法更新是解决梯度消失的关键。

避坑点：很多学生能背出三个门，但忽略了细胞状态（CellState）的更新公式。必须点

出它是通过“加法”更新从而缓解梯度连乘的。

参考回答：

LSTM为了解决传统RNN由于连乘导致的长期依赖问题，引入了一条贯穿所有时间

步的高速公路，叫做细胞状态（CellState）。它通过一种内部精巧的“门控机

制”来选择性地添加或删除细胞状态里的信息。

具体来说，它内部包含了三个门。首先是“遗忘门”，它通过读取前一个时间步的隐

藏状态和当前输入，输出一个0到1之间的数值，决定上一个时刻的长期记忆（也就

是细胞状态）里，有多少废弃信息需要被丢弃掉。

接着是“输入门”，它决定了当前时间步的新信息中，有哪些重要内容需要被补充写

进细胞状态里。通过遗忘门和输入门的协同，长期记忆的细胞状态就完成了更新。

最后是“输出门”，它会基于更新好的细胞状态，过滤并决定在当前这个时间步，到

底有哪些特征要被当作当前隐藏状态向后传递或者作为最终预测输出。

值得一提的是，细胞状态的更新主要是通过加法操作来完成的，这在反向传播求导

时，避免了权重的疯狂连乘，从而让长距离的梯度信号得以平稳流转。

Q24：GRU和LSTM有什么区别？在实际应用中你会如何选择？

答题分析：

考察频率：★★★★

考察点：考察经典序列模型的对比

答题思路：对比两者的结构差异：GRU将三个门精简为更新门和重置门，合并了细胞状

态和隐藏状态。应用选择上，基于性能与算力做取舍。

避坑点：这是个偏工程选型的问题。不仅要说出两者结构的简化，还要给出作为算法工程

师，在面对真实任务时“先试GRU，再视情况调LSTM”的务实策略。

参考回答：

GRU其实可以看作是LSTM的一个高度优化的精简版本。LSTM里有三个门，并且

区分了内部的细胞状态和外部的隐藏状态。而GRU对它进行了合并和简化，它不再

区分细胞状态，只保留了隐藏状态。

在门控机制上，GRU精简成了两个门：更新门和重置门。更新门相当于把LSTM的

遗忘门和输入门合并了，它决定了保留多少以前的信息以及写入多少新信息；重置

门则是用来决定遗忘掉多少过去的历史信息。由于结构变简单了，GRU的参数量比

LSTM少了大概三分之一。

在实际的项目应用中，如果资源受限或者需要快速跑出一个Baseline模型，我通常

会首选GRU，因为它的参数少，训练速度明显更快，而且在很多中等长度文本的任

务上，它的表现和LSTM几乎不相上下。但如果任务的数据集非常庞大，且文本序

列包含极为复杂的长距离逻辑依赖，我可能会切换回表达空间更丰富的LSTM进行

精细调优。

Q25：一维卷积（1D-CNN）在NLP中通常用于解决什么任务？它与RNN在特征

提取上有什么区别？

答题分析：

考察频率：★★★★

考察点：考察CNN在文本处理中的应用

答题思路：指明应用场景（文本分类，如TextCNN）。对比特征提取机制：CNN像N-

gram捕获局部特征且可并行，RNN捕获全局时序依赖但需串行。

避坑点：有些同学认为CNN只能做图像。必须清楚阐述1D-CNN在文本上充当“词袋或N-

gram探测器”的作用，强调它的并行效率优势。

参考回答：

在NLP领域，一维卷积也就是1D-CNN，最经典的应用场景就是文本分类任务，比

如情感分析或者意图识别，其中最著名的模型就是TextCNN。

它和RNN在特征提取上的视角是完全不同的。RNN是基于时间步顺序读取单词的，

它的强项在于捕捉长距离的、全局的逻辑语义依赖。但1D-CNN在处理文本时，就

像是一个不断滑动的“N-gram探测器”。我们通过设置不同尺寸的一维卷积核，比如

大小为3或5的核，去扫描句子，它的强项是能够极其敏锐地捕捉到局部的关键短语

或固定词组搭配。对于很多分类任务来说，只要检测到几个强情感词语就足够判断

类别了，这时候局部特征比全局语序更重要。

除此之外，两者在工程落地上的区别也很显著。RNN必须等待前一个单词处理完才

能处理下一个，是串行的；而1D-CNN可以对整段文本的各个位置同时进行卷积计

算，高度并行化，训练和推理速度要远远快于RNN。

Q26：优化器Adam是如何结合AdaGrad和RMSProp的优点的？简述其基本计

算流程。

答题分析：

考察频率：★★★★

考察点：考察高级优化器原理

答题思路：将Adam拆解为一阶矩（Momentum带来的惯性）和二阶矩（RMSProp带来的

自适应学习率）。通过对比AdaGrad的缺点，凸显RMSProp指数移动平均的优势，最后

说明Adam如何将两者融合。

避坑点：不要尝试在口头背诵复杂的数学更新公式，面试官更看重你对“动量”和“自适

应”这两个物理概念的直觉理解。

参考回答：

在平时的模型训练中，Adam几乎是我跑基线模型时闭着眼睛首选的优化器。要理

解Adam，我习惯把它看作是前几代经典优化思想的集大成者。

之前的AdaGrad做出了一个很好的尝试，它引入了自适应学习率。通过累积历史梯

度的平方和，给频繁出现的特征较小的步长，罕见特征较大的步长。但它有个致命

缺陷，随着训练推进，累积的平方和越来越大，学习率会迅速衰减趋近于零，导致

模型提早停止学习。

为了解决这个衰减问题，RMSProp做出了改进。它不再简单粗暴地累加所有历史梯

度，而是引入了指数移动平均。这就相当于只关注最近一段时间的梯度变化，丢弃

了过于久远的历史包袱，让学习率的自适应调整变得非常平稳。

Adam的聪明之处就在于，它不仅吸收了RMSProp这种对梯度平方的指数移动平

均，也就是二阶矩估计；它还把Momentum动量的思想加了进来，引入了一阶矩估

计，让梯度的更新带有了物理学上的惯性。这就好比一辆带有阻尼和动力的越野

车，既能凭借自适应学习率平稳地越过陡峭的坑洼，又能在平坦的地形上靠着动量

加速冲刺收敛，这让它在面对各种复杂的损失地形时都非常鲁棒。

Q27：什么是Dropout？在训练和测试阶段，Dropout的处理有什么区别？

答题分析：

考察频率：★★★★★

考察点：考察防止过拟合的深度学习机制

答题思路：解释Dropout的核心逻辑（随机失活打破神经元共适应）。然后对比训练时的

按概率随机置零，与测试时的全员激活及权重缩放操作（或PyTorch中的Inverted

Dropout）。

避坑点：校招面极易漏掉“测试阶段的数值期望缩放”这一关键细节，这是区分有没有真正

理解底层实现的分水岭。

参考回答：

Dropout是我在搭建深层网络时最常用的防止过拟合利器。它的设计直觉其实非常

符合人类的团队协作模式，本质上是为了打破神经元之间的联合适应性。

在模型训练阶段，Dropout会按照预先设定好的保留概率，随机让网络中的一部分

神经元“失活”，也就是把它们的输出强行抹零。这种随机性的引入，迫使网络不能

过度依赖某几个特别突出的局部特征。因为任何一个神经元都有可能在下一秒罢

工，其他神经元就必须站出来分担任务，去学习更具泛化能力的鲁棒特征。这就好

比一个团队里不能只靠几个拔尖的骨干，大家都要具备独当一面的能力。

到了模型部署或者测试阶段，情况就完全不同了。我们需要模型发挥出百分之百的

完整实力，所以所有的神经元都会保持激活状态，不再随机丢弃。

不过这会带来一个数值期望上的偏差。训练时只有部分网络在工作，测试时却是全

员上阵。为了让前向传播的输出期望值保持一致，传统做法是在测试时把所有权重

乘上保留概率。而像现在的主流框架比如PyTorch，采用的则是倒置的做法，直接

在训练阶段就把存活的神经元输出除以保留概率进行放大，这样在推理阶段什么都

不用算，直接跑前向就可以了。

Q28：模型训练中如果Loss出现NaN通常是由什么原因导致的？你该如何排查

和解决？

答题分析：

考察频率：★★★★

考察点：考察模型Debug思路

答题思路：从数据脏乱、数学运算非法、超参数设置不当（学习率）、网络结构（梯度爆

炸）四个维度系统性排查。给出对应的排查定位方法。

避坑点：面试官想听的不是理论，而是你在真实实验室环境下的Debug流程。最好结合具

体场景（比如除以零或者用了错误激活函数）来讲述。

参考回答：

在平时做算法调参的时候，碰到Loss突然变成NaN绝对是最让人头疼的问题之一。

根据我的排障经验，我一般会从数据、计算逻辑和超参数这三个核心环节去定位。

最基础的一步是先检查数据源头。有时候语料里混入了异常字符，或者在做数据预

处理时产生了缺失值没有清洗干净，导致输入给模型的本身就包含NaN，这会顺着

网络瞬间传染给整个损失函数。

如果数据没问题，我会去排查网络里的底层数学运算。最典型的雷区就是除零错

误，比如在计算归一化或者注意力机制的分母时，如果没有加上一个极小的值做保

护，很容易崩溃。另外就是对数计算，比如交叉熵损失里如果出现了对负数或者零

求对数，也会立马抛出非法值。

排除代码bug后，大概率就是发生了严重的梯度爆炸。如果是学习率设置得过大，

优化器迈的步子太扯，权重更新直接超出了浮点数表示范围。这时候我的第一反应

是把学习率调小一个数量级试试。如果用的是RNN类模型或者非常深的网络，我会

马上把梯度裁剪功能打开，强行把异常的超大梯度给压制在一个安全阈值内，通常

这样就能让训练重新平稳下来。

Q29：什么是LabelSmoothing（标签平滑）？它起到了什么作用？

答题分析：

考察频率：★★★★

考察点：考察模型训练技巧

答题思路：对比传统的硬标签（One-hot）导致的过自信问题。说明标签平滑如何将1分配

一部分给其他类别（如0.9和0.1），从而提升模型泛化能力和鲁棒性。

避坑点：回答要点出它主要为了对冲交叉熵损失函数“不断迫使目标类概率趋向于1”的贪

婪特性。

参考回答：

标签平滑是我在做文本分类和生成任务时，非常喜欢用的一种提升模型泛化能力的

小技巧。它的核心思路是去“软化”那些过于绝对的训练目标。

我们平时在做多分类任务时，默认使用的都是One-hot硬标签，也就是正确的类别

概率是1，其他全都是0。这种标注方式在配合交叉熵损失函数使用时，会带来一个

隐患。模型为了把Loss降到最低，会拼命地拉大目标类和其他类别的得分差距，导

致模型变得极其“过度自信”。哪怕遇到一些模棱两可的数据，它也会给出极其笃定

的错误预测，这就极大地增加了过拟合的风险。

标签平滑的操作非常巧妙。它不再把真实标签硬编码为1，而是从这1里面匀出一小

部分概率，比如0.1，平均分配给其他所有的非目标类别。目标类的概率就变成了

0.9。

这种看似微小的改变，起到了很好的正则化作用。它告诉模型“虽然这是正确答案，

但你也不用百分之百确信，其他答案也有微小的可能”。这在应对存在噪声或者标注

存在一定争议的数据集时特别管用，能有效防止网络过度依赖某几个特定的特征，

让学到的分布更加平滑和稳健。

Q30：深度神经网络中权重初始化方法有哪些（如Xavier、Kaiming）？为什

么不能全部初始化为0？

答题分析：

考察频率：★★★★★

考察点：考察网络初始化原理

答题思路：解释全零初始化会导致的“对称性瘫痪”。接着说明Xavier（针对

Sigmoid/Tanh，控制方差一致）和Kaiming（针对ReLU，弥补截断导致的一半方差损

失）的设计直觉。

避坑点：一定要把初始化方法和它们适用的“激活函数”绑定在一起回答，脱离激活函数谈

初始化是不专业的。

参考回答：

权重的初始化往往决定了深层网络能不能顺利开始学习。如果把所有的权重都初始

化为0，这会导致一个非常严重的现象，叫做“对称性瘫痪”。在前向传播时，同一层

所有神经元接收到的输入完全一样，输出也完全一样；在反向传播时，它们计算出

的梯度也分毫不差。这就导致不管迭代多少次，它们更新的幅度永远一致，失去了

提取不同特征的能力。

为了打破这种对称性，我们需要随机初始化权重，但这其中也很有讲究。如果是浅

层网络，简单的正态分布或者均匀分布还能应付。但在深层网络中，如果方差控制

不好，数据流经几层后就会出现梯度消失或爆炸。

Xavier初始化就是为了解决这个问题提出来的，它的直觉是让每一层的输入方差和

输出方差保持一致。这对于使用Sigmoid或者Tanh这类关于原点对称的激活函数效

果非常好。

但是当我们进入ReLU时代后，因为ReLU会把小于0的那一半数据直接截断丢弃，

相当于平白无故抹掉了一半的方差。这时候如果再用Xavier就不合适了。所以

Kaiming初始化应运而生，它在方差计算中引入了一个缩放因子，刚好弥补了ReLU

造成的方差损失，这也是我现在搭建CNN或者深层基础网络时最通用的初始化策

略。

三、NLP经典理论与模型（20道）

本章节重点考察应届生对NLP领域基石模型的演进脉络掌握情况。从早期的词袋、

静态词向量，到彻底改变行业的Transformer及预训练大模型框架，扎实的底层原

理储备是判断候选人能否往更高阶方向培养的关键。

Q31：什么是词袋模型（BagofWords）和TF-IDF？它们在表示文本时有什么

局限性？

答题分析：

考察频率：★★★★★

考察点：考察传统文本表示方法

答题思路：词袋模型是将文本视作词频统计向量，TF-IDF是对词频加权惩罚常见词。局

限性需要从维度灾难、缺乏词序、缺乏语义三个角度展开。

避坑点：这是极其基础的题目，一定要清晰且干脆利落地答出“丢失语序”和“矩阵稀疏”这

两大痛点，作为后续引出深度学习词向量的铺垫。

参考回答：

在早期的自然语言处理中，词袋模型和TF-IDF是我们让计算机理解文本的最基础手

段。词袋模型的思想非常直白，它就像一个大口袋，把句子里的词全部装进去，完

全不管词语出现的先后顺序，只统计每个词在句子里出现的次数，从而把一段文本

变成一个由词频组成的向量。

但单纯统计词频有个问题，像“的”、“是”这种高频但没有实际意义的词会占据主导地

位。为了修正这个偏差，就有了TF-IDF。它在词频TF的基础上，乘上了一个逆文档

频率IDF。如果一个词在当前文章出现很多次，但在所有文章中出现得很少，IDF就

会给它赋予很高的权重，认为它是提取当前文章主题的关键指纹。

尽管它们在传统的文本分类中运行极快，但局限性也非常致命。首当其冲的就是维

度爆炸和数据稀疏，词表有多少个词，向量就有多少维，而且绝大部分位置都是

零。更关键的是