2026年(人工智能与机器学习)自然语言处理试题及答案

2026年(人工智能与机器学习)自然语言处理试题及答案一、单项选择题（本大题共15小题，每小题2分，共30分。在每小题给出的四个选项中，只有一项是符合题目要求的）1.在自然语言处理中，关于Word2Vec的Skip-gram模型，下列描述正确的是（）。A.它利用中心词来预测上下文词B.它利用上下文词来预测中心词C.它只能处理词袋模型D.它无法捕捉词的语义相似度2.Transformer模型中，引入位置编码的主要原因是（）。A.增加模型的参数量以提高表达能力B.注意力机制本身不具备捕捉序列顺序信息的能力C.为了加快模型的训练速度D.为了解决梯度消失问题3.在BERT模型中，TokenEmbedding、SegmentEmbedding和PositionEmbedding三者是（）。A.相加的关系B.拼接的关系C.相乘的关系D.独立计算，最后取平均4.下列关于长短期记忆网络（LSTM）中“遗忘门”作用的描述，最准确的是（）。A.决定哪些信息需要从细胞状态中丢弃B.决定哪些新信息需要存储到细胞状态中C.决定当前的输出是什么D.决定是否更新隐藏状态5.在生成式任务中，Top-p（Nucleus）采样策略的主要目的是（）。A.总是选择概率最大的词，保证确定性B.从概率累积和达到p的最小词集合中随机采样C.从整个词汇表中均匀随机采样D.只保留概率高于阈值p的词，然后归一化概率6.循环神经网络（RNN）在处理长序列时面临的主要问题是（）。A.计算复杂度过高B.无法处理变长序列C.梯度消失或梯度爆炸D.参数量过大导致过拟合7.BERT模型在预训练时使用的两个核心任务是（）。A.语言建模和下一句预测B.掩码语言建模和下一句预测C.掩码语言建模和词性标注D.机器翻译和文本摘要8.在注意力机制中，缩放点积注意力将点积结果除以，其中是向量的维度。这样做的主要目的是（）。A.增加数值的稳定性，防止Softmax进入饱和区B.增加数值的大小，提高区分度C.减少计算量D.引入非线性变换9.下列关于BLEU评价指标的描述，错误的是（）。A.它基于n-gram匹配精度B.它对机器翻译结果进行评分C.它的值域是[0,1]，越接近1越好D.它主要关注召回率而非精确率10.在命名实体识别（NER）任务中，BIO标注法中的“B”和“I”分别代表（）。A.Begin,InsideB.Background,InformationC.Block,InsideD.Base,Indent11.现代大语言模型（LLM）通常采用哪种技术来根据用户指令调整模型行为，而无需微调全部参数？（）A.FeatureExtractionB.TransferLearningC.PromptEngineering或In-ContextLearningD.DataAugmentation12.关于字节对编码（BPE），下列说法正确的是（）。A.它总是将单词拆分为单个字符B.它是一种基于统计的子词分词算法，通过合并频率最高的字节对来构建词表C.它无法处理OOV（OutofVocabulary）词汇D.它生成的词表大小通常是固定的，不可调整13.在序列到序列（Seq2Seq）模型中，BeamSearch算法相比GreedySearch的优点是（）。A.计算速度更快B.能够获得全局最优解C.能够在每一步保留多个候选序列，从而获得更优的总体概率D.占用内存更少14.下列哪个正则化技术常用于防止深度神经网络过拟合，并在Transformer模型中被广泛应用？（）A.DropoutB.BatchNormalizationC.L1RegularizationD.DataAugmentation15.在对话系统中，检索式模型与生成式模型的主要区别在于（）。A.检索式模型基于预设候选库选择回复，生成式模型逐词生成回复B.检索式模型需要训练，生成式模型不需要C.检索式模型只能处理单轮对话D.生成式模型不需要理解语义二、多项选择题（本大题共5小题，每小题3分，共15分。在每小题给出的四个选项中，有多项是符合题目要求的。全部选对得3分，选对得2分，有选错得0分）1.下列属于自然语言处理中低层次语言特征的有（）。A.词性B.词形C.语义角色D.句法树结构2.Transformer模型中包含的主要组件有（）。A.多头注意力机制B.前馈神经网络C.残差连接与层归一化D.卷积层3.预训练语言模型（如GPT系列）展现出的涌现能力包括（）。A.上下文学习B.指令遵循C.思维链推理D.简单的词性统计4.下列关于文本分类任务中常用的深度学习模型，描述正确的有（）。A.TextCNN利用卷积核提取局部特征B.FastText利用n-gram特征并引入了词向量平均C.BERT可以通过在输出层添加分类器进行微调D.LSTM无法处理文本分类任务5.造成大语言模型幻觉的原因可能包括（）。A.训练数据中的错误或偏见B.模型的概率生成特性导致的不确定性C.解码策略过于随机D.模型对事实知识的记忆不足或混淆三、填空题（本大题共10小题，每小题2分，共20分）1.在信息检索中，TF-IDF值用于衡量一个词在文档中的重要性，其中IDF反映词的__________。2.给定句子“我爱自然语言处理”，若使用2-gram，则包含的词元序列为“我爱”、“__________”、“语言处理”。3.在深度学习中，常用的激活函数ReLU的表达式为f(x)4.BERT模型的全称是__________。5.在计算困惑度时，公式通常表示为PP6.Transformer模型中的Feed-ForwardNetwork（FFN）包含两个线性变换，中间通常使用__________激活函数。7.为了解决Transformer模型在推理时的长度限制及KVCache显存占用问题，__________注意力机制被提出，它将注意力复杂度从O()降低到O(8.在强化学习中，RLHF（基于人类反馈的强化学习）通常包含三个主要步骤：有监督微调（SFT）、训练奖励模型（RM）和__________。9.词向量训练中，负采样技术的目的是近似__________，以提高训练速度。10.在依存句法分析中，用来表示词与词之间语法关系的有向边被称为__________。四、判断题（本大题共10小题，每小题1.5分，共15分。正确的打“√”，错误的打“×”）1.One-hot编码生成的向量具有高维、稀疏的特点，且无法表达词与词之间的语义相似度。（）2.Seq2Seq模型在推理阶段必须强制使用TeacherForcing策略。（）3.Transformer模型完全抛弃了循环和卷积结构，仅依赖注意力机制处理序列信息。（）4.Softmax函数的输出值之和恒为1。（）5.在BERT中，[CLS]标记对应的最终隐藏状态被用于句子级别的分类任务。（）6.所有的注意力机制都需要Query、Key和Value三个输入向量。（）7.数据增强技术如同义词替换、回译等只能用于训练数据，不能用于测试数据。（）8.GPT-4是一个仅能处理文本输入的单模态模型。（）9.L1正则化倾向于产生稀疏的权重矩阵，常用于特征选择。（）10.在机器翻译中，通常使用BLEU值作为评价指标，值越高代表翻译质量越好。（）五、简答题（本大题共4小题，每小题8分，共32分）1.简述RNN（循环神经网络）与Transformer在处理长距离依赖问题上的根本区别，并解释Transformer如何通过结构设计缓解这一问题。2.请解释什么是“过拟合”，以及在自然语言处理模型训练中通常采用哪些方法来防止过拟合？3.简述BPE（BytePairEncoding）分词算法的工作流程，并说明它相对于基于词的分词和基于字符的分词的优势。4.请详细说明Transformer模型中“多头注意力机制”的作用。为什么需要多个头，而不是将模型维度加大使用单头注意力？六、计算题（本大题共2小题，每小题10分，共20分）1.给定查询向量Q=[1,0]，键向量=[1,2.假设我们有一个简单的语言模型，对于句子“thecatsatonthemat”，模型给出的预测概率如下（对数概率）：llllll请计算该句子的困惑度。七、综合分析与应用题（本大题共2小题，每小题34分，共68分）1.模型架构分析：随着大语言模型（LLM）的发展，参数高效微调技术变得至关重要。请详细分析LoRA（Low-RankAdaptation）技术的原理。(1)解释LoRA是如何通过分解权重更新矩阵来降低参数量的？（10分）(2)给出LoRA在数学上的近似表达，即原权重W如何与新的前向传播结果相关联？（8分）(3)对比全量微调，LoRA在存储、部署和训练速度方面有哪些优势？（8分）(4)在实际应用中，如何选择LoRA的秩和缩放因子？（8分）2.系统设计与应用：假设你需要为一家电商公司构建一个“智能商品问答系统”，该系统需要根据用户的问题（如“这款手机续航怎么样？”或“有没有红色的L码衬衫？”），从百万级的商品库中检索相关信息并生成准确的回答。(1)请设计一个基于RAG（检索增强生成）的系统架构，并画出核心流程图（可用文字描述流程节点）。（12分）(2)在“检索”阶段，你会选择哪种文本嵌入模型来表示商品描述和用户查询？请说明理由，并解释如何处理用户查询中的多意图问题。（10分）(3)在“生成”阶段，如果检索到的相关文档非常长，超过了LLM的上下文窗口限制，你会采用什么策略来优化输入？（6分）(4)如何评估该系统的效果？请列举至少三个评价指标，并说明其含义。（6分）参考答案及详细解析一、单项选择题1.A解析：Skip-gram模型的核心思想是利用中心词来预测周围的上下文词，适用于大规模数据集且能捕捉更好的语义特征。CBOW才是利用上下文预测中心词。2.B解析：Transformer架构抛弃了RNN的循环结构，完全依赖注意力机制。注意力机制本质上是并行的，计算的是所有位置两两之间的关系，如果不加入位置编码，模型将无法区分输入序列的词序，即不具备捕捉序列顺序信息的能力。3.A解析：BERT模型的输入嵌入由三部分相加而成：TokenEmbedding（词向量）、SegmentEmbedding（句子分段向量，区分上下句）和PositionEmbedding（位置向量）。4.A解析：LSTM包含遗忘门、输入门和输出门。遗忘门决定从细胞状态中丢弃什么信息，输入门决定向细胞状态中添加什么新信息，输出门决定输出什么值。5.B解析：Top-p采样（NucleusSampling）从累积概率达到阈值p的最小词集合中随机采样，既保证了多样性，又避免了低概率噪声词的生成。6.C解析：RNN在长序列训练中，由于链式求导法则，梯度在反向传播过程中连乘，容易导致梯度消失（梯度趋近于0）或梯度爆炸（梯度趋近于无穷），使得长距离信息难以传递。7.B解析：BERT采用MaskedLanguageModel(MLM，掩码语言模型)和NextSentencePrediction(NSP，下一句预测)作为预训练任务。8.A解析：当维度很大时，点积结果数值会很大，导致Softmax函数进入梯度极小的饱和区。除以可以缩放数值，使Softmax处于更敏感的区域，利于梯度反向传播。9.D解析：BLEU（BilingualEvaluationUnderstudy）主要关注n-gram的精确率，即预测结果中有多少n-gram出现在参考译文中，并不直接关注召回率。10.A解析：BIO标注法中，B代表Begin（实体开始），I代表Inside（实体内部），O代表Outside（非实体）。11.C解析：PromptEngineering（提示工程）或In-ContextLearning（上下文学习）允许在不更新模型权重的情况下，通过设计输入提示来引导模型完成任务。12.B解析：BPE从字符开始，迭代地统计语料中出现频率最高的字节对，将其合并为一个新的符号，直到达到预设的词表大小。它能有效处理OOV问题，通过子词组合表示未知词。13.C解析：GreedySearch每步只选概率最大的1个词，容易陷入局部最优。BeamSearch每步保留概率最高的Top-K个候选路径，虽然不能保证全局最优，但通常能获得比贪婪搜索更优的序列概率。14.A解析：Dropout是深度学习中防止过拟合的常用正则化手段，Transformer在训练时通常对残差连接后的输出应用Dropout。15.A解析：检索式模型从已有回复库中挑选最佳回复；生成式模型基于输入语义，利用语言模型逐词或逐块生成新的回复文本。二、多项选择题1.AB解析：词性和词形属于较低层次的语言特征；语义角色和句法树属于句法和语义层面的结构特征，层次相对较高。2.ABC解析：Transformer核心包括多头注意力、前馈神经网络（FFN）、残差连接与层归一化。它不包含卷积层。3.ABC解析：涌现能力是指模型规模达到一定程度后突然出现的能力，如上下文学习、指令遵循、思维链推理。简单的词性统计在较小模型上即可完成。4.ABC解析：TextCNN利用卷积提取局部关键特征；FastText引入n-gram和分层Softmax，速度快；BERT可通过微调适应分类任务；LSTM完全可以用于文本分类。5.ABCD解析：幻觉成因复杂，包括数据本身的错误、模型概率生成的随机性本质、解码策略（如Temperature过高）以及模型对事实记忆的不牢固或混淆。三、填空题1.稀缺性（或普遍性倒数）解析：IDF（InverseDocumentFrequency）衡量词在所有文档中的普遍程度，如果词在很多文档中出现，IDF值低（权重低），反之则高。2.爱自然解析：2-gram是滑动窗口为2的序列。3.非零小（或正）解析：LeakyReLU在x<4.BidirectionalEncoderRepresentationsfromTransformers5.越好解析：困惑度是概率的倒数的几何平均，代表模型对测试数据的“困惑”程度，值越低说明预测越准确。6.GELU（或ReLU）解析：Transformer原始论文使用ReLU，BERT及后续GPT等模型常使用GELU（GaussianErrorLinearUnit），两者皆可，但GELU通常表现更平滑。7.FlashAttention（或线性/稀疏注意力）解析：FlashAttention是针对硬件优化的精确注意力算法，通过分块计算减少HBM读写，实现线性复杂度的加速和显存节省。此处填线性注意力机制相关概念亦可。8.使用PPO等强化学习算法微调策略模型9.Softmax（或负对数似然）解析：负采样旨在更新目标词和少量噪声词的权重，以近似更新整个词表Softmax后的梯度效果。10.依存弧四、判断题1.√解析：One-hot向量维度等于词表大小，非常稀疏，且任意两个不同词的向量点积为0，无法体现语义相似度。2.×解析：TeacherForcing主要用于训练阶段，以加快收敛。在推理阶段，由于没有真实标签，通常使用模型上一时刻的预测输出作为当前时刻的输入。3.√解析：这是Transformer最显著的特征，完全基于Attention机制实现并行计算。4.√解析：Softmax函数的定义保证了输出向量的所有元素之和为1，常用于表示概率分布。5.√解析：BERT在预训练和下游任务微调中，均将[CLS]token对应的最终隐藏层输出作为整句的语义表示输入到分类器中。6.√解析：标准的注意力机制（如Dot-ProductAttention）必须包含Query、Key、Value三个输入，用于计算查询与键的匹配度并加权聚合值。7.×解析：数据增强主要用于训练数据以提升模型泛化能力，测试数据必须保持真实分布，不能随意增强。8.×解析：GPT-4是多模态模型，能够处理图像输入（如识别图片中的内容、图表理解等）。9.√解析：L1正则化倾向于让许多不重要的特征权重变为0，从而产生稀疏模型。10.√解析：BLEU值范围0到1，越高代表与参考译文重合度越高，质量越好。五、简答题1.答：根本区别：RNN通过隐状态按时间步顺序传递信息，处理长距离依赖时，信息需要经过许多时间步的传递，容易导致梯度消失或爆炸，使得模型难以捕捉相距较远的词之间的关联。Transformer完全基于注意力机制，利用Self-Attention计算序列中任意两个位置之间的直接关联，路径长度为O(缓解机制：(1)全局依赖计算：Self-Attention允许每个词直接与句子中的其他所有词进行交互计算，无论物理距离多远。(2)位置编码：虽然Attention具有置换不变性，但Transformer通过引入正弦/余弦位置编码，将位置信息注入到向量中，使得模型能够区分不同位置的词，从而在利用全局关联的同时保持序列顺序。(3)多层堆叠：多层Transformer结构使得模型能够捕捉不同抽象层次的语义关系，深层网络更有利于理解复杂的长距离语义依赖。2.答：过拟合定义：过拟合是指模型在训练数据上表现非常好（误差很低），但在未见过的测试数据上表现较差（误差很高）的现象。这通常意味着模型学习到了训练数据中的噪声和特有特征，而不是通用的潜在规律。防止过拟合的方法：(1)正则化：如L1、L2正则化，在损失函数中加入权重惩罚项，限制模型复杂度。(2)Dropout：在训练过程中随机“丢弃”一部分神经元，防止神经元之间产生过度的共适应。(3)早停法：在训练过程中监控验证集误差，当验证集误差不再下降时提前停止训练。(4)数据增强：通过同义词替换、回译、随机噪声注入等方式扩充训练集，提高数据多样性。(5)预训练与微调：利用大规模预训练模型进行迁移学习，减少对特定小数据集过拟合的风险。(6)降低模型复杂度：减少网络层数或神经元数量。3.答：BPE工作流程：(1)准备语料：准备大量的文本数据，并将所有单词拆分为字符序列，并在词尾添加特殊结束符（如`</w>`）。(2)统计频率：统计语料中所有相邻字节对的出现频率。(3)合并：找到频率最高的字节对，将其合并为一个新的符号，更新语料库。(4)迭代：重复步骤2和3，直到达到预设的词表大小或合并次数上限。(5)构建词表：最终得到的符号集合即为BPE词表。优势：(1)解决OOV问题：相比基于词的分词，BPE可以通过子词组合表示训练集中未出现的词，不存在未知词。(2)平衡词表大小与语义粒度：相比基于字符的分词（粒度太细，缺乏语义，序列过长），BPE能构建出有意义的常见子词（如“un-”,“ing-”），既保留了语义信息，又控制了词表大小。(3)效率高：能够用较小的词表覆盖大部分语言现象。4.答：多头注意力机制的作用：多头注意力将模型分为多个“头”，每个头独立地在不同的表示子空间中进行注意力计算。为什么需要多个头：(1)捕捉多种语义关系：语言中的词与词之间存在多种复杂的关系（如语法关系、指代关系、语义关联等）。单头注意力只能在一个高维空间中混合所有信息，可能导致不同类型的关系相互干扰。多头机制允许模型在不同的头中专注于捕捉不同类型的关系（例如，一个头关注主谓一致，另一个头关注修饰关系）。(2)增强表达能力：通过将多个头的输出拼接并进行线性变换，模型能够整合来自不同子空间的信息，极大地丰富了模型对序列特征的表达能力。(3)类比ensemble：多头机制在一定程度上类似于集成学习，多个头提供了视角的多样性，提高了模型的鲁棒性。数学原理：MultiH六、计算题1.解：计算步骤如下：(1)计算得分：SS得分向量S(2)计算权重：经过缩放（除以=1）后仍为[进行Softmax计算：==权重向量α(3)计算输出：O===最终结果：[,2.解：困惑度计算公式为PP句子长度N=句子的总对数概率L为各词条件对数概率之和：LL平均负对数似然：M困惑度：P最终结果：（约等于2.30）七、综合分析与应用题1.答：(1)LoRA参数量降低原理：全量微调需要更新预训练模型中的所有权重矩阵W∈，参数量巨大。LoRA假设模型在适应特定任务时，权重更新量ΔW具有低秩特性。它将ΔW分解为两个极小的矩阵A∈和B∈的乘积，其中r≪min(d,k(2)数学近似表达：在LoRA中，前向传播时的权重表示为：h其中是冻结的预训练权重，B和A是可训练的低秩矩阵。通常A使用随机高斯分布初始化，B初始化为0，使得训练初始阶段ΔW=(3)优势对比：存储：全量微调需要为每个任务保存一份完整的大模型参数（几十GB）；LoRA只需保存微小的A,部署：在推理时，可以将BA的结果直接合并回中，这样推理架构无需改变，没有额外的计算开销（或者通过动态切换适配器实现多任务共享一个底座模型）。训练速度：由于计算梯度的参数量大幅减少（通常不到原模型的1%），训练显存占用降低，计算量减少，训练速度显著提升，且不易过拟合。(4)秩与缩放因子的选择：秩：r越大，表达能力越强，越接近全量微调，但参数量和计算量也越大；r越小，参数越少，但可能欠拟合。通常根据任务复杂度在4,8,16,32,64中选择。对于简单任务，较小的r即可。缩放因子：通常设为或类似的常数。用