2026年自然语言处理专业研究生入学考试的试题及答案

2026年自然语言处理专业研究生入学考试的试题及答案一、单项选择题（本大题共15小题，每小题1分，共15分。在每小题给出的四个选项中，只有一项是符合题目要求的）1.在自然语言处理中，关于词袋模型的描述，下列哪项是错误的？A.它忽略了文本的语法和语序信息B.它将文本表示为向量，向量的维度等于词汇表的大小C.它能够很好地捕捉词与词之间的语义关系D.它常用于文本分类任务2.在隐马尔可夫模型（HMM）中，用于描述观测值和状态之间概率关系的矩阵是？A.状态转移矩阵B.观测概率矩阵（发射矩阵）C.初始状态概率向量D.混淆矩阵3.下列哪种方法主要用于解决序列标注任务中的标注偏置问题？A.最大熵模型B.条件随机场（CRF）C.决策树D.朴素贝叶斯4.在Word2Vec的Skip-gram模型中，目标是根据什么来预测什么？A.上下文词预测中心词B.中心词预测上下文词C.中心词预测主题D.文档预测词5.Transformer模型中，用于引入序列位置信息的机制是？A.残差连接B.前馈神经网络C.位置编码D.层归一化6.BERT模型在预训练任务中使用的“MaskedLanguageModel”（MLM）的主要目的是？A.预测下一个句子B.预测被掩盖的词C.学习句子间的相似度D.进行文本分类7.在计算BLEU评价指标时，为了防止短句生成获得高分，通常会引入？A.精确率惩罚B.召回率惩罚C.短句惩罚D.长度惩罚8.循环神经网络（RNN）在处理长序列时面临的主要问题是？A.计算量过大B.梯度消失或梯度爆炸C.无法并行计算D.参数过多9.下列关于注意力机制中“缩放点积注意力”的描述，正确的是？A.不需要对点积进行缩放B.缩放因子通常为，其中是键向量的维度C.缩放因子通常为D.使用Sigmoid函数作为激活函数10.在GPT系列模型中，采用的注意力掩码类型是？A.双向掩码B.因果掩码（CausalMask，即上三角掩码）C.随机掩码D.无掩码11.下列哪种分词算法是目前大语言模型（如GPT-3,LLaMA）中最常用的？A.逐词分词B.字符级分词C.BPE（BytePairEncoding）D.WordPiece12.在语言模型评估中，困惑度的数学期望性质是？A.值越低，模型性能越好B.值越高，模型性能越好C.值等于1时模型最差D.值与模型性能无关13.下列关于长短期记忆网络（LSTM）中“遗忘门”的作用，描述正确的是？A.控制新信息的输入B.控制细胞状态的输出C.控制细胞状态中需要丢弃的信息D.控制隐状态的输出14.在检索增强生成（RAG）系统中，用于检索文档的相关性通常通过什么计算？A.余弦相似度B.欧氏距离C.曼哈顿距离E.Jaccard相似系数15.现代大语言模型微调中，为了降低显存消耗并防止灾难性遗忘，常采用的技术是？A.全参数微调B.LoRA（Low-RankAdaptation）C.增加模型层数D.提高学习率二、多项选择题（本大题共5小题，每小题3分，共15分。在每小题给出的四个选项中，有多项是符合题目要求的。全部选对得3分，少选得1分，多选、错选不得分）1.下列属于自然语言处理中低层次任务的有？A.中文分词B.词性标注C.命名实体识别D.机器翻译2.卷积神经网络（CNN）在NLP文本分类任务中的应用优势包括？A.能够捕捉局部特征（如n-gram特征）B.计算可以并行化，效率较高C.能够完美处理任意长度的长距离依赖D.对位置变化具有一定的不变性3.BERT模型的输入表示通常由哪几部分嵌入相加而成？A.TokenEmbeddingB.SegmentEmbeddingC.PositionEmbeddingD.ImageEmbedding4.在序列到序列（Seq2Seq）模型中，常用的解码策略包括？A.贪婪搜索B.束搜索C.采样D.随机森林5.下列关于数据增强在NLP中的应用，正确的描述有？A.同义词替换是一种常见的文本增强方法B.回译可以将文本翻译成外文再翻译回原文以增加多样性C.随机删除词可以增加模型的鲁棒性D.数据增强只能用于训练集，不能用于测试集三、填空题（本大题共10小题，每小题2分，共20分）1.在信息检索中，TF-IDF值由两部分组成，TF表示词频，IDF表示__________。2.给定一个概率分布P(x)3.在条件随机场（CRF）中，通过__________算法进行解码，以找到概率最大的状态序列。4.Transformer模型中，除了多头注意力层外，每个子层还包含一个__________网络，用于对表示进行进一步转换。5.在深度学习中，为了防止过拟合，我们通常会在损失函数中加入__________项，如L1或L2正则化。6.命名实体识别任务中，BIO标注法中“B”代表__________。7.GPT（GenerativePre-trainedTransformer）是一种典型的__________模型，而BERT是一种典型的自编码模型。8.在评估生成式模型时，__________指标通过计算生成摘要与参考摘要之间的n-gram重合度来评价质量。9.为了解决梯度消失问题，ReLU激活函数被广泛采用，其导数在正区间恒为__________。10.在大语言模型推理阶段，__________参数用于控制输出的随机性，值越大输出越随机。四、名词解释（本大题共4小题，每小题5分，共20分）1.词向量2.注意力机制3.共指消解4.零样本学习五、简答题（本大题共4小题，每小题10分，共40分）1.简述循环神经网络（RNN）与长短期记忆网络（LSTM）的主要区别，并解释LSTM如何解决长距离依赖问题。2.请解释Transformer模型中“多头注意力机制”的原理及其作用。为什么需要多个头？3.比较预训练语言模型中的“自编码模型”（如BERT）和“自回归模型”（如GPT）在训练目标和掩码策略上的不同。4.简述在自然语言处理中，什么是“端到端”学习？它与传统基于流水线的方法相比有哪些优缺点？六、计算题（本大题共2小题，每小题10分，共20分）1.假设我们有一个简单的二元语法模型，训练语料为“<s>IloveNLP</s><s>IloveAI</s>”。请计算句子S="<s>2.给定查询向量Q=[1,0]，键向量=[1,七、综合分析题（本大题共2小题，每小题10分，共20分）1.随着大语言模型（LLM）的发展，提示工程变得越来越重要。请结合“思维链”的概念，分析为什么在大模型推理任务中，引导模型“一步步思考”能够显著提高复杂任务的准确率？并给出一个具体的Prompt示例来说明如何应用思维链。2.假设你需要设计一个基于BERT的中文情感分析系统。请详细描述从数据准备到模型部署的完整流程，包括：数据预处理方式、模型微调策略、如何处理输入超过最大长度限制的情况，以及选择何种评估指标。参考答案及详细解析一、单项选择题1.C解析：词袋模型无法捕捉词与词之间的语义关系，它仅仅统计词频。2.B解析：发射矩阵（观测概率矩阵）描述在给定状态下生成特定观测值的概率。3.B解析：CRF考虑了整个序列的全局特征，通过归一化因子解决了标注偏置问题。4.B解析：Skip-gram是用中心词来预测周围的上下文词。5.C解析：Transformer本身没有循环结构，需要显式加入位置编码来提供位置信息。6.B解析：MLM任务是将句子中的部分词Mask掉，让模型根据上下文预测这些词。7.D解析：BLEU使用BrevityPenalty惩罚过短的翻译。8.B解析：RNN在长序列上训练时，梯度在反向传播过程中容易消失或爆炸。9.B解析：缩放点积注意力除以是为了防止点积过大导致softmax进入梯度极小的区域。10.B解析：GPT是生成式模型，只能看到当前词和之前的词，所以使用因果掩码（上三角掩码）。11.C解析：BPE及其变体是目前主流的大模型分词方法，能有效平衡词表大小和语义粒度。12.A解析：困惑度衡量模型对测试数据的“困惑”程度，值越低说明预测越准确，模型越好。13.C解析：遗忘门决定从细胞状态中丢弃什么信息。14.A解析：在向量空间检索中，余弦相似度是最常用的衡量两个向量方向一致性的指标。15.B解析：LoRA通过冻结低秩矩阵来大幅减少可训练参数量，节省显存。二、多项选择题1.ABC解析：机器翻译属于高层次任务。2.ABD解析：CNN受限于卷积核大小，难以捕捉非常长距离的依赖（除非堆叠很多层或使用空洞卷积），故C错误。3.ABC解析：BERT输入由Token,Segment,Position三部分Embedding求和而成。4.ABC解析：随机森林不是解码策略。5.ABC解析：数据增强主要用于训练集以扩充数据或提升鲁棒性，描述正确。三、填空题1.逆文档频率2.最大3.维特比4.前馈（Position-wiseFeed-Forward）5.正则化6.Beginning（开始）7.自回归8.ROUGE9.110.Temperature（温度）四、名词解释1.词向量：词向量是将自然语言中的词映射到一个实数向量空间的技术。在这个空间中，语义或语法相似的词在距离上会靠得更近。它解决了传统One-hot表示无法捕捉词间语义关系且维度过高的问题。2.注意力机制：注意力机制源于人类视觉，核心思想是在处理序列信息时，不再将所有输入视为同等重要，而是动态地分配不同的权重给输入序列的不同部分，从而聚焦于对当前输出更关键的信息。3.共指消解：共指消解是找出文本中指向现实世界中同一实体的不同表达的过程。例如，将文本中的“他”、“张先生”、“这个人”识别为指代同一个人，并统一指向该实体。4.零样本学习：零样本学习是指模型在没有见过特定类别的任何训练样本的情况下，仅依靠任务描述或示例，就能识别出该类别或完成该任务的能力。这通常依赖于模型在大规模预训练中学到的强大泛化能力。五、简答题1.答：主要区别：RNN结构简单，只有单一的隐藏状态传递信息；LSTM引入了细胞状态和三个门控结构（遗忘门、输入门、输出门）。解决长距离依赖的原理：RNN在长序列反向传播时，梯度需要连乘多次，容易导致消失，导致无法记住久远的信息。LSTM通过“遗忘门”可以主动选择保留或遗忘历史信息，通过“细胞状态”这条“高速公路”路径，使得梯度在反向传播时可以近乎无损地流动（因为加法更新占主导），从而有效缓解了梯度消失问题，使得模型能够捕捉长距离的依赖关系。2.答：原理：多头注意力将输入的查询、键、值向量分别通过h个不同的线性变换，然后并行地执行注意力计算，最后将结果拼接起来再进行一次线性变换。作用：多头机制允许模型在不同的表示子空间中关注信息的不同位置。例如，一个头可能关注语法结构，另一个头可能关注语义关联。原因：单一注意力头可能会因为平均化操作而压抑了其他有用的注意力特征。使用多个头增加了模型捕捉不同种类依赖关系的能力，增强了模型的表达能力。3.答：自编码模型（BERT）：训练目标：MaskedLanguageModel(MLM)和NextSentencePrediction(NSP)。掩码策略：随机Mask输入序列中的部分Token，利用上下文（双向）预测被Mask的词。它能看到整个句子的信息。自回归模型（GPT）：训练目标：标准的语言模型建模，即预测下一个词。掩码策略：因果掩码。在预测第t个词时，只能看到第1到t−总结：BERT擅长理解类任务（如分类、NER），GPT擅长生成类任务。4.答：定义：端到端学习是指直接从原始输入到最终输出进行建模，中间不需要人工设计复杂的特征工程或分步骤的流水线处理。模型通过神经网络自动学习所有必要的中间表示。优点：减少了误差累积：传统流水线中，上一步的错误会传递给下一步，端到端避免了这个问题。简化系统架构：不需要维护多个独立的模块。全局优化：所有参数针对最终任务目标联合优化。缺点：数据需求量大：端到端模型通常参数巨大，需要大量数据训练。可解释性差：内部决策过程像一个黑盒。难以引入先验知识：传统方法可以很容易地加入语言学规则，端到端模型较难融合。六、计算题1.解：词汇表V大小|V句子S=P加1平滑公式：P统计语料中Bigram计数：CCCCCCCCCCCCo计算各项概率：1.P(2.P3.P4.P5.PP2.解：计算注意力得分ScSS得分向量=[计算Softmax权重=：==计算输出向量OuO===代入e≈分母e第一维≈第二维≈最终输出向量约为[1.46七、综合分析题1.答：原因分析：复杂的推理任务（如数学应用题、逻辑推理）通常包含多个中间步骤。直接让模型输出最终答案，往往需要模型在隐状态中一次性完成所有计算，这对模型的算术能力和逻辑跳跃能力要求极高，容易出错。“思维链”通过提示模型“一步步思考”，强迫模型将复杂的推理过程分解为一系列简单的中间步骤。这种分解有以下几个好处：1.增加计算路径：模型生成更多的Token，相当于提供了更多的“计算时间”来处理逻辑。2.错误定位与修正：即使某一步出错，后续步骤仍有机会基于前面的局部信息进行调整，或者通过显式的逻辑链条使得错误更容易被暴露。3.类比训练模式：大模型在预训练时见过大量的代码、教程等包含步骤的文本，思维链提示激活了这种生成模式，利用了模型内隐的知识结构。Prompt示例：任务：计算“小明有10个苹果，吃了一半，又买了3个，现在有几个？”普通Prompt：>问：小明有10个苹果，吃了一半，又买了3个，现在有几个？>答：思维链Prompt：>问：小明有10个苹果，吃了一半，又买了3个，现在有几个？>请一步步思考，然后给出答案。>答：>第一步：计算小明吃了多少个苹果。10的一半是5个。>第二步：计算吃完后剩下的苹果。10减去5等于5个。>第三步：计算买了3个之后的总数。5加上3等于8个。>所以，小明现在有8个苹果。2.答：1.数据预处理：分词：使用BERT自带的Tokenizer（如BertTokenizer）进行分词，将文本转换为TokenID。截断与填充：设定最大长度（如128）。如果句子超过128，使用截断