2026年大学大二(人工智能)自然语言处理应用试题及答案

2026年大学大二(人工智能)自然语言处理应用试题及答案一、单项选择题（共20题，每题2分，共40分）1.在自然语言处理中，下列哪项任务不属于文本预处理的基本步骤？A.分词B.去除停用词C.词性标注D.词干提取或词形还原2.Word2Vec模型中，Skip-gram和CBOW的主要区别在于？A.Skip-gram根据上下文预测中心词，CBOW根据中心词预测上下文B.CBOW根据上下文预测中心词，Skip-gram根据中心词预测上下文C.Skip-gram使用层次Softmax，CBOW使用负采样D.CBOW只能处理词袋模型，Skip-gram只能处理序列模型3.在循环神经网络（RNN）中，为了解决梯度消失问题，通常采用哪种变体结构？A.LSTM（长短期记忆网络）B.CNN（卷积神经网络）C.TransformerD.GAN（生成对抗网络）4.下列关于TF-IDF的描述中，错误的是？A.TF表示词频，衡量词在文档中出现的频率B.IDF表示逆文档频率，衡量词的普遍重要性C.TF-IDF值越高，表示词对文档的贡献越小D.TF-IDF常用于信息检索和文本挖掘5.在Seq2Seq模型中，Attention机制的主要作用是？A.加速模型的训练速度B.允许解码器在每一步输出时关注输入序列的不同部分C.减少模型的参数数量D.强制编码器和解码器长度一致6.BERT模型的全称是？A.BidirectionalEncoderRepresentationsfromTransformersB.BinaryEncoderRepresentationsfromTransformersC.BidirectionalEncoderRecurrentfromTransformersD.BasicEncoderRepresentationsfromTransformers7.下列哪个指标常用于评估机器翻译任务的质量？A.BLEUB.F1-ScoreC.ROC-AUCD.MSE8.在命名实体识别（NER）任务中，BIO标注法中的“B”代表什么？A.InsideB.BeginningC.OutsideD.End9.Transformer模型中，多头注意力机制的主要目的是？A.减少计算量B.允许模型在不同的表示子空间中关注不同的信息C.增加模型的深度D.替代位置编码10.下列关于词嵌入的描述，正确的是？A.One-hot编码可以捕捉词语之间的语义相似度B.Word2Vec生成的词向量是高维稀疏向量C.分布式假设认为上下文相似的词，其语义也相似D.GloVe是基于全局词频共现矩阵的计数模型，而非预测模型11.在情感分析中，通常使用哪种损失函数？A.均方误差B.交叉熵损失C.HingeLossD.ContrastiveLoss12.为了防止深度学习模型过拟合，下列哪种方法不常用？A.DropoutB.L1/L2正则化C.早停法D.增加模型参数数量13.下列哪个模型是自回归（Autoregressive）的语言模型？A.BERTB.GPTC.BARTD.T514.在文本分类任务中，如果使用预训练的BERT模型，通常需要在[CLS]标记对应的输出层后接什么？A.全连接层B.循环层C.池化层D.卷积层15.下列关于N-gram语言模型的描述，错误的是？A.N-gram模型基于马尔可夫假设B.随着N的增大，模型对上下文的捕捉能力增强，但参数量呈指数级增长C.N-gram模型完全不存在数据稀疏问题D.拉普拉斯平滑是解决N-gram数据稀疏的一种方法16.在Transformer模型中，位置编码通常使用什么函数生成？A.Sigmoid函数B.正弦和余弦函数C.ReLU函数D.Softmax函数17.下列哪种技术主要用于将变长的句子输入转换为定长的向量表示？A.最大池化B.平均池化C.上述两种都是D.上述两种都不是18.在问答系统中，抽取式问答通常将问题建模为？A.文本分类任务B.序列标注任务C.机器翻译任务D.阅读理解中的spanprediction任务19.下列关于BeamSearch的描述，正确的是？A.BeamSearch是一种贪心算法，每次只保留一个最优候选B.BeamSearch在每一步保留多个候选序列，以平衡搜索广度和计算效率C.BeamSearch总能找到全局最优解D.BeamSearch的时间复杂度与贪心搜索相同20.在文本摘要任务中，ROUGE指标主要基于什么来衡量摘要质量？A.单词重叠度B.语义相似度C.语法正确性D.生成速度二、多项选择题（共10题，每题3分，共30分。多选、少选、错选均不得分）1.下列哪些属于自然语言处理的经典应用领域？A.机器翻译B.语音识别C.智能问答D.情感分析2.循环神经网络（RNN）存在的主要缺陷包括？A.梯度消失B.梯度爆炸C.无法并行计算D.对长距离依赖建模能力弱3.BERT模型的预训练任务包括？A.MaskedLanguageModel(MLM)B.NextSentencePrediction(NSP)C.CausalLanguageModeling(CLM)D.MachineTranslation(MT)4.下列哪些是常用的文本向量化方法？A.TF-IDFB.Word2VecC.GloVeD.BERTEmbeddings5.在深度学习NLP模型中，常用的激活函数包括？A.ReLUB.TanhC.SigmoidD.Softmax6.下列关于数据增强在NLP中的应用，说法正确的有？A.同义词替换B.随机删除C.回译D.噪声注入7.评估文本分类模型时，常用的指标有？A.AccuracyB.PrecisionC.RecallD.F1-Score8.Transformer模型相比RNN模型的优势在于？A.能够并行计算B.更好地捕捉长距离依赖C.不需要位置编码D.计算效率更高（在相同长度下）9.下列哪些属于中文分词的难点？A.歧义切分B.未登录词识别C.词性标注错误D.语义理解偏差10.常用的优化器包括？A.SGDB.AdamC.AdagradD.RMSprop三、填空题（共15空，每空2分，共30分）1.在计算注意力分数时，常用的函数是__________，其公式为At2.Word2Vec中有两种训练架构，分别是Skip-gram和__________。3.LSTM单元中，用于控制信息遗忘的门是__________，用于控制候选信息添加的门是__________。4.在信息检索中，__________指标用于衡量排序结果的质量，其中p代表位置。5.BERT模型引入了__________机制来随机掩盖输入词，迫使模型利用上下文预测被掩盖的词。6.为了解决OOV（Out-of-Vocabulary）问题，可以使用__________技术，将单词拆分为更小的字符或子词单元。7.卷积神经网络（CNN）在NLP中常用于文本分类任务，利用__________卷积核提取局部特征。8.语言模型的困惑度越__________，表示模型预测的不确定性越低，模型性能越好。9.在序列标注任务中，__________算法常用于解码，以找到概率最大的标签序列。10.正则表达式∧[11.GPT系列模型是基于Transformer的__________结构构建的。12.在文本相似度计算中，__________距离常用于衡量两个词向量之间的夹角差异。13.对于一个二分类问题，如果预测概率为0.8，真实标签为1，则二元交叉熵损失值为__________（保留小数点后两位，ln2≈14.情感分析可以分为三个级别：文档级、__________和方面级。15.在对话系统中，__________管理负责跟踪对话的上下文状态和历史信息。四、判断题（共10题，每题1分，共10分）1.One-hot编码生成的向量维度通常等于词汇表的大小，且向量是稠密的。（）A.正确B.错误2.Transformer模型完全抛弃了循环和卷积结构，仅依靠注意力机制。（）A.正确B.错误3.在NLP中，停用词是指在文本中出现频率很高但几乎没有实际含义的词，如“的”、“是”等，通常在预处理阶段去除。（）A.正确B.错误4.LSTM通过引入门控机制，彻底解决了RNN的梯度消失问题。（）A.正确B.错误5.Fine-tuning（微调）是指在预训练模型的基础上，利用特定任务的数据进行训练，以适应下游任务。（）A.正确B.错误6.卷积神经网络（CNN）只能处理图像数据，无法处理文本序列数据。（）A.正确B.错误7.余弦相似度的取值范围是[-1,1]，其中1表示两个向量方向完全一致。（）A.正确B.错误8.在命名实体识别中，BIO标注法比BIOES标注法更简单，但表达能力稍弱。（）A.正确B.错误9.机器翻译中的贪婪搜索策略在每一步都选择当前概率最大的词，因此一定能得到全局概率最大的句子。（）A.正确B.错误10.BERT模型利用Transformer的Encoder结构，GPT模型利用Transformer的Decoder结构。（）A.正确B.错误五、简答题（共5题，每题6分，共30分）1.请简述Word2Vec中Skip-gram模型的工作原理及其优缺点。2.请解释为什么RNN在处理长序列时会遇到梯度消失或梯度爆炸问题，并说明LSTM是如何缓解这一问题的。3.请简述Transformer模型中“自注意力机制”的含义及其计算过程。4.比较BERT模型和GPT模型在架构和训练目标上的主要区别。5.在自然语言处理中，什么是“数据稀疏”问题？通常有哪些方法可以缓解该问题？六、计算与分析题（共3题，每题10分，共30分）1.给定一个简单的语料库：“<s>IloveNLP</s><s>IloveAI</s><s>NLPisfun</s>”。请计算Bigram（二元语法）模型中，给定前一个词为“I”时，下一个词为“love”的概率P(lo2.假设我们有一个简单的注意力机制场景。Query向量Q=[1,0]，Key向量矩阵计算步骤提示：(1)计算得分Sc(2)对Scores进行Softmax归一化得到权重。(3)计算输出Ou3.某语言模型在测试集上的困惑度计算。假设测试集包含3个句子（已包含开始和结束符号）：S1:<s>catsits</s>S2:<s>dogruns</s>S3:<s>birdflies</s>已知模型计算出的各词概率如下（基于Bigram）：P(catP(dogP(bir请计算该模型在测试集上的困惑度。公式：PP(W七、综合应用题（共2题，每题15分，共30分）1.设计一个基于深度学习的中文情感分析系统。(1)请画出系统的整体架构图（可用文字描述流程），并说明每个模块的作用。(2)如果选择BERT作为预训练模型，请详细描述如何将输入文本处理为模型可接受的格式（包括分词、添加特殊标记、AttentionMask等）。(3)在模型微调过程中，如果遇到训练集准确率很高但测试集准确率很低的情况，你应该采取哪些措施？2.阅读理解是NLP的重要应用。假设我们要利用Transformer的Encoder-Decoder架构实现一个抽取式阅读理解模型（即从给定的Passage中抽取一个连续的片段作为Answer）。(1)请说明Encoder和Decoder在该任务中分别承担的角色。(2)如何将Passage和Question输入到模型中？(3)模型的输出层应该如何设计以预测答案的起始位置和结束位置？(4)在训练阶段，损失函数应该如何构建？参考答案与解析一、单项选择题1.C解析：词性标注属于NLP的具体任务，通常在预处理之后进行。分词、去除停用词、词干提取/词形还原均属于文本预处理的标准步骤，旨在清洗和标准化文本数据。2.B解析：CBOW根据上下文预测中心词，而Skip-gram根据中心词预测上下文。Skip-gram在处理生僻词时通常效果更好，因为中心词的更新次数更多。3.A解析：LSTM通过引入门控机制（遗忘门、输入门、输出门）和细胞状态，有效地缓解了传统RNN的梯度消失问题，能够更好地捕捉长距离依赖。4.C解析：TF-IDF值越高，表示该词在当前文档中出现的频率越高（TF高），且在其他文档中出现的频率越低（IDF高），因此对文档的贡献越大，区分度越强。5.B解析：Attention机制允许解码器在生成每一个词时，动态地关注输入序列（编码器的输出）中不同位置的信息，解决了长序列信息丢失的问题。6.A解析：BERT的全称是BidirectionalEncoderRepresentationsfromTransformers，即基于Transformer的双向编码器表示。7.A解析：BLEU（BilingualEvaluationUnderstudy）是机器翻译任务中最常用的评估指标，用于衡量机器翻译结果与参考译文的n-重重叠度。F1用于分类，ROC-AUC用于二分类排序，MSE用于回归。8.B解析：在BIO标注法中，B（Begin）代表实体的开始，I（Inside）代表实体的内部，O（Outside）代表非实体。9.B解析：多头注意力机制通过将Query、Key、Value线性映射到多个子空间，分别进行注意力计算，最后将结果拼接。这使得模型能够从不同的表示子空间（如语法、语义等）捕捉信息。10.C解析：分布式假设是词嵌入的基础。One-hot无法捕捉语义相似度；Word2Vec生成的是低维稠密向量；GloVe是基于共现矩阵的全局矩阵分解方法，但也属于预测/混合模型的范畴，C选项描述相对最准确，尤其是对比A和B。11.B解析：情感分析本质上是分类任务（单分类或多分类），因此通常使用交叉熵损失函数。MSE用于回归。12.D解析：增加模型参数数量通常会加剧过拟合，而不是缓解。防止过拟合的方法包括Dropout、正则化、早停、数据增强等。13.B解析：GPT（GenerativePre-trainedTransformer）是自回归模型，从左到右预测下一个词。BERT是自编码模型，BART和T5是序列到序列模型。14.A解析：在使用BERT进行分类时，通常取[CLS]标记对应的最后一层隐藏状态向量，然后接一个全连接层进行分类。15.C解析：N-gram模型严重受限于数据稀疏问题，即许多合法的n-gram组合在训练语料中未出现，概率为0。虽然平滑技术可以缓解，但不能说“完全不存在”。16.B解析：Transformer使用正弦和余弦函数生成位置编码，因为其可以推断出比训练序列更长的位置编码，且具有唯一性。17.C解析：最大池化和平均池化都可以将变长序列（如不同长度的句子）转换为定长向量表示。18.D解析：抽取式问答通常被建模为序列标注或SpanPrediction任务，预测答案在文章中的起始索引和结束索引。19.B解析：BeamSearch是一种启发式搜索算法，每一步保留Top-K（Beamsize）个最优候选，既不是纯贪心，也不保证全局最优，但比贪心搜索效果通常更好。20.A解析：ROUGE指标主要关注生成摘要与参考摘要之间的n-gram重叠率。二、多项选择题1.ABCD解析：机器翻译、语音识别（虽然常归为语音，但涉及语言理解）、智能问答、情感分析均属于NLP或密切相关应用。2.ABCD解析：RNN存在梯度消失/爆炸问题；由于必须按时间步计算，无法像CNN或Transformer那样并行；长距离信息传递容易丢失。3.AB解析：BERT的预训练任务包括MaskedLanguageModel（MLM）和NextSentencePrediction（NSP）。CLM是GPT的任务，MT是下游任务。4.ABCD解析：TF-IDF是传统统计方法；Word2Vec和GloVe是静态词向量；BERTEmbeddings是动态上下文词向量。5.ABCD解析：ReLU、Tanh、Sigmoid、Softmax都是深度学习中常用的激活函数。6.ABCD解析：同义词替换、随机删除、回译、噪声注入都是有效的NLP数据增强手段。7.ABCD解析：Accuracy、Precision、Recall、F1-Score是分类任务的标准评估指标。8.ABD解析：Transformer可以并行计算（A），通过注意力机制直接连接任意距离的词（B），计算效率在长序列上通常优于RNN（D）。Transformer需要位置编码（C错误），因为结构本身不具备顺序感。9.AB解析：中文分词的主要难点是歧义切分（如“南京市长江大桥”）和未登录词（新词）识别。10.ABCD解析：SGD、Adam、Adagrad、RMSprop都是常用的深度学习优化器。三、填空题1.ScaledDot-ProductAttention解析：Transformer中使用的核心注意力函数。2.CBOW解析：Word2Vec的两种架构之一。3.遗忘门，输入门解析：LSTM包含遗忘门、输入门和输出门。4.MRR(MeanReciprocalRank)或NDCG解析：MRR是衡量排序结果中第一个相关文档位置的指标。注：此处若指代Precision@k或Recall@k也可以，但MRR常用于QA。5.MaskedLanguageModel(MLM)解析：BERT通过Mask随机掩盖的词来进行预训练。6.Subword(或BPE/WordPiece)解析：子词算法能有效处理OOV问题。7.一维解析：文本数据是一维序列，使用一维卷积。8.低解析：困惑度衡量模型的“不确定性”，越低越好。9.维特比解析：维特比算法用于HMM或CRF等序列模型的高效解码。10.数字解析：`^`匹配字符串开头，`[0-9]{3}`匹配3个数字。11.Decoder解析：GPT仅使用Transformer的Decoder部分。12.余弦解析：余弦距离或余弦相似度。13.0.23解析：二元交叉熵L=−[ylnp+(14.句子级解析：情感分析分为文档级、句子级和方面级。15.对话状态解析：对话状态管理是多轮对话的核心。四、判断题1.B(错误)解析：One-hot向量是稀疏向量，大部分元素为0。2.A(正确)解析：Transformer完全基于注意力机制，没有RNN/CNN的循环或卷积结构。3.A(正确)解析：停用词定义及处理方式正确。4.B(错误)解析：LSTM只是“缓解”了梯度消失问题，并未彻底解决，且对梯度爆炸问题主要通过梯度裁剪解决。5.A(正确)解析：微调的定义正确。6.B(错误)解析：CNN（TextCNN）可以很好地处理文本数据，提取n-gram局部特征。7.A(正确)解析：余弦相似度范围及含义正确。8.A(正确)解析：BIOES比BIO多出了End和Single标签，表达能力更强，BIO相对简单。9.B(错误)解析：贪婪搜索是局部最优，不能保证全局最优。10.A(正确)解析：BERT使用Encoder（双向），GPT使用Decoder（带Mask的单向）。五、简答题1.Word2Vec中Skip-gram模型的工作原理及其优缺点。原理：Skip-gram模型的核心思想是利用中心词来预测其周围的上下文词。给定一个中心词，模型试图最大化上下文窗口内所有词（c为窗口偏移）的条件概率P(|)优点：(1)在处理生僻词时表现较好，因为生僻词作为中心词时会有多次更新机会。(2)能够更好地捕捉词语的语义和句法关系。缺点：(1)由于每个中心词都要处理所有上下文词，训练速度相对较慢（相比CBOW）。(2)对词频极高的常用词处理可能不如CBOW高效。2.RNN梯度消失/爆炸问题及LSTM的缓解机制。原因：RNN在训练时使用反向传播算法（BPTT），梯度随时间步反向传播。由于链式法则，梯度是连乘形式。如果转移矩阵的奇异值小于1，连乘后梯度趋于0（消失）；大于1则趋于无穷（爆炸）。这导致RNN难以学习长距离的依赖关系。LSTM缓解机制：LSTM引入了“细胞状态”（CellState）这一条“高速公路”，利用遗忘门、输入门和输出门来控制信息的流动。在梯度反向传播时，细胞状态的误差导数主要涉及加法运算而非连乘，这使得梯度能够长时间保持不衰减，从而有效地缓解了梯度消失问题，使模型能够记住长期信息。3.Transformer模型中“自注意力机制”的含义及其计算过程。含义：自注意力机制是指输入序列内部的元素之间通过相互作用来计算注意力权重，即Query、Key、Value都来自同一个输入序列。它允许模型在处理每个词时，直接关注序列中其他所有词，从而捕捉长距离依赖和上下文关系。计算过程：(1)线性变换：将输入向量X分别通过三个权重矩阵,,映射得到Query(Q),Key(K),Value(V(2)计算相关性：计算Q和K的点积，得到注意力得分Sc(3)缩放：将得分除以（为向量维度），防止点积过大导致Softmax梯度极小。(4)归一化：对缩放后的得分进行Softmax运算，得到注意力权重矩阵。(5)加权求和：将权重矩阵与V相乘，得到最终的输出向量。4.BERT模型和GPT模型在架构和训练目标上的主要区别。架构区别：(1)BERT仅使用了Transformer的Encoder部分。Encoder是双向的，即每个词都能看到其前后的所有词。(2)GPT仅使用了Transformer的Decoder部分。Decoder是单向的（带Mask），即每个词只能看到它之前的词。训练目标区别：(1)BERT主要采用MaskedLanguageModel(MLM)，随机掩盖部分词并利用上下文预测，以及NextSentencePrediction(NSP)，判断两句话是否连续。(2)GPT采用标准的CausalLanguageModel(CLM)（从左到右的语言模型），根据上文预测下一个词。5.“数据稀疏”问题及其缓解方法。含义：在NLP统计模型（如N-gram）中，由于测试集或实际应用中出现的词或词序列在训练集中从未出现过，导致概率为0或无法准确估计的现象。缓解方法：(1)平滑技术：如拉普拉斯加1平滑、Good-Turing平滑、Kneser-Ney平滑等，将部分概率mass分配给未出现的事件。(2)回退机制：高阶N-gram概率为0时，回退到低阶N-gram（如Trigram回退到Bigram）。(3)词嵌入：使用分布式表示（Word2Vec,BERT），将词映射到稠密向量空间，即使未见过的词组合也能通过向量计算得到非零相似度。(4)子词切分：使用BPE等算法，将单词切分为更常见的子词单元，降低词表大小和稀疏性。六、计算与分析题1.计算Bigram概率P解析：语料库统计：词汇表大小|VBigram统计（Context->Word）：<s>->I(2次),NLP(1次)I->love(2次)love->NLP(1次),AI(1次)NLP->is(1次),</s>(1次)AI-></s>(1次)is->fun(1次)fun-></s>(1次)计算以“I”为前缀的总次数Co在语料库中，“I”出现了2次，后面都跟着“love”。所以CoCo使用加1平滑公式：PP答案：0.32.计算Attention输出解析：QK=[V=[(1)计算Sc=[1Sco(2)Softmax归一化:SW(3)计算输出OuOOO答案：输出向量约为[1.5383.计算困惑度PP解析：测试集句子：S1:<s>catsits</s>(预测词:cat,sits,</s>)S2:<s>dogruns</s>(预测词:dog,runs,</s>)S3:<s>birdflies</s>(预测词:bird,flies,</s>)总词数N=计算联合概率的倒数乘积（或对数概率和）：PPP总概率=困惑度P取对数计算：lP答案：困惑度约为3.64。七、综合应用题1.基于深度学习的中文情感分析系统设计(1)系统架构与模块作用：数据输入层：接收原始中文文本数据。预处理模块：进行去除HTML标签、特殊符号清洗、中文