2026年自然语言处理与技术应用考试试卷及答案

2026年自然语言处理与技术应用考试试卷及答案第一部分：单项选择题（本大题共20小题，每小题2分，共40分。在每小题给出的四个选项中，只有一项是符合题目要求的）1.在自然语言处理中，N-gram模型主要用于解决什么问题？A.文本分类B.命名实体识别C.语言模型与概率预测D.情感分析2.Word2Vec模型中，Skip-gram和CBOW的主要区别在于？A.Skip-gram是基于上下文预测中心词，CBOW是基于中心词预测上下文B.CBOW是基于上下文预测中心词，Skip-gram是基于中心词预测上下文C.Skip-gram使用深度神经网络，CBOW使用浅层神经网络D.CBOW只能处理词袋模型，Skip-gram可以处理序列模型3.在循环神经网络（RNN）中，常见的梯度消失问题主要发生在？A.输入层到隐藏层B.隐藏层到输出层C.时间步反向传播过程中D.激活函数求导过程中4.下列哪个激活函数最常用于现代NLP模型（如Transformer）的隐藏层中，以缓解梯度消失问题？A.SigmoidB.TanhC.ReLUD.Softmax5.序列到序列（Seq2Seq）模型的核心架构通常包含？A.只有一个编码器B.只有一个解码器C.一个编码器和一个解码器D.两个编码器6.Attention机制（注意力机制）的主要作用是？A.加速模型训练速度B.减少模型参数数量C.让模型在生成每个词时关注输入序列的不同部分D.将文本转换为固定长度的向量7.Transformer模型中，多头注意力机制的主要目的是？A.增加计算复杂度以提高模型鲁棒性B.从不同的表示子空间捕捉不同的特征信息C.替代位置编码D.解决梯度消失问题8.BERT模型的全称是？A.BidirectionalEncoderRepresentationsfromTransformersB.BinaryEncodingRepresentationfromTextC.BackwardEncodingRepresentationfromTransformersD.BasicEncoderRepresentationforText9.BERT模型主要使用的预训练任务不包括？A.掩码语言模型B.下一句预测C.因果语言建模D.动态掩码10.在BERT的输入表示中，[CLS]标记的作用是？A.表示句子的结束B.用于分隔两个句子C.聚合整个序列的表示用于分类任务D.掩码掉无意义的词11.下列关于GPT（GenerativePre-trainedTransformer）系列的描述，正确的是？A.GPT采用BERT的架构，即TransformerEncoderB.GPT是自回归语言模型，从左到右预测文本C.GPT只能用于分类任务，不能用于生成任务D.GPT-3的参数量远小于BERT-Large12.评估机器翻译质量常用的指标是？A.AccuracyB.F1-ScoreC.BLEUD.ROC-AUC13.命名实体识别（NER）任务通常被建模为？A.文本分类问题B.序列标注问题C.句法分析问题D.语义角色标注问题14.条件随机场（CRF）常用于序列标注任务，其主要优势在于？A.计算速度极快B.能够考虑整个序列的上下文依赖关系和标签约束C.不需要训练数据D.可以处理非序列数据15.在分词技术中，BPE（BytePairEncoding）是一种？A.基于词典的最大匹配算法B.基于统计的字符级合并算法C.基于深度学习的分词算法D.基于规则的分词算法16.位置编码在Transformer模型中的作用是？A.增加模型的非线性表达能力B.为模型提供序列中单词的位置信息，因为Self-Attention本身不具备位置感知能力C.替代词嵌入D.用于掩码操作17.下列哪项不是大语言模型（LLM）提示工程中的常用技术？A.Few-shotLearningB.Chain-of-Thought(CoT)C.Zero-shotLearningD.Backpropagation18.生成式大模型在推理时常用的解码策略中，温度参数的作用是？A.控制生成文本的最大长度B.控制生成词汇的多样性，温度越高分布越平滑C.控制模型计算速度D.过滤低概率词汇19.关于检索增强生成（RAG），其核心流程是？A.直接使用大模型生成答案B.先从外部知识库检索相关文档，再结合文档内容生成答案C.先生成答案，再去数据库验证D.仅对检索到的文档进行排序20.现代NLP模型训练中，常用的优化器是？A.SGD(StochasticGradientDescent)B.AdamC.LBFGSD.Adagrad第二部分：多项选择题（本大题共10小题，每小题3分，共30分。在每小题给出的四个选项中，有两项或两项以上是符合题目要求的）21.自然语言处理的应用领域包括哪些？A.机器翻译B.语音识别C.智能问答系统D.计算机视觉22.下列哪些属于深度学习在NLP中的预训练模型？A.ELMoB.BERTC.Word2VecD.GPT-423.解决RNN梯度消失问题的方法包括？A.使用ReLU激活函数B.引入门控机制（如LSTM,GRU）C.梯度裁剪D.使用残差连接24.Transformer模型相比传统的RNN/CNN模型，具有哪些优势？A.能够并行计算，训练效率高B.通过Self-Attention捕捉长距离依赖C.模型参数量更小D.不需要位置编码25.下列关于BERT预训练任务的描述，正确的有？A.MaskedLM(MLM)随机掩盖部分词并让模型预测B.NextSentencePrediction(NSP)判断两段文本是否连续C.BERT的训练过程是无监督的D.BERT使用了从左到右的语言建模目标26.常用的文本向量化方法包括？A.One-hotEncodingB.TF-IDFC.WordEmbedding(Word2Vec,GloVe)D.ContextualizedEmbedding(BERT,ELMo)27.在文本分类任务中，常用的评价指标包括？A.PrecisionB.RecallC.F1-ScoreD.BLEU28.大语言模型（LLM）面临的主要挑战包括？A.幻觉问题B.推理成本高昂C.上下文长度限制D.数据隐私与安全29.下列哪些属于常见的解码策略？A.GreedySearchB.BeamSearchC.Top-kSamplingD.NucleusSampling(Top-p)30.语义分析主要包括哪些层次？A.词法分析B.句法分析C.语义角色标注D.指代消解第三部分：填空题（本大题共20空，每空1分，共20分）31.在N-gram语言模型中，为了解决未登录词和数据稀疏问题，通常采用________技术。32.LSTM（长短期记忆网络）通过引入________门、________门和________门来控制信息的流动。33.Attention机制的计算公式可以表示为：At34.Transformer模型包含Encoder和Decoder两部分，其中Encoder由________层堆叠而成。35.BERT-base模型包含________层Transformer块，隐藏层维度为________，多头注意力头数为________。36.在序列标注任务中，BIO标注法中，B代表________，I代表________，O代表________。37.将文本切分为具有语义意义的单位的过程称为________。38.____________是一种通过让模型在生成答案前展示推理步骤来提高复杂任务性能的提示技术。39.在计算BLEU指标时，通常使用n-gram的精确率，并引入________惩罚短句。40.正则表达式在NLP中常用于模式匹配和文本提取，例如`\b\w+\b`用于匹配________。41.Word2Vec中，负采样的目的是为了近似________，从而提高训练速度。42.互信息常用于衡量两个词之间的相关性，PMI（点互信息）公式为PM43.在依存句法分析中，句子中的词之间存在________关系，通常表示为有向边。44.数据增强技术中，通过同义词替换、随机插入、随机交换和随机删除来生成新文本的方法称为________。45.现代大模型微调技术中，________仅微调模型的一部分参数（如适配器或前馈网络），以降低存储和计算成本。第四部分：名词解释（本大题共5小题，每小题4分，共20分）46.词嵌入47.自注意力机制48.迁移学习49.命名实体识别(NER)50.检索增强生成(RAG)第五部分：简答题（本大题共5小题，每小题6分，共30分）51.简述RNN、LSTM和Transformer三者之间的主要区别。52.为什么Transformer模型中需要使用残差连接和层归一化？53.简述BERT模型中MaskedLanguageModel(MLM)的具体实现过程及其目的。54.比较Top-kSampling和Nucleus(Top-p)Sampling两种文本生成解码策略的异同。55.什么是大语言模型的“幻觉”现象？有哪些可能的缓解策略？第六部分：计算与分析题（本大题共3小题，共40分）56.（10分）给定一个简单的隐马尔可夫模型（HMM），用于词性标注。状态集合S=观测序列O=初始概率π=转移概率矩阵A：PP发射概率矩阵B：PPP请利用维特比算法计算观测序列“我爱编程”最可能的词性标注路径，并写出计算过程。57.（15分）假设我们有一个简化的Self-Attention计算场景。输入序列由两个词向量组成：=[1,假设权重矩阵分别为：=[1=[1=[1请计算：(1)Query(Q),Key(K),Value(V)矩阵。(2)注意力分数矩阵（未归一化）。(3)缩放因子为（其中为向量维度），计算Softmax后的注意力权重。(4)最终的输出向量。58.（15分）给定参考翻译和机器翻译输出，计算BLEU-4分数（简化版，不考虑平滑）。参考翻译1:"Thecatisonthemat"参考翻译2:"Thereisacatonthemat"候选翻译:"Thethecatisonthemat"(1)计算候选翻译的1-gram到4-gram的精确率。(2)计算简短惩罚因子（BP,BrevityPenalty）。(3)计算最终的几何平均BLEU分数。注：lo第七部分：综合应用题（本大题共2小题，共30分）59.（15分）你是一家科技公司的NLP工程师，任务是为电商客服系统设计一个自动问答机器人。(1)请描述一个完整的技术pipeline，从用户输入问题到生成最终回答。(2)如果需要机器人能够准确回答关于“退货政策”这类动态更新的知识，你会选择哪种技术架构（是仅微调大模型，还是使用RAG）？请阐述理由。(3)在评估该系统时，除了准确率，你还会关注哪些指标？60.（15分）随着大语言模型的发展，PromptEngineering（提示工程）变得至关重要。(1)请设计一个Prompt，用于让大模型提取一段新闻文本中的“事件主体”、“发生时间”和“地点”，并要求输出为JSON格式。(2)解释什么是Few-shotLearning（少样本学习），并举例说明如何在Prompt中构建Few-shot示例以提高提取效果。(3)讨论在使用大模型时，如何通过Prompt防止提示注入攻击。参考答案与解析第一部分：单项选择题1.C解析：N-gram模型基于马尔可夫假设，计算一个词出现的条件概率，主要用于构建语言模型。2.B解析：CBOW根据上下文预测中心词；Skip-gram根据中心词预测上下文。3.C解析：RNN在反向传播更新权重时，梯度需要通过时间步反向传播，若激活函数导数小于1，连乘后梯度趋向于0。4.C解析：ReLU及其变体在正区间导数为1，能有效缓解梯度消失，且计算简单。5.C解析：Seq2Seq模型由编码器将输入编码为向量，解码器将该向量解码为输出序列。6.C解析：Attention机制打破了编码器必须将所有信息压缩到一个固定长度向量的限制，允许解码器在每一步关注输入的不同部分。7.B解析：多头注意力允许模型在不同的表示子空间中并行地关注信息，捕捉更丰富的特征。8.A解析：BERT全称为BidirectionalEncoderRepresentationsfromTransformers。9.C解析：CausalLanguageModeling（因果语言建模，即从左到右预测）是GPT系列的任务，BERT使用的是MaskedLM（双向）。10.C解析：[CLS]是特殊的分类标记，其对应的最终隐藏状态被用作句子级别的分类表示。11.B解析：GPT使用TransformerDecoder结构，采用自回归（从左到右）的方式预测下一个词。12.C解析：BLEU(BilingualEvaluationUnderstudy)是机器翻译中最常用的评价指标。13.B解析：NER是对序列中每个词进行分类，属于序列标注问题。14.B解析：CRF考虑了标签之间的转移概率（如B-PER后面不能接I-LOC），能利用全局上下文。15.B解析：BPE从字符开始，迭代统计最频繁出现的字节对进行合并，是一种子词分词算法。16.B解析：Transformer是完全并行的，丢失了序列顺序信息，因此必须显式加入位置编码。17.D解析：Backpropagation是训练阶段的算法，提示工程是推理/使用阶段的技术。18.B解析：Temperature参数用于控制Softmax分布的平滑度，温度高则分布均匀（随机性大），温度低则分布尖锐（确定性高）。19.B解析：RAG（检索增强生成）的核心在于先检索相关文档，将其作为上下文输入给LLM。20.B解析：Adam结合了动量和自适应学习率，是深度学习中最常用的优化器之一。第二部分：多项选择题21.ABC解析：计算机视觉属于CV领域，不属于NLP。22.ABD解析：Word2Vec是静态词向量方法，虽然也是预训练思想，但通常不归类为深度学习预训练“模型”架构如ELMo/BERT这种上下文相关的代表，但在广义上也可算。此处主要指深度上下文模型，通常选ABD。若严格区分，Word2Vec是浅层神经网络。但在广义NLP发展中，常被提及。根据主流考试习惯，ELMo,BERT,GPT是典型的深度预训练模型。23.ABD解析：梯度裁剪用于解决梯度爆炸，而非消失。24.AB解析：Transformer参数量通常很大（不符合C），且必须使用位置编码（不符合D）。25.ABC解析：BERT不使用从左到右的预测（D是GPT的特征）。26.ABCD解析：四者都是文本向量化方法。27.ABC解析：BLEU用于生成任务（翻译/摘要），不用于分类。28.ABCD解析：四项均为LLM目前的已知挑战。29.ABCD解析：四者均为常见的解码策略。30.CD解析：词法分析和句法分析属于语法层面的分析，语义分析包含语义角色标注和指代消解等更深层次。第三部分：填空题31.平滑（如拉普拉斯平滑、Kneser-Ney平滑）32.输入、遗忘、输出33.(或的平方根)34.6(或N，TransformerEncoder层数)35.12,768,1236.Begin,Inside,Other37.分词38.思维链39.短句惩罚40.单词41.Softmax42.P43.支配44.EDA(EasyDataAugmentation)45.PEFT(Parameter-EfficientFine-Tuning)第四部分：名词解释46.词嵌入：将词汇表中的单词映射到实数向量空间的技术。相似的词在向量空间中距离较近，能够捕捉词之间的语义和语法关系。47.自注意力机制：一种注意力机制，其中Query、Key和Value均来自同一个输入序列。它用于计算序列内部元素之间的相关性，从而加权聚合信息，使模型能够捕捉长距离依赖。48.迁移学习：将一个模型在源领域（或任务）上学到的知识迁移应用到目标领域（或任务）中的机器学习方法。在NLP中，通常指在大规模语料上预训练模型，然后在特定任务上微调。49.命名实体识别(NER)：识别文本中具有特定意义的实体，如人名、地名、机构名、时间等，并将其分类到预定义类别的过程。50.检索增强生成(RAG)：一种结合了检索和生成的技术。在生成回答之前，先从外部知识库中检索与输入相关的信息片段，然后将这些片段作为上下文输入给生成模型，以提高回答的准确性和事实性。第五部分：简答题51.简述RNN、LSTM和Transformer三者之间的主要区别。答：(1)RNN：结构简单，按时间步顺序处理数据。难以并行训练，存在严重的梯度消失/爆炸问题，捕捉长距离依赖能力弱。(2)LSTM：引入了门控机制（遗忘门、输入门、输出门）和细胞状态，有效缓解了梯度消失问题，能捕捉较长的依赖，但仍无法完全并行，计算效率相对较低。(3)Transformer：完全基于注意力机制，抛弃了循环结构。能够并行计算所有位置，训练效率极高；通过Self-Attention直接捕捉任意距离的依赖，是目前最主流的架构。52.为什么Transformer模型中需要使用残差连接和层归一化？答：(1)残差连接：解决了深层网络中的退化问题，使得梯度更容易反向传播到浅层网络，允许模型训练得更深。(2)层归一化：加速模型收敛，稳定训练过程，将数据分布在均值为0方差为1的区间，防止数值过大或过小。(3)结合使用（Add&Norm）：结构上为x+La53.简述BERT模型中MaskedLanguageModel(MLM)的具体实现过程及其目的。答：过程：随机选择输入序列中15%的Token。其中80%被替换为[MASK]，10%被替换为随机的其他Token，10%保持不变。模型的任务是根据上下文预测这些被掩盖/替换的原始Token。目的：迫使模型利用双向上下文信息来填充缺失的词，从而学习到深层的双向语义表示，克服了传统从左到右模型无法同时利用上下文的局限。54.比较Top-kSampling和Nucleus(Top-p)Sampling两种文本生成解码策略的异同。答：同：两者都是基于概率的随机采样解码策略，相比贪婪搜索能增加文本的多样性，避免重复。异：(1)Top-k：每一步只从概率最高的前k个词中进行采样。缺点是当概率分布非常平缓时，可能截断掉一些合理的低概率词；当分布非常陡峭时，可能包含很多无意义的词。(2)Nucleus(Top-p)：从累积概率达到阈值p的最小词集合中进行采样。它能动态调整采样候选集的大小，在概率分布陡峭时候选集小，平缓时候选集大，通常比Top-k效果更稳定。55.什么是大语言模型的“幻觉”现象？有哪些可能的缓解策略？答：定义：幻觉指大模型生成了看似合理但实际上错误或不存在的事实，表现为一本正经地胡说八道。缓解策略：(1)使用RAG技术，引入外部知识库作为参考依据。(2)PromptEngineering，指示模型“如果不知道答案，请直接说不知道”。(3)提高训练数据的质量，减少数据中的噪声和错误。(4)思维链提示，让模型展示推理过程，增加逻辑性。(5)对模型输出进行事实核查的后处理。第六部分：计算与分析题56.解：目标：最大化路径概率P(设(i初始化(t=((递推(t=(==(回溯：来自N)(==(回溯：来自N)递推(t=(==(回溯：来自V)(==(回溯：来自V)终止：ma最优路径终点为N。回溯路径：t=3是N(来自t=2是V(来自t=最优路径为：N(我)->V(爱)->N(编程)。概率为0.027216。57.解：(1)计算Q,K,V:X=[Q=X=[10K=X=[10V=X=[10(2)注意力分数(未归一化):Scores=即，与得分1，与得分0；与得分0，与得分1。(3)缩放与Softmax:=2,=缩放后分数：[1/Softmax(按行计算):第一行[1/,0]WW第二行[0WW注意力权重矩阵A≈[(4)最终输出:OutpuRoCCRoCCOut58.解：参考翻译1(Ref1):"Thecatisonthemat"(6词)参考翻译2(Ref2):"Thereisacatonthemat"(7词)候选翻译:"Thethecatisonthemat"(7词)(1)计算n-gram精确率:Candidate1-grams:{The:2,the:1,cat:1,is:1,on:1,mat:1}(假设大小写敏感，通常不敏感，这里按常规处理假设The=the)假设不区分大小写：Candidate:{the:2,cat:1,is:1,on:1,mat:1}，共6个独特1-gram，总长度7。Ref1:{the:1,cat:1,is:1,on:1,mat:1}Ref2:{there:1,is:1,a:1,cat:1,on:1,the:1,mat:1}1-gram():Count_clip(the)=min(2,max(1,1))=1Count_clip(cat)=min(1,max(1,1))=1Count_clip(is)=min(1,max(1,1))=1Count_clip(on)=min(1,max(1,1))=1Count_clip(mat)=min(1,max(1,1))=1Matched1-grams=1+1+1+1+1=5.Total1-gramsinCandidate=7.=2-grams():Candidate:{thethe:1,thecat:1,catis:1,ison:1,onmat:1}Ref1:{thecat:1,catis:1,ison:1,onmat:1}Ref2:{thereis:1,isa:1,acat:1,caton:1,onthe:1,themat:1}Matched:thecat:min(1,max(1,0))=1catis:min(1,max(1,0))=1ison:min(1,max(1,0))=1onmat:min(1,max(0,0))=0(Ref1是onmat,Ref2是onthe...wait,Ref2is"onthemat",2-gram是"onthe")修正Ref22-grams:{thereis,isa,acat,caton,onthe,themat}.Ref12-grams:{thecat,catis,ison,onmat}.检查Candidate2-grams:"thethe":0"thecat":1(在Ref1中)"catis":1(在Ref1中)"ison":1(在Ref1中)"onmat":1(在Ref1中)总匹配数=4.Total2-gramsinCandidate=6.=3-grams():Candidate:{thethecat:1,thecatis:1,catison:1,isonmat:1}Ref1:{thecatis:1,catison:1,isonmat:1}Ref2:{thereisa:1,isacat:1,acaton:1,catonthe:1,onthemat:1}匹配:"thethecat":0"thecatis":1(Ref1)"catison":1(Ref1)"isonmat":1(Ref1)总匹配数=3.Total3-gramsinCandidate=4.=4-grams():Candidate:{thethecatis:1,thecatison:1,catisonmat:1}Ref1:{thecatison:1,catisonmat:1}匹配:"thethecatis":0"thecatison":1(Ref1)"catisonmat":1(Ref1)总匹配数=2.Total4-gramsinCandidate=3.=(2