2026年自然语言笔试题及答案

2026年自然语言笔试题及答案一、单项选择题（本大题共15小题，每小题2分，共30分。在每小题给出的四个选项中，只有一项是符合题目要求的）1.在自然语言处理中，关于N-gram语言模型的描述，下列哪项是错误的？A.N-gram模型基于马尔可夫假设，即当前词的出现概率仅依赖于前面的N-1个词。B.随着N的增大，模型的稀疏性数据问题会变得更加严重。C.N-gram模型无法捕捉长距离的依赖关系。D.N-gram模型在进行概率计算时，必然会产生合理的概率值，即永远不会为零。2.在Transformer模型的核心组件“自注意力机制”中，缩放点积注意力引入缩放因子的主要目的是什么？A.为了增加梯度的数值，防止梯度消失。B.为了防止在较大时，点积结果过大导致Softmax进入梯度极小的饱和区。C.为了减少计算量，降低空间复杂度。D.为了让Query和Key的维度保持一致。3.下列关于预训练语言模型BERT（BidirectionalEncoderRepresentationsfromTransformers）的叙述，正确的是？A.BERT采用的是Transformer中的Decoder架构。B.BERT在预训练阶段主要使用了“从左到右”的语言建模任务。C.BERT引入了[CLS]标记，该对应的输出常用于下游的分类任务。D.BERT模型在生成式任务（如文本续写）中表现优于GPT系列模型。4.Word2Vec中Skip-gram模型和CBOW模型的主要区别在于？A.Skip-gram是根据上下文预测中心词，CBOO是根据中心词预测上下文。B.Skip-gram是根据中心词预测上下文，CBOW是根据上下文预测中心词。C.Skip-gram使用层次Softmax，CBOW使用负采样。D.CBOW只能处理窗口大小为3的情况，而Skip-gram可以处理任意窗口。5.在序列标注任务（如命名实体识别NER）中，通常使用BIO标注法。对于句子“Apple/ORGis/Olocated/LOCin/OCalifornia/LOC”，其中“Apple”的标签是？A.B-ORGB.I-ORGC.B-PERD.O6.针对大规模预训练模型的微调，LoRA（Low-RankAdaptation）技术的主要优势是？A.它完全重写了模型的所有参数，以适应新任务。B.它通过引入低秩分解矩阵来更新权重，极大地减少了可训练参数的数量和显存占用。C.它只能用于视觉模型，不能用于NLP模型。D.它的训练速度比全量微调慢，因为需要计算更多的正则化项。7.下列哪个指标主要用于评估机器翻译系统的生成质量，基于n-gram精确匹配？A.ROUGEB.BLEUC.PerplexityD.F1-score8.在Transformer的位置编码中，使用正弦和余弦函数的主要原因是？A.为了增加模型的非线性表达能力。B.为了让模型能够通过外推处理比训练时更长的序列。C.为了减少参数数量，且具有相对位置的特性。D.为了与Attention机制中的Softmax函数相匹配。9.关于循环神经网络（RNN）中的梯度消失问题，下列哪种架构主要为了解决此问题而设计？A.LSTMB.VanillaRNNC.SRN(SimpleRecurrentNetwork)D.N-gram10.在检索增强生成（RAG）系统中，向量数据库的主要作用是？A.存储原始的文本文件，供大模型直接读取。B.存储文本的向量化嵌入，以便进行语义相似度检索。C.对大模型生成的答案进行语法校验。D.存储用户的聊天历史记录。11.现代大语言模型（LLM）常用的解码策略中，Top-p（NucleusSampling）策略是指？A.选择概率最大的那个词作为输出。B.从整个词汇表中均匀随机采样。C.从累积概率达到阈值p的最小词汇集合中随机采样。D.选择概率超过p的所有词进行加权平均。12.下列关于“幻觉”现象的描述，不准确的是？A.幻觉指模型生成了看似合理但实际上错误或无依据的内容。B.增加模型的参数数量通常可以完全消除幻觉。C.提供上下文或使用RAG技术是缓解幻觉的有效手段。D.幻觉可能源于模型训练数据中的噪声或错误的关联。13.在评估文本摘要任务时，ROUGE-L指标关注的是？A.基于最长公共子序列（LCS）的召回率。B.基于n-gram的精确率。C.基于词向量的语义相似度。D.基于句法结构的正确性。14.混合专家模型的主要特点是？A.所有的专家参数在推理时都会被激活并进行计算。B.通过一个门控网络来选择激活部分专家，从而在增加模型总参数量的同时保持推理计算量相对恒定。C.它是Transformer出现之前的主流架构。D.它不适用于多模态任务。15.下列哪个正则化技术在BERT模型的预训练中被广泛使用，用于随机掩盖部分输入？A.DropoutB.LayerNormalizationC.MaskedLanguageModeling(MLM)D.WeightDecay二、多项选择题（本大题共10小题，每小题3分，共30分。在每小题给出的四个选项中，有多项是符合题目要求的。全部选对得3分，选对但不全得1分，有选错得0分）16.下列属于自然语言处理典型应用任务的有？A.情感分析B.机器翻译C.语音识别D.知识图谱构建17.Transformer模型中，Feed-ForwardNetwork(FFN)的结构通常包含？A.两个线性变换层。B.一个非线性激活函数（如ReLU或GELU）。C.一个自注意力层。D.一个残差连接。18.造成大语言模型训练困难的挑战包括？A.海量的数据清洗和预处理需求。B.巨大的显存和计算资源消耗。C.梯度爆炸和消失。D.模型并行的通信开销。19.下列关于分词算法的描述，正确的有？A.BPE（BytePairEncoding）是一种基于统计的子词分词算法。B.WordPiece算法与BPE类似，但优化目标是最大化训练数据的似然概率。C.UnigramLM分词算法从大的词表逐步删除单词以最小化损失。D.字符级分词可以完全解决OOV（OutofVocabulary）问题，但会导致序列过长。20.评估生成式大模型常用的基准数据集包括？A.MMLU(MassiveMultitaskLanguageUnderstanding)B.GSM8K(GradeSchoolMath8K)C.HumanEvalD.ImageNet21.提示工程中常用的技巧包括？A.Few-shotLearning(少样本学习)B.Chain-of-Thought(思维链)C.Zero-shotLearning(零样本学习)D.直接将所有训练数据作为Prompt输入22.下列关于对比学习在NLP中应用的说法，正确的有？A.SimCSE利用dropout作为数据增强手段来构建正样本对。B.对比学习的目标是拉近正样本对的距离，推远负样本对的距离。C.InfoNCELoss是对比学习中常用的损失函数。D.对比学习只能用于无监督任务，不能用于有监督任务。23.下列属于指令微调目的的有？A.增强模型遵循用户指令的能力。B.提高模型在特定任务上的泛化能力。C.让模型学会多轮对话的格式。D.彻底消除模型的安全隐患。24.针对长文本处理的技术包括？A.滑动窗口截断。B.线性注意力机制。C.旋转位置编码的改进版本以支持外推。D.层次化Transformer。25.在对话系统中，意图识别和槽位填充通常的关系是？A.它们是两个独立的任务，通常可以联合建模。B.槽位填充依赖于意图识别的结果。C.意图识别和槽位填充可以共享底层的特征提取层。D.槽位填充的结果可以修正意图识别的结果。三、填空题（本大题共15小题，每小题2分，共30分）26.在信息检索中，TF-IDF值用于衡量一个词在文档中的重要性，其中IDF反映词的__________。27.RNN在处理长序列时，由于梯度连乘容易导致__________问题，使得长距离信息难以传递。28.Transformer模型完全摒弃了循环结构，利用__________机制并行处理序列信息。29.BERT模型在预训练时使用了两个任务，分别是MaskedLanguageModel和__________。30.在计算BLEU指标时，通常引入__________系数来惩罚过短的生成句子。31.LLaMA等现代大模型常使用__________位置编码，因为它具有更好的外推性能。32.对于一个概率分布P，其熵的计算公式为H(P)=−33.在命名实体识别中，BIOES标注法中的“E”代表__________。34.深度学习中的正则化方法，如L2正则化，通常是为了防止模型__________。35.GPT系列模型（如GPT-3,GPT-4）主要基于Transformer的__________架构。36.评估语言模型好坏的常用指标是困惑度，其值越__________，表示模型预测能力越强。37.在注意力机制中，At38.数据并行中，通常使用__________算法来同步不同GPU上的梯度。39.__________是一种通过人类反馈强化学习来对齐大模型与人类偏好的技术。40.__________是指模型在训练集上表现很好，但在测试集上表现很差的现象。四、判断题（本大题共10小题，每小题1分，共10分。正确的打“√”，错误的打“×”）41.词向量经过Word2Vec训练后，向量之间的余弦相似度可以反映词语之间的语义相似度。42.Transformer模型中的残差连接主要用于解决深层网络中的梯度消失问题，并加速收敛。43.卷积神经网络（CNN）完全无法应用于自然语言处理任务。44.在BeamSearch解码算法中，BeamSize设置为1等同于贪婪搜索。45.Pre-training（预训练）+Fine-tuning（微调）范式是NLP领域近几年的主流范式，但PromptTuning出现后，微调不再是唯一选择。46.所有的Transformer模型都只能处理固定长度的输入序列。47.增加BatchSize总是能提高模型的最终收敛精度。48.BERT模型中的[SEP]标记仅用于分隔两个句子，没有对应的可学习向量。49.语义角色标注（SRL）的主要任务是识别句子中“谁对谁做了什么”。50.大语言模型的涌现能力是指模型参数量达到一定规模后突然出现的小模型不具备的能力。五、简答题（本大题共5小题，每小题6分，共30分）51.简述Transformer模型中“多头注意力机制”的作用及其计算流程。52.请解释过拟合产生的原因，并列举至少三种在NLP任务中防止过拟合的方法。53.简要对比RNN、LSTM和Transformer在处理长文本依赖关系时的优缺点。54.什么是检索增强生成（RAG）？请简述其工作流程及主要优势。55.解释BLEU和ROUGE评估指标的核心思想，并说明它们通常分别用于什么类型的任务。六、计算与推导题（本大题共2小题，每小题10分，共20分）56.给定句子S=P("The")=0.4,P(1)计算该句子的概率P((2)计算该句子的Perplexity（困惑度）。(3)请写出Perplexity的物理意义或直观解释。57.在自注意力机制中，假设输入的向量维度=4。给定Query向量Q=[1,0,1,0]，Key向量=[1,0请计算：(1)Q与,,(2)经过Softmax归一化后的注意力权重。(3)最终的输出向量。七、综合应用分析题（本大题共2小题，每小题20分，共40分）58.场景：你是一家科技公司的NLP算法工程师，公司需要构建一个垂直领域的法律问答系统。该系统需要基于大量的法律法规文档和过往案例回答用户的专业法律咨询。(1)请设计一个完整的技术方案，包括数据预处理、模型选择、训练/微调策略以及推理流程。(2)在方案中，你会选择纯参数化的大模型（如仅微调GPT-4），还是非参数化知识增强（如RAG）？请详细阐述你的选择理由，分析各自的优劣。(3)针对法律领域对准确性要求极高的情况，你会采取哪些措施来降低模型的“幻觉”风险？59.深入探究大语言模型的训练与优化：(1)请阐述从预训练模型到对齐人类偏好（如ChatGPT）的训练流程，特别是RLHF（基于人类反馈的强化学习）的具体步骤。(2)在RLHF中，奖励模型的作用是什么？如果奖励模型本身存在偏见或错误，会对最终模型产生什么影响？(3)除了RLHF，近年来还出现了DPO（DirectPreferenceOptimization）等算法。请简述DPO与RLHF的主要区别，以及DPO的优势所在。参考答案及解析一、单项选择题1.D。解析：N-gram模型面临数据稀疏问题，如果在测试集中出现了训练集中未见的N-gram组合，其概率通常会被平滑处理为0（在未做平滑处理时），或者极小值。选项D说“永远不会为零”是错误的，除非使用了特殊的平滑技术如加一平滑，但即便如此，基本模型本身在零概率问题上是很脆弱的。2.B。解析：当维度很大时，点积Q的数值会变得非常大，导致Softmax函数进入梯度极小的饱和区（即梯度消失），使得模型难以收敛。除以可以将数值拉回到一个合理的范围。3.C。解析：BERT使用的是Transformer的Encoder架构，它是双向的。[CLS]标记对应的输出经过全连接层后用于分类任务。BERT在生成任务上不如Decoder架构的GPT，因为它是双向的，无法自回归生成。4.B。解析：Skip-gram是用中心词预测上下文；CBOW是用上下文预测中心词。5.A。解析：BIO标注法中，B-表示实体的开始。Apple是一个组织名实体的开始，所以是B-ORG。6.B。解析：LoRA通过冻结预训练权重并在旁路注入低秩分解矩阵，大幅减少可训练参数量，降低显存，同时性能接近全量微调。7.B。解析：BLEU（BilingualEvaluationUnderstudy）是机器翻译中最常用的指标，基于n-gram的精确匹配。ROUGE常用于文本摘要。8.C。解析：正弦位置编码是确定性的，不需要学习参数，且具有能够外推到训练时未见过的序列长度的潜力（虽然外推能力有限，但这是设计初衷之一）。9.A。解析：LSTM（长短期记忆网络）引入了门控机制（遗忘门、输入门、输出门），专门设计来解决RNN的梯度消失和长距离依赖问题。10.B。解析：RAG系统利用向量数据库存储文档的Embedding，以便在用户提问时检索出相关的文档片段，作为上下文输入给LLM。11.C。解析：Top-p采样从累积概率超过p的最小词表中随机采样，既保持了多样性，又截断了低概率的噪声词。12.B。解析：增加参数量可能会增强模型的知识储备，但也可能加剧幻觉。幻觉是生成式模型的固有特性，无法通过单纯增加参数完全消除。13.A。解析：ROUGE-L基于最长公共子序列，考虑了句子级别的结构信息。14.B。解析：MoE通过门控网络路由，每次推理只激活部分专家，从而实现大参数量但低计算量。15.C。解析：MaskedLanguageModel(MLM)是BERT的核心预训练任务，通过随机掩盖Token来训练。Dropout是正则化技术，LayerNorm是归一化层，WeightDecay也是正则化。二、多项选择题16.ABD。解析：语音识别通常归类为语音处理（ASR），虽然与NLP有交集，但典型NLP任务主要针对文本。情感分析、机器翻译、知识图谱构建（涉及实体关系抽取）都是核心NLP任务。17.AB。解析：FFN包含两个线性层和一个激活函数，不包含自注意力（Attention在FFN之前），残差连接包裹整个Attention和FFN块，不是FFN内部组件。18.ABD。解析：现代LLM通常使用Transformer架构，配合LayerNorm和残差连接，梯度消失/爆炸相对RNN已不是主要难题。主要挑战在于数据、算力（显存、计算）和分布式通信。19.ABCD。解析：A、B、C均为正确的子词分词算法描述。D也是正确的，字符级分词无OOV但序列长。20.ABC。解析：MMLU（综合任务理解）、GSM8K（数学推理）、HumanEval（代码生成）都是LLM常用基准。ImageNet是计算机视觉数据集。21.ABC。解析：Few-shot、Zero-shot、CoT都是核心Prompt技巧。D通常会导致Context超出限制，且效率极低，不是标准技巧。22.ABC。解析：对比学习可以用于有监督任务（如SimCLR的监督版本），D错误。A、B、C均正确。23.ABC。解析：指令微调旨在提升指令遵循、泛化和多轮对话能力。虽然可以加入安全训练，但指令微调本身不能“彻底消除”安全隐患，需要专门的安全对齐（如RLHF）。24.ABCD。解析：所有选项都是处理长文本的技术手段。25.ACD。解析：意图识别和槽位填充通常可以联合建模（JointModel），共享底层特征。槽位信息确实可以帮助修正意图（例如特定槽位出现暗示特定意图）。B通常不成立，两者往往是并行或互补的，不强制存在依赖。三、填空题26.稀缺性（或逆文档频率）27.梯度消失28.注意力29.下一句预测30.短句惩罚31.旋转位置编码32.差异（或距离）33.结束34.过拟合35.Decoder36.低37.Key（或序列长度）38.All-Reduce39.RLHF40.过拟合四、判断题41.√。解析：词向量空间具有语义特性，距离相近的词语义相似。42.√。解析：残差连接使得梯度可以直接流向浅层，缓解梯度消失。43.×。解析：CNN（如TextCNN）在文本分类等任务中表现优异，可以提取n-gram局部特征。44.√。解析：BeamSize=1时，每一步只保留当前最优路径，即为贪婪搜索。45.√。解析：PromptTuning/PEFT提供了新的范式，微调不再是唯一选择。46.×。解析：通过Padding、Masking或滑动窗口等技术，Transformer可以处理变长输入。47.×。解析：BatchSize过大会导致泛化性能下降，且受限于显存，不一定总是提高精度。48.×。解析：[SEP]不仅有分割语义，其对应的Embedding也参与了可学习参数的运算，且BERT中句子的嵌入向量会加到[SEP]位置（如果是下句）。49.√。解析：SRL旨在识别谓词的论元及其语义角色。50.√。解析：涌现能力是指模型规模突破临界值后突然出现的能力。五、简答题51.答：作用：多头注意力机制允许模型在不同的表示子空间中并行地关注信息序列的不同位置，从而捕捉更丰富的语义特征（如语法、语义、指代等）。计算流程：(1)输入线性变换：将输入向量X分别通过,,(2)缩放点积注意力：计算At(3)多头并行：上述计算在h个头中独立进行，每个头使用不同的投影矩阵。(4)拼接与线性变换：将h个头的输出拼接起来，再通过一个输出权重矩阵进行线性变换，得到最终结果。52.答：原因：模型参数过多且训练数据不足，导致模型学习了训练数据中的噪声而非普遍规律，泛化能力差。防止方法：(1)Dropout：在训练过程中随机丢弃部分神经元，防止参数过度依赖。(2)L1/L2正则化：在损失函数中加入权重的范数惩罚，限制权重幅度。(3)早停：在验证集性能不再提升时停止训练。(4)数据增强：通过同义词替换、回译等方式增加训练数据量。(5)预训练：利用大规模无标注数据进行预训练，再进行微调，利用先验知识减少对特定小样本数据的过拟合风险。53.答：RNN：优点是模型简单，计算量小；缺点是顺序计算无法并行，且存在严重的梯度消失问题，难以捕捉长距离依赖。LSTM：通过门控机制缓解了梯度消失，能捕捉比RNN更长的依赖；但仍然是顺序计算，并行度低，极长距离下仍会遗忘信息。Transformer：完全基于注意力机制，支持并行计算，训练效率高；通过Self-Attention直接连接任意两个词，理论上能捕捉无限长距离的依赖。缺点是显存占用随序列长度呈平方级增长（O(54.答：定义：检索增强生成是一种结合了信息检索和生成式大模型的技术框架。工作流程：(1)索引阶段：将外部知识库切分为片段，并转化为向量存入向量数据库。(2)检索阶段：用户提问时，将问题转化为向量，在数据库中检索出Top-K个相关片段作为上下文。(3)生成阶段：将用户问题和检索到的上下文拼接作为Prompt，输入给大语言模型，生成最终答案。主要优势：(1)减少幻觉：模型基于检索到的事实回答，而非仅凭内部参数生成。(2)知识更新：无需重新训练模型，只需更新向量数据库即可引入新知识。(3)可解释性：可以引用检索到的来源片段，增强可信度。55.答：BLEU：核心思想是计算生成文本与参考文本在n-gram上的精确匹配度，并引入短句惩罚。它侧重于精确性。主要用于机器翻译任务。ROUGE：核心思想是基于召回率，计算生成文本中n-gram或最长公共子序列在参考文本中的覆盖率。它侧重于召回率。主要用于文本摘要任务。六、计算与推导题56.解：(1)句子概率P(PPP(2)设句子长度N=P也可以通过对数计算：P=P计算过程：lllP(3)解释：困惑度可以理解为模型在预测下一个词时的“分支因子”或“不确定性”。PP=7.41表示模型在预测下一个词时，面对的选择相当于在约7.41个等可能的词中犹豫。值越低，说明模型预测越准确，不确定性越低。57.解：(1)计算未归一化得分：SSS得分向量Sc(2)Softmax归一化：S≈7.389,Sum=7.389===权重向量α≈(3)计算输出向量：OO第一维：0.468第二维：0.468最终输出向量≈[七、综合应用分析题58.答：(1)技术方案设计：数据预处理：收集法律法规、判决书。进行清洗（去除HTML标签、乱码）、分句、分段。利用开源法律领域模型或通用模型将文本切分为Chunk（如512tokens），并利用Embedding模型转化为向量存入数据库（如Milvus/Faiss）。模型选择：选择基座能力强、支持长Context的模型（如Llama-3-8B-Instruct或Qwen-7B-Chat）。训练/微调策略：采用RAG架构。对基座模型进行SFT（有监督微调），数据包含（问题,检索到的文档片段,答案）三元组，使模型学会利用检索到的上下文回答。推理流程：用户提问->检索Top-5相关文档->拼接Prompt->生成回答。可加入重排序模块优化检索结果。(2)选择与理由：选择：选择非参数化知识增强（RAG）结合微调。理由：时效性与准确性：法律条文更新频繁，纯参数化模型（如仅微调GPT）知识截止于训练时间，无法知道新法，且容易产生法律幻觉（编造法条）。RAG直接检索最新法条，确保依据准确。可解释性：法律应用要求溯源。RAG可以输出引用