2026年自然语言处理技术练习测试卷及答案

2026年自然语言处理技术练习测试卷及答案一、单项选择题（共15题，每题2分，共30分）1.在自然语言处理中，关于Word2Vec的Skip-gram模型，下列说法正确的是（）。A.Skip-gram模型是根据中心词预测上下文词B.Skip-gram模型是根据上下文词预测中心词C.Skip-gram模型只能处理词袋模型D.Skip-gram模型不使用负采样技术2.在Transformer模型的核心组件“自注意力机制”中，缩放点积注意力中的缩放因子的主要作用是（）。A.增加梯度的数值稳定性，防止点积结果过大导致Softmax进入饱和区B.减少模型的参数量C.加速矩阵运算速度D.增加模型对位置信息的敏感度3.下列关于BERT（BidirectionalEncoderRepresentationsfromTransformers）模型的描述，错误的是（）。A.BERT使用了Transformer的Encoder结构B.BERT的预训练任务包括MaskedLanguageModel(MLM)和NextSentencePrediction(NSP)C.BERT在生成式任务（如文本生成）上通常优于GPT系列模型D.BERT通过[CLS]标记对应的隐状态用于整句的分类任务4.在长文本处理中，为了降低Transformer的计算复杂度（从O(A.FlashAttentionB.SparseAttention（稀疏注意力）C.Multi-HeadAttentionD.Self-Attention5.循环神经网络（RNN）在处理长序列时面临的主要问题是（）。A.参数量过大B.梯度消失或梯度爆炸C.无法处理变长序列D.训练速度过快导致过拟合6.在评估机器翻译质量时，BLEU（BilingualEvaluationUnderstudy）指标主要基于什么进行计算？（）A.语义相似度B.n-gram的精确匹配度C.编辑距离D.词向量余弦相似度7.大语言模型（LLM）推理过程中，用来控制生成文本随机性和创造性的参数是（）。A.Top-kB.Temperature（温度）C.FrequencyPenaltyD.PresencePenalty8.LoRA（Low-RankAdaptation）技术主要用于大模型的微调，其核心思想是（）。A.冻结预训练模型的权重，通过旁路低秩矩阵的更新来适应下游任务B.重新随机初始化模型的所有权重C.仅微调模型的最后一层全连接层D.剪枝模型中不重要的神经元9.下列关于条件随机场（CRF）的描述，正确的是（）。A.CRF是一种生成式模型B.CRF在序列标注任务中（如命名实体识别）可以考虑整个序列的上下文标签依赖关系C.CRF假设输出之间是严格独立的D.CRF的训练通常不需要反向传播算法10.在Transformer模型中，位置编码的作用是（）。A.增加模型的非线性表达能力B.为模型注入序列中token的位置或相对顺序信息C.替代残差连接D.降低计算复杂度11.针对大模型输出的“幻觉”问题，下列哪种方法属于基于检索增强的缓解手段？（）A.增加模型的参数量B.RAG（Retrieval-AugmentedGeneration）C.提高Temperature参数D.使用更小的BatchSize12.在强化学习中用于对齐大模型与人类偏好的技术是（）。A.SFT（SupervisedFine-Tuning）B.RLHF（ReinforcementLearningfromHumanFeedback）C.MLM（MaskedLanguageModeling）D.BPE（BytePairEncoding）13.下列哪种分词算法是目前GPT、BERT等主流大模型普遍采用的？（）A.按词分词B.按字符分词C.BPE（BytePairEncoding）D.N-gram分词14.关于混合专家模型，下列说法正确的是（）。A.MoE模型在推理时激活所有的专家网络B.MoE模型通过门控网络选择部分专家进行计算，从而在增加参数量的同时控制计算成本C.MoE模型无法用于自然语言处理任务D.MoE模型的训练速度通常比同参数量的稠密模型慢15.在计算交叉熵损失函数H(p,q)A.趋近于0B.趋近于无穷大C.保持不变D.趋近于1二、多项选择题（共10题，每题3分，共30分）1.下列哪些属于自然语言处理中的低资源学习策略？（）A.数据增强B.迁移学习C.多任务学习D.增加模型参数量至万亿级别2.Transformer模型中包含的主要技术组件有（）。A.自注意力机制B.前馈神经网络C.残差连接与层归一化D.随机失活3.下列关于预训练语言模型（PLM）的叙述，正确的有（）。A.ELMo模型基于双向LSTM架构B.GPT系列模型基于Decoder-only的Transformer架构C.BERT模型基于Encoder-only的Transformer架构D.BART和T5模型基于Encoder-Decoder架构4.评估文本摘要任务常用的指标包括（）。A.ROUGEB.BLEUC.Perplexity（困惑度）D.BERTScore5.在进行LLM（大语言模型）的PromptEngineering（提示工程）时，常用的技巧有（）。A.Few-shotLearning（少样本学习）B.Chain-of-Thought（思维链）C.ReAct（推理+行动）D.Zero-shotLearning（零样本学习）6.下列哪些属于命名实体识别（NER）中的常见实体类型？（）A.PERSON（人名）B.LOCATION（地名）C.ORGANIZATION（机构名）D.VERB（动词）7.解决梯度消失问题的常用方法包括（）。A.使用ReLU等激活函数代替Sigmoid/TanhB.引入残差连接C.使用梯度裁剪D.使用批归一化8.下列关于注意力机制中的Query、Key、Value（Q,K,V）的理解，正确的有（）。A.Query代表查询向量，用于去匹配KeyB.Key代表键向量，用于被Query匹配C.Value代表值向量，是最终聚合的内容D.在自注意力中，Q、K、V通常来自同一输入的线性变换9.常用的文本分类深度学习模型架构包括（）。A.TextCNNB.BiLSTM+AttentionC.FastTextD.TransformerEncoder10.导致大模型推理延迟高的主要原因包括（）。A.模型的参数量巨大，显存带宽受限B.生成式解码的串行特性C.Attention计算的O(D.使用了FP32高精度计算三、填空题（共15空，每空1分，共15分）1.在信息检索中，TF-IDF算法用于评估一个词对于一个文件集或一个语料库中的其中一份文件的重要程度，其中TF代表________，IDF代表________。2.HMM（隐马尔可夫模型）包含三个核心问题：概率计算问题、学习问题以及________问题。3.LDA（LatentDirichletAllocation）是一种常见的________模型，用于发现文档集合中的潜在主题。4.在Transformer架构中，Encoder层由________和前馈神经网络子层组成。5.为了解决OOV（OutofVocabulary）问题，除了使用BPE算法，还可以在词向量表中引入________向量。6.在序列标注任务中，常用的标签格式有BIO和BIOES，其中B代表________，I代表________。7.Softmax函数的公式为S(8.GPT-3模型拥有________亿级别的参数。9.模型的泛化能力通常通过在________集上的表现来评估。10.在深度学习中，常用的优化器Adam结合了________和动量的优点。11.Attention机制中的数学公式通常表示为Atte12.数据并行训练中，不同GPU之间通常通过________算法来同步梯度。四、判断题（共10题，每题1分，共10分）1.LSTM（长短期记忆网络）通过引入门控机制（遗忘门、输入门、输出门）来解决传统RNN的梯度消失问题。（）2.Word2Vec生成的词向量中，"King""Man"+"Woman"的结果向量最接近"Queen"的向量，这体现了词向量的线性平移特性。（）3.BERT模型是自回归的，即根据上文预测下一个词。（）4.在Transformer模型中，多头注意力机制是为了让模型能够从不同的表示子空间和不同的位置关注到输入序列的不同特征。（）5.Perplexity（困惑度）越低，说明语言模型对测试数据的预测效果越好。（）6.所有的Transformer模型都必须使用固定的位置编码长度，无法处理超过训练时最大长度的序列。（）7.RLHF（基于人类反馈的强化学习）通常包括三个步骤：有监督微调、奖励模型训练、使用PPO等算法强化学习。（）8.卷积神经网络（CNN）由于缺少时序建模能力，完全无法应用于NLP任务。（）9.剪枝和量化是模型压缩的常用技术，目的是在保持模型性能的前提下减小模型体积和加速推理。（）10.在对话系统中，检索式对话系统比生成式对话系统更容易产生事实性错误。（）五、简答题（共5题，每题6分，共30分）1.请简述Transformer模型中“多头注意力机制”的作用及其计算流程。2.请对比RNN/LSTM与Transformer在处理长距离依赖问题上的优缺点。3.什么是BPE（BytePairEncoding）分词算法？请简要描述其构建词表的过程。4.请解释大模型微调中的指令微调与预训练的区别，以及它为何能提升模型遵循指令的能力。5.简述RAG（检索增强生成）技术的基本流程及其主要优势。六、计算与分析题（共2题，每题10分，共20分）1.给定一个简化的注意力计算场景。假设Q=[1,0],请计算：(1)未缩放前的注意力得分（即点积结果）。(2)经过缩放因子处理后的得分。(3)经过Softmax归一化后的权重。(4)最终的注意力输出向量。(注：Softmax计算结果保留两位小数，≈1.414,≈2.03,2.假设我们有一个简单的语料库，包含两个句子：Sentence1:"thecatsat"Sentence2:"thedogsat"(1)请构建该语料库的词汇表。(2)假设使用Unigram语言模型（即只看当前词的概率，不看上下文），请计算词"cat"和"dog"的概率P(ca(3)为了平滑处理，我们使用加1平滑，请重新计算P(ca七、综合应用题（共2题，每题15分，共30分）1.某公司希望构建一个垂直领域的智能客服系统（例如医疗咨询），但直接使用通用大模型（如GPT-4）存在回答不够专业、容易产生幻觉以及无法获取最新医疗指南的问题。请设计一套技术方案来解决上述问题。方案中需明确：(1)采用何种架构模式（如仅微调、仅RAG、或微调+RAG）？(2)数据准备阶段需要哪些数据？(3)系统的核心技术流程（从用户提问到最终回答）。(4)如何评估系统的效果？2.给定一段英文文本："Thequickbrownfoxjumpsoverthelazydog."，以及对应的中文参考翻译："敏捷的棕色狐狸跳过了懒惰的狗。"假设机器翻译系统输出的候选翻译为："敏捷的棕色狐狸跳过了懒狗。"(1)请简述BLEU指标的计算原理（基于n-gram的精确匹配和简短惩罚）。(2)手动计算该候选翻译的1-gram(Unigram)和2-gram(Bigram)的精确率。(注：分词方式为按字/词切分，中文参考按字切分计算："敏捷/的/棕色/狐狸/跳过/了/懒惰/的/狗"，候选按字切分："敏捷/的/棕色/狐狸/跳过/了/懒/狗")参考答案与解析一、单项选择题1.A解析：Skip-gram模型是Word2Vec的一种架构，其核心思想是通过中心词来预测周围的上下文词，适用于大规模数据集，能更好地捕捉低频词的语义。CBOW才是通过上下文预测中心词。2.A解析：当维度很大时，点积结果数值会变得很大，导致Softmax函数进入梯度极小的饱和区，使得反向传播梯度消失。除以可以将数值拉回到一个合理的范围，保持梯度的有效性。3.Encoder解析：BERT是自编码模型，擅长理解任务（如分类、NER）；GPT是自回归模型，擅长生成任务。BERT在生成任务上通常不如Decoder-only的GPT系列。4.B解析：FlashAttention主要是优化显存访问速度以加速训练，虽然也有长序列支持，但SparseAttention（如Longformer,BigBird）是专门将复杂度从O()降至O(5.B解析：RNN在长序列训练中，由于链式求导法则，梯度在反向传播过程中连乘，容易导致梯度消失（长距离依赖信息丢失）或梯度爆炸。6.B解析：BLEU指标主要考察候选译文与参考译文中n-gram的重叠程度。7.B解析：Temperature参数控制Softmax分布的平滑度。Temperature越高，分布越平滑，生成越随机；Temperature越低，分布越尖锐，生成越确定。8.A解析：LoRA冻结预训练权重，在Transformer层旁边注入低秩分解矩阵A和B，更新量为ΔW9.B解析：CRF是判别模型，且在序列标注中能利用标签之间的转移概率（如B标签后不能接O标签等），这是HMM和普通神经网络不具备的全局优化能力。10.B解析：Transformer本质上是并行计算，没有循环结构，无法捕捉序列顺序，必须通过位置编码显式注入位置信息。11.B解析：RAG通过检索外部知识库，将相关文档作为上下文输入给模型，有效减少了模型编造事实（幻觉）的可能性。12.B解析：RLHF利用人类反馈训练奖励模型，再利用强化学习（如PPO）优化策略模型，使其符合人类偏好。13.C解析：BPE是一种子词分词算法，能有效平衡词表大小和OOV问题，是当前主流LLM的标准分词方式。14.B解析：MoE通过门控网络每次只激活Top-K个专家，虽然总参数量巨大，但实际推理计算量仅由激活的专家决定。15.B解析：lo二、多项选择题1.ABC解析：低资源学习通常指数据稀缺场景，数据增强、迁移学习、多任务学习都是有效手段。增加参数量通常需要海量数据，不属于低资源策略。2.ABCD解析：Transformer包含自注意力、前馈网络（FFN）、残差连接、LayerNorm以及Dropout。3.ABCD解析：ELMo是双向LSTM，GPT是Decoder-only，BERT是Encoder-only，BART/T5是Encoder-Decoder。这四者都是典型的PLM架构。4.AD解析：ROUGE是文本摘要的标准指标（基于召回率），BERTScore基于BERT语义相似度。BLEU主要用于机器翻译（基于精确率），Perplexity主要用于语言模型评估。5.ABCD解析：这些都是PromptEngineering的常用技巧，用于激发模型推理能力或引导输出格式。6.ABC解析：NER主要识别专有名词，动词通常不属于NER范畴（除非是特定任务中的触发词）。7.AB解析：ReLU缓解梯度消失，残差连接提供梯度高速通道。梯度裁剪主要用于解决梯度爆炸，BN主要用于加速收敛和稳定分布，虽也有辅助作用但前两者是核心结构解法。8.ABCD解析：Q、K、V的概念描述正确。在Self-Attention中，三者均源自输入X的不同线性投影。9.ABCD解析：TextCNN利用卷积核提取局部特征，BiLSTM+Attention捕捉序列特征，FastText基于词袋+ngram，TransformerEncoder基于自注意力，均可用于文本分类。10.ABC解析：大模型推理慢主要受限于显存带宽（搬运权重耗时）、自回归解码的串行特性（无法并行生成token）以及Attention的二次方复杂度。FP32通常比FP16/Int8慢，但不是架构层面的根本原因。三、填空题1.词频；逆文档频率2.预测（或解码）3.主题生成（或概率图）4.多头自注意力5.<UNK>（未知词）6.Begin（开始）；Inside（内部）7.(0,1)8.17509.测试（或验证）10.自适应矩估计11.维数12.AllReduce四、判断题1.正确。LSTM设计了细胞状态和三个门，有效控制信息的遗忘、记忆和输出，缓解了长距离梯度消失。2.正确。这是Word2Vec词向量空间最经典的性质示例，表明向量运算能捕捉语义关系。3.错误。BERT是自编码模型，利用Mask预测当前词；GPT才是自回归模型。4.正确。多头允许模型关注不同子空间的信息，类似于卷积网络中多通道的作用。5.正确。困惑度是交叉熵的指数形式，值越低代表预测概率分布越接近真实分布，模型越好。6.错误。现代Transformer（如ALiBi、RoPE等）支持外推，可以处理超过训练长度的序列，尽管效果可能下降。7.正确。这是标准的OpenAIRLHF三步走流程。8.错误。TextCNN等变体证明了CNN在NLP中的有效性，尤其在提取局部特征方面。9.正确。剪枝去掉冗余连接，量化降低数值精度，都是模型压缩手段。10.错误。检索式系统返回的是预设的标准答案，通常事实准确；生成式系统才容易产生幻觉。五、简答题1.答：作用：多头注意力机制允许模型在不同的表示子空间中并行地关注输入序列的不同位置信息，从而捕捉更丰富、更复杂的语义特征（如句法关系、长距离依赖等）。计算流程：(1)线性投影：将输入向量X分别通过,,(2)缩放点积：计算注意力得分Sc(3)Softmax归一化：对得分进行Softmax操作，得到注意力权重α=(4)加权求和：利用权重对Value向量进行加权求和，得到单头输出Z=(5)拼接与线性变换：将h个头的输出拼接起来，再通过一个输出权重矩阵进行线性变换，得到最终输出。2.答：RNN/LSTM：优点：结构符合序列直觉，计算复杂度较低（线性），适合处理流式数据。缺点：无法并行训练（需等待上一时刻输出），尽管LSTM缓解了梯度消失，但在极长距离依赖上仍不如Transformer，且长序列推理速度慢。Transformer：优点：基于自注意力机制，能够直接捕捉序列中任意两个词之间的距离（距离为1），彻底解决了长距离依赖问题；支持并行计算，训练效率高。缺点：计算复杂度为O(3.答：BPE（BytePairEncoding）是一种子词分词算法，它通过频繁合并字符对来构建词表，从而在词表大小和OOV率之间取得平衡。构建过程：(1)准备语料库，将所有单词拆分为字符序列，并在末尾添加特殊结束符（如`</w>`）。(2)统计语料库中所有相邻字符对的出现频率。(3)找出频率最高的字符对，将其合并为一个新的符号（子词）。(4)更新语料库，用新符号替换所有的该字符对。(5)重复步骤2-4，直到达到预设的词表大小或合并次数停止。4.答：区别：预训练：通常在海量无标注文本上进行，目标是学习通用的语言知识和世界知识，任务形式通常是MaskedLanguageModeling(MLM)或CausalLanguageModeling(CLM)。指令微调：在标注好的“指令-回答”数据对上进行，目标是让模型学会理解和遵循人类指令，以特定的格式输出有用、安全的信息。原因：预训练模型虽然知识丰富，但并不清楚如何与人类交互（例如不知道回答问题还是续写文本）。指令微调通过模仿人类指令的响应模式，将模型的潜在知识激发出来，并约束其输出格式，使其具备Chat能力。5.答：基本流程：(1)索引构建：将外部知识库（文档、网页等）切分chunk，通过Embedding模型转化为向量并存入向量数据库。(2)检索：用户提问时，将问题转化为向量，在向量数据库中检索出Top-K个最相关的文档片段。(3)增强：将检索到的相关文档片段作为上下文，与用户的原始问题拼接在一起，构造出新的Prompt。(4)生成：将构造好的Prompt输入给大语言模型，让模型基于检索到的事实信息生成回答。主要优势：(1)减少幻觉：模型基于提供的事实回答，而非仅依赖参数记忆。(2)知识时效性：可以随时更新向量数据库，无需重新训练模型即可获取最新知识。(3)可解释性：可以引用检索到的源文档，方便用户核查。六、计算与分析题1.解：Q=[1,0](1)未缩放前的点积得分：Sco(注：此处简化为单向量计算，若为矩阵则是Q)(2)缩放后的得分：ScalefactorS(3)Softmax归一化权重：由于只有一个Query和一个Key（简化情况），权重为1。若假设这是更复杂情况的一部分，或者是单个标量经过Softmax：S(注：如果是多头计算且K有多个向量，则需对多个得分做Softmax。基于题目给出的单向量数据，权重即为1。)(4)最终注意力输出：Output=Weight×(注：若题目意图是矩阵运算但简化给了向量，上述逻辑成立。若视作Q包含两个query，K包含两个key，则需矩阵运算。基于题目Q=[1,0]形式，按向量点积理解最合理。)(注：若题目意图是矩阵运算但简化给了向量，上述逻辑成立。若视作2.解：(1)词汇表构建：去重并排序：{the,cat,sat,dog}词汇表大小V(2)Unigram概率计算：总词数=3(S1)+3(S2)=6"cat"出现1次，"dog"出现1次。PP(3)加1平滑计算：公式：(N(七、综合应用题1.答：(1)架构模式：采用“微调+RAG”的混合模式。原因：仅微调无法注入最新知识且容易幻觉；仅RAG可能无法完全理解垂直领域的专业术语和行话。微调让模型学会领域“黑话”和提问方式，RAG提供最新、准确的事实依据。(2)数据准备：领域语料：医疗教科书、临床指南、医学百科（用于SFT微调）。问答对数据：历史高质量的医患对话记录（用于SFT微调）。知识库文档：最新的药品说明书、诊疗规范、疾病库（用于构建RAG向量库）。(3)核心技术流程：用户提问：用户输入症状描述或健康咨询。意图识别与路由：判断是闲聊还是专业咨询。若是闲聊走通用模型；若是专业咨询走RAG流程。检索：将用户问题Embedding，在医疗向量数据库中检索相关的疾病、药物说明文档。提示构造：SystemPrompt设定为“你是一个专业的医疗助手...”。将检索到的Top-5文档片段作为Context，UserQuestion作为输入。模型推理：输入经过领域微调的大模型（如基于Llama-3-Med微调的模型）。后处理与安全护栏：检查输出是否包含违规医疗建议（如确诊），添加免责声明。(4)评估系统效果：客观指标：RAG检索的Recall@K、准确率；生成答案的Faithfulness（忠实度，即是否引用了检索内容）。主观指标：邀请专业医生对回答进行打分（相关性、安全性、准确性）。辅助指标：用户满意度反馈。2.答：(1)BLEU计算原理：BLEU通过计算n-gram的修正精确率来衡量机器翻译结果。它比较候选译文和参考译文中n-词组（如1-gram单词，2-gram词对）的重叠程度。为了防止译文过短，BLEU还增加了一个简短惩罚因子BP。最终分数是BP与不同n-gram几何平均数的指数。(2)计算过程：参考翻译(Ref):"敏捷/的/棕色/狐狸/跳过/了/懒惰/的/狗"(共9个字/词)候选翻译(Cand):"