2026年大学人工智能（自然语言处理基础）试题及答案

2026年大学人工智能（自然语言处理基础）试题及答案一、单项选择题（每题2分，共20分）1.以下哪种词嵌入方法通过预测中心词周围的上下文词来学习向量表示？A.GloVeB.Word2Vec的CBOW模型C.FastTextD.ELMo答案：B2.在BERT的预训练任务中，“下一句预测（NSP）”被后续研究（如RoBERTa）改进的主要原因是？A.任务太简单，无法捕捉长距离依赖B.正样本（连续句子）与负样本（随机句子）的区分度不足C.增加了计算复杂度但收益有限D.与MLM任务存在冲突答案：B3.以下哪项不是循环神经网络（RNN）处理长文本时的主要问题？A.梯度爆炸B.梯度消失C.并行计算能力差D.无法捕捉词序信息答案：D4.子词分词（SubwordTokenization）的主要目的是？A.减少词表大小，同时保留词的内部结构信息B.完全替代基于字的分词C.提高模型对未登录词（OOV）的处理能力D.A和C答案：D5.在Transformer的注意力机制中，“缩放点积注意力（ScaledDot-ProductAttention）”引入缩放因子（通常为√d_k）的主要原因是？A.避免点积结果过大导致softmax梯度消失B.增加模型的非线性能力C.平衡不同头（head）的注意力权重D.加速计算答案：A6.条件随机场（CRF）与隐马尔可夫模型（HMM）的核心区别在于？A.CRF是提供模型，HMM是判别模型B.CRF考虑全局特征，HMM仅考虑局部状态转移C.HMM能处理序列标注，CRF不能D.CRF的状态转移概率是固定的，HMM可学习答案：B7.以下哪种评估指标最适合衡量机器翻译系统的输出质量？A.BLEUB.ROUGEC.METEORD.以上都是答案：D（注：实际考试中可能选最常用的BLEU，但严格来说三者均适用）8.在预训练语言模型（如GPT系列）的微调（Fine-tuning）过程中，通常需要冻结哪些参数？A.所有参数B.仅词嵌入层参数C.仅输出层参数D.无固定策略，需根据任务调整答案：D9.以下哪项不是自然语言处理中“指代消解（CoreferenceResolution）”的典型应用场景？A.机器翻译中的代词处理B.文本摘要中的冗余消除C.情感分析中的观点提取D.问答系统中的实体关联答案：C10.轻量级NLP模型（如ALBERT、DistilBERT）的核心优化策略是？A.增加模型深度B.共享参数（如词嵌入矩阵）或知识蒸馏C.使用更大的词表D.仅保留前向传播层答案：B二、填空题（每空1分，共15分）1.隐马尔可夫模型（HMM）的三个基本问题包括：概率计算问题、（状态预测问题）和（参数学习问题）。2.循环神经网络（RNN）的梯度消失问题主要由（长期依赖中的权重矩阵连乘）导致，LSTM通过引入（门控机制）缓解了这一问题。3.BERT的输入表示由（词嵌入）、（段嵌入）和（位置嵌入）三部分相加得到。4.注意力机制中的“查询（Query）”、“键（Key）”、“值（Value）”矩阵通常通过（线性变换）从输入向量中得到。5.文本分类任务中，若类别分布极不均衡（如正样本占95%），评估指标应优先选择（F1分数）或（AUC-ROC）而非准确率。6.神经机器翻译（NMT）中的“覆盖机制（CoverageMechanism）”主要用于解决（重复翻译或漏译）问题。7.零样本学习（Zero-ShotLearning）在NLP中的实现通常依赖（自然语言提示）引导预训练模型提供特定任务输出。三、简答题（每题8分，共40分）1.简述Word2Vec中Skip-gram模型与CBOW模型的区别，并说明各自适用场景。答案：Skip-gram模型通过中心词预测上下文词，适合处理低频词，对小语料更鲁棒；CBOW模型通过上下文词预测中心词，训练速度更快，适合大规模语料。Skip-gram在需要捕捉更细粒度语义（如专业领域术语）时更优，CBOW在通用领域快速训练时更高效。2.为什么Transformer模型比LSTM更适合处理长文本？从模型结构和计算机制角度分析。答案：LSTM依赖循环结构传递信息，长距离依赖需经过多次非线性变换，导致梯度消失或爆炸；Transformer通过自注意力机制直接计算任意两个位置的依赖关系，复杂度为O(n²)（n为序列长度），虽高于LSTM的O(n)，但避免了循环结构的时序限制，且可并行计算。此外，多头注意力通过多个子空间捕捉不同类型的语义关联，增强了长文本的全局理解能力。3.说明预训练语言模型（如BERT）的“迁移学习”流程，并解释“微调（Fine-tuning）”与“提示学习（PromptLearning）”的区别。答案：迁移学习流程：1）在大规模无标注语料上预训练（如MLM、NSP任务）；2）将预训练模型适配到具体任务（如分类、问答）。微调是通过任务特定数据调整模型全部或部分参数（如添加分类头后训练）；提示学习则通过设计自然语言提示（如“这句话的情感是：[MASK]”），利用预训练模型的填空能力直接提供答案，无需调整模型参数，更适合小样本场景。4.子词分词（如BPE、WordPiece）相比传统分词（如基于词典的分词）有哪些优缺点？答案：优点：1）减少词表大小（避免OOV问题）；2）保留词的内部结构（如“unhappiness”拆为“un-”“happy”“ness”），增强语义泛化；3）无需依赖领域词典，适应性强。缺点：1）分词结果可能破坏语义完整性（如跨语义边界拆分）；2）增加序列长度（子词数量多于原词），提高计算成本；3）分词规则需根据语料优化，增加预处理复杂度。5.解释注意力机制中的“多头注意力（Multi-HeadAttention）”设计动机，并说明如何实现。答案：动机：单一注意力头可能仅捕捉特定类型的语义关联（如句法或语义），多头注意力通过多个独立的注意力头并行计算，使模型同时学习不同子空间的注意力模式，提升特征提取的多样性。实现：将输入向量拆分为h个头（如h=8），每个头独立计算缩放点积注意力，最后将各头输出拼接后通过线性变换得到最终结果。四、算法分析题（每题10分，共20分）1.给定LSTM单元的门控公式（如下），请解释各符号含义，并说明遗忘门、输入门、输出门的作用。f_t=σ(W_f·[h_{t-1},x_t]+b_f)i_t=σ(W_i·[h_{t-1},x_t]+b_i)o_t=σ(W_o·[h_{t-1},x_t]+b_o)c̃_t=tanh(W_c·[h_{t-1},x_t]+b_c)c_t=f_t⊙c_{t-1}+i_t⊙c̃_th_t=o_t⊙tanh(c_t)答案：符号含义：σ为sigmoid激活函数，⊙为按元素乘法，W_f/W_i/W_o/W_c为权重矩阵，b_f/b_i/b_o/b_c为偏置，h_{t-1}为上一时刻隐状态，x_t为当前输入，c_t为当前细胞状态。遗忘门f_t：控制从细胞状态c_{t-1}中遗忘多少信息（f_t=0时完全遗忘，f_t=1时完全保留）。输入门i_t：控制候选细胞状态c̃_t中有多少新信息被添加到当前细胞状态（i_t=0时不添加，i_t=1时全添加）。输出门o_t：控制细胞状态c_t中有多少信息被输出到隐状态h_t（通过tanh(c_t)标准化后与o_t相乘）。2.分析Transformer编码器的结构，并说明自注意力层（Self-Attention）与前馈神经网络（FFN）的顺序及设计原因。答案：Transformer编码器由N个相同层堆叠而成，每层包含：1）多头自注意力子层；2）前馈神经网络（FFN）子层；3）每层后均应用层归一化（LayerNorm）和残差连接。自注意力层在前，FFN在后的原因：自注意力负责捕捉序列内各位置的依赖关系，提供上下文感知的表示；FFN通过非线性变换（通常为两层全连接，中间用ReLU激活）对每个位置的特征进行独立增强，提取更抽象的特征。残差连接（输入+子层输出）避免深层网络的梯度消失，层归一化则稳定训练过程。五、综合应用题（共25分）某公司需开发一个“用户评论情感分析系统”，要求支持中文短文本（50-200字）的积极/消极/中性三分类。请设计一个基于预训练语言模型的解决方案，包括以下步骤：（1）数据预处理：说明原始数据（用户评论）的清洗、分词、标注策略；（5分）（2）模型选择：对比BERT、RoBERTa、ALBERT的优缺点，选择最适合的模型并说明理由；（8分）（3）微调策略：设计微调过程中的关键参数（如学习率、批次大小、训练轮次），并说明如何处理类别不平衡问题；（7分）（4）评估指标：选择至少3个评估指标，说明其适用原因。（5分）答案：（1）数据预处理：清洗：去除无关信息（如链接、表情符号）、统一标点（全角转半角）、纠正错别字（基于规则或轻量级纠错模型）；分词：采用子词分词（如WordPiece），避免OOV问题，同时保留中文单字与词的结构（如“不开心”拆为“不”“开”“心”）；标注：采用人工+半自动化标注（如通过关键词匹配预标，再人工校验），确保标注一致性（κ系数≥0.8）。（2）模型选择：BERT：基础模型，预训练任务包含MLM和NSP，但NSP任务效果有限；RoBERTa：改进BERT，移除NSP、增大批量、动态掩码，对长文本更鲁棒；ALBERT：通过参数共享（词嵌入矩阵）和因式分解嵌入降低参数量，适合计算资源有限场景。选择RoBERTa的理由：短文本情感分析需更精准的语义理解，RoBERTa的动态掩码（每次输入重新掩码）增强了模型对上下文的敏感性，且移除NSP后更专注于词级语义建模，较BERT性能更优；相比ALBERT（可能牺牲部分效果换取效率），目标任务对计算资源要求不高时，RoBERTa的效果更有保障。（3）微调策略：关键参数：学习率选择2e-5（预训练模型常用范围），批次大小16（平衡GPU内存与梯度稳定性），训练轮次3-5（短文本任务