自然语言处理期末试题及答案

自然语言处理期末试题及答案一、单项选择题（每题2分，共20分）1.以下哪种模型不属于传统统计自然语言处理方法？（）A.隐马尔可夫模型（HMM）B.条件随机场（CRF）C.循环神经网络（RNN）D.最大熵模型（MaxEnt）2.关于词袋模型（Bag-of-Words）的描述，错误的是（）A.忽略词序和语法信息B.无法捕捉词语之间的语义关联C.通常使用独热编码表示词向量D.适用于需要上下文理解的任务（如文本蕴含）3.在计算TF-IDF时，“IDF”（逆文档频率）的作用是（）A.衡量词语在单个文档中的重要性B.降低常见词（如“的”“是”）的权重C.提高专业术语在所有文档中的权重D.反映词语在文档中的出现频率4.以下哪项是BERT模型预训练任务之一？（）A.机器翻译B.掩码语言模型（MLM）C.情感分析D.文本生成5.命名实体识别（NER）的主要任务是（）A.识别文本中的人名、地名、机构名等特定类别实体B.判断两个句子是否语义相似C.生成符合语法的句子D.对文本进行主题分类6.在神经机器翻译中，编码器-解码器（Encoder-Decoder）框架的核心作用是（）A.将源语言句子编码为固定长度向量，再解码为目标语言句子B.直接对源语言和目标语言句子进行词对齐C.仅处理源语言句子的词序信息D.仅处理目标语言句子的生成概率7.以下哪种词向量表示方法属于上下文相关的表示？（）A.Word2Vec（Skip-gram）B.GloVeC.ELMoD.FastText8.在循环神经网络（RNN）中，“长期依赖问题”指的是（）A.模型无法处理长文本输入B.远距离的上下文信息难以传递到当前时间步C.模型参数过多导致训练困难D.梯度爆炸而非梯度消失的问题9.Transformer模型中，多头注意力（Multi-HeadAttention）的主要目的是（）A.减少模型参数量B.并行计算以提高效率C.从不同子空间捕捉词语间的依赖关系D.替代位置编码以处理序列顺序10.评估文本生成任务（如对话系统）的常用指标是（）A.准确率（Accuracy）B.BLEU分数C.F1值D.困惑度（Perplexity）二、填空题（每空2分，共20分）1.语言模型的核心任务是__________，其评价指标通常使用__________。2.LSTM（长短期记忆网络）通过__________、__________和__________三个门控机制解决RNN的长期依赖问题。3.Transformer模型中，输入序列的位置信息通过__________或__________方式加入。4.预训练语言模型（如BERT）的训练过程分为__________和__________两个阶段。5.情感分析任务中，若将文本情感分为“积极”“消极”“中性”三类，其本质是__________（填“二分类”或“多分类”）问题。三、简答题（每题8分，共32分）1.简述分布式假设（DistributionalHypothesis）及其在词向量表示中的应用。2.比较循环神经网络（RNN）与Transformer在处理序列数据时的优缺点。3.说明条件随机场（CRF）与隐马尔可夫模型（HMM）在序列标注任务中的差异。4.解释掩码语言模型（MLM）在BERT预训练中的作用，并说明其相对于传统语言模型的优势。四、算法分析题（14分）假设一个简单的双向RNN（BiRNN）用于句子情感分类，输入句子为“这部电影很精彩”，分词结果为["这","部","电影","很","精彩"]，词向量维度为3，隐藏层维度为2。前向RNN的初始隐藏状态h₀^f=[0.1,0.2]，后向RNN的初始隐藏状态h₀^b=[0.3,0.4]。前向和后向RNN的隐藏状态更新公式均为：h_t=tanh(W_xh·x_t+W_hh·h_{t-1}+b_h)其中，W_xh（3×2）=[[0.2,0.1],[0.3,0.4],[0.5,0.6]]，W_hh（2×2）=[[0.1,0.2],[0.3,0.4]]，b_h=[0.1,0.1]。（1）计算前向RNN在t=2（对应词“电影”）时的隐藏状态h₂^f；（8分）（2）说明双向RNN相对于单向RNN在情感分类任务中的优势。（6分）五、综合应用题（14分）请设计一个基于BERT的中文新闻分类系统，要求涵盖以下步骤：（1）数据预处理；（4分）（2）模型构建（包括BERT微调结构）；（4分）（3）训练策略（如优化器、损失函数、超参数设置）；（4分）（4）评估指标。（2分）参考答案一、单项选择题1.C2.D3.B4.B5.A6.A7.C8.B9.C10.B二、填空题1.计算序列的概率分布（或“预测下一个词的概率”）；困惑度（Perplexity）2.输入门；遗忘门；输出门3.位置编码（PositionEncoding）；位置嵌入（PositionEmbedding）4.预训练（Pre-training）；微调（Fine-tuning）5.多分类三、简答题1.分布式假设：认为“词的语义由其上下文环境决定”，即相似上下文的词具有相似语义。在词向量表示中，该假设被用于通过词的共现信息学习词的低维稠密向量（如Word2Vec、GloVe），使语义相近的词在向量空间中位置接近，从而捕捉词语的语义关联。2.RNN与Transformer的比较：-RNN优点：通过循环结构建模序列顺序，理论上能捕捉长距离依赖（但实际受限于梯度消失）；参数共享，适合处理变长序列。-RNN缺点：串行计算效率低；长期依赖问题（远距离信息难以传递）。-Transformer优点：自注意力机制并行计算，效率高；通过多头注意力直接捕捉任意位置的依赖关系，解决长期依赖；位置编码显式建模序列顺序。-Transformer缺点：参数量大（尤其长序列时注意力计算复杂度高）；依赖人工设计的位置编码。3.CRF与HMM的差异：-HMM是生成模型，假设输出序列由隐状态序列生成，需建模P(隐状态,观测)，存在齐次马尔可夫假设（当前隐状态仅依赖前一状态）和观测独立假设（观测仅依赖当前隐状态）。-CRF是判别模型，直接建模P(隐状态|观测)，无需严格的独立性假设，可利用全局特征（如上下文窗口、词性等），能更灵活地捕捉序列中的复杂依赖关系（如标签间的长距离约束）。4.MLM的作用与优势：MLM在预训练时随机掩码输入中的部分token（如15%），让模型预测被掩码的token。其优势在于：-打破传统语言模型（仅能单向预测）的限制，使模型同时利用上下文信息（双向建模）；-掩码操作模拟了“填空”任务，强制模型学习更泛化的语义表示，避免对可见token的过拟合；-生成的词向量能更好地适应下游任务（如需要双向上下文的问答、文本分类）。四、算法分析题（1）计算h₂^f：输入词序列索引t=0到t=4，对应词["这","部","电影","很","精彩"]。t=2对应“电影”，需先计算t=0和t=1的隐藏状态。-t=0（词“这”）的词向量x₀假设为任意3维向量（题目未给出，此处假设x₀=[a,b,c]，但根据W_xh的维度，实际计算需具体值。因题目未提供词向量，可能默认x_t为独热编码或随机初始化，此处可能存在题目描述不完整。但根据常规考试题设定，可能假设x_t为已知，例如假设x₀=[1,0,0]（对应“这”的独热编码），x₁=[0,1,0]（“部”），x₂=[0,0,1]（“电影”）。计算h₁^f（t=1，词“部”）：W_xh·x₁=[0.3,0.4]（x₁=[0,1,0]，与W_xh的第二行相乘）W_hh·h₀^f=[0.1×0.1+0.2×0.2,0.3×0.1+0.4×0.2]=[0.01+0.04,0.03+0.08]=[0.05,0.11]总和+b_h=[0.3+0.05+0.1,0.4+0.11+0.1]=[0.45,0.61]h₁^f=tanh([0.45,0.61])≈[0.42,0.54]（tanh(0.45)≈0.42,tanh(0.61)≈0.54）计算h₂^f（t=2，词“电影”）：W_xh·x₂=[0.5,0.6]（x₂=[0,0,1]，与W_xh的第三行相乘）W_hh·h₁^f=[0.1×0.42+0.2×0.54,0.3×0.42+0.4×0.54]=[0.042+0.108,0.126+0.216]=[0.15,0.342]总和+b_h=[0.5+0.15+0.1,0.6+0.342+0.1]=[0.75,1.042]h₂^f=tanh([0.75,1.042])≈[0.63,0.78]（tanh(0.75)≈0.63,tanh(1.042)≈0.78）（2）双向RNN优势：同时捕捉前向（从左到右）和后向（从右到左）的上下文信息，例如情感分类中，“电影不精彩”的否定词“不”在“精彩”前，单向RNN可能仅依赖前向信息，而双向RNN能结合后向信息（如“精彩”的情感倾向被“不”反转），更准确捕捉全局语义。五、综合应用题（1）数据预处理：-数据清洗：去除新闻文本中的特殊符号、超链接、广告信息；-分词：使用中文分词工具（如jieba）对文本进行分词，或直接基于字处理（BERT中文模型通常支持字级输入）；-标签处理：将新闻类别（如“体育”“科技”“娱乐”）映射为整数标签；-构建输入格式：将文本转换为BERT所需的输入形式（token_ids、segment_ids、attention_mask），截断或填充至固定长度（如512）。（2）模型构建：-基础模型：选择中文预训练BERT模型（如bert-base-chinese）；-微调结构：在BERT的[CLS]token输出向量后添加一个全连接层（分类头），输出维度为新闻类别数（如10类）；-模型结构：BERT编码器→[CLS]向量提取→全连接层（带Softmax激活）。（3）训练策略：-优化器：使用AdamW优化器（默认学习率5e-5，权重衰减0