自然语言处理基础试题及答案

自然语言处理基础试题及答案一、单项选择题（每题2分，共20分）1.以下哪项不属于自然语言处理（NLP）的核心任务？A.机器翻译B.图像分类C.情感分析D.命名实体识别2.中文分词中的“歧义切分”主要分为两种类型，以下正确的是？A.交集型歧义与组合型歧义B.正向歧义与逆向歧义C.长词歧义与短词歧义D.显性歧义与隐性歧义3.关于词袋模型（Bag-of-Words）的描述，错误的是？A.忽略词序和语法信息B.通常用向量表示文本C.能捕捉词语间的语义关联D.计算简单，适用于初步文本分类4.隐马尔可夫模型（HMM）中，“状态”与“观测”的关系是？A.状态是可观测的，观测是隐含的B.状态是隐含的，观测是可观测的C.状态与观测均为隐含变量D.状态与观测均为可观测变量5.以下哪种词向量表示方法属于上下文无关的静态词向量？A.Word2VecB.ELMoC.BERTD.GPT6.句法分析中的“依存句法分析”主要关注？A.句子的层次结构（如主谓宾）B.词语间的依赖关系（如“动词-宾语”）C.句子的语义角色（如施事、受事）D.词语的形态变化（如时态、单复数）7.在条件随机场（CRF）中，与HMM的主要区别是？A.CRF是生成模型，HMM是判别模型B.CRF假设观测变量之间独立，HMM不假设C.CRF能处理长距离依赖，HMM仅能处理局部依赖D.CRF的状态转移概率是固定的，HMM需学习8.以下哪项不是循环神经网络（RNN）的主要缺陷？A.长序列梯度消失/爆炸B.无法并行计算C.难以捕捉长期依赖关系D.对词序不敏感9.Transformer模型中，“多头注意力”（Multi-HeadAttention）的主要作用是？A.减少计算量B.从不同子空间捕捉特征C.增强模型的记忆能力D.替代前馈神经网络10.情感分析任务中，“细粒度情感分析”与“粗粒度情感分析”的核心区别是？A.前者分析句子级情感，后者分析篇章级情感B.前者关注具体方面（如“手机电池”）的情感，后者关注整体情感C.前者使用传统机器学习，后者使用深度学习D.前者处理短文本，后者处理长文本二、填空题（每空2分，共20分）1.自然语言处理的核心挑战包括歧义性、__和__（任意两点）。2.中文分词的主要方法可分为基于规则的方法、基于统计的方法和__（如基于深度学习的方法）。3.TF-IDF中，“TF”指__，“IDF”指__。4.HMM的三个基本问题是：__（已知模型参数求观测序列概率）、__（已知观测序列求最可能的状态序列）、__（已知观测序列估计模型参数）。5.LSTM（长短期记忆网络）通过__、__和__三个门控机制控制信息的传递。三、简答题（每题8分，共40分）1.简述词向量（WordEmbedding）的作用，并对比Word2Vec与GloVe的异同。2.解释“句法分析”与“语义分析”的区别，并举例说明。3.为什么循环神经网络（RNN）难以处理长距离依赖？LSTM是如何缓解这一问题的？4.对比生成模型（如HMM）与判别模型（如CRF）的核心差异，并说明各自的适用场景。5.简述Transformer模型中“自注意力机制”（Self-Attention）的计算过程，并说明其优势。四、算法与计算题（每题10分，共20分）1.给定以下语料（已标注词性，“/”后为词性）：语料1：我/代词爱/动词自然/名词语言/名词处理/名词语料2：自然/名词语言/名词处理/名词很/副词有趣/形容词假设用HMM建模词性标注任务，状态为词性（代词、动词、名词、副词、形容词），观测为词语。请计算：（1）状态转移概率P(名词→名词)；（2）发射概率P(“自然”|名词)。2.假设某句子的分词候选路径及转移概率如下（“B”表示词首，“M”表示词中，“E”表示词尾，“S”表示单字词）：路径1：B(我)→E(爱)→B(自然)→E(语言)→S(处理)，转移概率乘积为0.002；路径2：B(我)→S(爱)→B(自然)→M(语言)→E(处理)，转移概率乘积为0.005；路径3：S(我)→B(爱)→E(自然)→B(语言)→E(处理)，转移概率乘积为0.001；请用维特比算法（ViterbiAlgorithm）找出最优分词路径，并说明理由。五、综合应用题（20分）假设需要开发一个“中文新闻标题分类系统”（任务：将新闻标题分类为“体育”“科技”“娱乐”“财经”四类），请设计技术方案，要求包含以下步骤：（1）数据收集与预处理；（2）特征提取与表示；（3）模型选择与训练；（4）效果评估与优化。答案一、单项选择题1.B2.A3.C4.B5.A6.B7.C8.D9.B10.B二、填空题1.非结构性、上下文依赖性（或“模糊性”等合理答案）2.混合方法（或“深度学习方法”）3.词频（TermFrequency）、逆文档频率（InverseDocumentFrequency）4.评估问题（概率计算）、解码问题（状态序列预测）、学习问题（参数估计）5.输入门、遗忘门、输出门三、简答题1.词向量作用：将词语映射到低维连续向量空间，捕捉词语间的语义相似性（如同义词、上下位词），解决“维数灾难”并提升模型性能。Word2Vec与GloVe对比：-相同点：均基于共现信息学习词向量，目标是使语义相似的词语在向量空间中距离相近。-不同点：Word2Vec是局部窗口模型（如Skip-gram或CBOW），通过预测上下文词学习向量；GloVe是全局矩阵分解模型，基于整个语料的共现矩阵优化对数概率差，同时考虑局部和全局信息。2.区别：句法分析关注句子的结构（如短语层次、词语依赖关系），解决“如何构成句子”；语义分析关注句子的含义（如词语的指代、事件的逻辑），解决“句子表达什么”。举例：对句子“小明吃苹果”，句法分析输出“主谓宾”结构（小明-吃，吃-苹果）；语义分析输出“施事（小明）→动作（吃）→受事（苹果）”的语义角色。3.RNN长距离依赖问题：RNN通过链式结构传递信息，但反向传播时梯度经过多次矩阵乘法会指数级衰减（梯度消失）或爆炸（梯度爆炸），导致模型难以捕捉长序列中的远距依赖。LSTM的改进：引入细胞状态（CellState）作为信息传递的“主干道”，通过遗忘门（决定保留/丢弃旧信息）、输入门（控制新信息的输入）、输出门（决定输出多少细胞状态信息），选择性地保留长期记忆，缓解梯度消失问题。4.核心差异：生成模型学习联合概率P(X,Y)（同时建模输入和输出），判别模型学习条件概率P(Y|X)（直接建模输出给定输入的条件）。适用场景：生成模型适用于需要生成数据（如文本生成）或小样本场景（可利用联合分布的先验信息）；判别模型适用于分类、标注等任务（直接优化预测性能，避免生成模型的复杂计算）。5.自注意力计算过程：（1）对输入序列的每个词向量，计算查询（Q）、键（K）、值（V）矩阵（通常通过线性变换得到）；（2）计算Q与K的点积，得到注意力分数；（3）对分数进行缩放（除以√dk，dk为向量维度）并通过Softmax归一化，得到注意力权重；（4）用权重对V加权求和，得到每个词的上下文表示。优势：并行计算（无序列依赖）、捕捉长距离依赖（直接关联任意位置的词语）、动态调整词的重要性（通过注意力权重）。四、算法与计算题1.（1）状态转移概率P(名词→名词)：语料中名词（N）出现的转移情况：语料1：代词→动词→名词→名词→名词（转移：动词→名词，名词→名词，名词→名词）语料2：名词→名词→名词→副词→形容词（转移：名词→名词，名词→名词，名词→副词）总名词→名词的转移次数=2（语料1）+2（语料2）=4次；名词作为前一状态的总转移次数：语料1中名词出现3次（第3、4、5词），其中第3→4词是名词→名词，第4→5词是名词→名词；语料2中名词出现3次（第1、2、3词），其中第1→2词是名词→名词，第2→3词是名词→名词，第3→4词是名词→副词。因此，名词作为前一状态的总转移次数=（3-1）+（3-1）=2+2=4次（每个状态序列长度为n时，转移次数为n-1）。但更准确的统计方式是遍历所有相邻状态对：语料1的状态序列：代词→动词→名词→名词→名词→转移对：代→动，动→名，名→名，名→名（共4-1=4个转移）语料2的状态序列：名词→名词→名词→副词→形容词→转移对：名→名，名→名，名→副，副→形（共5-1=4个转移）其中，名词→名词的转移对在语料1中有2个（动→名后是名→名、名→名），语料2中有2个（名→名、名→名），总计4次。名词作为前一状态的总转移次数：语料1中“动→名”后有2次名→名；语料2中前3个状态是名词，因此有2次名→名（名1→名2，名2→名3）和1次名3→副。总共有（语料1的名→名次数）+（语料2的名→名次数）=2+2=4次？不，正确统计是所有前一状态为名词的转移次数：语料1中，状态序列为[代,动,名,名,名]，转移对为（代,动）、（动,名）、（名,名）、（名,名）→前一状态为名词的转移对是（名,名）、（名,名）→2次。语料2中，状态序列为[名,名,名,副,形]，转移对为（名,名）、（名,名）、（名,副）、（副,形）→前一状态为名词的转移对是（名,名）、（名,名）、（名,副）→3次。因此，前一状态为名词的总转移次数=2+3=5次；其中名词→名词的转移次数=2（语料1）+2（语料2的前两个名→名）=4次（因为语料2的第三个转移是名→副，不算）。所以P(名词→名词)=4/5=0.8。（2）发射概率P(“自然”|名词)：名词状态下的观测词包括：语料1中的“自然”“语言”“处理”；语料2中的“自然”“语言”“处理”。名词的总出现次数：语料1有3次（第3、4、5词），语料2有3次（第1、2、3词）→共6次。其中观测为“自然”的次数：语料1中“自然”是名词（第3词），语料2中“自然”是名词（第1词）→2次。因此P(“自然”|名词)=2/6=1/3≈0.333。2.最优路径：路径2（概率0.005）。维特比算法选择概率最大的路径，比较三条路径的转移概率乘积：0.005（路径2）>0.002（路径1）>0.001（路径3），因此路径2为最优。五、综合应用题技术方案设计：（1）数据收集与预处理：-数据收集：通过新闻网站API（如新浪新闻、腾讯新闻）爬取已分类的新闻标题（确保类别平衡，每类至少1万条）；人工补充少量标注数据，避免类别失衡。-预处理：-清洗：去除特殊符号（如“”“@”）、超链接、重复标题；-分词：使用结巴分词或LAC（百度分词工具）进行中文分词，保留名词、动词、形容词等核心词，过滤停用词（如“的”“了”）；-标准化：统一简繁体（转为简体），处理大小写（英文部分转为小写）。（2）特征提取与表示：-传统特征：TF-IDF（计算词的重要性）、词频统计（高频词作为特征）；-深度学习特征：使用预训练模型（如ERNIE-1.0、RoBERTa-wwm）提取标题的上下文向量（取[CLS]位置的输出作为全局表示）；-融合特征：将TF-IDF向量与预训练模型输出的向量拼接，提升特征丰富性。（3）模型选择与训练：-基线模型：逻辑回归（LR）或支持向量机（SVM），使用TF-IDF特征，快速验证任务可行性；-深度学习模型：-轻量级模型：TextCNN（卷积神经网络，捕捉局部关键短语）；-进阶模型：BiLSTM（双向长短期记忆网络，捕捉词序依赖）+注意力机制（聚焦关键信息）；-最优模型：基于预训练的分类模型（如BERT-wwm+全连接层），利用迁移学习提升小样本下的性能；-训练配置：划分训练集（70%）、验证集（20%）、测试集（10%）；使用交叉熵损失函数，Adam优化器（学习率