2026年自然语言处理NLP进阶练习题

2026年自然语言处理NLP进阶练习题一、填空题（每题2分，共10题）1.在BERT模型中，通过预训练实现了语言______和______的能力。2.语义角色标注（SRL）中，"施事者"通常用______表示，"受事者"通常用______表示。3.机器翻译中，BLEU指标的值越接近______，翻译质量越高。4.在命名实体识别（NER）任务中，BIO标注体系中的"B-"表示______，"I-"表示______。5.预训练语言模型（PLM）通常采用______和______两种主要预训练任务。6.在文本分类任务中，逻辑回归模型属于______模型，而BERT属于______模型。7.对抗性攻击中，通过微调目标模型，使得攻击样本在目标模型上的预测结果与真实标签______。8.语义相似度计算中，余弦相似度常用于比较______向量的相似程度。9.在问答系统中，retriever模块负责______，generator模块负责______。10.语义角色标注（SRL）中，"关系者"通常用______表示。答案与解析1.理解；生成解析：BERT通过掩码语言模型（MLM）和下一句预测（NSP）预训练，实现语言理解和生成能力。2.AGENT；PATIENT解析：SRL中，AGENT对应施事者，PATIENT对应受事者，其他角色如EXPERIENCER（经验者）、PREDICATE（谓语）、BENEFICIARY（受益者）等。3.1解析：BLEU的最大值为1，表示完全匹配。4.Begin；Inside解析：BIO标注体系，B-表示词是实体的开头，I-表示词是实体的内部部分。5.语言模型（LM）；掩码语言模型（MLM）解析：PLM预训练主要任务包括LM和MLM，BERT采用MLM，GPT采用LM。6.监督学习；深度学习解析：逻辑回归属于线性监督学习模型，BERT是深度学习模型。7.相反解析：对抗性攻击通过修改输入样本，使模型输出与真实标签相反。8.词嵌入（WordEmbedding）解析：余弦相似度用于比较词向量或句子向量在向量空间中的夹角。9.检索候选答案；生成答案解析：问答系统分为retriever（检索）和generator（生成）两阶段。10.检索与用户问题最相关的文档片段；根据片段生成答案解析：SRL中，关系者指实体间的关系，如"给予""移动"等。二、选择题（每题3分，共10题）1.下列哪种模型不属于基于Transformer的预训练语言模型？（）A.BERTB.GPTC.ELMoD.T52.在命名实体识别（NER）中，"I-PER"表示？（）A.实体开头B.实体内部C.实体结尾D.实体无关3.下列哪种指标适用于评估机器翻译的流畅性？（）A.BLEUB.ROUGEC.METEORD.TER4.语义角色标注（SRL）中，"时间者"通常用哪种角色表示？（）A.AGENTB.LOCATIONC.TIMED.Manner5.在文本分类任务中，以下哪种方法不属于深度学习方法？（）A.CNNB.RNNC.SVMD.BERT6.对抗性攻击中，"FGSM"属于哪种攻击方法？（）A.零样本攻击B.白盒攻击C.黑盒攻击D.数据投毒7.语义相似度计算中，"Word2Vec"属于哪种模型？（）A.基于规则B.基于向量C.基于深度学习D.基于统计8.在问答系统中，以下哪个模块不涉及自然语言处理技术？（）A.分词B.实体识别C.情感分析D.图像处理9.机器翻译中，"长度惩罚"主要解决什么问题？（）A.语义丢失B.句子长度不匹配C.语法错误D.词汇冲突10.语义角色标注（SRL）中，"工具者"通常用哪种角色表示？（）A.INSTRUMENTB.AGENTC.LOCATIOND.MANNER答案与解析1.C解析：ELMo是深度学习模型，但非Transformer架构，其他选项均为Transformer模型。2.B解析：I-表示实体内部部分，B-开头，E-结尾。3.B解析：ROUGE主要评估摘要生成和机器翻译的流畅性，BLEU侧重准确率。4.C解析：TIME对应时间者，其他选项：AGENT施事者，LOCATION地点者，Manner方式者。5.C解析：SVM属于传统机器学习方法，其他均为深度学习模型。6.B解析：FGSM（快速梯度符号法）属于白盒攻击，通过梯度信息生成对抗样本。7.B解析：Word2Vec基于分布式向量表示，其他选项：基于规则的如词典匹配，深度学习的如BERT，统计的如TF-IDF。8.D解析：图像处理不属于NLP范畴，其他均涉及NLP技术。9.B解析：长度惩罚解决机器翻译中源文本与目标文本长度差异问题。10.A解析：INSTRUMENT对应工具者，其他选项：AGENT施事者，LOCATION地点者，MANNER方式者。三、简答题（每题5分，共6题）1.简述BERT模型中掩码语言模型（MLM）的预训练过程。2.机器翻译中，BLEU指标的不足之处是什么？如何改进？3.语义角色标注（SRL）的主要挑战有哪些？4.对抗性攻击有哪些常见类型？如何防御？5.在文本分类任务中，如何评估模型的泛化能力？6.问答系统中，retriever和generator的优化方向有何不同？答案与解析1.BERT预训练的MLM过程解析：MLM随机遮盖输入序列中的部分词（如80%），然后训练模型预测被遮盖词的原始词。具体步骤：-输入序列中随机选择15%的词，用"[MASK]"替换；-另15%随机选择原词保留；剩余70%直接删除；-训练模型预测"[MASK]"词或保留的原词，同时保留未被遮盖词的原始预测。2.BLEU指标的不足与改进解析：BLEU的不足：-忽略词序；-对短句过度惩罚；-无法处理重排序和未知词。改进方法：-使用n-gram编辑距离（如chrF）；-引入长度惩罚（如BLEU-12，限制长度比）；-结合其他指标（如TER、METEOR）。3.SRL的挑战解析：-多义性：词性不同导致角色不同（如"吃"可以是施事或受事）；-隐性关系：部分关系需结合上下文推断（如"他高兴"中的高兴者）；-长距离依赖：实体间关系可能跨越多词（如"医生救了病人"中的医生→病人关系）。4.对抗性攻击类型与防御解析：攻击类型：-白盒攻击（已知模型参数）；-黑盒攻击（未知模型参数）；-数据投毒（污染训练数据）。防御方法：-鲁棒性训练（对抗训练）；-输入扰动（如随机噪声）；-模型集成（集成多个模型降低误判）。5.文本分类泛化能力评估解析：方法：-交叉验证；-多领域测试；-留一法测试；-警惕过拟合（如验证集损失持续上升）。6.问答系统模块优化方向解析：retriever优化方向：-提高召回率（如BM25）；-降低召回速度（如倒排索引）；-多粒度检索（段落+句子）。generator优化方向：-提高答案准确性（如模板匹配）；-增强流畅性（如解码策略）；-处理多答案情况（如排序）。四、论述题（每题10分，共2题）1.论述预训练语言模型（PLM）在中文自然语言处理中的优势与局限性。2.结合实际应用场景，分析对抗性攻击对机器翻译系统的影响及应对策略。答案与解析1.PLM在中文NLP中的优势与局限性解析：优势：-擅长中文分词（如BERT的tokenization）；-支持多任务迁移（如情感分析+NER）；-解决低资源问题（如少量标注数据+预训练模型微调）。局限性：-对长文本处理能力有限（如BERT最大512词）；-需要大量计算资源（如GPU集群）；-可能引入领域偏差（如互联网语料预训练）。2.对抗性攻击对机器翻译的影响与应对解