自然语言常见面试题及答案

自然语言常见面试题及答案问题1：请简述自然语言处理（NLP）中“分词”的作用及中文分词的主要难点，常见的分词方法有哪些？分词是将连续的自然语言文本切分为有意义的词语序列的过程，是中文NLP任务（如句法分析、命名实体识别、文本分类等）的基础。中文分词的主要难点在于：（1）词边界模糊：中文无显式空格分隔，部分词语存在交叉歧义（如“网球拍”可切分为“网球/拍”或“网/球拍”）；（2）未登录词（OOV）处理：新出现的词汇（如网络热词、专业术语）难以通过词典覆盖；（3）歧义消解：同一文本可能有多种合法切分方式（如“乒乓球拍卖完了”可切分为“乒乓球/拍卖/完了”或“乒乓球拍/卖完了”）。常见分词方法包括：-基于规则的方法：利用人工总结的分词规则（如最大匹配法、最小切分法），依赖词典匹配，对歧义处理能力有限；-基于统计学习的方法：通过标注语料训练模型（如HMM、CRF），将分词转化为序列标注问题（如BIO标签：B表示词开始，I表示词中间，O表示单字词）；-基于深度学习的方法：使用LSTM、BiLSTM或Transformer模型，结合字符级特征（如字向量、位置信息）和上下文信息，提升对长距离依赖和OOV词的处理能力（如ERNIE分词模型通过知识增强优化切分效果）。问题2：命名实体识别（NER）的核心任务是什么？常用的模型架构有哪些？如何解决实体边界模糊的问题？NER的核心任务是从文本中识别出具有特定意义的实体（如人名、地名、机构名、时间、数值等），并标注其类别。其本质是序列标注问题，输入为字符序列，输出为每个字符对应的实体标签（如B-PER、I-PER表示人名的开始和中间）。常用模型架构包括：-传统方法：CRF（条件随机场），通过特征工程（如字符前缀/后缀、词性、上下文词）建模标签间的转移概率；-深度学习方法：-BiLSTM+CRF：BiLSTM捕捉上下文语义特征，CRF建模标签序列的全局约束（如避免“B-PER”后直接接“B-LOC”）；-Transformer+CRF/Softmax：通过预训练模型（如BERT、RoBERTa）提取深层语义表征，结合CRF或Softmax进行标签预测，对长距离依赖和复杂实体（如嵌套实体）的识别效果更优。解决实体边界模糊的关键在于增强模型对上下文的理解：（1）引入字符级和词语级特征：如使用预训练字向量、词向量（如Word2Vec）或动态词边界特征（如通过外部词典标注候选词边界）；（2）优化标签体系：采用更细粒度的标签（如BIOES，增加E表示词结尾、S表示单字词），明确实体边界；（3）结合领域知识：在垂直领域（如医疗、法律）中，通过领域词典或知识图谱增强实体识别的准确性（如医疗NER中加入疾病、药物术语库）。问题3：文本分类的常见任务类型有哪些？对比TextCNN、BiLSTM和BERT在文本分类中的优缺点。文本分类的任务类型包括：-单标签分类：文本属于唯一类别（如情感分析中的“正面/负面”）；-多标签分类：文本可同时属于多个类别（如新闻分类中的“科技”“商业”）；-层次分类：类别存在层级关系（如“动物→哺乳动物→猫科”）；-细粒度分类：类别划分更细致（如用户评论中的“物流速度”“商品质量”子维度）。模型对比：-TextCNN：优点：基于卷积神经网络，通过不同大小的卷积核（如1-5gram）提取局部特征，计算效率高，适合短文本分类（如短评、微博）；缺点：依赖固定窗口的局部特征，对长距离语义依赖和上下文关联捕捉能力弱，特征提取受限于人工设计的卷积核大小。-BiLSTM：优点：双向长短期记忆网络可捕捉前后文的时序信息，适合处理序列依赖强的文本（如长句、对话）；缺点：对超长文本（如千级以上字符）的建模能力下降（因梯度消失问题），且无法并行计算，训练效率低于CNN。-BERT：优点：基于Transformer的双向预训练模型，通过MLM（掩码语言模型）和NSP（下一句预测）学习深层语义表征，能捕捉全局上下文信息，对长文本和复杂语义的理解更准确；微调时仅需添加分类头即可适应不同任务，泛化能力强。缺点：模型参数量大（如BERT-base有1.1亿参数），训练和推理成本高；对短文本可能存在“过拟合”预训练知识的问题（需调整训练策略，如减少微调层数）。问题4：机器翻译（MT）的主流技术路线有哪些？对比统计机器翻译（SMT）和神经机器翻译（NMT）的核心差异。主流技术路线包括：-规则翻译（RBMT）：依赖人工编写的语法规则和词典，适用于领域固定、句式简单的场景（如法律条文翻译）；-统计机器翻译（SMT）：基于大规模平行语料，通过统计模型（如IBM模型、短语对齐模型）学习源语言到目标语言的翻译概率；-神经机器翻译（NMT）：基于神经网络（如Transformer），将翻译视为端到端的序列到序列（Seq2Seq）任务，直接学习源语言到目标语言的映射。SMT与NMT的核心差异：-建模方式：SMT采用“分治”策略，将翻译分解为短语对齐、语言模型、重排序等独立模块，各模块需单独优化；NMT是端到端模型，通过单一神经网络同时学习对齐、语义理解和生成，模块间信息共享更充分。-特征利用：SMT依赖人工设计的特征（如短语长度、词频），对数据稀疏性敏感（低频短语翻译效果差）；NMT通过连续向量表征（词嵌入、上下文向量）自动学习特征，对低频词和未登录词的处理能力更强（如通过子词切分技术，如BPE，缓解OOV问题）。-翻译流畅性：SMT的语言模型（如n-gram）仅建模局部上下文（如前n个词），生成文本可能存在连贯性不足；NMT的Transformer通过自注意力机制捕捉全局依赖，生成文本更自然流畅。-数据需求：SMT需大规模平行语料（通常上亿句对）训练各模块；NMT虽也需要大量数据，但预训练+微调模式（如mBERT、mT5）可通过多语言预训练降低对单一语言对数据量的要求。问题5：如何评估NLP模型的效果？不同任务（如文本分类、机器翻译、序列标注）的常用评估指标有哪些？评估NLP模型需结合任务目标，从准确率、召回率、流畅性、相关性等多维度衡量，同时需考虑人工评估（如用户满意度）与自动指标的互补性。具体任务的常用指标：-文本分类：-基础指标：准确率（Accuracy，总正确分类数/总样本数）；-类别不平衡时：精确率（Precision，正确正类/预测正类）、召回率（Recall，正确正类/实际正类）、F1值（2×P×R/(P+R)）；-多标签分类：汉明损失（HammingLoss，错误标签比例）、宏平均（Macro-F1，各类别F1取平均）、微平均（Micro-F1，全局统计TP/FP/FN）。-机器翻译：-BLEU分数：通过n-gram匹配计算候选翻译与参考翻译的重叠度（n通常取1-4），范围0-1，越高越好；-chrF：基于字符n-gram的F值，对形态丰富语言（如德语、阿拉伯语）更友好；-METEOR：结合单词语义匹配（如词干、同义词）和词序调整，更接近人工评估；-人工评估：通过评分（如5分制）或A/B测试比较不同系统的翻译质量。-序列标注（如NER、分词）：-实体级指标：精确率（正确实体数/预测实体数）、召回率（正确实体数/实际实体数）、F1值；-字符级指标：准确率（正确标签字符数/总字符数），但实体级指标更能反映任务本质（如“B-PER”正确但后续“I-PER”错误会导致整个实体错误）；-嵌套实体：需使用Span-based评估（如通过IOBES标签明确实体边界），避免传统BIO标签对嵌套实体的误判。问题6：预训练模型（如BERT）在NLP中有哪些关键改进？微调（Fine-tuning）时需注意哪些问题？BERT的关键改进包括：-双向建模：通过Transformer的多头自注意力机制同时捕捉上下文信息（区别于GPT的单向语言模型），更适合需要双向理解的任务（如阅读理解、句法分析）；-掩码语言模型（MLM）：随机掩盖输入中的15%token（80%用[MASK]替换，10%用随机词替换，10%保持原词），迫使模型学习更鲁棒的语义表征（避免模型仅依赖位置线索）；-下一句预测（NSP）：预训练时判断两句话是否连续，增强模型对长文本连贯性的理解（虽后续研究发现NSP对部分任务效果有限，但为长文本任务奠定了基础）；-参数共享：Transformer的层间参数共享设计（对比ELMo的每层独立），降低了模型复杂度，提升了训练效率。微调时需注意的问题：-学习率选择：预训练模型的底层参数（如词嵌入层）已学习通用语义，通常使用较小的学习率（如2e-5）；顶层参数（如最后几层Transformer）可适当增大（如5e-5），避免过拟合预训练知识。-数据量适配：小样本场景（如<1000条样本）可采用“冻结+微调”策略（先冻结前几层，仅训练后几层和分类头）；大样本场景可端到端微调所有参数。-过拟合处理：添加Dropout（如0.1-0.3）、权重衰减（如1e-2），或采用早停法（根据验证集F1值提前终止训练）；对长文本可采用截断（取前512token）或滑动窗口（重叠切分）。-任务适配：-序列标注任务（如NER）：在预训练模型输出后添加CRF层，利用标签转移概率约束（如“B-PER”后不能接“B-LOC”）；-生成任务（如摘要）：将预训练模型调整为Seq2Seq结构（如BART、T5），通过编码器-解码器架构生成目标文本。问题7：NLP中如何处理多语言任务？多语言预训练模型（如mBERT、XLM）的核心设计是什么？处理多语言任务的常见方法包括：-独立建模：为每种语言训练单独的模型，适用于资源丰富的语言（如英语、中文），但需重复投入数据和计算资源；-迁移学习：以高资源语言（如英语）为源域，通过参数共享或特征迁移提升低资源语言模型效果（如将英语NER模型的底层参数迁移至斯瓦希里语）；-多语言联合建模：使用多语言预训练模型，通过共享参数空间学习跨语言通用表征，支持“零样本”迁移（如用英语-法语平行语料训练模型后，直接处理西班牙语任务）。多语言预训练模型的核心设计：-共享词表：通过子词切分（如BPE）将多种语言的字符映射到同一词表（如mBERT使用11万词表覆盖104种语言），解决不同语言字符集差异问题；-跨语言对齐：-基于平行语料：XLM模型通过“翻译语言模型（TLM）”任务，将源语言句子和其翻译句拼接输入，强制模型学习跨语言语义对齐；-基于单语语料：通过共享位置编码和注意力机制，使模型自动学习不同语言间的语义关联（如mBERT在无平行语料时仍能通过词嵌入的跨语言相似性实现迁移）；-语言标识：在输入中添加语言ID（如[LANG:en]），帮助模型区分当前处理的语言类型（如XLM-RoBERTa在输入token中加入语言标签）。问题8：低资源NLP任务（如小语种、垂直领域）的主要挑战是什么？常用的解决方法有哪些？主要挑战：-数据稀缺：标注语料不足（如某些小语种仅有几百条标注数据），传统监督学习模型易过拟合；-领域差异：垂直领域（如医疗、法律）的术语和句式与通用领域差异大，通用模型效果差；-OOV问题：低资源领域的专业术语难以被预训练词表覆盖，词嵌入质量低。常用解决方法：-迁移学习：利用通用预训练模型（如BERT）的底层特征，仅微调顶层参数适配目标任务（如用通用BERT微调医疗领域NER模型）；-少样本学习（Few-shot）：-提示学习（PromptLearning）：将任务转化为填空式提示（如“句子：____。情感：正面/负面”），利用预训练模型的语言理解能力完成少样本分类；-元学习（Meta-Learning）：通过多个相似任务的元训练，学习快速适应新任务的“学习能力”（如MAML算法）；-数据增强：-规则增强：替换同义词、调整句式（如将“猫坐在椅子上”改为“椅子上有一只猫”）；-回译增强：通过机器翻译将文本译为其他语言再译回原语言，生成多样化样本；-无监督数据利用：使用无标注语料训练语言模型（如GPT），通过生成式方法扩充标注数据；-知识融合：引入外部知识（如领域词典、知识图谱）增强模型表征（如医疗NLP中，将疾病-症状关系编码为特征，辅助实体识别）；-轻量级模型：采用模型压缩技术（如知识蒸馏、参数剪枝），在低资源设备上部署小型模型（如DistilBERT、ALBERT），降低对计算资源的依赖。问题9：对话系统的主要类型有哪些？任务型对话系统的核心模块和关键技术是什么？对话系统主要分为：-任务型对话系统：目标明确（如订机票、查天气），需完成特定任务，依赖领域知识和结构化数据；-开放域对话系统：无固定目标（如闲聊），需生成符合语境、自然流畅的回复；-混合式对话系统：结合任务型和开放域能力（如客服系统在解决问题后可切换闲聊模式）。任务型对话系统的核心模块：1.用户意图识别：判断用户需求（如“订酒店”“查询天气”），常用模型为文本分类（如BERT微调）；2.槽位填充（SlotFilling）：提取意图相关的关键信息（如“酒店位置”“入住时间”），本质是序列标注任务（如BiLSTM+CRF）；3.对话状态跟踪（DST）：维护当前对话状态（如已确认的槽位值、未填的槽位），常用方法包括基于规则（状态表）、基于统计（如HMM）或基于神经网络（如TRADE模型，通过多任务学习更新状态）；4.对话策略生成：根据当前状态决定下一步动作（如询问未填槽位、确认信息、执行操作），早期用规则引擎，现多采用强化学习（如DQN）或生成式模型（如Transformer生成回复文本）；5.回复生成：将策略转化为自然语言（如“您需要订北京的酒店，入住时间是？”），可结合模板（结构化回复）或生成模型（更自然）。关键技术挑战：-多轮对话管理：需跟踪长对话中的上下文状态，避免槽位丢失（如用户中途切换话题“先订酒店，再查天气”）；-错误恢复：处理用户纠正（如“不是明天，是后天”