LLM面试题及详细答案（实战通俗版）-1

LLM面试题及详细答案（实战通俗版）本套面试题适配算法工程师、大模型应用工程师、NLP算法岗面试，所有答案规避书面化机器话术，采用职场真实作答逻辑，无空洞理论，侧重原理、落地、避坑、实战经验，全程无相关行业虚化代名词。一、基础认知模块（入门必问）1、简单说说大语言模型的核心工作原理是什么？参考答案：大语言模型的核心就是基于海量文本数据，学习人类语言的规律、语义逻辑和上下文关联，通过概率预测的方式逐字生成文本。它的底层逻辑是自回归生成，简单说就是“根据前面已经出现的文字，推算下一个最合理的字、词、句”。模型会把输入的文本转换成向量，通过多层网络结构提取语义、语法、逻辑特征，再结合训练学到的海量知识，输出概率最高的文本内容，最终拼接成完整的回答、文章或指令结果。和传统小模型最大的区别是，它依靠超大参数量和海量通用数据，具备通用语义理解、逻辑推理、文本创作、指令遵循等泛化能力，不用针对单一任务单独训练。2、自回归生成和非自回归生成的区别是什么？大模型为什么普遍用自回归？参考答案：自回归生成是逐token依次生成，后一个字的生成依赖前一个字的结果，生成过程是串行的；非自回归是一次性输出所有结果，所有token并行生成。主流大模型全部采用自回归模式，核心原因有三点：第一，语言本身是时序逻辑，上下文强关联，逐字生成更贴合人类语言表达习惯，语句连贯性、逻辑性更好；第二，自回归训练难度更低、收敛效果更稳，海量数据训练下泛化能力更强；第三，解码过程可控性更高，方便配合采样参数调整输出风格，适配对话、创作、推理等各类场景。而非自回归生成速度更快，但语句容易断层、逻辑混乱，只适用于简单翻译、分类场景，不适合通用对话和复杂文本生成。3、什么是Token？日常使用中汉字、标点、英文和Token的对应关系大概是怎样的？参考答案：Token是模型处理文本的最小单位，是文本经过分词编码后的基本单元，模型不直接识别文字，只识别对应的token编码。日常场景的对应规律很固定：中文场景下，1个汉字或1个中文标点大概对应1-2个token；英文场景下，1-2个单词对应1个token；数字、符号基本单个对应1个token。同时token也是模型上下文窗口的计量单位，所有输入的提问内容、历史对话、输出内容，都会占用窗口token额度，超出上限就会出现上下文截断、丢失历史对话的问题。二、核心原理模块（进阶高频）1、详细说说Transformer的核心结构，以及大模型为什么只保留解码器？参考答案：原始Transformer包含编码器和解码器两部分。编码器核心是双向注意力，能同时看到上下文所有内容，适合理解类任务，比如文本分类、语义匹配；解码器是单向掩码注意力，只能看到前文内容，看不到后文，适合生成类任务。主流大模型比如GPT系列、各类开源底座，都只用纯解码器结构，核心原因：第一，大模型核心任务是文本生成、对话续写，单向掩码注意力完全贴合自回归生成逻辑，不会泄露未来文本信息，训练和推理逻辑统一；第二，结构更简洁，参数量利用率更高，海量数据预训练的收敛速度更快；第三，上下文续写、多轮对话、长文本生成场景下，纯解码器的连贯性和逻辑一致性远优于编解码结构。而编码器结构更多用于传统NLP理解任务，编解码结构多用于机器翻译等一对一转换任务，不适配通用生成场景。2、什么是注意力机制？自注意力的作用是什么？参考答案：注意力机制的本质，就是让模型在处理每一个字词时，自动重点关注文本中相关度高的内容，弱化无关内容，和人类阅读、思考的逻辑一致。自注意力是大模型的核心能力，它可以让文本中任意两个字词直接建立关联，不管两个字距离多远。比如一句话首尾的关键词，模型能直接捕捉到语义关联，不会因为距离远丢失信息。它彻底解决了传统循环网络长距离依赖失效的问题，让模型能够精准理解长文本的语义、指代关系、逻辑关联，也是大模型具备长文本理解和复杂推理能力的核心基础。3、训练和推理的区别是什么？各自的核心痛点是什么？参考答案：训练是让模型学习知识的过程，利用海量文本数据，不断更新模型参数，修正预测误差，让模型学会语言规律、常识和逻辑；推理是模型训练完成后，接收用户输入，生成对应输出的过程，全程不修改参数。训练核心痛点：算力成本极高、数据质量要求严苛、训练周期长，容易出现过拟合、收敛不稳定、梯度爆炸或消失的问题，需要精准调参和数据清洗。推理核心痛点：响应速度慢、显存占用高、长文本推理耗时递增、并发能力弱，落地场景下需要做大量优化，兼顾速度和效果。三、微调与对齐模块（面试重点）1、预训练、微调、对齐三者的区别和作用分别是什么？参考答案：三者是大模型落地的完整流程，层层递进，作用完全不同：预训练：是底座模型的训练阶段，用全网海量通用文本数据，让模型学习基础语言能力、通用常识、基础逻辑，形成通用能力底座。这个阶段模型只会“会说话、懂语义”，没有任务针对性，也不懂人类的指令偏好。微调：是在预训练底座的基础上，用垂直场景的专属数据，小幅更新模型参数，让模型适配特定业务场景，比如客服问答、公文写作、代码生成、行业知识库问答，解决通用模型业务适配性差的问题。对齐：核心是让模型贴合人类的价值观、对话习惯、指令逻辑，让模型“听话、合规、好用”。主要解决模型输出混乱、答非所问、内容不当、不符合人类认知的问题，分为有监督对齐和奖励模型对齐两种主流方式。2、SFT有什么作用？微调过程中最容易踩的坑有哪些？参考答案：SFT也就是有监督微调，是落地最常用的微调方式。核心作用是教会模型理解人类指令、适配固定输出格式、贴合业务话术、固化场景能力，让通用底座模型转化为可落地的业务模型。日常微调最常见的坑主要有5个：第一，数据质量差，存在脏数据、重复数据、错误样本，导致模型效果倒退；第二，数据量过大或训练轮次过多，出现过拟合，模型只会死记训练数据，泛化能力变差；第三，学习率设置过高，破坏预训练学到的基础能力，出现灾难性遗忘；第四，样本格式不统一，指令、输入、输出格式混乱，模型学习逻辑错乱；第五，正负样本比例失衡，模型输出偏向单一风格，适配性极差。3、什么是灾难性遗忘？微调中如何避免？参考答案：灾难性遗忘指的是模型在微调学习新业务知识、新能力的过程中，丢失了预训练阶段学到的通用语言能力、常识和基础逻辑，出现语句不通、基础常识错误、推理能力退化的问题。日常落地中，主要通过这几种方式规避：1、采用小学习率微调，不大幅度更新模型核心参数；2、优先使用参数高效微调方案，只训练少量参数，冻结大部分底座参数；3、控制训练轮次和批次，避免过度训练；4、微调数据中混入部分通用数据，保留模型基础能力；5、训练过程中持续对比基线模型效果，出现能力退化立即停止训练。4、LoRA微调的原理和优势是什么？为什么工业落地基本都用LoRA？参考答案：LoRA是参数高效微调的主流方案，核心原理是冻结模型原始的所有参数，在模型的注意力层旁新增两个低秩矩阵，训练过程中只更新这两个小矩阵的参数，推理时将新增矩阵和原模型权重融合，不增加推理成本。工业落地首选LoRA，核心优势非常贴合业务需求：第一，算力、显存、时间成本极低，相比全量微调，资源消耗降低几十倍，普通服务器即可完成训练；第二，完全规避灾难性遗忘，因为底座参数全部冻结，不会破坏模型原有通用能力；第三，适配多场景微调，不同业务场景可以训练不同的LoRA权重，随时切换、叠加，灵活性极高；第四，推理无额外开销，权重融合后推理速度和原模型完全一致，不影响线上服务性能。四、推理与工程优化模块（线上落地必问）1、温度系数（Temperature）、TopP、TopK分别是什么作用？业务中如何配置？参考答案：这三个参数都是用来控制模型输出的随机性、创造性和稳定性，是线上部署最常用的调参手段。温度系数：控制输出的随机程度，取值0-1。数值越低，输出越确定、严谨、重复度高，适合问答、知识库、办公公文、专业推理场景；数值越高，输出越灵活、有创造性，适合文案创作、故事编写、brainstorm场景。业务刚需场景一般设置0.1-0.3，创作场景设置0.7-0.9。TopK：每次生成只从概率最高的前K个词中选择，限制候选词范围，数值越小输出越规整，数值越大随机性越强。一般固定取值20-50即可。TopP：核心是累积概率采样，选取概率和达到设定阈值的候选词集合。相比TopK更智能，不会固定候选数量，兼顾稳定性和多样性，日常业务优先用TopP，一般设置0.7-0.9。2、模型推理常用的优化手段有哪些？各自解决什么问题？参考答案：线上落地的核心优化手段主要有4种，各司其职：量化：将模型权重精度从FP16/FP32转为INT8/INT4，大幅降低显存占用，提升推理速度，代价是极小的效果损耗，是线上部署必备优化；KV缓存：缓存历史对话的注意力键值对，避免每轮对话重复计算前文内容，大幅降低长文本推理耗时，提升响应速度；批处理推理：合并多个用户请求统一推理，提升显卡利用率和并发能力，解决单请求算力浪费的问题；模型剪枝与蒸馏：剪枝去除冗余参数，蒸馏用大模型输出训练小模型，在效果基本无损的前提下，压缩模型体积、提升推理速度，适配端侧和低配置服务器部署。3、上下文窗口溢出怎么解决？长文本场景的处理方案有哪些？参考答案：上下文溢出本质是输入的token总量超过模型窗口上限，导致内容截断、历史信息丢失。日常长文本场景有四种成熟解决方案：1、文本摘要压缩：对超长历史对话、文档内容先做摘要，保留核心信息，精简token数量，再输入模型；2、滑动窗口截断：优先保留最新对话内容，滑动丢弃最早的无效信息，保证核心上下文完整；3、RAG检索增强：超长文档不全部输入模型，通过检索抽取和当前问题相关的片段，精准输入，从根源解决窗口溢出；4、长上下文模型替换：直接使用4K、8K、32K窗口的模型，适配超长文本处理需求。五、RAG与实战场景模块（高薪岗核心）1、简单说说RAG的核心流程，以及为什么需要RAG？参考答案：RAG全称检索增强生成，核心流程分为四步：文档解析、文本切片、向量化存储、检索生成。首先将本地文档、业务知识库拆解为小段文本，通过嵌入模型转为向量存入向量数据库；用户提问时，将问题同样转为向量，检索出相似度最高的文本片段，拼接进提示词，输入模型生成答案。之所以必须用RAG，核心解决三个行业痛点：第一，解决模型知识滞后的问题，预训练模型知识停留在训练截止时间，无法获取实时业务数据、最新资讯；第二，解决幻觉问题，让模型基于真实知识库内容作答，而非凭空编造；第三，大幅降低落地成本，不用反复微调模型，仅更新知识库即可更新业务知识，适配企业动态业务场景。2、RAG最常见的问题有哪些？如何优化检索效果？参考答案：RAG落地最常出现检索不准、匹配无关内容、关键信息缺失、上下文断层的问题，最终导致回答错误、答非所问。日常优化检索效果的核心手段：1、优化切片策略：根据文本语义切片，而非固定长度切片，避免语义割裂，同时合理设置切片重叠度，保留上下文关联；2、优化嵌入模型：优先使用适配中文、垂直场景的嵌入模型，提升语义匹配精度；3、检索重排序：先粗检索获取大量候选片段，再通过重排序模型精准筛选高相关内容，过滤无效信息；4、问题改写与扩展：对用户口语化、模糊的问题做标准化改写，扩展同义问句，提升检索命中率；5、元数据过滤：通过时间、文档类型、业务分类等元数据筛选检索范围，减少干扰。3、什么是模型幻觉？产生原因和解决方案分别是什么？参考答案：模型幻觉指的是模型输出看似通顺、逻辑完整，但内容完全虚假、错误、无依据，编造不存在的事实、数据、案例、规则。产生核心原因：1、预训练数据存在噪声、错误信息，模型学习到错误规律；2、上下文信息不足，模型缺乏有效依据，只能基于通用概率脑补内容；3、模型过度追求语句通顺，优先保证文本连贯，牺牲内容真实性；4、微调数据质量差、指令不规范，导致输出逻辑偏差。解决方案：1、接入RAG检索，让模型基于真实知识库作答，限制编造空间；2、优化提示词，强制模型“无依据则如实告知，不编造内容”；3、严控训练、微调数据质量，过滤错误、虚假样本；4、降低温度系数，减少输出随机性，提升内容严谨度；5、增加输出校验环节，对关键数据、事实做二次校验纠错。六、综合面试问答（主观实操题）1、如果业务上线后，模型回答不准、效果差，你的排查思路是什么？参考答案：我会按照「先线上、后模型、再数据」的顺序逐层排查，高效定位问题：第一，排查工程层面：检查是否存在上下文截断、参数配置异常、检索失效、请求路由错误等线上问题；第二，排查提示词：确认提示词模板是否规范、指令是否清晰、格式约束是否到位，很多效果问题都是提示词不合理导致；第三，排查检索效果（RAG场景）：检查切片质量、检索命中率、重排序效果，确认是否检索到无关内容、缺失关键信息；第四，排查模型能力：如果是微调模型，验证是否存在过拟合、遗忘、学习不足的问题，对比基线底座模型效果；第五，排查数据层面：校验微调数据、知识库数据的准确性、完整性、规范性，修复脏数据和缺失数据；最后根据问题根源，针对性优化参数、提示词、检索策略或