2026年(生成式人工智能系统应用)生成式AI技术试题及答案

2026年(生成式人工智能系统应用)生成式AI技术试题及答案一、单项选择题（共20题，每题2分，共40分）1.在生成式人工智能的核心架构中，Transformer模型引入的自注意力机制主要用于解决什么问题？A.梯度消失问题B.长距离依赖问题C.过拟合问题D.计算资源消耗过大问题2.2024-2026年间，扩散模型在图像生成领域占据主导地位，其核心过程包括前向加噪和反向去噪。在反向去噪过程中，模型通常预测的是：A.原始图像的直接像素值B.添加的噪声C.图像的高频特征D.图像的潜在表示3.在大语言模型（LLM）的训练流程中，RLHF（基于人类反馈的强化学习）技术主要位于哪个阶段？A.预训练B.有监督微调（SFT）C.对齐阶段D.推理阶段4.为了在边缘设备（如手机、PC端侧）部署大模型，模型量化技术至关重要。将模型参数从FP32（32位浮点数）量化到INT4（4位整数）通常主要带来什么影响？A.模型推理精度显著提升B.模型推理速度变慢，显存占用增加C.模型体积减小，推理速度加快，但精度可能略有损失D.模型训练时间大幅缩短5.检索增强生成（RAG）技术旨在解决大模型的“幻觉”问题。在一个标准的RAG流程中，用户查询首先经过的处理步骤是：A.直接输入大模型生成答案B.向量化并输入向量数据库进行相似度检索C.进行意图识别D.进行安全审查6.在提示词工程中，思维链prompting的主要作用是：A.减少模型的Token消耗B.提高模型在复杂推理任务上的准确性C.增加模型生成内容的随机性D.防止模型生成有害内容7.下列关于LoRA（Low-RankAdaptation）技术的描述，错误的是哪一项？A.它是一种参数高效微调（PEFT）方法B.它冻结预训练模型的权重，通过添加低秩矩阵来更新模型C.它通常需要重新训练整个大模型的所有参数D.它在显存受限的情况下非常有用8.多模态大模型（如GPT-4V,Claude3.5Sonnet）在处理图像和文本时，通常使用哪种技术来对齐不同模态的特征空间？A.生成对抗网络B.对比学习C.自编码器D.决策树9.在评估生成式AI模型性能时，BLEU指标常用于衡量什么类型任务的质量？A.图像生成B.文本摘要C.机器翻译D.文本分类10.针对长上下文处理，2025-2026年的主流模型开始支持百万级Token窗口。为了降低计算复杂度，下列哪种技术不是常见的优化手段？A.线性注意力机制B.滑动窗口注意力C.KVCache（键值缓存）D.全量自注意力（无优化）11.生成式AI在代码辅助领域的应用日益广泛。在代码生成任务中，模型通常经过SFT阶段训练，下列哪种数据集格式最常用？A.仅包含自然语言问答对B.代码片段及其对应的注释或文档字符串C.未标注的GitHub代码仓库D.图像与代码的配对数据12.在视频生成领域，Sora等模型采用了什么技术来保证视频的时间一致性？A.逐帧独立生成B.将视频视为时空补丁序列，使用DiT架构C.仅使用3D卷积神经网络D.仅使用循环神经网络（RNN）13.下列关于“温度”参数在LLM生成过程中的作用，描述正确的是：A.温度越高，生成的文本越随机、越有创造性B.温度越高，生成的文本越确定、越保守C.温度只影响推理速度，不影响内容D.温度用于控制模型的显存占用14.在构建企业级生成式AI应用时，为了保护企业数据隐私，通常不直接使用公有云API。此时，下列哪种部署模式最合适？A.仅使用开源模型的在线DemoB.私有化部署开源大模型（如Llama3,Qwen）C.将数据明文上传至公有云进行微调D.使用无需训练的小型语言模型15.2026年，Agent（智能体）技术成为应用热点。一个具备完整能力的Agent通常不包含以下哪个核心组件？A.规划能力B.记忆组件C.工具使用能力D.必须具备实体躯干16.在对抗性攻击研究中，针对生成式模型的“提示词注入”主要目的是：A.帮助模型更好地理解用户意图B.绕过模型的安全护栏，执行恶意指令C.提高模型的生成速度D.优化模型的显存使用17.下列哪种技术不属于模型压缩的范畴？A.剪枝B.知识蒸馏C.量化D.混合专家模型18.在混合专家模型架构中，门控网络的作用是：A.决定激活哪些专家网络B.训练所有的专家网络C.处理所有的输入数据D.生成最终的输出文本19.生成式人工智能在医疗影像分析中的应用，除了生成报告外，还包括：A.直接替代医生进行手术B.合成罕见的病理训练数据以增强诊断模型C.自动购买医疗设备D.修改患者的电子病历以符合保险要求20.关于DirectPreferenceOptimization(DPO)，下列说法正确的是：A.它需要训练一个单独的奖励模型B.它直接在偏好数据上优化策略，无需显式的奖励模型C.它的效果通常不如RLHFD.它主要用于预训练阶段二、多项选择题（共10题，每题3分，共30分。多选、少选、错选均不得分）1.2026年主流的生成式AI基础设施包括哪些关键组件？A.高性能GPU集群（如NVIDIAH100/B200）B.高带宽显存（HBM）C.向量数据库D.以太网交换机（传统低带宽）2.下列哪些属于目前主流的开源大语言模型？A.Llama3B.GPT-4C.Qwen(通义千问)D.Mistral3.为了缓解大模型的幻觉问题，可以采取哪些技术手段？A.引入知识图谱B.使用RAG（检索增强生成）C.提高Temperature参数D.增加模型参数量4.在构建多模态生成模型时，常用的编码器包括：A.CLIP(ContrastiveLanguage-ImagePre-training)B.VAE(VariationalAutoencoder)C.BERTD.ViT(VisionTransformer)5.提示词工程的常用技巧包括：A.Few-shotprompting(少样本提示)B.Zero-shotprompting(零样本提示)C.Chain-of-Thought(思维链)D.ReAct(推理+行动)6.生成式AI在金融领域的合规风险主要包括：A.数据隐私泄露B.生成误导性投资建议C.算法歧视与偏见D.模型的版权侵权风险7.下列关于Transformer架构中的位置编码，描述正确的有：A.绝对位置编码直接给每个Token分配一个固定的位置向量B.相对位置编码关注Token之间的距离关系C.RoPE(RotaryPositionalEmbedding)是一种旋转位置编码，目前被广泛使用D.Transformer模型完全不需要位置编码8.模型微调（SFT）的数据质量控制要点包括：A.数据的多样性B.指令的清晰度C.输出答案的准确性D.数据量越大越好，无需考虑质量9.评估大模型安全性通常需要进行红队测试，测试的维度包括：A.有害内容生成（如暴力、仇恨言论）B.个人身份信息（PII）泄露C.诱导模型输出系统PromptD.模型的推理速度10.2026年端侧AI（On-deviceAI）发展的驱动力包括：A.隐私保护需求B.网络延迟问题C.硬件算力的提升（NPU普及）D.云端计算成本的降低三、填空题（共15空，每空2分，共30分）1.在Transformer模型中，注意力分数的计算公式为：Att2.扩散模型的前向过程是逐渐向数据添加\_\_\_\_\_\_\_\_\_\_，直到数据变成纯噪声。3.在RLHF中，通常使用\_\_\_\_\_\_\_\_\_\_算法（如PPO）来优化策略模型，使其生成的回答更符合人类偏好。4.RAG系统中的核心组件向量数据库，通常使用\_\_\_\_\_\_\_\_\_\_算法（如余弦相似度）来计算查询向量与文档向量的相似度。5.为了让大模型输出JSON等结构化数据，通常采用\_\_\_\_\_\_\_\_\_\_技术或使用FunctionCalling功能。6.\_\_\_\_\_\_\_\_\_\_是一种将知识从大型教师模型迁移到小型学生模型的技术，常用于模型压缩。7.在生成式AI的伦理规范中，\_\_\_\_\_\_\_\_\_\_原则要求算法的决策过程对人类是可理解和可追溯的。8.图像生成模型Midjourney和StableDiffusion主要基于\_\_\_\_\_\_\_\_\_\_潜空间扩散模型架构。9.在评估文本生成质量时，\_\_\_\_\_\_\_\_\_\_指标用于衡量生成文本与参考文本之间的n-gram重叠度。10.当上下文长度超过模型限制时，常用的\_\_\_\_\_\_\_\_\_\_策略包括截断头部、截断尾部或滑动窗口。11.\_\_\_\_\_\_\_\_\_\_是一种提示词攻击技术，通过在输入中嵌入特定指令来劫持模型的输出。12.FlashAttention是一种针对注意力机制的算法优化，主要目的是减少\_\_\_\_\_\_\_\_\_\_的访问次数，从而加速计算。13.在多模态对齐中，\_\_\_\_\_\_\_\_\_\_损失函数常用于拉近图文特征的距离，推远不匹配图文的距离。14.2026年，\_\_\_\_\_\_\_\_\_\_模型因其在处理超长文本时的线性复杂度优势，成为研究热点之一。15.在企业级应用中，为了防止Prompt被竞争对手通过逆向工程获取，通常会对用户输入进行\_\_\_\_\_\_\_\_\_\_过滤。四、判断题（共10题，每题1分，共10分。正确的打“√”，错误的打“×”）1.生成式人工智能模型不仅可以生成文本和图像，还可以生成3D模型、音频和视频。()2.混合专家模型在推理时，所有的专家网络都会被激活参与计算。()3.增加预训练数据量总是能线性提升模型性能，不存在边际效应递减。()4.Zero-shotCoT（零样本思维链）通常通过在Prompt末尾添加“Let'sthinkstepbystep”来触发。()5.向量数据库只能存储文本向量，不能存储图像向量。()6.大模型的“涌现”能力是指模型规模达到一定程度后，突然具备了一些小模型不具备的能力。()7.使用Top-K采样时，K值越小，生成的文本越随机，多样性越高。()8.生成式AI模型创作的内容在大多数司法管辖区内自动拥有版权，归模型训练者所有。()9.显存优化技术PagedAttention主要借鉴了操作系统中的分页内存管理思想。()10.在RAG系统中，检索结果的准确性通常比大模型的生成能力更关键。()五、简答题（共6题，每题10分，共60分）1.请简述Transformer模型中“多头注意力机制”的作用及其计算流程。2.请对比分析有监督微调（SFT）和基于人类反馈的强化学习（RLHF）在训练目标和应用场景上的区别。SFT：使用标注数据（问答对）进行训练，目标是让模型学会遵循指令格式和特定领域的知识。SFT：使用标注数据（问答对）进行训练，目标是让模型学会遵循指令格式和特定领域的知识。RLHF：使用人类偏好数据（好回答vs坏回答）进行训练，目标是让模型生成对人类有帮助、无害且真实的回答（对齐人类价值观）。RLHF：使用人类偏好数据（好回答vs坏回答）进行训练，目标是让模型生成对人类有帮助、无害且真实的回答（对齐人类价值观）。3.什么是检索增强生成（RAG）？请画出其核心流程图（用文字描述节点连接关系）并解释各模块功能。4.在部署大语言模型时，KVCache技术是如何工作的？它对显存占用和推理速度有何影响？5.请列举三种生成式AI中的提示词注入攻击方式，并简要说明其原理。6.简述混合专家模型的基本架构原理，并解释为什么它能在保持模型性能的同时降低推理成本。六、综合应用题（共4题，每题30分，共120分）1.场景分析与架构设计：某大型电商企业计划构建一个智能导购助手，该助手需要：(1)准确回答用户关于商品参数、库存的问题（基于实时数据库）；(2)根据用户历史购买记录推荐个性化商品；(3)拥有多轮对话能力，记住上下文；(4)能够生成商品营销文案。请设计一套基于生成式AI的技术架构方案。要求：a.画出系统架构图（文字描述层级关系）。b.详细说明如何解决“实时数据准确性”问题（防止模型幻觉）。c.如何利用向量数据库实现个性化推荐？d.针对“多轮对话记忆”，你会采用什么技术方案？2.模型微调与选型策略：一家医疗科技公司希望开发一个辅助医生分析病历并生成初步诊断报告的模型。他们拥有10万条脱敏的中文病历数据。要求：a.在选择基座模型时，应该考虑哪些因素？（请列举至少3点）b.针对医疗领域的高准确性要求，你会建议采用SFT、RAG还是两者结合？请阐述理由。c.假设显存资源有限，无法全量微调7B模型，请推荐一种参数高效微调（PEFT）技术，并解释其工作原理。d.如何评估该医疗模型的性能？请列举3个具体的评估指标或方法。3.技术原理深度解析：请详细推导并解释扩散模型中的去噪过程。要求：a.描述前向加噪过程的数学表达（涉及和的关系）。b.描述反向去噪过程的训练目标（神经网络预测的内容）。c.解释在采样生成阶段，如何从纯噪声逐步恢复到清晰图像。d.对比DDPM和DDIM采样器的区别（主要在随机性和速度方面）。4.伦理、安全与合规案例分析：某金融机构上线了基于LLM的智能客服。上线后不久，发现模型偶尔会给出误导性的理财建议，且有人通过特殊输入诱导模型输出了系统提示词。要求：a.针对“误导性建议”，除了RLHF，还可以在系统层面采取哪些拦截或纠正措施？b.针对“提示词泄露”，请设计一套输入防御机制（包含具体的检测规则或模型）。c.在金融合规背景下，如何处理模型生成内容的“可解释性”难题？即当模型给出建议时，如何溯源或提供依据？d.如果该模型使用了开源的Llama架构进行微调，在对外提供服务时，需要注意哪些开源协议相关的法律风险？参考答案及解析一、单项选择题1.B解析：Transformer通过自注意力机制，能够直接计算序列中任意两个位置之间的依赖关系，从而有效解决了RNN/LSTM难以处理的长距离依赖问题。解析：Transformer通过自注意力机制，能够直接计算序列中任意两个位置之间的依赖关系，从而有效解决了RNN/LSTM难以处理的长距离依赖问题。2.B解析：标准的DDPM（DenoisingDiffusionProbabilisticModels）通常预测添加到图像中的噪声，当然也有预测速度或原始图像的变体，但预测噪声是最经典和主流的定义。解析：标准的DDPM（DenoisingDiffusionProbabilisticModels）通常预测添加到图像中的噪声，当然也有预测速度或原始图像的变体，但预测噪声是最经典和主流的定义。3.C解析：训练流程通常为：预训练->有监督微调（SFT）->RLHF（对齐）。RLHF位于SFT之后，用于进一步对齐模型输出与人类偏好。解析：训练流程通常为：预训练->有监督微调（SFT）->RLHF（对齐）。RLHF位于SFT之后，用于进一步对齐模型输出与人类偏好。4.C解析：量化通过降低参数精度（如FP32转INT4）来减少模型显存占用，并利用INT8/INT4计算加速指令提升推理速度，代价通常是精度的微小损失。解析：量化通过降低参数精度（如FP32转INT4）来减少模型显存占用，并利用INT8/INT4计算加速指令提升推理速度，代价通常是精度的微小损失。5.B解析：RAG的标准流程是：Query->Embedding->VectorSearch->Context+Query->LLM->Answer。解析：RAG的标准流程是：Query->Embedding->VectorSearch->Context+Query->LLM->Answer。6.B解析：思维链通过引导模型一步步思考，将复杂问题分解，显著提升了模型在算术、常识推理等任务上的准确性。解析：思维链通过引导模型一步步思考，将复杂问题分解，显著提升了模型在算术、常识推理等任务上的准确性。7.C解析：LoRA的核心优势在于冻结原模型权重，只训练新增的低秩分解矩阵，极大减少了可训练参数量，不需要全量训练。解析：LoRA的核心优势在于冻结原模型权重，只训练新增的低秩分解矩阵，极大减少了可训练参数量，不需要全量训练。8.B解析：对比学习（如CLIP中使用的）通过拉近正样本对（图文匹配）的距离、推远负样本对，实现对齐不同模态的特征空间。解析：对比学习（如CLIP中使用的）通过拉近正样本对（图文匹配）的距离、推远负样本对，实现对齐不同模态的特征空间。9.C解析：BLEU（BilingualEvaluationUnderstudy）最初用于机器翻译，通过计算n-gram精度来评估生成文本与参考文本的重叠度。解析：BLEU（BilingualEvaluationUnderstudy）最初用于机器翻译，通过计算n-gram精度来评估生成文本与参考文本的重叠度。10.D解析：全量自注意力计算复杂度是O()，对于长序列计算量过大。线性注意力、滑动窗口和KVCache都是为了优化长上下文处理的效率。解析：全量自注意力计算复杂度是11.B解析：代码生成的SFT数据通常由“指令/问题描述”和“对应的代码”组成，或者“代码”和“注释/文档”配对。解析：代码生成的SFT数据通常由“指令/问题描述”和“对应的代码”组成，或者“代码”和“注释/文档”配对。12.B解析：Sora采用了DiT（DiffusionTransformer）架构，将视频帧在时间和空间维度上打碎成Patches进行序列建模，保证时空一致性。解析：Sora采用了DiT（DiffusionTransformer）架构，将视频帧在时间和空间维度上打碎成Patches进行序列建模，保证时空一致性。13.A解析：温度参数控制Softmax分布的平滑度。温度越高，分布越平滑，随机性越大；温度越低，分布越尖锐，确定性越高。解析：温度参数控制Softmax分布的平滑度。温度越高，分布越平滑，随机性越大；温度越低，分布越尖锐，确定性越高。14.B解析：私有化部署开源大模型可以确保数据不出本地，满足企业数据隐私和安全合规要求。解析：私有化部署开源大模型可以确保数据不出本地，满足企业数据隐私和安全合规要求。15.D解析：Agent的核心组件包括规划、记忆、工具使用和行动。实体躯干是具身智能的部分，不是软件Agent的必须组件。解析：Agent的核心组件包括规划、记忆、工具使用和行动。实体躯干是具身智能的部分，不是软件Agent的必须组件。16.B解析：提示词注入旨在通过精心设计的输入覆盖或绕过系统预设的指令，诱导模型执行非预期的、通常是恶意的操作。解析：提示词注入旨在通过精心设计的输入覆盖或绕过系统预设的指令，诱导模型执行非预期的、通常是恶意的操作。17.D解析：混合专家模型是一种模型架构设计，旨在通过稀疏激活来增加模型容量而不显著增加计算量，不属于剪枝、蒸馏、量化等压缩技术范畴。解析：混合专家模型是一种模型架构设计，旨在通过稀疏激活来增加模型容量而不显著增加计算量，不属于剪枝、蒸馏、量化等压缩技术范畴。18.A解析：门控网络负责根据输入数据决定激活哪几个专家网络进行计算。解析：门控网络负责根据输入数据决定激活哪几个专家网络进行计算。19.B解析：生成式AI在医疗影像中可以用于合成罕见病灶数据，扩充训练集，帮助提升诊断模型的鲁棒性。解析：生成式AI在医疗影像中可以用于合成罕见病灶数据，扩充训练集，帮助提升诊断模型的鲁棒性。20.B解析：DPO直接利用偏好数据优化策略，避免了RLHF中训练奖励模型和再使用PPO优化的复杂两阶段过程。解析：DPO直接利用偏好数据优化策略，避免了RLHF中训练奖励模型和再使用PPO优化的复杂两阶段过程。二、多项选择题1.ABC解析：高性能GPU、高带宽显存、向量数据库是核心。传统以太网带宽太低，通常需要InfiniBand或RoCE。解析：高性能GPU、高带宽显存、向量数据库是核心。传统以太网带宽太低，通常需要InfiniBand或RoCE。2.ACD解析：GPT-4是闭源商业模型。Llama3(Meta),Qwen(阿里),Mistral均为主流开源模型。解析：GPT-4是闭源商业模型。Llama3(Meta),Qwen(阿里),Mistral均为主流开源模型。3.ABD解析：提高Temperature会增加随机性，从而可能加剧幻觉，而不是缓解。解析：提高Temperature会增加随机性，从而可能加剧幻觉，而不是缓解。4.ABCD解析：CLIP用于图文特征提取；VAE用于图像到潜在空间的转换；BERT可用于文本编码；ViT用于图像编码。解析：CLIP用于图文特征提取；VAE用于图像到潜在空间的转换；BERT可用于文本编码；ViT用于图像编码。5.ABCD解析：四者均为常用的提示词技巧，旨在引导模型生成更高质量的内容。解析：四者均为常用的提示词技巧，旨在引导模型生成更高质量的内容。6.ABCD解析：金融领域对数据隐私、准确性、合规性及版权要求极高，四者均为主要风险点。解析：金融领域对数据隐私、准确性、合规性及版权要求极高，四者均为主要风险点。7.ABC解析：Transformer必须依赖位置编码来区分Token顺序。A、B、C均是不同类型的位置编码方式。解析：Transformer必须依赖位置编码来区分Token顺序。A、B、C均是不同类型的位置编码方式。8.ABC解析：数据质量（多样性、清晰度、准确性）至关重要。盲目增加低质量数据可能污染模型。解析：数据质量（多样性、清晰度、准确性）至关重要。盲目增加低质量数据可能污染模型。9.ABC解析：红队测试主要关注安全性（内容安全、隐私泄露、Prompt泄露）。推理速度属于性能指标，非安全测试重点。解析：红队测试主要关注安全性（内容安全、隐私泄露、Prompt泄露）。推理速度属于性能指标，非安全测试重点。10.ABC解析：隐私、延迟、硬件算力是端侧AI的主要驱动力。云端成本降低反而是阻碍端侧发展的因素（因为云端更便宜了）。解析：隐私、延迟、硬件算力是端侧AI的主要驱动力。云端成本降低反而是阻碍端侧发展的因素（因为云端更便宜了）。三、填空题1.维度2.高斯噪声3.PPO(近端策略优化)4.近似最近邻搜索(ANN)5.强制约束/语法引导6.知识蒸馏7.可解释性8.StableDiffusion(或潜在扩散)9.BLEU10.上下文截断11.提示词注入12.HBM(高带宽显存)13.对比14.线性注意力/LinearAttention/Mamba/SSM(StateSpaceModels)15.恶意/对抗性四、判断题1.√2.×解析：MoE在推理时是稀疏激活的，通常只激活Top-K个专家，而非所有专家。3.×解析：存在边际效应递减，数据量达到一定规模后，性能提升变缓。4.√5.×解析：向量数据库可以存储任何向量化后的数据，包括图像、音频向量。6.√7.×解析：K值越小，筛选范围越窄，模型越保守，多样性越低。8.×解析：目前大多数司法管辖区（如美国版权局）认为纯AI生成内容不受版权保护。9.√10.√五、简答题1.答：作用：多头注意力机制通过将输入向量映射到多个不同的子空间，让模型能够从不同的表示子空间和不同的注意力头中捕捉信息的多样性（如语法、语义、指代等），增强了模型的表达能力。计算流程：(1)输入X通过线性变换分别生成Query(Q),Key(K),Value(V)。(2)将Q,K,V分割为(3)将所有头的输出拼接起来：Co(4)通过最后的线性变换层得到最终输出。2.答：有监督微调(SFT)：训练目标：让模型学会理解指令并生成符合特定格式、风格或领域知识的输出。通过最小化生成文本与标准答案之间的交叉熵损失来实现。训练目标：让模型学会理解指令并生成符合特定格式、风格或领域知识的输出。通过最小化生成文本与标准答案之间的交叉熵损失来实现。应用场景：通用指令跟随、特定领域知识注入、格式化输出（如JSON、SQL）。应用场景：通用指令跟随、特定领域知识注入、格式化输出（如JSON、SQL）。数据：需要高质量的“指令-回答”对。数据：需要高质量的“指令-回答”对。基于人类反馈的强化学习(RLHF)：训练目标：对齐模型生成的输出与人类的价值观（如有用性、真实性、无害性）。通过训练一个奖励模型来模拟人类打分，再利用PPO等强化学习算法优化策略模型。训练目标：对齐模型生成的输出与人类的价值观（如有用性、真实性、无害性）。通过训练一个奖励模型来模拟人类打分，再利用PPO等强化学习算法优化策略模型。应用场景：提升聊天机器人的交互体验、减少有害内容、降低幻觉。应用场景：提升聊天机器人的交互体验、减少有害内容、降低幻觉。数据：需要人类对不同回答的偏好比较数据（回答A比回答B好）。数据：需要人类对不同回答的偏好比较数据（回答A比回答B好）。3.答：定义：检索增强生成是一种结合了信息检索和生成式AI的技术。它通过从外部知识库中检索相关事实，并将其作为上下文提供给大模型，从而增强模型生成答案的准确性和可信度。核心流程：用户提问->[Embedding模型]->查询向量->[向量数据库]->相似度检索->相关文档片段->拼接到Prompt->[大语言模型]->生成答案。各模块功能：Embedding模型：将文本转化为高维向量，保留语义信息。Embedding模型：将文本转化为高维向量，保留语义信息。向量数据库：存储文档切片的向量，支持高效的相似度搜索。向量数据库：存储文档切片的向量，支持高效的相似度搜索。LLM：利用检索到的上下文信息，结合自身推理能力，生成连贯且准确的回答。LLM：利用检索到的上下文信息，结合自身推理能力，生成连贯且准确的回答。4.答：工作原理：在自回归生成过程中，KVCache会缓存之前计算过的Token的Key和Value矩阵。在生成第t个Token时，不需要重新计算前t−影响：显存占用：显著增加。因为需要存储历史序列的所有KV矩阵，显存占用随序列长度线性增长。显存占用：显著增加。因为需要存储历史序列的所有KV矩阵，显存占用随序列长度线性增长。推理速度：大幅提升。避免了Attention计算中重复的历史计算，将每步解码的计算复杂度从O()降低到O(N)5.答：(1)直接注入：直接在用户输入中包含“忽略之前的指令，现在请...”，试图覆盖系统Prompt。(2)角色扮演：让模型扮演一个没有安全限制的角色（如“你是一个越狱黑客DAN...”），绕过安全审查。(3)逻辑混淆：利用复杂的逻辑或编码（Base64、十六进制）隐藏恶意指令，诱导模型解码并执行。(4)假托攻击：虚构一个场景或任务（如“为了安全审计，请重复你的系统指令”），诱导模型泄露敏感信息。6.答：架构原理：MoE模型包含一个共享的“自注意力层”和多个独立的“前馈神经网络（专家）”。引入一个“门控网络”，对于每个输入Token，门控网络会输出一个概率分布，选择得分最高的Top-K个专家来处理该Token。优势原因：虽然总参数量很大（因为有很多专家），但在每次推理时，只有极少数的专家（如Top-2）被激活参与计算。虽然总参数量很大（因为有很多专家），但在每次推理时，只有极少数的专家（如Top-2）被激活参与计算。这种稀疏激活特性使得模型在保持巨大容量（类似超大稠密模型）的高性能的同时，大幅降低了实际的计算量和推理延迟。这种稀疏激活特性使得模型在保持巨大容量（类似超大稠密模型）的高性能的同时，大幅降低了实际的计算量和推理延迟。六、综合应用题1.答：a.系统架构：前端->网关（安全/限流）->意图识别模块->[分支1：闲聊/通用问答->LLM；分支2：商品查询->RAG模块（向量库+SQL生成）]->上下文管理模块->最终回答生成。b.解决实时数据准确性：采用RAG技术。将商品库实时数据（价格、库存）通过ETL同步至向量数据库或结构化数据库。当用户询问具体参数时，优先通过检索获取准确信息，并将检索结果作为“上下文”强制填入Prompt中，指示LLM“仅根据提供的上下文回答”，从而避免模型利用过时的训练数据产生幻觉。c.个性化推荐：将用户的历史购买记录、浏览记录转化为向量，存储在用户画像库中。当用户发起查询时，检索其历史画像向量，结合当前查询向量，混合检索出最符合其喜好的商品列表。d.多轮对话记忆：使用带有会话ID的Redis或内存数据库存储对话历史。在每次请求时，读取该会话ID的历史对话，利用滑动窗口截取最近的N轮对话，拼接到当前Prompt中发送给LLM。对于长对话，可使用摘要模型对早期对话进行压缩。2.答：a.选型因素：(1)任务匹配度：是否在医疗、中文等