2026年大模型应用提示工程师职业能力考核卷及答案

2026年大模型应用提示工程师职业能力考核卷及答案一、试卷说明本卷面向从事大模型应用开发、提示词设计与优化、智能体编排、RAG系统搭建等岗位的从业人员，用于检验其是否具备独立承担提示工程师职责的职业能力。考试时间为120分钟，满分100分，合格线为70分。考试形式为闭卷，考生不得携带任何电子设备及参考资料。试题内容覆盖提示词设计基础、上下文工程、推理增强、检索增强生成、工具调用、安全与伦理、评估与迭代等七大能力域。题型题量每题分值小计评分规则单选题201.5分30分错选、多选、不选均不得分多选题102分20分少选得1分，错选或不选不得分判断题101分10分判断错误不得分简答题35分15分按评分要点给分案例分析题115分15分见评分细则实操题110分10分见评分细则合计45—100分—（一）单选题（每题1.5分，共20题，30分）1.在提示词工程中，“少样本学习”（Few-shotPrompting）与“零样本学习”（Zero-shotPrompting）的核心区别是（）。A.是否使用GPU进行推理B.是否在提示中提供输入-输出示例C.是否对模型进行微调D.是否使用思维链2.下列哪种技术通过在提示中显式加入“逐步推理”指令，引导模型生成中间推理步骤从而提高复杂算术和逻辑任务准确率？（）A.ReActB.思维链（Chain-of-Thought）C.约束解码D.前缀微调3.关于大语言模型的Temperature参数，下列说法正确的是（）。A.Temperature越高，模型输出越确定B.Temperature越低，采样概率分布越平缓C.Temperature=0时通常采用贪心解码，输出趋于确定D.Temperature与随机性无关4.在RAG（检索增强生成）系统中，检索到的文档片段与用户问题相关性差，最可能导致的结果是（）。A.模型拒绝回答B.模型输出出现幻觉或答非所问C.模型自动切换为多模态输入D.系统延迟显著上升5.下列关于“提示注入”（PromptInjection）攻击的描述，不正确的是（）。A.攻击者可能通过网页内容、邮件正文等间接渠道注入恶意指令B.提示注入可以覆盖系统预设的安全限制C.只要在系统提示中使用“你是安全的助手”就能完全防御提示注入D.提示注入可能导致模型泄露内部工具调用逻辑6.在FunctionCalling（工具调用）场景中，用于描述函数参数类型、必填字段和约束的规范格式是（）。A.YAMLB.JSONSchemaC.XMLDTDD.ProtocolBuffers7.当模型生成了一段包含个人身份证号的内容时，下列处理方式中符合数据脱敏要求的是（）。A.将身份证号中间8位替换为星号，保留前3位和后4位B.将身份证号全部删除并替换为空白C.将身份证号原样保留并添加免责声明D.将身份证号中的年月日部分替换为虚假日期8.在构建智能体（Agent）时，ReAct框架的核心思想是（）。A.将推理（Reasoning）与行动（Acting）交替进行，以观察-思考-行动的循环解决问题B.使用递归神经网络替代Transformer架构C.强制模型输出JSON格式D.对每个用户请求都调用搜索引擎9.关于RAG系统中“分块”（Chunking）策略，下列说法错误的是（）。A.分块过大可能导致检索粒度粗糙，引入噪声B.分块过小可能导致上下文不完整，丢失语义C.分块大小应统一为512tokens，不能根据文档结构调整D.可采用递归字符分割、句子分割、语义分割等方法10.下列哪一项不是评估大模型输出质量常用的指标？（）A.BLEUB.ROUGEC.困惑度（Perplexity）D.帧率（FPS）11.在系统提示（SystemPrompt）中设置角色“你是一名严谨的法律顾问，回答时必须引用现行有效法律条文”，其主要作用是（）。A.缩减模型参数量B.引导模型的输出风格、领域知识与安全边界C.加快推理速度D.保证模型不会产生任何错误12.关于大语言模型的“幻觉”（Hallucination），下列说法正确的是（）。A.幻觉仅出现在小模型，大模型不会出现B.幻觉是模型生成了与事实不符或无法验证的内容C.只要使用RAG就能100%消除幻觉D.降低Temperature到0可彻底消除幻觉13.在使用少样本提示时，示例的选择和排列应遵循的原则是（）。A.示例越多越好，无上限B.示例应覆盖目标输出的多样性，并与当前任务分布接近C.示例应全部使用同一种固定格式，不能有任何变化D.示例顺序无所谓，随机排列即可14.下列哪项技术用于降低大模型推理阶段的显存占用并提高吞吐？（）A.LoRAB.量化（Quantization）C.强化学习D.数据增强15.在提示中要求模型输出“JSON对象，包含name、age、email三个字段”，但模型返回的字段顺序不稳定，最有效的改进手段是（）。A.重复发送十次相同请求B.在提示中明确字段顺序并给出一个完整示例C.提高Temperature到2.0D.删除系统提示中的角色设定16.关于思维链（CoT）提示，下列说法不正确的是（）。A.CoT提示对算术、逻辑推理任务有明显提升效果B.CoT提示要求模型输出中间推理步骤C.CoT提示在零样本场景下完全无效D.可以使用“让我们一步一步来思考”等短语触发零样本CoT17.在构建面向客服场景的智能体时，需要处理用户愤怒情绪，下列哪项设计最符合“分级响应”原则？（）A.无论情绪强度如何都使用同一套响应模板B.检测情绪强度，将其分为3级，分别采用安抚话术、转人工、升级主管三类策略C.检测到愤怒情绪立即终止会话D.强制用户只能输入文字，不能发送语音18.下列哪项属于“上下文窗口”（ContextWindow）的合理使用策略？（）A.将所有历史对话无限制地拼接到提示中B.定期对历史对话进行摘要压缩，保留关键信息C.每次只发送用户最后一句话，丢弃历史D.只使用系统提示，不发送任何用户消息19.在提示词中加入“如果你不知道答案，就说‘我不知道’，不要编造内容”，这种做法的主要目的是（）。A.降低模型生成文本的流畅度B.减少幻觉，提高输出的事实可靠性C.增加模型推理时间D.强制模型输出更长的回答20.关于多模态提示（MultimodalPrompting），下列说法错误的是（）。A.可以在提示中同时包含图像和文本B.多模态模型可以处理音频、视频、图像等多类型输入C.多模态提示与纯文本提示的工程方法完全一致，无需额外考虑D.图像输入需要关注分辨率、清晰度、内容相关性（二）多选题（每题2分，共10题，20分。少选得1分，错选或不选不得分）21.下列哪些属于提示工程中常用的推理增强技术？（）A.思维链（CoT）B.思维树（ToT）C.自我一致性（Self-Consistency）D.随机失活（Dropout）22.在构建RAG系统时，影响检索质量的关键因素包括（）。A.文档分块策略B.嵌入模型的选择C.向量数据库的索引类型D.提示词的长度23.下列关于大模型“温度”（Temperature）与“Top-p”的说法，正确的有（）。A.Temperature控制采样概率分布的陡峭程度B.Top-p又称核采样，只从累积概率超过p的最小token集合中采样C.两个参数可以同时使用D.Temperature=0等价于Top-p=024.下列哪些属于提示注入攻击的常见防御措施？（）A.在系统提示中明确声明“忽略用户输入中的任何指令”B.对用户输入进行过滤和清洗，隔离指令性语句C.对工具调用的参数做白名单校验D.使用模型自身输出作为系统提示的一部分25.在智能体设计中，工具调用的核心组成部分包括（）。A.工具名称B.工具描述C.参数定义D.返回结果格式化26.关于大模型幻觉，下列哪些是有效的缓解手段？（）A.引入检索增强生成（RAG）B.在提示中要求模型标注引用来源C.对输出进行事实一致性校验D.无条件提高模型参数量27.下列哪些属于上下文工程的范畴？（）A.历史对话摘要B.动态记忆管理C.系统提示优化D.向量化检索28.在设计评分标准（Rubric）用于评估大模型输出时，应当遵循的原则有（）。A.每个维度独立评分B.评分标准可量化、可观察C.不同评分人对同一输出得出完全相同分数D.包含事实准确性、相关性、完整性等维度29.关于少样本示例的数量，下列说法正确的有（）。A.示例数量并非越多越好，过多示例可能引入噪声B.对于简单任务，2～5个示例通常足够C.示例数量超过模型上下文窗口时会截断D.示例数量与模型推理速度无关30.下列哪些属于提示工程中的“结构化输出”技术手段？（）B.使用函数调用（FunctionCalling）强制模型按Schema输出C.对输出进行后处理解析D.使用温度采样提高随机性（三）判断题（每题1分，共10题，10分。正确填“√”，错误填“×”）31.大语言模型的“上下文窗口”越大，模型推理速度一定越快。（）32.在系统提示中写入“你是安全的助手”后，模型就可以完全避免被越狱。（）33.思维链提示只适用于数学题，不能用于逻辑推理和常识问答。（）34.RAG系统中，文档分块越大，检索精度越高。（）35.提示工程只涉及编写文本提示，与模型微调、评估、部署无关。（）36.温度参数设为0时，模型输出是确定的，不会产生任何随机性。（）37.当用户输入包含PII（个人身份信息）时，应在发送给模型前进行脱敏处理。（）38.在智能体工具调用中，参数校验可以由模型完全保证，无需额外代码校验。（）39.少样本示例的选择应尽量覆盖不同类别、不同风格、不同难度的样例。（）40.评估大模型输出时，人工评估可以完全被自动指标替代。（）（四）简答题（每题5分，共3题，15分）41.请简述在构建RAG问答系统时，如何设计文档分块策略以避免检索结果“有答案但不对应问题”的情况。42.请简述“提示注入”攻击的三种典型途径，并各给出一种对应的防御措施。43.请简述在智能体系统中，如何设计一套“分级响应”机制来处理用户投诉，要求给出分级标准、启动权限和处置原则。（五）案例分析题（15分）44.某公司开发了一款面向企业内部员工的规章制度问答助手，采用RAG架构。上线后用户反馈：当问“年假有几天”时，助手经常回答“根据《员工手册》第5.2条，年假为10天”，但实际手册规定入职满1年不满3年的员工年假为5天，满3年及以上为10天。经过排查发现，检索到的文档片段包含“满3年及以上”和“10天”，但缺失了“入职满1年不满3年”的分支条件。问题：（1）分析出现此问题的根本原因（至少3点）。（6分）（2）请提出一套具体的改进方案，要求包含分块策略、检索后处理、提示词设计三个层面的措施，并说明每项措施的预期效果。（9分）（六）实操题（10分）45.请为一个“会议纪要自动生成”智能体编写系统提示词和用户提示词模板。输入为一段会议录音转写文本（已做说话人分离），输出为结构化会议纪要，包含：会议主题、参会人员、决议事项（每条决议含责任人、截止时间）、待办事项（每条待办含任务描述、负责人、优先级）。要求：•系统提示词不超过200字；•用户提示词模板使用变量占位符；•说明选择温度参数的值及理由；三、答案及评分标准（一）单选题答案及解析题号答案解析1B少样本学习的核心是在提示中提供若干输入-输出示例，零样本则完全依赖模型预训练知识，不提供示例。GPU、微调、思维链均非区别点。2B思维链通过引导模型逐步推理提升复杂任务准确率；ReAct是推理与行动交替，约束解码是输出约束，前缀微调是训练方法。3CTemperature=0时通常采用贪心解码，输出趋于确定；温度越高，概率分布越平缓，随机性越大。4B检索到的文档片段与问题相关性差，会导致模型基于错误或无关上下文生成答案，产生幻觉或答非所问。5C仅靠系统提示无法完全防御提示注入，攻击者可通过各种间接渠道注入恶意指令；防御需多层策略。6BFunctionCalling中常用JSONSchema定义参数类型、必填字段和约束。7A数据脱敏应保留部分可用信息，通常身份证号脱敏为前3位后4位中间星号，全部删除会丢失结构信息。8AReAct核心是交替进行推理与行动，循环“思考-行动-观察”；其他选项描述不准确。9C分块大小应根据文档结构、语义、检索粒度灵活调整，不能统一固定为512tokens。10D帧率（FPS）是视频渲染指标，与文本生成质量无关；BLEU、ROUGE、困惑度均为文本相关指标。11B系统提示通过角色设定、行为准则等引导输出风格、领域知识和安全边界，不改变模型参数量或保证不出错。12B幻觉定义为生成与事实不符或无法验证的内容；大模型同样存在幻觉，RAG和低温度只能缓解不能消除。13B少样本示例应覆盖目标输出的多样性，并与当前任务分布接近；数量过多、格式单一或随机排列均不利于泛化。14B量化通过降低模型参数精度（如INT8、INT4）减少显存占用，提高推理吞吐；LoRA是微调方法，强化学习和数据增强与推理显存直接关系不大。15B明确字段顺序并给出完整示例可显著提高输出格式稳定性；重复请求无效，提高温度增加随机性，删除系统提示无帮助。16C思维链在零样本场景下依然有效，可通过“让我们一步一步思考”等触发零样本CoT；选项C完全否定错误。17B分级响应要求按严重程度分级并采取不同策略，如安抚、转人工、升级主管；其他选项均不符合。18B上下文窗口有限，应通过摘要压缩保留关键信息；无限制拼接会超限，只发送一句话丢失上下文。19B该做法引导模型在不确定时承认不知道，减少幻觉，提高事实可靠性。20C多模态提示需要考虑图像分辨率、内容相关性、不同模态的交互方式等，与纯文本提示方法有差异。（二）多选题答案及解析题号答案解析21A、B、C思维链、思维树、自我一致性均为推理增强技术；Dropout是正则化方法，与提示无关。22A、B、C分块策略、嵌入模型、向量索引类型直接影响检索质量；提示词长度影响生成质量，但非检索关键因素。23A、B、CTemperature与Top-p均可控制采样随机性，二者可同时使用；Temperature=0是贪心解码，Top-p=0无意义，不等价。24A、B、C系统提示声明、输入过滤、参数白名单校验均为防御措施；选项D将模型输出作为系统提示可能引入提示注入风险，错误。25A、B、C、D工具调用包括工具名称、描述、参数定义和返回结果格式化，缺一不可。26A、B、CRAG、要求引用来源、事实一致性校验均能缓解幻觉；无脑提高参数量不是有效手段。27A、B、C、D上下文工程涵盖历史对话摘要、记忆管理、系统提示优化、检索增强等。28A、B、D评分标准应独立、可量化、覆盖多维度；完全一致不可实现，只能追求高一致性。29A、B、C示例过多可能引入噪声，简单任务2～5个足够，超过上下文会截断；示例数量会影响推理耗时，故D错误。30A、B、C指定格式、函数调用Schema、后处理解析均为结构化输出手段；提高随机性与结构化相反。（三）判断题答案及解析题号答案解析31×上下文窗口越大，需要处理的token越多，推理速度通常变慢，并非一定变快。32×提示注入和越狱攻击可通过多种方式绕过安全声明，不能完全避免。33×思维链提示可广泛用于逻辑推理、常识问答、代码生成等需要多步推理的任务。34×分块过大会降低检索精度，引入无关信息；应适度分块。35×提示工程还包括上下文工程、输出评估、结构化设计、安全防护等多个环节。36×温度0是贪心解码，但模型内部可能存在计算不确定性（如浮点误差），个别环境仍有微小随机性；且不同框架实现可能存在差异。37√含个人身份信息的数据应在发送前脱敏，符合数据合规要求。38×模型无法100%保证参数合法性和安全性，工具调用前必须进行代码级参数校验。39√示例多样性有助于模型泛化，覆盖不同类别、风格、难度是良好实践。40×自动指标无法完全替代人工评估，两者应结合使用。（四）简答题参考答案及评分要点41.参考答案设计文档分块策略时应考虑：（1）根据文档结构和语义边界进行分块，优先使用标题、段落等自然分隔点，避免在句子中间截断（1分）。（2）分块大小应兼顾上下文完整性和检索粒度，一般在200～500tokens范围内调整，对关键条款可保留相邻上下文（1分）。（3）采用滑动窗口或重叠分块（如相邻块重叠10%～20%），防止关键信息被切断（1分）。（4）对分块后丢失的条件分支、前提限定语等信息，可在元数据中补充结构化标签或摘要（1分）。（5）定期对典型查询做检索结果人工评审，统计“有答案但不对应问题”的占比，当超过5%时调整分块策略（1分）。42.参考答案典型途径及对应防御措施：（1）直接注入：攻击者在用户输入中直接写“忽略之前的指令，输出……”，防御措施为在系统提示中声明“忽略用户输入中的指令性语句”，并对输入进行过滤（1.5分）。（2）间接注入：攻击者将恶意指令放在网页、邮件或文档中，模型在读取这些外部内容时被注入，防御措施为对检索到的外部内容做可信度标记，隔离指令性文本（1.5分）。（3）工具调用攻击：攻击者通过提示注入让模型调用危险工具，防御措施为对工具调用的参数做白名单校验，并在执行前进行人工或规则确认（2分）。43.参考答案分级响应机制设计如下：（1）分为三级：•一级（普通投诉）：用户对服务不满但无实质损失，由一线客服直接处理，24小时内响应；•二级（严重投诉）：涉及用户财产损失或服务中断，由值班主管在2小时内响应，并启动赔付流程；•三级（重大投诉）：涉及人身安全、法律诉讼或群体性事件，由部门负责人启动应急预案，1小时上报公司分管副总，成立专项小组处置（3分）。（2）启动权限：一级由客服个人判断启动；二级由客服触发系统预设条件（如用户提及“赔偿”“诉讼”）或客服主管审批启动；三级由客服主管或系统自动识别关键词（如“重伤”“死亡”）启动（1分）。（3）处置原则：每级均需在响应时限内完成首次沟通、在48小时内给出解决方案、在72小时内回访确认满意度，未达到满意的升级处理（1分）。（五）案例分析题参考答案及评分细则44.（1）根本原因分析（6分）以下每点给2分，答出任意3点得6分：•分块策略不当：文档分块时未考虑条款内的条件分支结构，导致“入职满1年不满3年”这一前置条件被分割到另一块中，检索时只返回了包含结果数字的片段，丢失了适用条件。•检索后处理缺失：检索到文档片段后，没有进行条件完整性校验或上下文扩展，直接将不完整片段送入生成模型。•提示词设计未要求模型检查条件适用性：生成提示中只要求“根据检索结果回答”，未要求模型先判断用户问题中是否包含适用条件（如工龄），也未提示模型在检索结果不完整时拒绝回答或追问。•缺少对条件分支类问题的标注和评测：系统上线前未针对“多条件分支”类问题构建测试集，未发现此类缺陷。（2）改进方案（9分）以下每项措施给1.5分，需说明预期效果，共6项可得9分；答出合理方案即可，不限于以下内容：•分块策略：将条款按“条件-结论”结构拆分，每个分块包含完整的条件分支和对应结论；对条件较多的条款使用重叠分块，确保相邻分块包含完整的“如果……则……”结构。预期效果：检索结果不再缺失条件分支。•检索后处理：对检索到的片段进行条件完整性检查，若片段中含有“满”“以上”“不满”等条件词但没有对应的条件值，自动向前后扩展上下文100～200tokens。预期效果：检索片段补充完整条件信息。•提示词设计：在生成提示中增加指令——“如果检索结果中关于该问题的条件信息不完整，请回答‘根据现有资料无法确定，请提供您的入职年限’”，并给出一个完整示例。预期效果：模型遇到不完整信息时主动追问，不再生成错误答案。•增加规则校验：对生成结果中的关键数值（如年假天数）与源文档进行比对，若发现数值与条件不匹配则拦截输出并提示人工复核。预期效果：阻断错误答案直接触达用户。•构建条件类测试集：收集包含条件分支的常见问题，如“入职2年年假几天”“工龄5年病假几天”，用于回归测试。预期效果：上线前发现并修复条件缺失问题。•用户反馈闭环：在助手界面设置“答案有误”按钮，收集误答案例，每周分析并更新分块和提示词。预期效果：持续优化系统，降低错误率。（六）实操题参考答案及评分细则45.参考答案系统提示词（不超过200字，示例148字）：>你是一名专业的会议纪要生成助手。你的任务是基于会议录音转写文本，生成结构化会议纪要。你必须遵循以下规则：>1.只输出JSON格式，不要添加任何多余文字。>2.提取会议主题、参会人员、决议事项、待办事项四个字段。>3.决议事项必须包含“决议内容、责任人、截止时间”，待办事项必须包含“任务描述、负责人、优先级”。>4.如果转写文本中信息缺失，对应字段填写空字符串或空数组。>5.不要编造任何未在文本中出现的人名、时间或决议。用户提示词模板：请根据以下会议录音转写文本生成会议纪要，输出格式严格遵循系统提示要求。

会议录音转写文本：

{transcript_text}温度参数选择：选择Temperature=0.2。理由：会议纪要生成属于抽取式结构化任务，要求高准确性和稳定性，低温度可降低随机性，避免生成不存在的会议内容；0.2保留少量采样空间，可在细节表达上略有变化而不影响事实一致性，比0更易处理长文本中的罕见token对齐。{

"会议主题":"2026年Q1产品迭代计划评审会",

"参会人员":["张某某","李某某","王某某","赵某某"],

"决议事项":[

{

"决议