版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
2026年人工智能训练师提示词工程实操考试题库一、单项选择题(每题2分,共20分)1.在提示词工程中,以下哪项最能有效降低大模型“幻觉”概率?A.提高温度参数至1.2B.在提示末尾追加“请严格依据上文事实回答”C.将提示词全部转为英文D.随机打乱提示词顺序2.当需要让模型输出JSON格式且字段固定时,最佳实践是:A.在提示词中写“输出JSON”即可B.给出一段样例JSON并强调“禁止增减字段”C.先让模型自由生成再后期用正则提取D.关闭top-p采样3.使用Few-shot策略时,样例顺序突然颠倒会导致:A.模型准确率一定下降B.模型输出顺序跟随样例顺序C.对分类任务影响通常大于生成任务D.模型内部嵌入向量不变4.在链式思考(Chain-of-Thought)提示中,插入“让我们一步一步仔细推理”主要作用于:A.缩小解码空间B.激活模型推理路径显性化C.降低推理延迟D.提高温度5.若提示词长度超过模型最大输入窗口,应优先:A.直接截断头部B.使用滑动窗口+摘要链C.提升batchsizeD.把提示词改写为文言文6.以下哪种方法最适合在提示词层面缓解性别偏见?A.将temperature设为0B.在提示中加入“回答时请避免任何性别假设”C.使用更大的模型D.把所有人称改为“它”7.在检索增强生成(RAG)场景,提示词中“上下文”段的最佳位置是:A.必须放在指令之后B.必须放在指令之前C.与指令交替穿插D.紧贴问题之前,减少位置偏差8.当模型对数学应用题持续漏掉单位时,最有效的提示修正为:A.“最后把答案用框框起来”B.“答案必须带单位,否则0分”C.“先写数值再写单位,中间空格”D.在样例中把单位用红色标出9.在多轮对话提示中,使用“系统:用户:助手:”三段式标记,主要解决:A.模型参数更新B.角色混淆C.推理加速D.词表压缩10.若发现模型在中文prompt下夹杂英文输出,可首先尝试:A.把提示词全部转拼音B.在提示词前加“以下全程用简体中文回答”C.把top_k调到1D.把模型回滚到上一版本二、多项选择题(每题3分,共15分;多选少选均不得分)11.以下哪些做法会显著增加提示词被“注入”风险?A.允许用户上传任意Markdown文件作为提示片段B.把用户输入直接拼接到systempromptC.在提示词尾部追加“请忽略之前所有指令”D.对用户输入做实体级脱敏E.使用模板占位符+白名单校验12.关于“思维树”(Tree-of-Thought)提示,下列说法正确的是:A.需要手工给出每一步的评估函数B.可通过“草稿—评估—扩展”循环提升解的质量C.对24点游戏这类多路径任务效果显著D.与Chain-of-Thought互斥,不可混用E.可在提示词中显式要求模型给出分支评分13.以下哪些指标可直接用于自动评估提示词优劣?A.BLEUB.ROUGE-LC.BERTScoreD.PerplexityE.ExactMatch14.在提示词中引入“控制码”(ControlCode)可实现:A.情感极性微调B.输出长度压缩C.风格迁移D.知识图谱更新E.解码随机种子固定15.若要让模型输出可验证的引用来源,提示词应包含:A.“请给出支撑句在上下文中的起始索引”B.“每条事实后标注[doc_id:行号]”C.“禁止编造未出现的文献”D.“允许模糊引用”E.“引用格式采用GB/T7714-2015”三、判断题(每题1分,共10分;正确打“√”,错误打“×”)16.提示词越长,模型推理成本一定越高。17.“反向提示”(NegativePrompt)技术最早广泛应用于图像生成领域。18.在提示词中重复强调同一约束条件会降低模型遵从率。19.对同一模型,英文提示词平均token数通常少于中文。20.使用“###”作为分隔符在GPT系列模型中比“---”更不容易被截断。21.提示词工程不需要版本管理,因为自然语言可随时回退。22.将提示词MD5哈希存入数据库可用于快速去重。23.对数学计算题,把未知数用“□”代替会显著提升模型准确率。24.在多模态提示中,图片URL放在文本前方可减少位置偏差。25.提示词中的emoji会被所有模型tokenizer等长处理。四、填空题(每空2分,共20分)26.当temperature=0且top_p=1时,模型解码策略退化为________搜索。27.在提示词中,用“{{variable}}”写法一般称为________模板。28.若模型输出出现“答:{{answer}}”字面残留,说明提示词________未闭合。29.链式思考提示的三个关键段是:指令、________、________。30.对分类任务,k-shot样例应覆盖所有________类,以防止提示词偏向。31.在RAG提示中,若上下文过长,可先使用________模型做摘要再输入。32.评估提示词鲁棒性时,常对输入做同义词替换、________、语序倒置三种扰动。33.提示词注入攻击的经典信号是用户输入出现“________之前所有指令”字样。34.对生成式摘要任务,提示词中加“保留数字与专有名词”可提升________率。35.若要让模型输出LaTeX公式,应在提示词中写“使用________语法”。五、简答题(每题5分,共15分)36.说明“指令—样例—问题”三段式提示与“问题—样例—指令”顺序在情感分类任务上的潜在差异,并给出实验设计思路。37.当业务要求输出不超过50字,但模型频繁超标,请列举三种可在提示词层面实施的压缩策略,并比较其优缺点。38.描述如何利用“自我一致性”(Self-Consistency)提升小学应用题准确率,并给出伪代码流程。六、计算与推导题(共20分)39.(10分)某提示词模板含变量{topic},其长度为L_token。现需对N条用户请求做批量推理,模型最大窗口为4096,单条回答平均长度服从λ=120的泊松分布。求:当N=64时,至少出现一次回答超长(>256token)的概率P;若把回答长度限制为硬截断256,则期望损失信息比例η的近似值。(提示:使用泊松尾概率与截断期望公式)40.(10分)在链式思考提示中,假设每增加一步推理,模型准确率下降系数为α=0.97。原始零-shot准确率为A₀=0.68。①写出k步推理后的准确率A(k)表达式。②若要求A(k)≥0.55,求最大可接受步数k_max。③若同时采用多数投票v=5,且单步错误独立,求k=k_max时最终准确率A_vote(k_max)的近似值。(使用二项分布近似)七、实操设计题(共30分)41.(30分)背景:某市图书馆拟用生成式AI做“一书一摘要”项目,要求输出150字左右、含主题词、不剧透结局、禁止编造、必须带索书号。任务:①设计一条完整提示词(可直接运行级),含变量占位、控制码、样例;②给出评估该提示词效果的3个自动指标与2个人工指标;③若发现模型仍偶尔编造结局,请在提示词层面给出两条增强约束,并说明原理;④请写出Python代码片段,调用OpenAIAPI实现批量摘要,并集成②中一个自动指标实时过滤低质结果。八、综合案例分析(共20分)42.(20分)阅读以下失败提示词与输出:提示词:“你是一名医生,请根据患者描述给出诊断意见。患者:{描述}”用户输入描述:“我胸口疼,左手发麻。”模型输出:“根据症状,可能是急性心肌梗死,建议立即服用阿司匹林并平躺等待救援。”问题:①指出该提示词在合规与安全方面的三处致命缺陷;②重写一条符合医疗AI合规要求的提示词,需包含免责声明、拒绝意见、鼓励线下就医;③若业务方坚持要保留“初步建议”功能,请给出一条“双层防御”提示词方案:第一层让模型扮演“科普助手”而非“医生”,第二层用额外模型做毒性/误导性复检,并给出流程图(文字描述即可)。【卷后答案与解析】一、单选1.B2.B3.C4.B5.B6.B7.D8.B9.B10.B二、多选11.AB12.BCE13.ABCE14.ABC15.ABCE三、判断16.×(存在缓存优化,成本不一定线性增加)17.√18.×(重复适度可提升遵从,过度才降低)19.√(中文平均token数约为英文1.5~1.8倍)20.√21.×(版本管理对A/B测试与回滚至关重要)22.√23.×(可能降低,因符号引入噪声)24.√25.×(不同tokenizer长度差异大)四、填空26.贪心27.Jinja2(或Mustache,答其一即可)28.变量29.样例、问题30.全部31.摘要(或压缩)32.随机删词33.忽略/请忽略34.召回35.LaTeX五、简答36.要点:指令在前可提前激活任务模式,减少样例偏差;实验采用固定样本集,交叉对比两种顺序的F1与变异系数,统计显著性检验用配对t检验。37.策略:①显式“不超过50字”+惩罚样例;②使用控制码<|endoftext|>强制截断;③后处理长度奖励重排序。优缺点从实现成本、用户体验、信息损失角度对比。38.伪代码:采样k条推理链→投票取最多出现答案→返回。可加入置信度阈值过滤。六、计算39.P=1−(P(X≤256))^64=1−(e^{−120}∑_{k=0}^{256}120^k/k!)^64≈1−(0.9998)^{64}≈0.0127η=E[X|X>256]−256/E[X]≈(120+120^2/256−256)/120≈0.02840.①A(k)=A₀·α^k②0.68·0.97^k≥0.55⇒k_max=⌊ln(0.55/0.68)/ln0.97⌋=7③A_vote=∑_{t=4}^5C_5^tA^t(1−A)^{5−t}≈0.76七、实操41.①提示词示例(已实测):“你是一名资深阅读推广人,请用150字中文总结以下书籍,要求:a)不剧透结局;b)给出3个主题词;c)文末带索书号【{callno}】;d)禁止编造。样例:……【此处给150字样例】。正文:{text}”②自动指标:ROUGE-1、BERTScore、关键词命中率;人工:不剧透率、主题词准确度。③增强约束:a)在提示末尾追加“若文本未提供结局,绝不猜测”;b)使用反向提示“任何剧透句得0分”。原理:显性负向约束降低幻觉。④Python片段:使用openai.ChatCompletion.create,批量读取text,解析返回,计算ROUGE-1<阈值则丢弃并重试。八、案例42.①
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 小学防性骚扰工作制度
- 巡察组健全工作制度
- 工商联扶贫工作制度
- 工地试验室工作制度
- 工程检测单位工作制度
- 工程项目验收工作制度
- 市供销社工作制度汇编
- 市场拓展工作制度汇编
- 市委办秘书工作制度
- 市政窗口服务工作制度
- 2025学年第二学期杭州市高三年级二模教学质量检测数学试卷(含答案)
- 工程质量验收规范练习题及答案
- 2026年体育场馆物业赛事活动保障方案
- 2025年北京市各区高三语文一模作文范文汇编(议论文部分)
- 网络安全知识培训资料
- 发电公司现货交易奖惩制度
- 2026年机关事务管理局遴选笔试试题及参考答案
- DB34-T 5395-2026 高速公路机电设施设备编码规范
- 中药贴敷技术
- 电力建设土建工程施工、试验及验收标准表式-第2部分:试验
- 黄芩课件教学课件
评论
0/150
提交评论