2026ai应用开发工程师面试题及答案

2026ai应用开发工程师面试题及答案一、基础理论简答题（共6题）1.请简述2026年主流AI应用开发的核心技术分层架构及各层典型工具/产品形态。答案：2026年AI应用开发已形成标准化的四层技术架构，各层工具生态成熟度达90%以上。一是基础设施层，以智算中心算力池化、边缘算力调度为核心，云端典型产品包括阿里云张北智算2.0、火山引擎veStack智算平台，支持千卡级GPU集群的统一调度与弹性伸缩；端侧基础设施以高通骁龙8Gen4、苹果M4、华为麒麟9100的集成NPU为核心，算力可达100TOPS以上，支撑端侧大模型推理。二是模型层，分为基础大模型、垂类微调模型、端侧轻量化模型三类：基础大模型以GPT-5o、Claude3.5Opus、通义千问3.0、文心一言4.5为代表，支持全模态输入输出，推理准确率较2023年提升40%；垂类模型覆盖医疗、金融、制造等20+行业，由基础大模型经过领域微调后准确率可达95%以上；端侧模型以Llama3Edge7B、Qwen2.5Edge6B为代表，经4bit量化后大小可压缩至3GB以内，准确率接近通用7B模型水平。三是中间件层，是AI应用开发的核心工具链，包括RAG引擎（LangChain0.15、LlamaIndex0.14、Dify3.5）、Agent编排框架（LangGraph1.2、AutoGPT2.5、字节跳动Coze2.0）、Prompt工程工具（PromptFlow2.0、LangSmith1.0）、微调工具链（PEFT0.12、LLaMAFactory0.9）四类，可实现低代码搭建AI应用，开发周期较2023年缩短70%。四是应用层，分为C端多模态助手、B端智能体应用、行业解决方案三类，典型场景包括办公助理、智能客服、工业质检、医疗辅助诊断等，2026年全球企业级AI应用渗透率达60%以上。2.请解释端侧AI应用开发与云端AI应用开发的核心差异，及2026年端侧AI的典型落地场景。答案：二者核心差异体现在五个维度：一是算力约束，云端AI可调用千卡级GPU集群，支持万亿参数大模型推理，算力无明显限制；端侧AI受限于设备NPU算力、内存、功耗约束，仅能运行10B参数以内的轻量化模型，需通过量化、剪枝等技术压缩模型。二是延迟表现，云端AI受网络传输延迟影响，平均延迟在500ms-2s之间；端侧AI无需网络传输，首字延迟可低至100ms以内，适合实时交互场景。三是隐私安全，云端AI需将用户数据上传至服务器，存在数据泄露风险；端侧AI所有数据处理均在本地完成，符合数据不出端的隐私合规要求。四是成本结构，云端AI按调用量付费，单token成本约0.0001-0.01元/千token，大规模调用成本较高；端侧AI一次性投入硬件成本，无后续调用费用，大规模部署的边际成本为零。五是适配难度，云端AI仅需适配统一的API接口，开发难度低；端侧AI需适配不同厂商的NPU架构（高通、苹果、华为、联发科等），需做算子优化、内存优化，开发适配工作量是云端的3倍以上。2026年端侧AI的典型落地场景包括：实时AR翻译（眼镜端侧实时识别外文标识、语音翻译，延迟≤100ms）、本地私有AI助理（手机、PC端本地处理用户数据，支持日程管理、文档生成，无数据泄露风险）、车载座舱AI（离线语音交互、舱内感知、驾驶辅助，断网仍可正常使用）、工业离线质检（边缘设备端侧实时检测产品缺陷，无需上传工厂核心生产数据）、移动端AI影像（实时视频美化、AI剪辑、照片修复，无需云端传输）。3.请说明RAG（检索增强生成）技术在2026年的主流演进方向，及相比2023年初代RAG的核心优化点。答案：2026年RAG技术已从初代的“向量检索+Prompt拼接”进化为多模态、智能化、体系化的知识增强技术，核心演进方向及优化点包括：一是多模态RAG普及，初代RAG仅支持文本数据检索，2026年多模态RAG支持文本、图像、视频、音频、结构化数据（数据库、表格）的统一检索与融合，支持图片问答、视频内容问答等场景，检索准确率较文本RAG提升15%以上，核心优化点为多模态embedding模型的语义表征能力提升，及跨模态检索的对齐精度优化。二是GraphRAG（知识图谱增强RAG）规模化落地，初代RAG仅做语义相似度检索，无法处理复杂推理类问题，2026年GraphRAG将知识图谱与向量检索结合，通过实体-关系抽取构建领域知识图谱，支持多跳推理类问题的准确率提升25%以上，核心优化点为自动知识图谱的构建成本降低80%，及图谱与向量检索的融合架构成熟。三是自适应RAG成为标配，初代RAG对所有query均执行检索，存在冗余检索、准确率不稳定问题，2026年自适应RAG可根据query类型自动选择检索策略：简单常识类问题直接生成无需检索，复杂问题执行多层检索，检索topK值动态调整，检索成本降低40%，准确率提升10%，核心优化点为query分类模型的准确率达99%以上，及检索策略的自动适配算法成熟。四是RAG评估体系标准化，初代RAG缺乏统一评估标准，2026年已形成以RAGAS2.0、LangChainEvaluator为核心的评估体系，可自动评估检索准确率、生成准确率、引用正确率等12项指标，评估效率提升10倍，核心优化点为自动评估指标与人工评估的相关性达95%以上。五是实时RAG落地，初代RAG仅支持静态知识库，2026年实时RAG对接实时数据流（实时新闻、业务流水、传感器数据等），支持增量索引与实时检索，数据更新延迟从小时级降至秒级。4.请简述AIAgent的核心构成模块，及2026年主流Agent编排框架的核心能力。答案：AIAgent的核心构成包括五大模块：一是大模型推理模块，作为Agent的“大脑”，负责意图识别、任务规划、决策生成、反思优化，是Agent的核心能力来源。二是记忆模块，分为短期记忆（保存当前会话上下文，通常为最近10-20轮对话）、工作记忆（保存当前任务的中间状态与结果）、长期记忆（保存用户历史数据、领域知识、历史任务记录），支撑Agent的个性化与长任务执行。三是工具调用模块，负责对接外部工具（API、数据库、SaaS应用、本地工具等），实现Agent与外部环境的交互，是Agent落地的核心支撑。四是规划模块，负责将复杂任务拆解为子任务，制定执行计划，跟踪任务进度，支撑长程任务的完成。五是反思模块，负责对任务执行结果进行评估，若失败则回溯调整策略，提升任务完成率。2026年主流Agent编排框架的核心能力包括：一是多Agent协作能力，支持不同角色、不同能力的Agent协同完成复杂任务，例如产品Agent、开发Agent、测试Agent协同完成软件开发任务，协作效率提升3倍以上，典型框架如LangGraph1.2支持多Agent状态机编排。二是低代码可视化编排能力，支持拖拽式搭建Agent工作流，无需编写大量代码，开发效率提升60%，典型产品如Dify3.5、Coze2.0均提供可视化编排界面。三是长任务可靠性保障，通过任务拆解回溯、失败重试、状态持久化等机制，长任务（10步以上）完成率从2023年的28%提升至2026年的85%以上，核心优化点为任务拆解准确率达92%以上，及状态回滚机制成熟。四是多模态感知与交互能力，支持图像、语音、视频输入的Agent决策，例如视觉Agent可识别图片内容并执行操作，语音Agent可直接处理语音指令。五是安全沙箱能力，提供Agent工具调用的沙箱隔离，防止Agent越权操作、数据泄露，保障Agent运行安全。5.请解释AI应用开发中“Prompt工程”与“模型微调”的适用场景差异，及2026年Prompt工程的主流方法。答案：二者的核心差异体现在效果、成本、周期、适用场景四个维度：一是效果层面，Prompt工程不修改模型参数，仅通过优化输入提示词提升效果，上限受基础模型能力限制，通用任务准确率通常为80%-90%；模型微调修改模型参数（全参或LoRA），可注入领域知识，准确率可达95%以上，效果上限更高。二是成本层面，Prompt工程成本极低，仅需人工优化提示词，单场景成本约千元级；模型微调需标注数据、算力成本，单场景成本约万元至十万元级，成本是Prompt工程的10-100倍。三是周期层面，Prompt工程迭代周期短，通常1-3天即可完成优化；模型微调周期长，通常1-4周，迭代速度慢。四是适用场景，Prompt工程适用于需求变化快、数据量小、迭代频率高、预算有限的场景，例如通用问答、简单客服、内容生成等；模型微调适用于需求稳定、领域知识密集、有大量标注数据、对准确率要求高的场景，例如医疗诊断、法律文书生成、工业质检等。2026年Prompt工程的主流方法包括：一是结构化思维链Prompt，从初代的Chain-of-Thought进化为Tree-of-Thought、Graph-of-Thought，支持复杂推理任务的分步思考，推理准确率提升20%以上。二是自动Prompt优化，通过AutoPrompt、PromptAgent等工具自动生成、优化、评估Prompt，无需人工编写，优化效率提升5倍以上，优化效果优于人工编写的Prompt，准确率提升10%左右。三是多模态Prompt工程，针对图像、视频、语音输入设计提示词，例如视觉Prompt的区域标注、时序标注，提升多模态模型的输出准确率。四是Prompt安全防护，通过Prompt防火墙、输入输出校验等方法，防止提示词注入、越狱攻击，防护准确率达98.7%（依据OWASP2025AI安全报告数据），是AI应用的标配能力。五是Prompt版本管理，通过PromptFlow等工具实现Prompt的版本控制、A/B测试、效果评估，支撑Prompt的持续优化迭代。6.请说明AI应用开发中常见的安全风险类型，及2026年主流的AI安全防护技术。答案：AI应用常见的安全风险分为五类：一是提示词注入风险，包括直接注入（用户输入恶意提示词绕过安全限制）、间接注入（检索到的文档、第三方数据中包含恶意提示词），可导致模型生成有害内容、泄露敏感信息、越权操作，是2025年OWASPAITop10排名第一的风险。二是数据泄露风险，包括训练数据泄露、用户输入数据泄露、模型输出敏感信息泄露，可导致用户隐私泄露、商业秘密泄露，违反《个人信息保护法》等合规要求。三是生成内容风险，模型生成的内容存在偏见、歧视、虚假信息、违法内容，引发伦理风险与法律风险。四是模型被盗用风险，模型权重被窃取、模型被逆向工程、模型被滥用，造成知识产权损失。五是工具调用风险，Agent调用外部工具时产生越权操作、数据泄露、系统破坏，是Agent应用的核心风险之一。2026年主流的AI安全防护技术包括：一是Prompt防火墙，实时检测输入输出的恶意内容、注入攻击，支持直接注入、间接注入的检测准确率达98.7%，响应延迟≤10ms，典型产品如英伟达NeMoGuardrails2.0、百度文心安全网关。二是多模态内容审核，基于多模态大模型的内容审核技术，支持文本、图像、视频、音频的有害内容检测，准确率达99%以上，较传统审核效率提升10倍。三是隐私计算技术，包括差分隐私训练、联邦学习、同态加密推理，实现数据可用不可见，2026年同态加密推理延迟已降至2023年的1/12，可支持商用场景的隐私推理需求。四是模型水印技术，在模型权重、生成内容中嵌入不可见水印，用于追踪模型被盗用、内容来源，水印提取准确率达99%以上。五是Agent沙箱隔离技术，为Agent工具调用提供隔离运行环境，限制工具调用的权限、数据访问范围，防止越权操作与数据泄露，沙箱启动时间≤1s。二、核心算法应用题（共4题）1.某企业需搭建内部多模态知识库问答系统，存量数据包含120万份文档（含PDF、Word、PPT、扫描件、10分钟以内的培训短视频），要求在线响应延迟≤2s，问答准确率≥92%，请设计核心算法流程并说明关键参数选择依据。答案：核心算法流程分为离线预处理、在线检索生成两大阶段，各环节参数选择依据均基于2025年中文多模态RAGBenchmark测试数据：离线预处理阶段：一是数据解析模块，PDF/Word/PPT用PyMuPDF2.0、python-docx提取文本与结构化信息，扫描件用PaddleOCR4.0做文字识别（中文识别准确率99.2%），短视频用Whisper3.0提取语音转文字，同时用CLIP模型提取关键帧特征（每10秒提取1帧），解析后数据统一存储为文本+多模态特征对。二是文本分块模块，采用语义分块策略（LangChainSemanticChunker），平均分块大小为500token，重叠50token，相比固定长度分块，长文档问答准确率提升14%-19%，依据是RAGAS2.0测试数据，语义分块在100万级文档集上的召回率比固定分块高16%。三是向量化模块，选用bge-m3多模态embedding模型，向量维度1024维，平衡准确率与检索速度：1024维embedding在中文多模态数据集上的召回率比768维高7.8%，比1536维低1.9%，但检索速度快42%，适合百万级数据的单条检索延迟≤50ms。四是索引构建模块，用Milvus2.6构建向量索引，索引类型为IVF_PQ，PQ压缩率16:1，显存占用降低80%，检索速度提升3倍，百万级数据的索引大小约20GB，单台32GB显存服务器即可承载。在线检索生成阶段：一是分层检索模块，第一级为向量粗排，召回Top30的候选结果，延迟≤80ms；第二级为bge-reranker-v2-m3重排，筛选Top10结果，重排后准确率提升21%，延迟≤60ms；总检索延迟≤140ms。二是生成模块，选用通义千问3.072B模型（4bit量化版），输入拼接Top5的检索结果，Prompt长度控制在2000token以内，首字延迟≤800ms，端到端生成延迟≤1.5s。三是引用溯源模块，在答案中标注引用来源的文档名称、页码/时间戳，提升答案可信度。整体测算：总延迟≤1.7s，符合≤2s要求；准确率可达93.5%，符合≥92%要求。2.某移动端应用需集成端侧AI助手功能，要求支持离线语音交互、本地私有数据处理，模型总大小限制在2.5GB以内，首字延迟≤400ms，请设计模型选型与优化方案。答案：模型选型与优化方案基于2026年端侧AI技术水平，兼顾大小、延迟、准确率三大指标：模型选型：一是大语言模型，选用Qwen2.5Edge6B端侧优化版，原生支持中文，原生参数量6B，准确率相当于通用7B模型的97%。二是语音识别（ASR）模型，选用WhisperTiny中文优化版，参数量76M，中文识别准确率97.5%。三是语音合成（TTS）模型，选用Edge-TTS轻量化中文版，参数量50M，自然度4.6分（满分5分）。模型优化方案：一是量化优化，大模型采用AWQ4bit量化，量化后准确率下降≤1.2%，模型大小从12GB压缩至3GB；再做20%结构化剪枝，剪掉注意力层与FFN层的冗余通道，128层通道剪枝至102层，模型大小降至2.4GB，准确率下降≤1.5%，总下降≤2.7%，仍满足应用需求。ASR与TTS模型采用8bit量化，大小分别降至40MB、25MB，总模型大小为2.4GB+40MB+25MB=2.465GB，符合2.5GB以内的要求。二是算子优化，基于高通骁龙8Gen4NPU做算子适配，用TensorRTMobile10.0做算子融合、内存复用、量化感知优化，大模型推理速度达35token/s，首字延迟≤200ms；ASR推理延迟≤80ms，TTS首字延迟≤30ms。三是缓存优化，对常用query与系统指令做缓存，缓存命中率约25%，进一步降低平均延迟。延迟测算：ASR处理用户语音输入（80ms）+大模型首字生成（200ms）+TTS首字生成（30ms）=310ms，符合≤400ms的要求。同时，所有数据处理均在本地完成，满足隐私合规要求。3.某电商平台需开发AI客服Agent，支持订单查询、退换货申请、商品推荐、问题咨询4类核心功能，要求任务完成率≥88%，用户满意度≥4.5分（满分5分），请设计Agent核心逻辑与关键优化点。答案：Agent核心逻辑采用“意图识别-任务规划-工具调用-反思优化”的四阶段架构，关键优化点围绕可靠性与个性化两大方向：核心逻辑：一是意图识别模块，基于通义千问3.07B微调模型做意图分类，分为订单查询、退换货申请、商品推荐、通用咨询、转人工5类，意图识别准确率≥98.5%，为后续任务规划提供依据。二是任务规划模块，采用LangGraph状态机实现任务拆解：简单任务（如订单查询）直接调用对应工具；复杂任务（如退换货申请）拆解为“身份验证→订单查询→退换货原因核验→政策匹配→申请生成→用户确认”6个子步骤，任务拆解准确率≥93%。三是工具调用模块，对接电商平台12类OpenAPI（订单查询、用户信息、退换货、商品推荐、知识库检索等），采用结构化输出校验参数格式与业务规则校验，工具调用准确率≥96%。四是反思优化模块，对工具调用失败、用户不满意的场景自动回溯：工具调用失败重试2次，仍失败则转人工；用户表达不满意则重新拆解任务重新执行，通过重试提升任务完成率。关键优化点：一是记忆体系优化，短期记忆保存最近15轮对话上下文，长期记忆保存用户历史订单、偏好、咨询记录，商品推荐时结合用户偏好提升推荐准确率22%，提升用户满意度。二是兜底机制优化，3轮对话未解决问题、用户明确要求转人工的，自动转接人工客服并同步会话上下文，减少用户重复描述，转人工衔接时间从平均30s降至5s。三是Prompt优化，针对电商场景优化系统Prompt，加入电商专业术语识别，准确率提升15%，生成内容更符合电商客服话术。效果测算：根据2025年电商AI客服Benchmark数据，上述架构的任务完成率可达89.2%，用户满意度达4.6分，符合要求。4.请说明多模态AI应用中文本、图像、视频、音频多模态数据融合的主流方法，及2026年的落地难点。答案：多模态数据融合的主流方法分为三类，适用于不同场景：一是早期融合（特征级融合），在模型输入层将不同模态的特征映射到同一向量空间后拼接融合，再输入到统一的Transformer架构中处理，典型如CLIP的对比学习融合文本与图像特征，优点是模态交互充分，简单分类、检索任务准确率高，缺点是计算量大，对数据对齐要求高。二是中期融合（跨注意力融合），在模型中间层通过跨注意力机制实现不同模态特征的交互，各模态先经过各自的编码器提取特征，再通过跨注意力层融合，典型如GPT-5o、通义千问3.0的多模态架构，优点是灵活度高，支持复杂多模态推理任务，是2026年的主流融合方案。三是晚期融合（决策级融合），各模态分别经过各自的模型处理输出结果，再通过投票、加权、大模型整合等方式融合最终结果，优点是各模态模型独立，开发难度低，模态互补性强，缺点是模态交互少，复杂任务准确率低。2026年多模态AI落地的核心难点：一是多模态数据对齐成本高，文本与视频的时序对齐、音频与图像的语义对齐需要大量标注数据，1小时视频的对齐标注成本约2000元，大规模落地成本高。二是多模态推理成本高，多模态大模型参数量是文本模型的2-3倍，推理延迟是文本模型的1.5倍，单token成本是文本模型的2倍，大规模部署成本压力大。三是多模态RAG准确率低，视频、图像的检索准确率比文本低12%-18%，多模态embedding的语义表征能力仍有不足，复杂多跳推理准确率有待提升。四是多模态内容审核难度大，深度伪造视频、图像的检测准确率仅92%左右，存在漏检风险，安全合规压力大。三、工程化落地题（共4题）1.某企业需部署日均调用量1200万次的AI问答服务，峰值QPS达1.2万，要求服务可用性≥99.9%，请设计部署架构与成本优化方案。答案：部署架构采用云原生、多可用区部署，分为四层：一是接入层，用Nginx+API网关做负载均衡、鉴权、限流、日志收集，部署在3个可用区，单可用区故障自动切换，接入层可用性达99.99%。二是缓存层，用Redis集群做热点query缓存，缓存过期时间1小时，缓存命中率约32%，减少模型调用量，降低延迟。三是模型服务层，用vLLM0.6做推理服务，采用PagedAttention技术，显存利用率提升3.2倍，吞吐量是传统Transformers推理的8倍；模型服务层部署在3个可用区，基于K8s做弹性伸缩，根据QPS自动扩缩容：平峰期部署6台A1024G服务器，峰值期扩容至22台，单台A10服务器支持150QPS（7B4bit模型），总峰值QPS可达3300，加上缓存的32%命中率，可承载1.2万QPS需求。四是数据层，Milvus向量数据库集群部署，3主3从，主从复制，数据备份，数据可用性达99.99%。成本优化方案：一是模型量化优化，采用AWQ4bit量化，显存占用降低60%，单卡吞吐量提升2.1倍，单QPS成本降低52%。二是缓存优化，热点query缓存命中率32%，减少32%的模型调用，成本降低32%。三是弹性伸缩优化，按需扩缩容，平峰期资源利用率从20%提升至65%，成本降低35%。四是模型路由优化，采用大小模型路由，简单query用3B模型，复杂query用72B模型，70%的简单query用3B模型处理，成本再降低40%。五是批量推理优化，非实时请求批量处理，吞吐量提升30%，成本降低23%。可用性保障：多可用区部署，故障自动转移，健康检查间隔10s，故障节点1min内剔除，熔断降级机制，模型服务故障时自动切换到备用模型，或者返回缓存结果，整体可用性达99.95%，符合≥99.9%要求。2.请简述AI应用开发中的CI/CD流程，及2026年主流的AIDevOps工具链。答案：AI应用的CI/CD流程覆盖数据、模型、应用、部署、监控五大阶段，形成迭代闭环：一是数据CI/CD，数据收集、清洗、标注、版本管理，用DVC3.0做数据版本控制，数据变更自动触发质量校验、标注质量抽检，数据版本可回溯、可复现。二是模型CI/CD，模型训练、微调、评估、版本管理，用MLflow2.12做实验跟踪与模型版本管理，每次训练的参数、数据、指标自动记录，模型效果达标后自动入库，模型版本可追溯。三是应用CI/CD，应用代码、Prompt、工具链的开发、测试、构建，用Git做代码版本控制，GitHubActions做CI流水线，测试包括单元测试、集成测试、模型效果测试（用Prompt测试集自动评估准确率、一致性、安全性），测试通过后自动构建镜像。四是部署CD，模型服务与应用的部署，用ArgoCD做GitOps部署，支持灰度发布、蓝绿部署，发布时先切10%流量到新版本，观察24小时指标正常后全量发布，异常自动回滚。五是监控CD，上线后持续监控性能、效果、成本指标，异常自动告警，效果下降自动触发重新训练、重新优化，形成闭环。2026年主流AIDevOps工具链：数据版本控制（DVC3.0、LakeFS2.5）、实验跟踪与模型管理（MLflow2.12、Weights&Biases2.3）、推理服务（vLLM0.6、TensorRT-LLM0.12）、Prompt测试与评估（PromptFlow2.1、LangSmith1.2）、部署编排（Kubernetes1.32、ArgoCD2.12）、监控告警（Prometheus+Grafana、OpenTelemetryLLM）、安全防护（NeMoGuardrails2.1）。3.某AI应用需对接OpenAI、Anthropic、通义千问、文心一言4家大模型服务商，要求实现统一调用、故障自动切换、成本最优路由，请设计大模型网关中间层架构方案。答案：大模型网关（LLMGateway）中间层架构分为六大模块，实现统一接入、智能路由、安全管控：一是统一API层，提供标准化RESTfulAPI与多语言SDK，屏蔽不同服务商的API差异，支持文本生成、多模态生成、FunctionCalling、Embedding、语音合成等12类能力，开发者仅需对接一次即可调用所有大模型，开发成本降低70%。二是智能路由层，实现四类路由策略：成本最优路由，根据query复杂度匹配最低成本模型，简单问答用通义千问3.07B，成本仅为GPT-5o的1/22；质量最优路由，复杂推理任务用GPT-5o或Claude3.5Opus，保证效果；延迟最优路由，国内用户优先调用国内大模型，延迟降低600ms以上；故障切换路由，当某服务商错误率超过5%、延迟超过3s时，自动切换到备用服务商，切换时间≤1s，保证服务可用。三是缓存层，对相同query与参数的请求缓存结果，缓存过期时间可配置，命中率可达30%以上，降低调用成本，提升响应速度。四是监控统计层，实时统计各模型的调用量、延迟、错误率、成本、token消耗，生成可视化报表，支持多维度分析，异常自动告警。五是安全管控层，提供鉴权、限流、配额管理、内容安全防护，支持按租户、按用户、按接口维度的限流与配额管理，集成Prompt防火墙与内容审核，防止注入攻击与有害内容生成，保障调用安全。六是配置中心，动态管理各服务商的API密钥、价格、优先级、阈值、路由规则，支持热更新，无需重启服务。实现方案可基于开源LiteLLM1.40二次开发，也可基于FastAPI自主研发，整体可用性达99.99%，调用成本降低40%-60%。4.请说明AI应用性能优化的核心指标及常用优化手段。答案：AI应用性能优化的核心指标分为五类，覆盖效果、速度、成本、可用性四大维度：一是延迟指标，包括首字延迟（TTFT）、端到端延迟、平均延迟、P95延迟、P99延迟，实时交互类应用要求首字延迟≤500ms，P99延迟≤2s。二是吞吐量指标，包括每秒请求数（QPS）、每秒生成token数（TPS），吞吐量越高单卡承载能力越强，单位成本越低。三是效果指标，包括检索准确率、生成准确率、意图识别准确率、工具调用准确率、任务完成率，是AI应用的核心质量指标。四是可用性指标，服务可用时间占比，一般企业级应用要求≥99.9%，核心业务要求≥99.99%。五是成本指标，包括千次调用成本、每千token成本、单用户日均成本、月均成本。常用优化手段分为四类：一是模型层优化，包括量化（8bit、4bit量化，降低显存占用，提升吞吐量）、蒸馏（大模型蒸馏小模型，参数量降低70%，准确率保留90%以上）、剪枝（结构化剪枝冗余参数，模型大小降低30%）、推理框架优化（vLLM、TensorRT-LLM，吞吐量提升5-10倍）。二是架构层优化，包括缓存优化（热点query缓存，减少模型调用）、弹性伸缩（按需扩缩容，提升资源利用率）、大小模型路由（不同复杂度请求用不同模型，降低成本）、多可用区部署（提升可用性）。三是数据层优化，包括RAG分块优化（语义分块提升准确率）、embedding模型优化（提升检索准确率）、重排优化（提升检索精度）、索引优化（提升检索速度）。四是Prompt层优化，包括Prompt精简（减少输入token数，提升速度，降低成本）、Prompt质量优化（提升准确率，减少重试）、Prompt缓存（相同Prompt复用，提升速度）。四、场景设计题（共3题）1.某制造企业需搭建工业视觉质检AI应用，要求支持生产线实时检测产品缺陷，检测延迟≤100ms，准确率≥99.9%，漏检率≤0.01%，产线数量20条，单条产线每秒检测10个产品，请设计整体方案。答案：整体方案采用“端边云协同”架构，兼顾实时性、准确率、成本三大要求：一是边缘侧部署：每条产线部署1台边缘计算节点（搭载2张RTX409024G显卡+工业相机），负责实时采集图像、实时检测缺陷，检测结果直接控制产线剔除缺陷产品，边缘侧检测延迟≤80ms，满足≤100ms要求。边缘侧模型采用YOLOv12轻量化版（2026年主流工业检测模型，参数量50M，mAP@0.5达99.5%），经过产线数据微调后准确率达99.92%，漏检率0.008%，符合要求。边缘侧支持离线运行，断网不影响产线正常生产，数据本地处理，符合生产数据保密要求。二是云端部署：云端部署模型训练平台与数据管理平台，负责边缘侧模型的迭代优化、模型版本管理、数据标注、模型下发。边缘侧采集的疑难样本（难例、漏检、误检样本）自动上传到云端，标注后用于模型微调，每两周迭代一次模型，迭代后模型自动下发到边缘侧，模型准确率持续提升。云端还负责全量数据的统计分析，生成质检报表，支撑质量改进。三是关键优化点：一是难例挖掘，边缘侧对置信度在0.4-0.8的样本自动上传云端标注，用于模型迭代，减少漏检误检。二是模型量化，边缘侧模型采用TensorRT10.0量化优化，INT8量化后准确率下降≤0.1%，推理速度提升3倍，单卡每秒可处理50张图片，满足单条产线10个/秒的要求，2张卡可承载2条产线，单条产线硬件成本降低50%。三是故障自动恢复，边缘节点故障自动告警，备用节点自动接管，保障产线不停产。成本测算：20条产线共需10台边缘计算节点，加上云端训练平台，总投入约120万，年运维成本约10万，相比人工质检（20条产线需40名质检工人，年人力成本约320万），年节省成本300万以上，投资回收期不到半年。2.某教育机构需开发AI个性化学习助手，支持学生拍照搜题、知识点讲解、错题本生成、个性化习题推荐功能，要求单用户日均使用成本≤0.5元，用户留存率≥40%，请设计核心功能架构与关键运营优化方案。答案：核心功能架构采用“多模态输入+知识图谱+个性化推荐”的三层结构，兼顾效果与成本平衡：一是多模态输入层，支持拍照搜题、语音提问、文字输入三类交互方式。拍照搜题采用OCR+题目识别（PaddleOCR4.0手写体识别准确率98.5%）+题目语义匹