大模型推理性能优化工程师考试试卷及答案

大模型推理性能优化工程师考试试卷及答案一、填空题（共10题，每题1分）1.大模型推理常用8位量化方法包括______和______。2.模型并行的两种核心方式是______和______。3.TensorRT由______公司开发。4.动态批处理的英文缩写是______。5.减少显存占用的技术除量化外，还有______（举1例）。6.算子融合的英文是______。7.异构推理架构常结合CPU和______（举1例）。8.LoRA的中文全称是______。9.Latency指______。10.ONNX的中文全称是______。二、单项选择题（共10题，每题2分）1.精度损失极小的量化方式是？A.INT8B.FP8C.FP16D.二进制量化2.张量并行解决的核心问题是？A.训练慢B.单卡显存不足C.精度低D.控制流复杂3.以下不是推理优化工具的是？A.TensorRTB.ONNXRuntimeC.PyTorchD.OpenVINO4.动态批处理的核心优势是？A.固定批大小B.高并发吞吐量C.低latencyD.仅静态输入5.模型剪枝不具备的作用是？A.减模型大小B.提推理速度C.升精度D.降显存6.流水线并行的实现方式是？A.数据分设备B.模型层分设备C.权重拆分D.仅CPU7.LoRA推理需加载的权重是？A.仅基础模型B.仅LoRAC.基础+LoRAD.无需加载8.最不适合大模型推理的硬件是？A.A100B.TPUv4C.普通CPUD.H1009.算子融合的目的是？A.减内存访问B.增算子数量C.升精度D.简化代码10.Throughput指？A.单请求时间B.单位时间请求数C.显存占用D.计算精度三、多项选择题（共10题，每题2分，多选/少选不得分）1.推理核心优化指标包括？A.LatencyB.ThroughputC.显存占用D.模型精度2.常用量化技术有？A.INT8B.FP8C.FP16D.二进制量化3.模型并行方式包括？A.数据并行B.张量并行C.流水线并行D.混合并行4.推理优化工具包括？A.TensorRTB.ONNXRuntimeC.TorchScriptD.OpenVINO5.减显存占用的技术有？A.量化B.剪枝C.权重共享D.模型蒸馏6.动态批处理适用场景？A.高并发请求B.请求大小不一C.低latencyD.静态输入7.算子优化方法包括？A.算子融合B.内核优化C.量化算子D.增算子数量8.异构推理优势？A.GPU加速计算B.CPU控控制流C.平衡计算存储D.仅CPU9.LoRA特点？A.低秩更新B.少微调参数C.加载基础+LoRAD.升精度10.硬件选择考虑因素？A.显存大小B.计算能力C.功耗D.价格四、判断题（共10题，每题2分，√/×）1.所有量化都会显著降精度。（）2.数据并行是数据样本分设备。（）3.TensorRT仅支持NVIDIAGPU。（）4.动态批处理提高并发吞吐量。（）5.剪枝删除所有冗余参数。（）6.流水线并行引入气泡。（）7.LoRA推理需重新训练。（）8.ONNX是部署中间格式。（）9.普通CPU可高效推理大模型。（）10.算子融合增内存访问。（）五、简答题（共4题，每题5分）1.简述INT8量化原理及推理作用。2.什么是张量并行？如何解决单卡显存不足？3.动态/静态批处理的区别及适用场景？4.算子融合的实现思路及性能提升作用？六、讨论题（共2题，每题5分）1.如何平衡大模型推理的latency和throughput？结合技术说明。2.GPU、TPU、CPU的推理优化策略有何差异？---答案部分一、填空题答案1.INT8、FP82.数据并行、张量并行3.NVIDIA4.DynamicBatching（DB）5.模型剪枝（或权重共享、蒸馏）6.OperatorFusion7.GPU（或TPU、NPU）8.低秩适应9.单请求响应时间10.开放神经网络交换二、单项选择题答案1.C2.B3.C4.B5.C6.B7.C8.C9.A10.B三、多项选择题答案1.ABC2.ABCD3.ABCD4.ABCD5.ABCD6.AB7.ABC8.ABC9.ABC10.ABCD四、判断题答案1.×2.√3.√4.√5.×6.√7.×8.√9.×10.×五、简答题答案1.INT8量化原理：将权重/激活值从32位浮点数映射到8位整数，通过校准或量化感知训练减少精度损失。作用：①显存占用减75%（4字节→1字节）；②8位运算比32位快3-4倍，提升推理速度；③支持大模型单卡加载。2.张量并行：将模型权重张量（如注意力Q/K/V）拆分为子张量，分配到多GPU并行计算。解决显存不足：大模型权重超单卡显存（如GPT-3175B需>40GB），拆分后每卡仅存部分子张量，实现多卡加载。3.区别：①静态批处理：固定批大小，满批才处理，latency稳定但吞吐量低；②动态批处理：动态合并请求，批大小可变，吞吐量高但latency波动。场景：静态适合低并发固定输入；动态适合高并发请求不一的在线推理。4.实现思路：合并连续无依赖算子（如卷积+ReLU）为复合算子，减少中间结果读写。提升：①减少内存访问（缓解带宽瓶颈）；②利用硬件向量化指令提计算效率；③降低算子调度开销。六、讨论题答案1.平衡策略：①在线推理（低latency优先）：INT8量化、算子融合降单请求时间；动态批处理限最大批大小（如32）减少等待；②离线推理（高throughput优先）：静态大批次处理、张量/流水线并行提并行度；③混合场景：自适应批处理（根据请求量动态调批大小）。例：TensorRT动态批处理实时平衡两者。2.硬件差异策略：①GPU：依赖CUDA生态，用TensorRT/ONNXRuntime优化；张量并行+混合精度；②TPU：用XLA编译优化算子融合；