大模型INT8、FP8与+INT4量化部署方案选择

大模型INT8、FP8与INT4量化部署方案选择一、先把“几bit”说清楚3.矩阵乘法是否使用硬件原生低精度6.量化是离线校准得到的静态模型，还是加载时动态量l数学、代码、长上下文、罕见语言和结构化输出更容易暴露质量损失。二、不要只算权重：显存由五部分组成三、先盘点硬件和软件环境1nvidia-smi--query-gpu=index,name,uuid,driver_version,468"python":pl10"torch_cuda":11"cuda_available":torch.12"device_count":torch17props=22"compute_ca2fromimportlib.m3四、检查模型到底是什么格式46files=sorted(model_dir.glob("*8raiseSystemExit("9五、三类方案的工程对比等AWQ/GPTQ通常依赖校准架持延迟吞吐势六、INT8什么时候更合适4AutoTokeniz7912tokenizer=AutoTo21trust_remote27withtorch.inference_mode():34print(tokenizer.decode(output[0],skip_sp七、FP8什么时候更合适9--gpu-memory-utiliza自动识别，不需要重复传--quantization8--gpu-memory-utiliza八、INT4什么时候值得用l业务愿意用系统化评测换取更高部署密度。l已确认推理框架支持该AWQ/GPTQ模型架构和量化配置。9--gpu-memory-utiliza9--gpu-memory-utiliza3517trust_九、离线量化：校准数据比“跑通命令”更重要3.校准数据覆盖真实语言、指令长度、代码、数学、结构化输出和领域文本。4.删除账号、密钥、个人信息和生产机密，禁止将原始生产请求直接交给外部量化服8.在隔离环境先加载和推理，再进入性能与质量评测。十、建立可比较的性能基线35GPU_QUERY_FILE="${OUTPUT_DI68--query-gpu=timestamp,index,name,memory.used,memory.total,utilizat3-H'Content-4importjson919defrequest_once(api_url,api_31f"{api_url.rstrip('/')}/v1/chat/completions",42withurllib.request.urlopen(request,t43payload=json.loads(response.read())49"completion_tokens":int(usage.get("completion_tokens",051except(urllib.error.URLError,TimeoutError,json.JSONDecodeError)aserror:63parser.ad64parser.add_a66parser.add_argument("--ti75ifnotisinstance(item.get("pr76raiseValu77prompts.append(item["prompt"])89909193112"requests_113114"completion_tokens_per_115"latency_mean_seconds":l功率、温度或主机CPU/内存达到运行十一、质量评测必须覆盖“量化敏感项”l数学推理：最终答案、推理稳定性和长链条错误。l代码：可执行率、单元测试通过率和语法完整性。l工具调用：JSONschema、参数类型、必填字段和重复调用率。l结构化输出：JSON、YAML、SQL和固定格式l长上下文：不同位置的事实召回、跨段落推理和提示注入边界。l领域任务：业务术语、检索增强回答和安全拒答。十二、以B300大显存场景为例的选择思路用数学、代码、工具调用和长上下文评测证明质量十三、常见“省显存但没变快”的原因必须先查看quantization十四、上线采用蓝绿方式，不原地覆盖l定义错误率、P95/P99、TTFT、吞吐和质3589jq'.model_type,.architectures,.torch_dtype,.quantization_confi12nvidia-smi--query-compute-apps=gp3.导入极小比例的影子流量；若涉及用户内容，必须符合隐私和5.每一档至少覆盖业务高峰和长请求，检6.切换完成后保留蓝环境一段约定时间，不立即删除模型或镜像。4|jq.5.保留绿环境日志、配置和模型十五、容量规划不能只给一个十五、容量规划不能只给一个QPS数字短中高长中中中长中用中短低没有输入输出长度分布的“每秒多少请求”很难用于生产规十六、监控量化服务l请求总数、成功数、4xx/5xx、取消和超时。十七、选型决策建议十八、不要忽略冷启动和长稳测试生产自动拉起还要确认健康检查的startupProbe或进十九、形成可审计的选型记录l最大上下文、并发、batch调度、显存比例l性能原始结果、质量逐项结果、失败样本和日志位置。l通过阈值、未通过项、已知限制和批准人。l上线灰度比例、观察时间、回滚条件和保留期限。建议预先定义“一票否决项”。例如工具调用JSON正确率低于基线门任何一项触发就不进入下一阶段。这样可以避免平均吞吐