版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
大语言模型推理框架大语言模型推理的基本逻辑硬件厂商：算子研发上有天然优势，充分利用自家硬件非硬件厂商：调度和显存管理是研发重点模型厂商：模型定制算子现实：2025年2月，vLLM，SGLang基本都在2Ktokens/s，优化空间巨大一念LLM的研发基础逻辑手写模型优化显存高效调度提高吞吐算子择优降低耗时手写模型优化显存高效调度提高吞吐算子择优降低耗时多硬件支持方案：调度与定制能力自研，深度优化调度与显存管理判断2：开源模型算子优化上，硬件厂商和模型开发者会深度优化相关算子方案：开源算子高效引入，支持多种硬件大语言模型推理优化中的硬件限制1.计算能力随推理1.计算能力随推理token数增长会逐步增长，并达到硬件上2.2.decode效率低，可以通过增大batchsize和投机解码来增大并行推理token数3.Sequencetoken数越大，KvCache显存需求越大。会限制batchsize增大。优化手段之一：在有限的显存条件下，增大推理token数来让各个阶段达到计算能力极限。但是一个阶段达到硬件极限了，就尽量不要再加，避免耗时增加方案：增加并行token数（DP/EP共享专家多副本特点：压缩KvCache问题：额外Proj操作，多卡间CompressedKvCache重复方案：权重吸收，全DP假定一台机器4张卡假定一台机器4张卡MLA和MoE的batchMLA和MoE的batch显存：KvCache重复减少，权重/buffer增大MLA和MoE的batchsize差距进一步拉大计算：MoEtoken继续增多，计算稠密显存：状态数据减少，共享专家会导致增大显存瓶颈导致一般在DP+大EP方案下才有收益响2.Decode阶段权重吸收导致额外的权重显存消耗3.两阶段对MoE的最佳Batchsize不同缺点：KvCache同步导致机器间通讯性大并行请求量来打满硬件这是在往小型机方向走么？2.每层至少两次数据同步Token吞吐：5K9KKvCache在卡间重复冗余1.减少KvCache冗余711.减少KvCache冗余7102.并发更多请求3.减少卡间通讯冗余度全DP（一张卡一份DP）：优点K3.容易实现高吞吐挑战：侵蚀KvCache显存2.DP之间负载均衡需求大为什么先做了PP？在H20上EP，PD分离更容易触碰到算力天花板在H800上必须要做才能获得性能优势进行中：Q1.调度策略与业务Q2.是不是每层都要Q3.Batch之间流程是否Q4.多模态模型还有哪A1:吞吐优先，响应优先柔性KvCache匹配A2
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 商业综合体建设火灾事故专项应急预案
- 消化内科进修试题及答案2026年新版
- 施工现场临时用热安全管理补充保证措施
- 肝性脑病护理查房(含病例分析)
- 危险化学品运输安全管理规范
- 心肺复苏后护理查房
- 2026年秋北师大版六年级上册数学全套教案（完整版）
- 2026年秋季学期高一历史必修一第一课课后测试卷
- 医院医技科2026年第三季度三基考试试题及答案
- 25 为中华之崛起而读书
- 心血管-肾脏-代谢综合征（CKM）综合管理中国专家共识2025解读课件
- 2025年石家庄房屋租赁2025年合同范本5篇
- 高中生物沪科版课本“思考与讨论”课件
- 物业管理与业主委员会协作
- 真空技术完整版本
- 2024年秋新人教版一年级上册数学全册教案（新教材）
- GB/T 43655-2024自攻螺钉连接底孔直径和拧紧扭矩技术条件
- 个人医保代办委托书
- 投资中最简单的事（更新版）
- 污水处理服务合同
- 2022China人力资源管理年度观察北森2022156
评论
0/150
提交评论