昇腾推理技术的优化实践_第1页
昇腾推理技术的优化实践_第2页
昇腾推理技术的优化实践_第3页
昇腾推理技术的优化实践_第4页
昇腾推理技术的优化实践_第5页
已阅读5页，还剩61页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

0101大模型推理的现状及挑战0202昇腾硬件亲和的FA融合算子性能优化实践基于AscendC的MC²通算融合算子性能优化大模型推理的现状以及挑战现状1：模型规模增大及自回归解码带来访存及算力利用率压力 自回归算力利用率低，自回归算力利用率低，低时延高吞吐难以兼顾Prefill阶段 模型规模大，内存容量和访存是瓶颈现状2：KVCache导致"内存墙”瓶颈进一步加剧MatMulMatMulseq×TDimseq×TDim形成“内存墙”和”带宽墙”MatMulS∈Rseq2×seqMatMulMatMulseq×TDim∈∈RTDim×seq大模型推理常用加速技术算子层优化高性能加速库：cuBLAS， 发力点发力点算法层优化模型分片：分片策略优化，增量推理投机推理：自投机增量推理框架层优化ContinousBatchingPageAttentionPD分离部署昇腾硬件亲和的FA融合算子性能优化实践AICore的耦合架构VectorVector构造对角矩阵，使用Cube代替VectorFlashAttention算法中onlineSoftmax部分的更新公式为：遭遇“假”VecBound性能瓶颈对角阵构造方案方案三方案三：耗时最低，循环次数减少了16倍,vector下降10%进一步优化：流水调整和掩盖效果类似如：效果类似如：进一步优化：流水调整和掩盖进一步优化：流水调整和掩盖经过分析和测试交换Softmax1-Pong和Cube2效果：算子总耗时下降了5%左右，整体性能提升来到了**8%**左右(1k序列场景)u性能优化要有整体视角。需要从计算、内存搬移等多个角度考u性能优化中很重要的一部分内容就是流水间的相互掩盖。u可以通过分析流水图等方式，提升对流水掩盖的直观理解，完成流水优化的最重要基于AscendC的MC²通算融合算子性能优化挑战2：计算效率与通信开销的平衡？MC²算子优化>模型规模的指数级增长使得单设备训练在计算能力、存储容量和能效等方面面临根本性瓶颈，这使得分布式并行推理/训练从可选据批次（数据并行）以及流水线阶段（流水线并行成为当前主瓶颈点1：通算时间差异大瓶颈点2：数据切分导致的计算或通信的执行时间膨胀的执行时间可能发生膨胀（执行时间变长）。数据切分目标：尽可能多的流水掩盖确定bound场景。将输入数据分别单独执行Matm效果：效果：在算子的Tiling代码中设置制定好的切分策略。按该切分策略测试，融合后该算子的执行时间为1262us，则融合算子的性能收益为(1874-1262)/1874=32.7%。总结与展望总结>大模型推理加速是一个系统工程，涉及算子、算法、框架、资源调度、底层芯片等全栈综合能力，需要不断探索

人人文库> 全部分类> 行业资料 > 机电工程

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论