把握DeepSeek时刻携手同行 华为昇腾AI解决方案汇报_第1页
把握DeepSeek时刻携手同行 华为昇腾AI解决方案汇报_第2页
把握DeepSeek时刻携手同行 华为昇腾AI解决方案汇报_第3页
把握DeepSeek时刻携手同行 华为昇腾AI解决方案汇报_第4页
把握DeepSeek时刻携手同行 华为昇腾AI解决方案汇报_第5页
已阅读5页,还剩57页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

华为昇腾AI解决方案汇报COCONTENTS目录1DeepSeek1DeepSeek洞察及昇腾适配进展22华为昇腾华为昇腾AI基础软硬件介绍2DeepSeek是AI发展史上的一个关键里程碑,但远未达到AI终点算力规模可以探索更强的模型能力AI算力的战略投资,加速探索下一代AI技术DeepSeekDeepSeek-R1进一步验证“算力即性能”模型效果模型效果下一代AI技术下一代AI技术DeepSeekDeepSeek-V3/R1OpenAI-o1/o31998LeNet首个CNN架构模型2017谷歌发布首个Transformer架构模型2012AlexNet模型能力突破开启CV1998LeNet首个CNN架构模型2017谷歌发布首个Transformer架构模型2012AlexNet模型能力突破开启CV时代2023ChatGPT模型能力突破开启NLP时代2015Resnet效率与成本双突破CV全面普及2025DeepSeek效率与成本双突破NLP全面普及通用性+专用性,可以满足各应用场景需求大幅提升AI的计算效率,提升模型落地经济性国家战略清晰技术创新依赖资本投入国家战略清晰技术创新依赖资本投入双轮驱动互锁战略坚定+技术创新AI模型算法:DeepSeekAI模型算法:DeepSeekAI竞争中,冲击美国AI霸权•打破NV+OpenAI的资金、技术、人才的垄重新思考中美技术路线的选择DeepSeekV3:实现极致性能,稀疏MOE提质降本低成本完美对标OpenAIO1,突破精确语义理解及复杂推理任务H800(节点内NVLink,节点间IB,非超节低成本和MLA技术实现不到10%的成本方案成本性能优成为业界公认的LLM的领先模型技术创新硬件级、算法级、架构级、工程级、开源生态5大技术创新,轰动全球硬件级优化计算与通信优化,性能提升30%DeepSeekR1:在Reasoning任务达到了世界水平(OpenAI-o1)DeepSeek-R1以DeepSeek-用GRPO算法作为RL框架来提升Reasoning性能以2阶段SFT+2阶段RL完成,从而解决R1-Zero可语言混合问题本次开源同时发布了6个基于DeepSeek-R1蒸馏的更小稠密模型5DeepSeekV3模型架构:Multi-HeadLatentAttention(MLA)1.推理阶段,理论上可以将KVCache降低1~2个数量级只需存储图中的cv只需存储图中的cv,K即可;考虑到矩阵乘法结合律,具体实现过程中WUK可以与WUQ融合、WUV可以与Wo融合,从而无需为每个query计算key-value值。MLA架构MLA架构操作使得存储的张量维度大幅减小。(下图中仅红色阴影部分需要(bs,ℎ)(bs,ℎ) 2bsℎ(bs,ℎ)(bs,ℎ) bsℎ′压缩后宽度ℎ′≪隐藏层宽度ℎMTP:Multi-TokenPrediction多token预测提升模型效果•每个MTP模块共享嵌入层和输出头•每个MTP模块独占一个TransformerBlock和一个投影矩阵•多个MTP模块串联保持完整的因果关系链•每个MTP模块输出预测token的概率分布•每个MTP模块计算对应的交叉熵损失函数•多个MTP模块的损失函数加权平均得到最终训练目标•优化模型表达能力,提升next•可参考投机采样改造MTP模块,加速推理效率•MTP模块仅在训练中使用,提升模型训练效果,推理阶段可以不使用MTP模块,基础模型能够独立完成正常推理•参考投机采样,MTP模块也可以被重新配置用于speculaDualPipe:双流并行优化计算和通信,All-to-All通信开销接近0•将PPstage拆分为更细的模块,•参考ZeroBubble,反向传递中的权重更新•经过细粒度的拆分和编排之后,计算流和通信流的barri•ZeroBubble中把backward拆分为input和weight两个部分•DualPipe中使用对称处理,不同batch从不同的device上开始参考DualPipe技术,基于MindSpeed训练加速框架以及昇腾硬件特性,针对性地设计高效率流水并行技术,提升整体训练性能参考DualPipe技术,基于MindSpeed训练加速框架以及昇腾硬件特性,针对性地设计高效率流水并行技术,提升整体训练性能•模型总参数量671B,每个卡上4个routedexpert对应26.8B,同时8DeepSeek通过从模型结构到训推全流程的优化,带来大模型新范式推理优化需要裁判模型评估Token预测单次推理效率倍级提升推理优化需要裁判模型评估Token预测单次推理效率倍级提升模型结构优化计算通信优化后训练优化模型结构优化计算通信优化后训练优化分组共享减少缓存9大模型从技术摸高走向技术摸高+工程创新并行,训练需求持续增长①技术摸高:头部玩家将战略坚定投入预训练基础模型创新,丰富模②工程创新:新的范式降低后训练和蒸馏门槛,模型效果大幅提升,出现平权现象,引发新一波的“百模千态”1技术摸高新一轮技术竞争训练算力需求(PFLOPS).2工程创新新一轮百模千态Megatron-TuningNLG530BClaude2关注高效、稳定、开放的底座1技术摸高新一轮技术竞争训练算力需求(PFLOPS).2工程创新新一轮百模千态Megatron-TuningNLG530BClaude2关注高效、稳定、开放的底座Llama3-70BBaichuan2-13BBaichuan2-13B..Transformer●AlexNet关注便捷、易用、性价比的平台201220132014201520162017201820192020202120222023202420252026训练的算力需求将持续增长,算力结构从“预训练为主”走向“预训练+后训练/二次训练”DeepSeek能力提升成为各行业生产力工具,加速推理落地千行百业DeepSeek催熟大模型落地技术,降低推理部署门槛基础模型(DeepSeek/Llama/Qwen/…)基础模型(DeepSeek/Llama/Qwen/…)Llama、Qwen、… 模型蒸馏-模型小型化 模型蒸馏-模型小型化高端人才高端人才开源+蒸馏高质量数据生成数据月级调优周/天级优化开箱即用的一体机,加速大模型应用落地金融交通教育医疗电力油气制造均已支持DeepSeek硬件+开源模型+RL套件+ISV/云,商业模式逐渐均已支持DeepSeek硬件+开源模型+RL套件+ISV/云,商业模式逐渐DeepSeek模型发布即支持昇腾推理,各行业已基于昇腾快速上线最新DeepSeekV3/R1/Janus-Pro及6个蒸馏模型基于昇腾开箱即用,配套版本已上线各大开源社区-√-√√√-√-√√√配套版本上线昇腾社区:/so/models/detail/678bdeb4e1a64c9d配套版本上线魔乐社区:/模型服务商潞晨科技已上线硅基流动已上线清昴已上线讯飞测试中运营商电信天翼云已上线联通云已上线移动云已上线南京、福建、浙江移动已上线上海、江苏电信已上线国计民生行业龙岗区政府已上线北京银行已上线广大证券已上线北京、南京、西安、武汉、苏州、无锡等公共服务平台已上线招行测试中工行测试中太保测试中昇腾DeepSeek一体机:大吞吐+高并发,加速行业模型落地…Atlas800IA2并发路数系统吞吐并发路数潞晨科技Token/s潞晨科技移动、电信一体移动、电信一体机珑京科技思腾合力珑京科技思腾合力珑京科技思腾合力思腾合力珑京科技思腾合力珑京科技思腾合力珑京科技思腾合力思腾合力………开发板边端设备…模型参数:70BDeepSeek-R1-Distill-LDeepSeek-R1-Distill-QDeepSeek-R1-Distill-QDeepSeek-R1-Distill-QweDeepSeek-R1-Distill-QDeepSeek-R1-Distill-LDeepSeek-R1-Distill-QweAtlas800IA2Atlas800IA2并发路数系统吞吐并发路数系统吞吐并发路数并发路数系统吞吐并发路数并发路数系统吞吐并发路数珑京科技珑京科技DeepSeekV3/R1及蒸馏模型,昇腾DeepSeek一体机推荐配置4940COCONTENTS目录1DeepSeek1DeepSeek洞察及昇腾适配进展22华为昇腾华为昇腾AI基础软硬件介绍昇腾AI基础软硬件架构全面创新,使能行业场景化应用行业场景化应用视图分析、检索聚类、搜索推荐、自然语言处理、智能语音伟达基础软硬件架构训练平台/推理引擎/模型套件/SDK应用使能训练平台/推理引擎/模型套件/SDK腾基础软硬件架构AI计算框架昇思MindSporeAtlas及昇腾伙伴系列硬件模组/小站/加速卡/服务器/集群昇腾310系列/昇腾910系列...AI计算框架AI计算框架模组/加速卡/服务器/-->集群计算架构CANN深度开放,使能高效灵活开发,匹配开发者使用习惯AI框架昇思MindSporePyTorchTensorFlow…开放图编译、图优化、图执行,支持自定义图融合,提升整网性能开放通信算子、平台接口,支持自定义通信算法,提升网络通信效率昇腾硬件使能开放130+底层API、60+高层API,支持高性能自定义融合算子开发昇腾硬件使能开放130+底层API、60+高层API,支持高性能自定义融合算子开发算子加速库算子加速库开放1600+基础算子接口、30+融合算子接口,简化开发复杂度,提升开发效率开放硬件资源接口,满足开发者对模型开发、系统优化、三方生态对接等各场景需求自定义图融合PatternHCCLHCCLTX、MThash算法自定义调优AscendAscendC高阶APINVCUTLASSXF自定义切分策略AscendAscendC低级APINVCUDA-C自定义算子开发NVcuDNNAscendaclNNXF结合场景差异优化NVRuntimeAscendRuntime直接发起KernelAscendRuntime模型训练:算网/算存深度协同是大模型分布式并行训练的基础千亿稠密/万亿稀疏更大规模/更复杂的组网更大规模/更复杂的组网大支持128K集群规模组网,千卡到万卡平滑演进支持2级框盒、框框组网,适用于大规模及超更复杂的模型及数据切分更复杂的模型及数据切分调度,多任务节点非连续组网情况下,通信带宽提升20%、模型性能提升7%3、AI任务信息任务、通信域…AI调度平台3、AI任务信息任务、通信域…AI调度平台网络控制器1、控制器获取网络拓扑,下发路径信息41、控制器获取网络拓扑,下发路径信息2、AI任务调度通过算法计算出最优结果,实现AI参数面全网负更大数据量存储和读写更大数据量存储和读写级存取+TB级带宽,数据读取效率提升50%模型训练:应用使能软件加持,MFU领先、线性度持平NV 模型算力利用率(MFU)超大集群线性度 模型算力利用率(MFU) 算子深度融合搬出的时间及内存开销计算与通信融合减少计算与通信相互等待减少计算量和内存量计算通信计算1计算2计算344低阶二进制算子库高阶融合算子库AscendC编程语言+Runtime开放接口数据并行、流水并行软件层分布式并行充分调度算力资源提供分布式加速库,内置主流加速算法,满足各类模型加速模型并行……n……nL1层L2层网络局部计算选路Hash冲突导致有效吞吐不足50%网络局部计算选路Hash冲突导致有效吞吐不足50%控制器全局集中算路自动生成路径并动态下发网络控制器全局集中算路自动生成路径并动态下发网络硬件层算网协同提升有效吞吐动态路由,有效吞吐达98%模型推理:提供分层开放的推理引擎MindIE,使能高效推理场景/应用场景/应用测试模型测试结果对话搜索智脑13B字识别和视频处理智慧教育、办公问答交互搜索,金融客第三方推理服务Triton第三方推理服务TritonbackendvLLMMindIE-Service•业界标准RPC•业界标准RPC接口高效对接业务层•模型管理,集群管理,devops•支持多实例并发推理服务化MindIE-MS推理服务化MindIE-MS••支持社区模型快速迁移•自回归解码、扩散过程优化•稀疏量化压缩、并行推理推理套件推理套件•少量代码实现训练向推理平滑迁移•整图/子图优化+单算子混合推理框架推理••少量代码实现训练向推理平滑迁移•整图/子图优化+单算子混合推理框架推理•图优化,算子融合,Kernel优化•量化、混合精度加速•异步下发,多流水执行推理运行时推理应用接口推理应用接口推理开发工具推理开发工具算子加速库算子加速库模型迁移:工具链进一步升级,提升GPU到昇腾快速迁移能力模型转换工具实现训推一体的模型转换三方框架模型格式昇腾处理器模型格式 数据解析MindStudio命令行MindStduioIDE精度比对、改图工具一站式调优工具,提升精度优化效率性能优化、快速推理工具一站式调优工具,提升性能优化效率 Data 数据采集模型转换工具实现训推一体的模型转换三方框架模型格式昇腾处理器模型格式 数据解析MindStudio命令行MindStduioIDE精度比对、改图工具一站式调优工具,提升精度优化效率性能优化、快速推理工具一站式调优工具,提升性能优化效率 Data 数据采集迁移分析工具模型支持度分析和修改建议模型支持度评估——分析报告差异三:基础能力差异导致支持完备度不同基础库、加速库、三方库等支持情况不同差异三:基础能力差异导致支持完备度不同基础库、加速库、三方库等支持情况不同跨架构时需通过引入、适配第三方库,或者开发基于自身架构的对等库来解决库的差异问题算子重开发、精度调试、性能调优的难度体现在工具链的能力上 昇腾无工具链其他架构亟需精度对比工具:GPU的推理精度在适配昇腾训练的模型时,需要以昇腾训练的模型精度为标杆迁移工作量大:建立工具链完成对昇腾的精度对比和调优。例如,矩阵计算时,昇腾采用16x16分形,英伟达采用8x8分形在不同架构下算子实现方式可能不同芯片架构差异昇腾已支持国内外开源开放大模型,实测性能持平业界国内唯一已完成训练千亿参数大模型的技术路线,业界主流大模型PyTorch实测性能均达到0.8~1.1倍业界业界主流4款开源大模型参数:7B/13B/70B参数:6B/10B/130B参数:7B/72B参数:7B/72B最新主流开源模型均已陆续适配并商用中最新主流开源模型均已陆续适配并商用中22HuaweiPropDeepSeek系列模型昇腾训练产品适配计划及微调部署建议DeepSeek系列预训练完成昇腾适配,目标性能1.1xNVDeepSeek系列模型微调目标性能1.1x业界(Q1)支持DualPipe、跨节点All2All等优化不支持无辅助负载均衡损失评分效果提升评分效果提升计算通信比计算通信比跨节点All2All优化4机Atlas800TA2全参微调支持CCLoRA、Fused_MLP核心技术不支持模型硬件部署建议模型硬件部署建议单卡部署,单机8实例A2/Duo适配中适配中单卡部署,单机8实例A2/Duo适配中适配中模型参数部署建议进展DeepSeek-R1-Distill-支持开发板部署整体已适配发布/INT8推理已发布DeepSeek-R1-Distill-DeepSeekV3/DeepSeekR1(671B)“满血版”采用BF16或FP16数据格式进行推理,需要内存约为1340GB需要采用Atlas800I/TA2(8*64GB)4机并行Atlas800IA2(8*64GB)最小配置为4机并行采用Atlas800TA2时亦需4机并行采用INT8数据格式进行推理,需要内存<700GB,可2机并行Atlas800IA2(8*64GB)最小配置为2机并行采用Atlas800TA2时亦需2机并行MLA架构:支持EP策略:支持PD分离部署:待支持W8A8量化:支持MTP多token预测:待支持4*GE 4*GE CE9860400GRoCE交换机LeafCE9860*2台SpineCE9860*2台16*400GE一分二8*25GE推理调度管理流量SpineLeafCE6865ECE9860Leaf8*25GE4台*8口*200GE用于智能集群分布式推理时参数交换,要求网络具备高吞吐低时延能力,部署用于访问存储区的高速大带宽互联的存储系统,推荐部署为RoCE用于系统业务调度和管理。通常部署为TCP/IP有损网络25HuaweiPropDeepSeek系列模型昇腾NPU推理配置建议本地部署推理最低配置1//2/345后显存不小于24G)6推荐4*310P以上配置78或8*310P9/66多模态,7B/AI计算使能服务-DeepSeek部署支持:快速适配DeepSeek模型,支撑模型快速上线ModelAModelACANN7.0.0,依赖MindSpeedModelBCANN6.0.RC3,依赖AclLiteDeepSeek-R1-Distill-DeepSeek-R1-DistillJanus-Pro快速部署DeepSeek模型快速部署DeepSeek模型容器化部署镜像封装,提供容器命令物理机部署基于场景,提供开发环境部署方法运行环境部署模型权重转换模型量化性能测试精度测试集群连通测试推理镜像制作服务化测试纯模型测试服务化启动推理资源评估推理设备选型模型权重转换模型量化性能测试精度测试集群连通测试推理镜像制作服务化测试纯模型测试服务化启动推理资源评估推理设备选型 模型资源获取推理环境调测推理模型部署推理模型测试模型权重下载模型权重下载推荐昇腾最佳实践,快速复现DeepSeek系列模型推理流程,加速客户应用上线。赋能流程昇腾模型迁移昇腾加速组件模型性能采集赋能流程昇腾模型迁移昇腾加速组件模型性能采集昇腾模型并行昇腾推理方案模型精度采集昇腾算子库AOL昇腾算子库AOL昇腾调优引擎AOE昇腾编译器ATC服务内容通过昇腾模型/应用开发演示,demo样例讲解,解答昇腾模型部署DeepSeek知识,快速赋能开发者掌握昇腾技术栈 •调研客户工程师开发过程中的痛点、难点•明确客户当前能力缺位情况•提供赋能内容•提供昇腾样例•昇腾模型/应用开发流程演示•Demo样例讲解•昇腾AI基础知识赋能结合昇腾社区样例,使能快速开发DeepSeek系列赋能昇腾基础昇腾全栈软件社区资源讲解AI基础知识DeepSeek系列赋能昇腾基础昇腾全栈软件社区资源讲解AI基础知识环境搭建示例CANN&AI框架赋能模型演示DeepSeek能力特性讲解DeepSeek推理部署演示硅基流动基于昇腾底座,一周实现用户增长8倍、突破150万+24年12月26日25年1月27日25年1月2

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论