海外TMT行业英伟达GTC2024大会点评：Blackwell平台实现AI性能跃升软硬协同助力英伟达转型AI全链条平台

目 录1、硬件：“AI核弹”Blackwell新架构发布，硬件设备全面升级 3、Blackwell新构单性能整算集性提升显 3、B200GPU：于Blackwell架构实算增、存升和络输快 4、通信联：NVLink+NVLinkSwitch+X800列机，强模AI算络传速度 5、单芯和联品助造大模AI算力群现性跃和耗低 62、软件：NIM帮助英伟达转型软硬件平台商，积极拓展AI+机器人等应用领域 7、工具：NIM打通硬、降客软开难，NeMo帮企业用用数开定大型 7、NVIDIANIM：成生式AI微服，软硬生闭环 7、NVIDIANeMoRetriever：挖掘企“据矿”值帮客开制专大型 8、NIM提供化理微务已多领应用地 9、拓展AI应用展向极在器和动驶领域展作 9、伟发机基础模，力助AI+机人域现破 9、动驶片用Blackwell新架，达在动驶域续强同企作 103、投资建议 114、风险提示 11图目录图1：Blackwell和Hopper架构GPU对，为Blackwell架构的B2004图2：英达代构力对，Blackwell提显 4图3：最新NVLinkSwitch芯片 6图4：GB200级片能参数 7图5：DGX版GB200NVL72级算性提显 7图6：英达布NVIDIANIM 8图7：NeMo服的架构 9图8：英达GTC2024会展了士的orange和green机人 10表目录表1：B200H100和H200性比较 5表2：英达代NVLink主要数比 5表3：英伟达代NVLinkSwitch主参对比 6表4：英达NIM推理服务用况进展 9表5：英达在AI+器领域新出品总 101IBlackwellBlackwellGPU、互联通信、超级芯片到大型算力集群的全面性能提升。英伟达CEO黄仁勋将Blackwell架构称为“推动新一轮工业革GPU、网络通信产品、AI类“苹果”的平台之路。、Blackwell能提升明显多芯片封装、TransformerBlackwellBlackwell于上一代operBlackwell架构的芯片和相关硬件设备以提升单AIAI型的加速效果。此次Blackwell架构有以下6个方面的技术突破：制程优化，首次采用双芯片设计：reticle4NP（4N工艺的改进版本多芯片封装GPUC2C10TB/sCUDAGPU，从而大幅度提高了处理能力。TransformerEngineTransformer第二代TransformerEngine使用BlackwellTensorTensrRT-LLM和NeMoegarn框架Blackwell具备在F4精度的I2Transformer5NVLinkNVLinkSwitch第五代NVLink将GU卡间连接速率提升到1.8TB/S，NVLinkSwith支持与多个NVLink576GPUAI规模训练提供有力的AI算力支持。内嵌加密协议，保障数据安全：Blackwel芯片引入的原生界面加密协议包含NVDAAIBlackwell配900GB/s查询和分析，实现资料分析与资料科学的最高效能。内嵌RSAIBlackwel架构的芯片内嵌的RASAI图1：Blackwell和Hopper架构GPU对比，左为Blackwell架构的B200芯片资料来源：英伟达官网、B200BlackwellB200作为NVDABlackwellB2004NP2080Hopper架构的H100800亿（未采用双芯片设计）。B2002024Transformer2.5定制的BlackwellTensorF4FP6精度计算加速GCLLMFP4AI20PFLOPsH1004PFLOPs的2.5倍；8HBM3e（HopperH2006），内存容量达到192GB；NVLink1.8TB/sHopper10图2：英伟达历代架构算力对比，Blackwell提升明显资料来源：英伟达官网表1：B200、H100和H200性能比较名称B200H100H200架构lakellHopperHopper发布时间2024年3月2022年3月2023年11月制程TSMC4NPTSMC4NTSMC4N晶体管数量2080亿800亿800亿市场定位训练/推理训练/推理训练/推理算力FP810PFLOPS4PFLOPS4PFLOPSFP6（10PFLOPS————FP4（20PFLOPS————内存GPU192GB80GB141GB内存类型HBM3eHBM3eHBM3e内存带宽8TB/s3.35TB/s4.8TB/s最大功耗（TDP）——700W700W互联技术Lk5.：.T/sNVLink4.0：900GB/sNVLink4.0：900GB/s资料来源：英伟达官网、通信互联：NVLink+NVLinkSwitch+X800系列交换机，增强大规模AINVLink1.8TB/sNVLinkCPUGPU2016PascalGP100P100H100NVLink900GB/sB200NVLink1.8TB/s。表2：英伟达历代NVLink主要参数对比版本第二代第三代第四代第五代架构VoltaAmpereHopperlakell最大链路6121218带宽300GB/s600GB/s900GB/s1800GB/s资料来源：英伟达官网最新NVLinkSwitch芯片支持6颗GUNVLinkSwith支持NVLinkNVLinkGUNVLinkSwith（台积电nm500亿个晶体管）576GPU256GPU。表3：英伟达历代NVLinkSwitch主要参数对比版本第一代第二代第三代NVLinkSwitch架构VoltaAmpereHopperlakellNVLink域内直接的GPU数量最多8颗最多8颗最多8颗高达576颗SwtchPU到GPU带宽300GB/s600GB/s900GB/s1800GB/s总聚合带宽2.4TB/s4.8TB/s7.2TB/s130TB/s资料来源：英伟达官网图3：最新NVLinkSwitch芯片资料来源：英伟达官网X800800Gb/s英伟达还新发布了搭载64个800G/s端口、配备RCE自适应路由的NVDIAQanum-X800InfiniBand144个800/s性能达到14.TFLOs的Secrm-X800交换机。X800系列新交换机成为全800Gb/s提高了5倍，网络计算能力则凭借NVIDIASRv4技术提高9倍。Qanum-X800InfiniBand交换机和Secrm-X800交换机面对客户群体略有差异：Qanum-X800nfiniBandNviiaQantmQ3400交换机和NviiaconnectX-8SuperNlc，适用于追求超大规模、高性能的客户；Sectrum-X800SecrmSN560080GB/S交换机和NviiaBleFiel-3SuerNCAIX0系列交换机的首批采用者包括icrsftAure、OraleClodnfrastructre（OC）和Creweave等，预计将于明年上市。AI英伟达从售卖单芯片转向售卖算力硬件系统，推出超级芯片GB200（2GPU+1CPU）、超级计算机GB200NVL72（72GPU+36CPU）和DGXSuperPOD一站式AI超算解决方案（576GPU+288CPU）。GB200：新精度下算力大幅提升。GB200900GB/snk芯片间互连，将2颗BlackwellGU+4个ie+1颗RMGraeCU16TB/sHBM3.6TB/sFP440PFLOPsAIH200FP85图4：GB200超级芯片性能数 图5：DGX版GB200NVL72超级计算机性能提升明显资料来源：英伟达官网 资料来源：英伟达官网超级计算机GB200NVL72：训练和推理性能跃升，能耗成本大幅下降。英伟达在会上发布了通过第五代NVL互连的2颗BlackwellGU、6颗GraeCU以及BleFiel-3DU组合而成的服务器GB200NVL72F4精度下推理算力高达440FLOs，F8精度的训练算力高达720fls，传输量最大达到260TB/s，几乎相当于一个超级计算机集群。GB200NVL72在训练和推理方面相比上一代均实现大幅提升：GH10042000GPUGB200NVL720天内消耗4兆瓦电力训练8万亿参数的GT-e8000颗GUGH1001590GH1003025（72）H100相比，GB200NVL72LLM3025AIDGXSuperPODAIGB200DGXSuperPodAI8DGXGB200系统，即288颗GraeCPU和6颗Blackwell200GU，内存达到240TB，FP411.5ELOPs（11.5），相比上一代产品的3042、软件：NIM帮助英伟达转型软硬件平台商，积极拓展AI+机器人等应用领域英伟达CEO黄仁勋表示，Blackwell不仅是芯片架构，也是平台名称。英伟达GTC2024NIMNeMo、IMNeMoNVIDIANIM：集成生成式AI微服务，构建软硬件生态闭环NIMAIAI黄仁勋认为NIs（Nviiainferencemicoservie）是未来开发软件的新形式，通过与AI聊天的形式调动NSNIM中包括数十项AI制应用，同时保留对知识产权的完整所有权和控制权。图6：英伟达发布NVIDIANIM资料来源：InfoQNIMCUDANIMGPU术，让构成GenAI应用程序可以完成直达NVDIAGPU的全链路优化：预训练模型支持：NIM的INVDI21GgleHggingFac、ea、icsft、isralAI和SabilityAI的开放模型。延迟和吞吐量；其他I软件包：行业标准P、CUDA库、加速检索增强生成（R）等。NIMCUDAGPUAINIMAIAINIMGPUAIAINIMGPU的地方。NVIDIANeMoRetrieverNvidiaNeMoRetrieverNIM成到NIM中以部署定制Cpilot通过使用NviiaNeoRetrieer技术，公司的专有数据都可以被集成到这个微服务里以供使用，最终得到的专有Cilt，能通过对话机器人的形式发布检索公司数据等指令，获得相关领域的GPTStore，行业公司可以使用其他公司或英伟达提供的行业基础NeMo添加自己的数据即可获得专有大模型。图7：NeMo微服务的整体架构资料来源：腾讯科技NIM目前推理微服务已经在半导体、医药等领域等多个落地应用。1）半导体领域，cuLitho产，cuLithoAI40-60及更先进制程开发加速。2）25arabriksONNeMRivaeroplis现已通CUDA-X工作流程。表4：英伟达NIM推理微服务应用情况与进展应用领域应用应用进展电信A6G研究云AI和Ovee半导体ctoA正与TMC和SyoyscLo气象预告A可实现交互式高分辨率模拟，以加速气候和天气预报医疗生物成像系统、基因测序仪器与领先的手术机器人公司达成合作资料来源：英伟达，、拓展AI等领域开展合作AIAIAI算力的长期需求。GTC2024CEOAI+AIAI实现突破英伟达发布ProjectGR00T用突破。NvidiaProjectGR00TProjectGR00TIsaacJetsonThorThor8800teraflopsAI表5：英伟达在AI+机器人领域的新推出产品汇总发布发布容 介绍ProjectGR00T础型 人形器设通基模型JetonTor算机 用于形器的型算，于AThr系级片IsaacPerceptor件发具包具有先的摄头觉程、3D重和用图以及深度感知功能aacapaor库 机械感、径划运学库资料来源：英伟达，人公司开发一个综合的IXgilityRooicsAprnikFigreAISanctaryAIorangegreenAIJetson。图8：英伟达GTC2024大会展示了迪士尼的orange和green机器人资料来源：智东西Blackwell比亚迪未来电动汽车将搭载英伟达采用Blackwell架构新一代自动驾驶汽车（V）处理器DRVETr，并且DRVETor预计最早将于明年开始量产，性能高达1000TFLOS。此外，多家头部电动汽车制造商在GTC上展示了其搭载DRVETr的下一代AI车型，包括中国车企比亚迪、小鹏汽车、广汽埃安、理想汽车和极氪，也包括了文远知行等自