LPU专题报告一:架构创新突破大模型推理延迟瓶颈广阔市场空间有望快速放量-_第1页
LPU专题报告一:架构创新突破大模型推理延迟瓶颈广阔市场空间有望快速放量-_第2页
LPU专题报告一:架构创新突破大模型推理延迟瓶颈广阔市场空间有望快速放量-_第3页
LPU专题报告一:架构创新突破大模型推理延迟瓶颈广阔市场空间有望快速放量-_第4页
LPU专题报告一:架构创新突破大模型推理延迟瓶颈广阔市场空间有望快速放量-_第5页
已阅读5页,还剩28页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

LPU专题报告一:架构创新突破大模型推理延9%-6%行业专题报告/2026.03.15LPU为新一代面向大模型推理阶段的芯片,核心为TSP架构:LPU是专为顺序处理的计算密集型任务设计的新型芯片架构,核心在于TSP架构,包含五大功能模块,将经典的处理器五级流水线拆散在整个芯片内,进而消除了硬件的复杂性,使指令执行顺序和时间具有确定性。在TSP架构下,编译器可以直接访问并精确控制芯片的底层硬件状态,实现了软件定义硬件。LPU可缩短大模型推理过程中的延迟,提高用户体验感:大模型在推理过程中会存在延迟,延迟与用户体验感精密挂钩,大模型推理过程中的延迟主要在Decode阶段,核心瓶颈在于内存带宽。LPU具备更快的内存带宽,可缩短大模型推理过程中的延迟。同时,基于LPU的大模型不仅具有更快的推理速度,还可以提供更具性价比的价格,可进一步提高用户体验感。LPU具备广阔的潜在发展空间,已步入量产初期:目前Tokens的消耗量大幅增长,2024年初我国日均Token的消耗量为1000亿,2026年2月主流大模型合计日均Token消耗已到180万亿级别,Tokens消耗量快速增长,带动推理芯片市场规模的高增长。LPU可降低大模型推理的延迟,我们认为LPU有望在推理芯片市场中逐步渗透,具有高成长性的市场空间。目前LPU已步入量产初期,放量在即。投资建议:我们认为LPU受益于低推理延时的优异表现,有望实现快速渗透,我们看好LPU的高成长性及LPU以机柜出货时带来的PCB机会,建伟达PCB供应商)、胜宏科技(英伟达PCB供应商)、深南电路。风险提示:AI技术迭代不及预期的风险;大模型发展不及预期的风险;LPU行业发展不及预期的风险表1:重点公司投资评级元)(03.13)EPS(元)PE2025E2026E2025E2026E001339184.7373.240.500.871.37146.4884.1853.46-301536311.9973.980.610.661.03121.75111.4271.890024631,562.2081.181.342.032.6960.3840.0730.203004762,421.57278.231.620.00210.30171.500.000029161,668.38250.232.760.008.8490.780.0028.31数据来源:wind数据,iFinD数据,,“*采用iFinD一致预期”2内容目录1LPU面向大模型推理阶段,TSP架构为核心 41.1LPU是一款用于大模型推理阶段的定制芯片 41.2LPU核心在于TSP架构,指令执行顺序和时间具有确定性 5 8 92LPU可缩短大模型推理过程中的延迟,提高用户体验感 112.1大模型推理延迟与用户使用体验感紧密挂钩,延迟主要发生在Decode阶段 11 11 132.1.3大模型推理过程中的延迟主要在Decode阶段,核心瓶 152.2LPU具备更快的内存带宽,可缩短大模型推理过程中的延迟 152.2.1LPU采用SRAM作为存储介质,解决大模型推理阶段面临的内存带宽受限问题 152.2.2基于LPU的大模型具有更快的推理速度和更具性价比的价格 3LPU具备广阔潜在发展空间,已步入量产初期 183.1Tokens消耗量大幅增长带动推理芯片市场规模高增长,LPU具备广阔潜在发展空间 183.2海外已进入量产初期,国内已推出LPU产品 18 20 21图表目录 4 5 5 6 6图6:TSP将经典的处理器五级流水线拆散在了整个芯片内 7图7:TSP中,指令垂直下发,数据水平流动 83 9 10 10 11 12 13图14:基于LPU的大模型具有更快的推理速度和更 16 17 18 7表2:CPU设计带来的不确定性 8表3:编译器可从指令调度、数据流控制、存储管理三个维度定义芯片行为 9 9 12表6:引入KVCache技术后每一步的输入与输出展示 13表7:延迟指标主要衡量的是从请求提出到获得响应所需的时间 14表8:吞吐量衡量的是推理服务系统在给定时间内处理的请求数量 14表9:资源利用率衡量的是硬件资源被LLM推理任务有效利用的程度 15 16 16 1941LPU面向大模型推理阶段,TSP架构为核心1.1LPU是一款用于大模型推理阶段的定制芯片LPU是一款专用于大模型推理阶段的定制芯片。LPU(LanguageProcessingUnit,语言处理单元)是专为顺序处理的计算密集型任务设计新型芯片架构,其核心目标是通过架构创新优化语言模型的推理效率。LPU由Groq公司推出,Groq成立于2016年,LPU旨在用于大模型推理阶段,LPU是唯一一款为开发者提供所需性能且成本不影响开发者的定制推理芯图1:TPU是一款用于大模型推理阶段的定制芯片数据来源:Groq、没有采用尖端制程工艺,选择了14nm制程,集成了230MB容量的SRAM来芯片的整型(8位)运算速度为750TOPs,浮点(16位)运算速度则为188TFLOPs。51.2LPU核心在于TSP架构,指令执行顺序和时间具有确定性用于执行矩阵运算,SXM用于对矢量进行移位和旋转操作,MEM用于内存读/写运算,VXM用于向量上的算术运算,ICU为指令控制单元,负责获取和调度6数据来源:HotChips,Groq、注:从左往右,灰色为MXM功能切片,传统的MultiCore架构中,每个PE都是一个完整的多级流水线架构配7图6:TSP将经典的处理器五级流水线拆散在了整个芯片内取指(IF)从内存或缓存中读取下一条指令的地址,并译码(ID)执行(EX)访存(MEM)写回(WB)数据来源:CSDN、步地广播指令,这种执行方式类似于SIMD,所有位于同一垂直列上的FU在同水平地流向下游的功能切片进行运算,计算结果再继续以流的形式向下游传递,8图7:TSP中,指令垂直下发,数据水平流动成需要多长时间以及何时提供结果。CPU中指令执行的顺序和时间不确定且难以推理,而GPU还有其他一些非确定性因素,包括缓存、共享和全局内存、动态资源分区等。非确定性带来的问题是,很难推理程序的性能,也很难保证最坏情况下的性能限制。相较于CPU和GPU,Groq的TSP没有不确定的行为,这消除了硬件的复杂性,使编译器能获得更大的权利,精确调度和控制指令的执表2:CPU设计带来的不确定性CPU的设计具体情况对于分支,它会猜测分支条件是真是假,并提前预(当然如果猜错了,就需要放弃并返回另一条分支)指令流水线将指令分为多个阶段,以流水线的方式执行,多级缓存CPU有2-3级缓存,可以减少从内存加载数据带来的延迟软件定义硬件,编译器可以直接访问并精确控制芯片的底层硬件状态。TSP的设计人员简化了硬件,编译器需要精确地调度指令和数据流,以正确执行给定的程踪片上任何流的位置和使用时间,称为软件定义硬件。9表3:编译器可从指令调度、数据流控制、存储管理三个维度定义芯片行为编译器访问编译器访问TSP硬件的权限解释TSP芯片中的每个tile都能够以SIMD方式在矢量的220M全局共享SRAM体端到端实时AI和HPC解决方案,主要是四部分:GroqChip、GroqChip、GroqNode、GroqRack。量(个)含GroqCard数量(个)含GroqNode数量含GroqRack数GroqChip1---GroqCard11--881-GroqRack91通过线缆构成一个Fullmesh的结构,每张卡顶部有7个互联接口,通过线缆链2LPU可缩短大模型推理过程中的延迟,提高用户体验感2.1大模型推理延迟与用户使用体验感紧密挂钩,延迟主要发生在架构是Decode-Only架构,在使用Decode-Only架构的大模型进行推理时,整个推理过程主要分为两个阶段:一个是Pref数据来源:CSDN,模型与使用者进行交互并生成回答的过程中,使用者会先将问题输入给大模型,随后会根据输出的第一个回答的单词来不断地预测后一个回答的单词,直到把需不一样的是大模型接收到的输入不一样。以下图场景为例,对于大模型来说,第数据来源:CSDN,1我2不3需4要5吃6饭…今天吃饭了吗?我不需要吃饭,不过谢谢你的关系,你呢,了24今天吃饭了吗?我不需要吃饭,不过谢谢你的关系,你呢,了?今天吃饭了吗?我不需要吃饭,不过谢谢你的关系,你呢,EOS数据来源:CSDN,引入KVCache技术减轻计算量。在每个步骤输入的Prompt存在大量的重复单词,为减轻重复单词带来的计算量,引入了KVCache技术,KVCache技术就是把上一步骤已经计算过的单词进行缓存,方便在下一步骤的时候直接使用,并表6:引入KVCache技术后每一步的输入与输出展示步骤每次KVCache缓存的内容每次的输入输出1无我2我我不3不需4需需要5要吃6吃吃饭了了24?EOS数据来源:CSDN,数据来源:CSDN,大模型在推理过程中有一些重要的性能指标的定义和含义,对于这些指标,大致l延迟Latency延迟Latency指标衡量从请求提交(提出Prompt)到获得响应所需的时间,对FirstToken,TTFT2.逐个Token生成时间(TimePerOutputToken,TPOT3.端到端请求时间/延迟(End-to-EndRequestLatency)。因为延迟决定了用户感知模型生成输出的速度,与用户使用体验感紧密挂钩。表7:延迟指标主要衡量的是从请求提出到获得响应所需的时间间/延迟TTFT衡量的是从用户提交查询到接收到第一个输出Token所需的时间,包括整时间/延迟TPOT连续输出(也就是Decode阶段)Token生成之间的平均时间延迟,从实际基准测试的角度来看,TPOT=(总延迟-首次生成时间)/总输出Token/表示从提交查询到接收到完整响应所经过的总时=TTFT+TPOT*N(N为Decode阶段生成的Token数量可以细化分为每秒Token数(TokensPerSecond,TPS,又可以继续细分为Prefill预填充阶段的TPS和Decode解码阶段的TPS)、每秒请求数量(RequestsPerSecond,RPS)。表8:吞吐量衡量的是推理服务系统在给定时间内处理的请求数量的TPS可以直接通过延迟指标进行反推得到,Prefill预填充阶段的TPS=N/TTFT(其中Decode的TPS可以直接通过延迟指标进行反推得到,Decode解码阶段的TPS=1/TPOT(其中数量RPS对于Request请求的定义:当用户(或测试客户端)通过调用API向LLM推理服务发出一次调用,服务端接收到这个调用并将其放入处理队列(或开始处理)设置该性能指标的原因是,对于一个LLM推理服务系统来说,尤其是在一些发场景下,系统的瓶颈不一定总是在模型的GPU计算上,还可以在CPU对请求资源利用率指衡量硬件资源被LLM推理任务有效利用的程度。其中可以大致分表9:资源利用率衡量的是硬件资源被LLM计算资源利主要是指GPU、CPU利用率,衡量GPU或CPU在LLM推理相关计算任务重内存资源利量化了LLM推理过程中,LLM的静态权重、动态激活以及键值(KV)缓存所消用率耗的GPU显存或系统内存量。2.1.3大模型推理过程中的延迟主要在Decode阶段,核心瓶颈在于内存带宽矩阵,再经过后续的FFN层和解码得到首字母Token。因量矩阵乘法和Attention计算,GPU的算力Prefill阶段的KV结果,也可以复用Decode阶段已经产生的KV结果,在都需要访问所有历史的KVCache,计算量小,但内存带宽压力大。Decode是通常受计算能力限制。相比之下,Decode阶段本质上是顺序执行的,每一步仅生成一个输出Token,这使其性能受限于内存带宽。大模型推理过程中90%以后续每生成一个Token的量级大概为50ms。2.2LPU具备更快的内存带宽,可缩短大模型推理过程中的延迟2.2.1LPU采用SRAM作为存储介质,解决大模型推理阶段面临的内存带宽在哪个时钟周期到达哪个功能单元,全都在编译阶段由算法计算完成,带来了硬了所有与计算无关的“控制开销”,而在传统CPU/GPU中,约有60%-80%的SRAM的访问延迟是纳秒级的,且完全可预测延数据流设数据像流水一样在运算单元间穿行,无需反复读写显存,这使得计数百个Token的极速输出数据来源:电子工程专辑、NVDIAB200(Blackwell)GroqLPU(TSP)HBM3e(8TB/s带宽)片上SRAM(约80TB/s理论带宽)推理延迟(TTFT)低(受限于显存调度)极低(物理极限级)擅长多用户高并发(吞吐量)擅长单用户实时交互(低延迟)数据来源:电子工程专辑、2.2.2基于LPU的大模型具有更快的推理速度和更具性价比的价格430个Token的速度,且每百万个Token的价格仅为0.27美元。图14:基于LPU的大模型具有更快的推理速度和更具性价比的价格数据来源:甲子光年、ArtificialAnalysis.ai、数据来源:电子工程专辑、ArtificialAnalysis.ai、3LPU具备广阔潜在发展空间,已步入量产初期3.1Tokens消耗量大幅增长带动推理芯片市场规模高增长,LPU具备广阔潜在发展空间推理Tokens消耗量大幅增长,推理角度来看,据国家数据局,2024年初我300多倍;数据显示,中国整体日均Token消耗于2025年中突2026年2月主流大模型合计日均Token消耗已月,据QYResearch数据,2024年全球推理AI芯片市场规模大约为142.1亿美元,预计2031年将达到690.1亿美元,2025年-2031年CAGR为25.7%。数据来源:QYResearch、注:单位为亿美元将持续高增长。2026年全球AI芯片市场规模预计达2800亿美元,其中推理芯3.2海外已进入量产初期,国内已推出LPU产品量产初期。Groq成立于

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论