大模型异步 RL 框架的设计与权衡:从 Staleness 控制谈起_第1页
大模型异步 RL 框架的设计与权衡:从 Staleness 控制谈起_第2页
大模型异步 RL 框架的设计与权衡:从 Staleness 控制谈起_第3页
大模型异步 RL 框架的设计与权衡:从 Staleness 控制谈起_第4页
大模型异步 RL 框架的设计与权衡:从 Staleness 控制谈起_第5页
已阅读5页,还剩35页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

简介随着大语言模型(LLM)的强化学习(RL)后训练越来越重要,如何高效地扩展RL训练系统,成为系统设计中的一个重要问题。为了提高GPU利用率和整体训练吞吐,越来越多的RL框架采用异步执行机制,将生成(rollout)和训练(training)解耦,使样本生成与模型训练能够并行推进,而不必严格同步等待。然而,异步执行在提升系统效率的同时,也带来了一个问题:当生成的样本真正参与训练时,生成它的策略可能已经更新了多个版本。这种生成策略与训练策略之间的版本差异,通常称为staleness(陈旧度)。Staleness越大,生成策略与训练策略通常越可能出现较大的偏离,样本也可能更加偏离当前策略的数据分布(即更具off-policy性进而影响训练的稳定性与收敛表现。当然,具体影响还取决于RL算法和相应的校正方法。但无论如何,在提高系统效率的同时控制staleness,都是异步RL框架需要面对的一大核心问题。乍一看,这个问题似乎并不复杂。许多框架都提供了类似max_staleness的参数。将它设置为1,或者放宽到3,似乎就能限制样本的陈旧程度,让rollout和training各自独立运行。但问题是,max_staleness=3究竟限制了什么?它真的能像我们想象的那样,保证所有参与训练的样本最多只落后3个策略版本吗?答案未必如此。我们在梳理现有框架并通过实验验证后发现,严格控制staleness并没有想象中那么简单。一些看似能够限制staleness的机制,实际上仍可能让超出上限的数据参与训练。换言之,我们对某些参数作用的直观理解,与其实际能够提供的保证之间,往往存在一定差距。事实上,现有能够真正保证staleness上限的方案,通常都需要引入一些不可忽视的开销。例如,直接丢弃超过staleness上限的数据。这样虽然能够确保超限数据不会进入训练,但也意味着此前为生成这些数据付出的计算资源被白白浪费,进而造成有效训练吞吐的明显损失。那么,我们究竟该如何控制staleness呢?本文围绕这个核心问题展开,先从一条trajectory的生命周期出发,解释staleness的来源与定义,再梳理现有框架的控制机制及其局限。在此基础上,我们将介绍一套我们研发的staleness控制协议,并通过实验考察它的效果。一、Staleness是怎么产生的?1.一条Trajectory的生命周期RL的一条轨迹(trajectory)通常从一个prompt开始。Prompt是模型的输入,而trajectory则是模型基于该prompt生成的序列,由一个个token组成。在异步RL中,prompt从数据集取出后,不一定会立即开始生成,系统通常需要先决定是否允许它进入rollout。下文将这一动作统一称为准入(admission)。准入后,rollout才开始生成trajectory。生成完成后,结果通常会进入queue或buffer,等待训练侧取样。对于GRPO,同一个prompt通常会生成多条trajectory,组成一个group。训练侧从queue/buffer中选出trajectorygroup,这个动作称为训练取样。选出的内容由batchassembler组装成一个batch,也就是本轮一起参与训练的内容。在异步RL中,rollout端和training端可以同时处理不同的trajectory。rollout端继续生成时,training端也在用之前收集的batch训练。因此,一条trajectory从开始生成到训练取样,可能经历多次策略版本更新。要准确描述它的staleness,需要区分三个阶段:开始生成、生成完成后等待训练取样,以及被选入batch并参与训练。对于采用partialrollout(允许一条trajectory使用多个版本拼接生成)的系统,还需要进一步区分同一条trajectory中不同token的生成版本。一条trajectory的生命周期v1生成,切换到v₂完成,排队等待到v3,再用v3训练BufferAssembler图1:一条trajectory的生成、等待与训练2.Staleness的定义token,其staleness都不超过该上限。例如,上都不足以证明系统提供了这一保证。被取消或丢弃、最终没有参与训练的trajectory不计入这一判二、现有框架如何控制Staleness?三个控制位置BatchAssemblerDataset训练侧能够持续组batch并将模型更新到v5。此时,长trajectory仍只占用一个槽位,没有违反准入上限,但若这条trajectory最终生成完成并参与v5的训练,其中由v0生成的token的staleness就会高达5。因此,L1层面的控制可以减少数据积压,但仅靠数量限制,无法保证每条trajectory的staleness都不超过阈值。L2:Rollout运行时控制(RolloutRuntimeControl)准入后,trajectory就开始生成了。系统可以在权重更新或同步等特定时机检查仍在生成的trajectory,并取消那些已经不可能满足staleness上限的任务。具体检查时机、比较的版本以及取消条件取决于框架实现。例如,一条trajectory从v1开始生成,到v5仍未结束。若允许的最大staleness为3,此时版本差已达4,系统便可在本次版本推进时取消它,无需等其完整生成后再处理。取消越早,节省的后续计算越多。但无法避免的是,此前已生成的token会被浪费。仅增加L2层面的控制仍不够:trajectory生成完成后仍可能排队,而L2无法覆盖这段排队等待时间。trajectory可能通过L2检验,却在后续排队过程中最终超过staleness上限。L3:Training前控制(TrainingInputControl)生成完成后,trajectory通常会在queue/buffer中等待训练侧取样。系统可以按FIFO(先进先出)等策略选择结果,也可以在取样或组装batch时检查其版本信息。一方面,系统可以将超限的trajectory或group排除在训练batch之外。被排除后,框架可以重新取样以补齐batch。另一方面,系统也可以选择停等,确保某一个较旧版本的数据全部完成,防止超限。L3最接近训练入口,也是实现严格staleness控制最直接的位置。到了这里,系统可按实际训练版本检查trajectory,只让合格结果进入batch,也可以暂停训练,等待指定的数据就绪。但是,在L3进行控制的代价也很明显:若此时选择丢弃,整条trajectory的生成计算便白费了。若选择等待,训练端就可能因少数长尾而停下来,即使其他结果已经生成完成,也未必能立即用来补位。因此,L1能否限制过量准入、L2能否提前终止超限生成,都会在一定程度上影响L3:若L1准入控制得当,且L2能及时取消在途生成,则在L3开始训练前,更多数据可及时完成并满足staleness限制,从而减少L3因丢弃或停等产生的开销。2.不同框架的三层机制接下来,我们把L1–L3的分层逻辑对照到主流异步RL框架中,看看不同机制能提供什么样的下图汇总了10个框架、14种配置的做法:“控制位置”列出机制介入的环节,“概述”则用一句话说明它如何工作。最后一列则回答我们最终关心的问题:能否保证所有训练token都不超限?框架机制速查10个框架/14种配置·从控制位置看具体机制(按本文定义)限制准入,训练前丢弃超限结果限制准入,训练前等待慢group完成×限制准入,训练前丢弃超限结果随训练进度补充准入额度×随训练进度补充准入额度,超限只告警×按batch发放准入许可,训练取样后归还×分别限制生成中和等待训练的数据量×限制准入,取消在途超限任务并过滤超限结果√限制积压与生成版本切换,按末尾版本过滤结果限制容量,取消在途超限任务并过滤超限结果√限制提前量,取最老生成版本的数据,凑不齐就等√限制提前量,优先取已完成结果×NeMo-RLLI+L3_源码核对日期:2026-10-16。严格控制指所有实际参与训练的token均不超限。图3:10个框架、14种配置的控制机制与严格staleness控制以AReaL为例,其通过一个核心参数max_head_offpolicyness'来限制准入额度。设Nmax(v)=(v+h+1)B时,初始版本v_0最多准入32个prompt。训练推进到v1后,上限进一步增至48,又能准入16实验/LI是否真能守住上限AReal最紧的异步设置·每次运行50个训练batchAReaL·max_head_offpolicyness=1每根柱子总高恒为128条,没有任何batch因丢弃而变短图4:AReaL参数设为1时,逐batch的staleness构成在这组实验中,我们观察在AReaL的staleness控制机制下每个batch的实际数据构成。可以发现,虽然`max_head_offpolicyness=1`,实际最大staleness却达到了3,50个训练batch中有46个包含超过该参数值的trajectory。图中每根柱子对应一个batch,斜线阴影标出超过参数值的部分。这些数据实际参与了训练,说明仅仅限制L1准入提前量并不能直接保证每条数据的staleness上限。4.第二类:能够控制住Staleness但存在明显代价另一类方法包括verl、TRL、ROLL、prime-rl、Dressage,以及NeMo-RL的其他三种配置。与仅依赖L1准入控制的方案相比,这类方法的核心区别在于在训练前增加了L3丢弃或等待机制,部分方法还会进一步通过L2提前终止生成。得益于这些机制,这一类方法几乎都能够实现严格的staleness控制。(PS:个别方法仍无法提供严格保证,详见[各框架staleness控制机制的详细分析](https://lhy101.github.io/blog/async-rl-staleness-1)。)其中,相当一部分方法选择在L3丢弃超出staleness阈值的生成结果。这是因为L3最接近训练入口,按训练版本检查并排除超限结果,是实现严格staleness控制最直接的办法。然而,这种方式虽然能够简单有效地限制staleness,却也带来了明显的计算浪费:当数据到达训练入口时才发现其已经超限,此前的生成、后处理乃至reward计算都已经完成,相关计算资源也就白白消耗了。说明说明此外,我们在[控制机制的实验验证与对比](https://lhy101.github.io/blog/async-rl-staleness-2)中还观察到,这种L3丢弃不光会降低有效吞吐,还会使保留的数据偏向更短的序列。也就是说,L3丢弃不仅浪费了计算,还会使得数据构成变得有偏。感兴趣的读者可以阅读补充材料。而与常见的L3丢弃策略不同,NeMo-RL的`weight_fifo`和`in_order`采用了另一种思路:预先规定好训练batch组成,当指定batch的数据尚未就绪时,就让训练等待,从而无须依赖丢弃超限数据来保证staleness上限。具体来说,以`in_order`为例,它在准入阶段就将每批数据绑定到一个固定的训练版本。假设staleness上限设置为2,那么当训练处于v0时,NeMo-RL会提前准入三批prompt,分别绑定到v0、v1和v2三个训练版本。当训练推进到v1时,如果分配给该版本的batch尚未全部完成,即使绑定到v2的batch已经就绪,训练也必须继续等待,而不能直接使用后者补位。这种方式通过固定数据与训练版本的对应关系,避免了数据被推迟到更晚的训练版本使用,但也牺牲了调度的灵活性。系统可能因为某一个batch的长尾生成而不得不停等,从而使得最终吞吐机制对比/训练前的两种控制L3的两种选择:丢弃与等待r提前约定取用顺序,等指定数据凑齐当前批次A后续批次H已完成已完成生成中等待指定数据D当前batch尚未凑齐指定数据未完成,训练停等后面的结果已完成,也不能直接补位B生成中训练前检查版本,超限结果不参与训练当前批次F超限结果CHE已完成待补齐补充更新prompt直接丢弃只使用合格且完整的一批已付出的计算被浪费较长序列更易被淘汰,数据偏向短序列这样,staleness控制就被转化成了一个放置问题。设最大允许staleness为η,要控制住从版本到放置给数据找一个不会太晚的训练batch生成时使用voXU2→U3最晚放到v1不能再往后放Bufferv2放置时始终满足放置时始终满足Vbuffer≤Vtraj+ηBufferv1用于v1→v2的更新,其中的数据可以来自允许的较早版本。LI准入:先Reserve,再开始生成所有trajectory使用vo,η=1,每个buffer有2个槽位。ABCDE待准入待准入待准入待准入待准入版本合法版本合法图7:为新准入的trajectory预留合法槽位3.按最差情况Reserve,按最好情况Occupy来看一个小例子。每个buffer有4个槽位,A-F都由v0生成,η=1,初始从后到前依原地Occupy:直接使用预留位置B最先完成,其余仍在生成。Utraj=0,η=1。EmptyB最先完成,保留原来的预留位置具体来说,我们可以释放原先的预留槽位,整理可移动的Reserved,再寻找当前最早的合3.为B寻找最早的合法Empty槽位。Bufferv0第1个槽位就是最早的空槽位,因此B直接落按最早位置按最早位置Occupy:其余预留位置填充空位待放置结果B最先完成,准备释放它的预留F后移的条件:Vgap≤Utraj(F)+η,本例为1≤0+1。量靠后。本例中,Bufferv0第1个槽位是空的,B可以直接占用,帮助训练侧攒齐batch。而后移本例中就是1≤0+1,所以F可以移动。扫描时,我们选择前面符合条件的最早Reserved即按最差情况预留,按当前情况尽早放置调整后的排布决定后续准入调整后的排布决定后续准入AEmptyEmptyEmpty较晚AEmptyEmptyEmpty始终满足同一条上限始终满足同一条上限Ubuffer≤Utraj+ηReserve的较晚位置是兜底,Occupy的较早位置取决于当时的合法空槽。图10:按最差情况Reserve,按最好情况Occupy有空槽→满但未齐→整批已齐AAdAdAdEmptyCEmptyBdBdd有空槽,还能预留满但未齐,等待完成整批已齐,可以取用READY后还要轮到这一版本、训练端空闲,才能取出对应数据开始训练。四、演示示例与扩展协议1.端到端流程下面使用η=1、batchsize为4的设置作为一个代表性的示例(η表示staleness上限)。另外,我们为rollout侧设置maxconcurrency为6,表示最多同时生成6条trajec时跑多少条”,8个合法槽位则意味着全部Reserved、Occupied和Empty加起来不会超过下面,我们来看一下完整的端到端演示,一共跑了3个批次的RL训练:视频1:Reserve–Occupy协议的完整端到端演示视频左侧每行是一条trajectory,进度条总长度与这条trajectory从准入到完成的用时成比例。v_traj为准入时赋予trajectory的版本编号。右侧则是3个用于训练的stalenessbuffer的变化情况。演示动画中的移动是为了把因果关系说明清楚,协议本身的Reserve和Occupy都是瞬间完成说明说明感兴趣的读者如果希望了解每次准入、预留调整和训练推进的具体细节,欢迎扩展阅读[Reserve–Occupy协议关键步骤分析](https://lhy101.github.io/blog/async-rl-staleness-3)。2.扩展协议上面的演示展示了最简单情形下的staleness控制协议。为了满足实际算法和系统优化的需求,我们还可以基于这套协议做出以下扩展(这些扩展功能均可以按需启用)。(1)PartialRollout一条trajectory可以由多个版本逐步生成(即前文介绍的partialrollout而这些版本一定是单调递增的。因此,我们在准入时记录的v_traj就是整条trajectory使用的最早模型版本,而后续片段的版本只会逐步增大。比如最早的前缀来自v0,尽管后续使用v1、v2依次生成,整条trajectory的标签依然会按v0计算。最终放置时仍按这个最早版本检查:因此,partialrollout完全不影响协议的staleness约束检查:partialrollout改变了具体的生成过程,但不会改变准入时的v_traj,也因此不会改变最终的放置判定。故而,对于partialrollout,我们无需放宽版本上限或另设规则,仍可使用同一套约束检查。(2)Reserved槽位丢弃尽管我们设计这套协议的初衷是在不丢弃任何数据的情况下保证staleness,但对于耗时过长或检测出问题的trajectory,我们也支持追踪Reserved槽位的状态,并主动丢弃对应的trajectory。这样一方面可以进一步提高系统性能,另一方面也能让协议更加健壮,不会因为某个trajectory出现错误或卡死而导致整个协议瘫痪。下面,我们用一个超时错误作为例子:当训练端开始等待buffer攒齐时,我们检查最近的buffer,如果它处于STUCK状态,就可以开始计时。当等待时间超过阈值后,就清空该buffer中剩余的所有Reserved槽位。此时,如果后面的buffer中已经有Occupied的数据,可以直接将其前移,填补空位,尽快攒满buffer。另一方面,由于空出了槽位,我们可以从数据集中准入新的数据进行生成,来弥补丢弃的数据。处于Occupied状态的D前移补位,尚未完成的E、F仍保留为Reserved。由于新的空槽位诞生,图15:Group-level过采样下面举一个具体的例子:batch大小为2,而buffer的槽位数为3。此时,每个buffer攒够2先完成的候选放入v0后,2个batch都达到目标数量,协议会判断剩余2个Reserved产生的数据不可能再有合法的放置位置,因此会一起丢弃,不再参与训练(协议只需要在每次有buffer变为READY时进行一次判断即可)。五、实验效果实验/模拟器对齐—rollout侧请求总数KV占用(取最大)span模拟3803s,真实3861s,相差-1.5%训练块末尾还有一两秒的权重同步,相对4000秒的span太窄,图上未画图17:真实verl运行与SimRL模拟对比2.实验设置16×8=128条trajectory,并默认开启partialrollout。我们使用来自dapo-math-17k真实训练过程的负载trace,包含1024个promptgroup、共8192条response。该负载的prompt长度上限设置为1024token,response长度上限设置为实验/负载分布prompt中位数138,response中位数8673,后者p95超过25000图18:实验负载的prompt与response长度分布实验/上限验证η=0...5·每组100个batch·每批128条trajectoryη=0观测最大值0训练batch序号训练batch序号训练batch序号图19:六种staleness上限下的逐batch构成4.性能验证:相同maxstaleness下的吞吐对比本组实验覆盖η∈{1,2,3},每次模拟10个训练批次。我们对齐各机制所允许的max实验/有效吞吐 100050020562实色与数值:有效吞吐。阴影:丢弃token量/该次运行时长,不计倍率=本文协议有效吞吐/对应基线有效吞吐。绿色不低于基线,红色低于基线上,我们的有效吞吐分别为1929、2007、2056tokens/s,约为`in_order的1.11-1.14倍、`weight_fifo`的1.06–1.17倍。这一差距与前文讨论的两套机制的区别相吻合。`weight_fifo`以及`in_order`在生成前就固定了训练batch,而我们的协议通过Reserve为每个group保留合法位置,再通过Occupy根据实际完成顺序调整放置。这样,完成较快的group可以更早凑齐当前batch,长尾group则能在合法范围内后移。因此,相比于固定安排batch,我们的协议更加灵活,在维持staleness约束且不丢弃数据的前提下,为减少训练等待、提高有效吞吐提供了更多空间。其次,我们对比依赖L3过滤的verl`drop`和TRL。η=1时,verl有明显的超限丢弃,我们的有效吞吐约为它的1.34倍。当η=2时,verl仍有一部分数据在L3被丢弃,我们的有效吞吐约为它的1.10倍。直到η=3,verl才不再出现超限丢弃,吞吐差距也缩小到约1.05倍。而对于TRL,L1准入量随staleness设置一同扩大,并未被限制为固定值,这导致在所有的测试点上,TRL都出现了L3丢弃。这使得我们的有效吞吐始终具有优势,加速比维持在1.20到1.36最后,我们对比进一步加入L2淘汰的ROLL。ROLL可以提前停止已经超限的trajectory,避免继续生成后续token,但具体收益依赖于staleness上限和具体配置。例如,η=1时,ROLL的有效吞吐约为1512tokens/s,高于verl的1438,却低于TRL的1612。整体来看,我们的有效吞吐相较于ROLL同样有着显著的优势,加速比维持在1.28到1.33倍之间。总的来看,在本次所有测试点中,我们这套Reserve-Occupy协议的有效吞吐均为最高:我们在

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论