CN115766582B 流量控制方法、装置和系统、介质和计算机设备 （阿里巴巴（中国）有限公司）

客户端在当前周期的流量需求确定所述存储业务在当前周期的流量需求确定各个存储业务在客户端在当前周期的流量需求以及对应存储业务在下一周期的流量配额确定对应存储业务下户端基于本客户端在下一周期的流量配额对本经流量控制后发送的各个IO请求用于发送到服2获取各个客户端在当前周期的流量需求，基于同一存储业务下的各基于所述多个存储业务在当前周期的流量需求确定各个存储业务在下一周期的流量基于同一存储业务下各个客户端在当前周期的流量需求以及对应存储业务在下一周2.根据权利要求1所述的方法，所述基于所述多个存储业务在当前周期的流量需求确基于所述多个存储业务的权重确定各个存储业务在下一周期基于所述多个存储业务在当前周期的流量需求确定各个存储业务在下一周期的补充基于每个存储业务在下一周期的基础流量配额和补充流量配额确定所述存储业务在将各个客户端在下一周期的流量配额下发到对应的客户端，以使若下一周期接收到的IO请求的流量需求与本客户端在下一周期已消耗的流量配额之若本客户端的流量配额满足所述等待队列中的IO请求的出队条件5.根据权利要求1所述的方法，所述客户端包括部署在前台IO线程上的流量门禁模块所述流量门禁模块用于对本客户端在当前周期的IO请求的流量需求进行本客户端在下一周期的流量配额对本客户端在下一周期的IO请求进行流量所述流量管理模块用于从所述流量门禁模块获取本客户端在当前周期的流量需求并6.根据权利要求5所述的方法，客户端的流量门禁模块用于基于本客户端在下一周期37.根据权利要求6所述的方法，客户端的流量门禁模块用于将IO请求所属IO流的优先对所述客户端在当前周期的上报流量需求和所述客户端的历史流量需求进行加权平组业务资源中的各组客户端资源分别被分配给同一存储业务下的各从所述前台IO线程获取本客户端在当前周期的将本客户端在当前周期的流量需求上报给流量控制节点，并获取基于同一存储业务下各个客户端在下一周期的流量需求以及对应存储业务的流量配额确将本客户端在下一周期的流量配额发送到所述前台IO线程，以使所述前每个存储业务对应的客户端用于执行权利要求4使各个客户端基于本客户端在下一周期的流量配额对本客户端在下一周期的各个IO请求5务的客户端的前台IO线程包括多个流量门禁模块，每个流量门禁模块对应一个存储业务，用于根据对应存储业务的流量配额对本客户端在下一周期与对应存储业务相关的IO请求源中的各组客户端资源分别被分配给同一存储业务下的务中每个存储业务下各个客户端上报的流量需求确定所述每个存储业务在下一周期的流6一存储业务下各个客户端在当前周期的流量需求以及对应存储业务在下一周期的流量配期的流量需求以及对应存储业务的流量配额确定对应存储业务下各个客户端在下一周期公开第一方面的任一实施例中的方法；和/或每个存储业务对应的客户端用于执行本公开量配额和当前周期存储业务下各个客户端的流量需求确定各个客户端在下一周期的流量7[0032]在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公[0035]在存储业务混部场景下，可能出现扰邻问题。例如，在一种相关技术中，以端有相似的资源和延迟需求。每个TrafficGroup分配一个TrafficClass，不同的8抢占压力小的TrafficGroup/存储业务的流量资源，而这部分流量资源本应该被压力小的个周期，基于同一存储业务下各个客户端在当前周期的流量需求确定存储业务的流量需而使各个客户端能够基于本客户端的流量配额对本客户端在下一周期的各个IO请求进行9[0043]本公开实施例的流量控制方法可应用于图1所示的系统架构中的流量控制节点资源按照集群(Cluster)_业务(Service)资源_客户端(Client)资源的方式来层次化组织。资源分别被分配给同一存储业务104下的各个客各个客户端106在当前周期的流量需求确定所述存储业[0046]步骤304：基于所述多个存储业务104在当前周期的流量需求确定各个存储业务[0047]步骤306：基于同一存储业务104下各个客户端106在当前周期的流量需求以及对应存储业务104在下一周期的流量配额确定对应存储业务104下各个客户端106在下一周期的流量配额，以使各个客户端106基于本客户端106在下一周期的流量配额对本客户端106[0048]在步骤302中，各个客户端106可以周期性地向流量控制节点102上报本客户端的同一周期内各个IO请求的流量需求进行汇总，得到本客户端106在该周期内的上报流量需[0050]例如，流量控制节点102可以对客户端106在第k个周期的上报流量需求与客户端106在第k_1个周期的流量需求进行加权平均处理，得到客户端106在第k个周期的流量需106在第k个周期的流量需求(通过对客户端106在第k个周期的上报流量需求与客户端106在第k_1个周期的流量需求进行加权平均处理得到)进行加权平均处理，得到客户端106在务Service2下包括Clienti+1到Clientn这n_i个客户端，则Client1到Clienti的业务标识相行汇总求和，得到Service1在该周期的流量需求，并将具有标识2的各个客户端(即Clienti+1到Clientn)在同一周期的流量需求进行汇总求和，得到Service2在[0053]在步骤304中，流量控制节点102可以基于所述多个存储业务104在当前周期的流量需求确定各个存储业务104在下一周期的流量配额。由于基于当前周期的流量需求提前1的比例确定这两个存储业务104在下一周期的流量配额，从而这两个存储业务104在下一个存储业务104的流量需求激增时，该存储业务104下的客户端106会抢占其他空闲存储业无法为各个存储业务104提供性能一致且可下一周期的基础流量配额；基于所述多个存储业务104在当前周期的流量需求确定各个存和补充流量配额确定所述存储业务104在下一周将存储系统108的流量资源适度倾斜给其他压力较大的存储业务104，从而提高存储系统108的流量资源利用率，同时又不会使一个存储业务104过度地抢占其他存储业务104的流[0056]在同时考虑存储业务104的权重以及流量需求的实施例中，可以调用weightedmaxminfairness算法或者其他基于权重和需求的分配算法，将存储系统108的流量资源[0057]在一些实施例中，流量控制节点102还可以周期性(比如1s)地遍历分布式历存储后得到整个分布式存储系统(即集群)的流量资源[0058]应当说明的是，流量控制节点102可以周期性地，或者在一定的触发条件的触发流量配额的实施例中，流量控制节点102确定流量配额的周期与客户端进行流量控制的周本存储节点的流量资源，客户端106可以以较短的第二周期(第二周期小于第一周期)上报流量控制节点102在相邻的多个第三周期可能产生相同的流量配额。但无论第二周期与第[0059]在步骤306中，流量控制节点102可以将各个客户端106在下一周期的流量配额下[0060]在为各个客户端106分配流量配额时，可以基于同一存储业务104下各个客户端106的权重确定所述各个客户端106在下一周期的基础流量配额，客户端106的权重用于表的补充流量配额；基于每个客户端106在下一周期的基础流量配额和补充流量配额确定所个客户端106所属存储业务104的流量配额分配给该存储业务104下的每个客户对一个周期内已发送的各个IO请求消耗的流量需求进行汇总求和，得到本客户端106在该IO请求中携带的流量需求与本客户端在下一周期已消耗的流量配额之和不大于本客户端则本客户端106可以将所述等待队列中的IO请求移出所述等待队列并发送到所述存储系统[0066]上述实施例在流量控制节点102获取到各个客户端106的流量配额之后，客户端接收到IO请求之后都与流量控制节点102进行交互来确定当前接收到的IO请求是否需要进[0067]在一些实施例中，一个客户端106包括部署在前台IO线程上的流量门禁模块在下一周期的流量配额对本客户端106在下一周期的IO请求进行流量控制；所述流量管理模块用于从所述流量门禁模块获取本客户端106在当前周期的流量需求并发送至所述流量控制节点102，以及从所述流量控制节点102获取本客户端106在下一周期的流量配额并发送到该客户端106的流量管理模块。该客户端106的流量管理模块可以对该客户端106上各个前台IO线程的流量门禁模块在同一周期统计的流量需求进行汇总求和，得到该客户端存储业务104的客户端的前台IO线程包括多个流量门禁模块，每个流量门禁模块对应一个可以分别获得流量控制节点102分配的对应于Service1的流量配额(称为Q1)和对应于Service1的流量门禁模块(称为Guard1)和对应于Service2的流量门禁模块(称为Guard2)，且流量门禁模块Guard1用于根据对应于Service1的流量配额Q1对客户端Client1在下一周期与Service1相关的IO请求进行流量控制，流量门禁模块Guard2用于根据对应于Service2的流量配额Q2对客户端Client1在下一周期与Service2相关的IO请求进行流的各个客户端106。客户端106的流量门禁模块可以基于本客户端106在下一周期的各个IO[0071]在一个IO请求未被限流的情况下，客户端106可以将该IO请求发送到服务器11在服务器110内部可以实现与客户端106类似的优先级调度功能。客户端106的流量门禁模[0072]参见图5，本公开实施例还提供另一种流量控制方法，应用于客户端中的后台线储业务中每个存储业务下各个客户端上报的流量需求确定所述每个存储业务在下一周期务下的各个客户端在当前周期的流量需求确定所述存储业务[0080]第一确定模块604，用于基于所述多个存储业务在当前周期的流量需求确定各个[0081]第二确定模块606，用于基于同一存储业务下各个客户端在当前周期的流量需求以及对应存储业务在下一周期的流量配额确定对应存储业务下各个客户端在下一周期的[0082]参见图7，本公开实施例还提供另一种流量控制装置，应用于客户端中的后台线点基于多个存储业务中每个存储业务下各个客户端上报的流量需求确定所述每个存储业[0088]图8示出了本公开实施例所提供的一种更为具体的计算设备硬件结构示意图，该[0090]存储器804可以采用只读存储器(ReadOnlyMemory，ROM)、随机存取存储器[0092]通信接口808用于连接通信模块(图中未示出)，以实现本设备与其他设备的通信[0094]需要说明的是，尽管上述设备仅示出了处理器802、存储器804、输入/输出接口[0097]所述流量控制节点102可以执行前述任一方法实施例中由流