CN114579299B Gpu线程负载均衡方法、装置、芯片、电子设备 （中国科学院计算技术研究所）

备本发明提出一种GPU线程负载均衡方法、装程序开启工作组的数量以及每个工作组开启的要处理的所有计算任务分组并全部放到命令队组对所述全局任务队列的访问权限；根据所述GPU总开启的线程当前的计算任务负载情况，从所述全局任务队列中获取每一个所述工作组需的动态映射关系以及本地队列和全局队列的构2通过固定GPU程序开启的工作组数量以及每个工作组开启的线程数量，固定G将需要处理的所有计算任务分组并全部放到命令队列中，构建全局根据所述GPU总开启的线程当前的计算任务负载情况，从所述全局任务队列中获取每在一所述工作组获得对所述初始全局原子变量的访问锁定对所述初始全局原子变量的唯一访问权限，并根据所在所述初始全局原子变量的变量值小于所述计算任务的分局任务队列中获取所述初始全局原子变量的变量值在所述初始全局原子变量的变量值大于等于所述计算任务的分所述初始全局原子变量变量值初始化为0，每一个所述工作组的第0号将所述工作组开启的每一个线程获取的需要执行一组计算任务存放在所述本地任务所述工作组开启的所有线程采用粗粒度并行方式，协同处理所述本地任固定开启线程数量模块：用于通过固定GPU程序开启的工作组数量以及每个工作组开全局任务队列构建模块：用于将需要处理的所有计算任务分组并全部放到命令队列在一所述工作组获得对所述初始全局原子变量的访问锁定对所述初始全局原子变量的唯一访问权限，并根据所3在所述初始全局原子变量的变量值小于所述计算任务的分局任务队列中获取所述初始全局原子变量的变量值在所述初始全局原子变量的变量值大于等于所述计算任务的分7.一种电子设备，包括存储器、处理器以及4法将应用程序根据负载情况拆分成几份，每一份单独写一个GPUkenrel，尽量保证每个来降低由于GPU线程复杂不均衡导致的性能瓶颈，但这种方法依然没有从根本上消除GPU[0007]通过固定GPU程序开启的工作组数量以及每个工作组开启的线程数量，固定GPU[0010]可选的，所述从所述全局任务队列中获取每一个所述工作组需要执行的计算任[0012]在一所述工作组获得对所述初始全局原子变量的访问权限的情况下，锁定对所5[0013]根据所述初始全局原子变量的变量值，从所述全局任务队列中获取该所述工作[0015]在所述初始全局原子变量的变量值小于所述计算任务的分组数量的情况下，从所述全局任务队列中获取所述初始全局原子变量的变量值对应的一组所述计算任务执[0018]在所述初始全局原子变量的变量值大于等于所述计算任务的分组数量的情况[0020]所述初始全局原子变量变量值初始化为0，每一个所述工作组的第0号线程访问[0024]将所述工作组开启的每一个线程获取的需要执行一组计算任务存放在所述本地[0025]所述工作组开启的所有线程采用粗粒度并行方式，协同处理所述本地任务队列[0028]全局任务队列构建模块：用于将需要处理的所有计算任务分组并全部放到命令[0029]负载均衡模块，用于根据所述GPU总开启的述全局任务队列中获取每一个所述工作组需要器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上6[0033]本发明提供的GPU线程负载均衡方法，通过固定GPU线程的开启数量以及基于全局原子变量的GPU全局命令队列，将传统GPU编程线程与任务的静态映射关系变更为动态务队列中获取每一个所述工作组需要执行的计算任务，实现了线程和任务的动态映射以7为GPU程序的性能瓶颈。CPU多线程程序解决线程间负载不均衡的主要技术手段是任务动[0072]S2、将需要处理的所有计算任务分组并全部放到命令队列中，构建全局任务队[0078]对初始全局原子变量的访问权限的工作组锁定对所述初始全局原子变量的唯一8[0080]在所述初始全局原子变量的变量值小于所述计算任务的分组数量的情况下，从所述全局任务队列中获取所述初始全局原子变量的变量值对应的一组所述计算任务执变量的GPU全局命令队列，将传统GPU编程线程与任务的静态映射关系变更为动态映射关中获取每一个所述工作组需要执行的计算任务，实现了线程和任务的动态映射以及任务[0086]S2、将需要处理的所有计算任务分组并全部放到命令队列中，构建全局任务队9[0092]对初始全局原子变量的访问权限的工作组锁定对所述初始全局原子变量的唯一[0094]在所述初始全局原子变量的变量值小于所述计算任务的分组数量的情况下，从所述全局任务队列中获取所述初始全局原子变量的变量值对应的一组所述计算任务执[0101]本实施例在实施例一的基础上，针对单一工作组内部线程间任务负载不均衡的中获取每一个所述工作组需要执行的计算任务，实现了线程和任务的动态映射以及任务[0105]固定开启线程数量模块401：用于通过固定GPU程序开启的工作组数量以及每个所述全局任务队列中获取每一个所述工作组需要执[0108]可选的，所述从所述全局任务队列中获取每一个所述工作组需要执行的计算任[0110]在一所述工作组获得对所述初始全局原子变量的访问权限的情况下，锁定对所[0111]根据所述初始全局原子变量的变量值，从所述全局任务队列中获取该所述工作[0113]在所述初始全局原子变量的变量值小于所述计算任务的分组数量的情况下，从所述全局任务队列中获取所述初始全局原子变量的变量值对应的一组所述计算任务执[0116]在所述初始全局原子变量的变量值大于等于所述计算任务的分组数量的情况[0118]所述初始全局原子变量变量值初始化为0，每一个所述工作组的第0号线程访问[0122]将所述工作组开启的每一个线程获取的需要执行一组计算任务存放在所述本地[0123]所述工作组开启的所有线程采用粗粒度并行方式，协同处理所述本地任务队列与任务的静态映射关系变更为动态映射关系。GPU线程可根据所述GPU总开启的线程当前的计算任务负载情况，从所述全局任务队列中获取每一个所述工作组需要执行的计算任[0125]应当理解，对GPU线程负载均衡方法的各描述同样适用于根据本申请实施例的功能模块完成，即GPU线程负载均衡装置可划分为与上述例示基于全局原子变量的GPU全局命令队列以及本地任务队列，将传统GPU编程线程与任务的静态映射关系变更为动态映射关系。GPU线程可根据所述GPU总开启的线程当前的计算任[0130]对于根据本申请实施例的计算机设备500的其[0131]需要注意的是，本申请实施例中的电子设备可包括移动电子设备和非移动电子[0135]电子设备600通过网络模块602为用户提供了无线的宽带互联网访问，如帮助用[0136]音频输出单元603可以将射频单元601或网络模块602接收的或者在存储器609中641对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或[0139]显示单元606用于显示由用户输入的信息或提供给用户的信息。显示单元606可管(OrganicLight-Emi作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板6071上或在触控面板数据信息、电力等等)并且将接收到的输入传输到电子设备600内的一个或多个元件或者可以用于在电子设备600和外部装置之间[0141]存储器609可用于存储软件程序以及各种数据。存储器609可主要包括存储程序技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可于全局原子变量的GPU全局命令队列以及本地任务队列，将传统GPU编程线程与任务的静态映射关系变更为动态映射关系。GPU线程可根据所述GPU总开启的线程当前的计算任务程和任务的动态映射以及任务的按需分配，从而有效消除了GPU线程间负载不均衡的问[0147]本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指于全局原子变量的GPU全局命令队列以及本地任务队列，将传统GPU编程线程与任务的静态映射关系变更为动态映射关系。GPU线程可根据所述GPU总开启的线程当前的计算任务程和任务的动态映射以及任务的按需分配，从而有效消除了GPU线程间负载不均衡的问局原子变量的GPU全局命令队列以及本地任务队列，将传统GPU编程线程与任务的静态映射关系变更为动态映射关系。GPU线程可根据所述GPU总开启的线程当前的计算任务负载申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所[