CN119440544A 一种异构编译优化方法、设备及介质 （山东浪潮科学研究院有限公司）

编译器如何准确合理地设置线程层次结构的问迭代耗时逼近阈值和目标线程访问耗时。查询GPU硬件参数确定初始线程块和网格参数值并编2在CUDA编译器对CUDA程序进行编译时，若所述CUDA编根据所述线程块参数值和所述网格参数值对CUDA程序进行编译根据所述线程访问耗时、所述目标线程访问耗时、所述迭代次数若执行迭代编译，根据所述线程访问耗时对所述线程块参数循环执行上述重新编译过程，直至停止迭代编译，生成优化在迭代次数小于所述迭代次数阈值时，将所述线程访问耗时若所述线程访问耗时大于所述目标线程访问耗时，将所述线程若所述线程访问耗时小于或等于所述迭代耗时逼近动态阈值，将更新的迭代耗时逼近动态阈值与所述线程访问耗时循环执行上述重新对比过程，直至所述线程访问耗时高于更=3根据所述最小线程访问耗时所对应的线程层次结构，确定根据所述样本线程块参数值和样本网格参数值对CUDA样本程确定理论上为了缩小所述样本线程访问耗时所对应的多组样本线将所述样本线程访问耗时、所述样本线程块参数值、所述样本获取迭代过程中每次迭代的线程层次结构数据生成每次迭代的线程层次结构数据与线程访问耗时的展示图所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被理器执行，以使所述至少一个处理器能够执行上述权利要求1_8任一项所述的一种异构编于，所述计算机可执行指令能够执行上述权利要求1_8任一项所述的一种异构编译优化方4[0002]随着计算机图形处理与并行计算技术的飞速发展，CUDA（ComputeUnifiedDeviceArchitecture）作为NVIDIA推出的一种并行计算平台和编程模型，已经在科学计[0003]然而，要充分发挥CUDA程序的性能潜力，合理设置CUDAkernel的线程层次结构(线程块大小和网格大小)至关重要。这两个参数直接决定了GPU上并行执行线程的组织方序员具备深厚的CUDA编程知识和对GPU架构的深入理解，增加了编程的复杂性和难度。同数包括线程块最大线程数、GPU中流多处理器的数量；根据线程块参数值和网格参数值对5访问耗时与迭代耗时逼近动态阈值进行对比；若线程访问耗时高于迭代耗时逼近动态阈=储有计算机可执行指令，计算机可执行指令能够执行上述任一项的一种异构编译优化方6[0021]图1为本申请实施例提供的一种异构编译优化方法的流程示意图。该方法可以应CUDA是一种由NVIDIA推出的通用并行计算架构，该架构使GPU能够解决复杂的计[0025]线程层次结构：GPU中的线程在逻辑上被组织成线程块（threadblock）和7优化线程层次结构的宏定义，用于优化线程层次结构的宏定义为宏_THREAD_STRUCTURE_动态阈值虽会随着迭代过程动态变化，但初始值为本领域技术人员根据需要自定义确定，[0034]需要说明的是，CUDA运行时API是CUDA工具包中提供的一组高级别函数和数据结对应的线程块参数值和网格参数值变便是初始的线程块参数值和网[0036]本申请的一些实施例中，使用线程块参数值和网格参数值对8=根据预设耗时逼近表达式更新迭代耗时逼近动态阈值为0.6ms，然后循环执行上述重新对9[0049]比如采取预先构建调整神经网络模型的方式对线程块参数值和网格参数值进行层次结构数据与线程访问耗时；根据获取的每次迭代的线程层次结构数据与线程访问耗[0053]需要说明的是，虽然本申请实施例是参照图1来对步骤S101至步骤S106依次进行例之所以按照图1中所示的顺序对步骤S101至步骤S106依次进行介绍说明，是为了方便本骤S106之间的先后顺序可以根据实际需要进行适植性和适应性，能够针对特定GPU硬件特性调整线程块和网格的大小，从而最大化地利用使至少一个处理器能够执行上述任一项的一种[0078]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特