CN115203634B 基于模板的gpu高性能张量缩并方法 （浙江大学）

司US2007239643A1,2007.10.11本发明公开了一种基于模板的GPU高性能张2索引序列映射为相应的维度序列；用户输入的任意张量缩并C＝A×B均以爱因斯坦求和约AB345plaidml.Accessed:2021-10-01.)包含了一门eDSL以便用户定制长尾算子，而Facebook出于同样目的设计了TensorComprehensions(TensorComp；NicolasVasilache,OleksandrZinenko,TheodorosTheodoridis,PriyaGoyal,ZacharyDevito,WilliamS.Moses,SvenVerdoolaege,AndrewAdams,andAlbertCohen.Thenext700acceleratedlayers:Frommathematicalexpressionsofnetworkcomputationgraphstoacceleratedgpu的语法语义都基于爱因斯坦求和约定，能够支持任意的张量缩并(tensorcontraction)，[0006]张量缩并是矩阵乘法在高维情况下的任意推广，可由爱6的用户输入转化为多层嵌套循环，在中端基于多面体模型执行与平台无关的通用循环变忽略了目标平台的架构特点，因此其性能在多为计算密集型的张量缩并中远逊理论峰值。理能力，通用GPU在张量计算中得到广泛应用，在深度学习等领域已成为事实上的基础设[0008]张量缩并之所以适合在通用GPU上进行计算加速，是因为它可以递归地划分为许核架构上实现张量缩并的困难之处在于：实现者必须综合考虑目标平台的计算与存储特计算指令，以隐藏通信延迟，减少阻塞，逼近峰值计算性能。另外，通用GPU计算的SIMT(SingleInstruction,MultipleThreads)模型(ErikLindholm,JohnNickolls,StuartOberman,andJohnMontrym.Nvidiatesla:Aunifiedgraphicsandcomputing[0010]本发明的目的在于针对现有技术的不足，提供一种基于模板的GPU高性能张量缩[0011]本发明的目的是通过以下技术方案来实现的：一种基于模板的GPU高性能张量缩7对索引序列映射为相应的维度序列；用户输入的任意张量缩并C＝A×B均以爱因斯坦求和AB8[0034]借助上述两个辅助函数，将式(2)中的高阶张量隐式转化为采用特定存储格式的[0035]将索引序列p,y,x,r分别转化为标量索引在相应维度上的分量。定义p＝gathP9[0054](2)本发明设计了基于爱因斯坦求和约定的DSL，作为通用框架的前端表示，在[0056]本发明设计了一种基于计算模板的张量缩并方法，在不应的维度序列。[0067]定义p＝ic∩ia∩ib，即所有批次索引组成的序列，每个元素皆用于索引所有张B列。[0078]定义批次维度序列P＝Ext(p)，其中各元素分别为批次索引序列中各索引所对应AB[0094]借助上述两个辅助函数，可以将式(2)中的高阶张量隐式转化为采用特定存储格