CN119396691A 基于机器学习的张量化程序分析方法及装置、存储介质 （中国科学技术大学）

基于机器学习的张量化程序分析方法及装本发明公开了一种基于机器学习的张量化2将待分析张量化程序嵌入预设的程序行为特征模板中，构建所述待应的统一特征表示；所述统一特征表示用于从多个维度表达所述待分析张量化程序的特将所述统一特征表示输入至预先训练好的性能评估模型中，获得所将待分析张量化程序对应的数据加载专用存储、原语将待分析张量化程序对应的程序特征嵌入所述程序行为特征模板根据预设的辅助性能评估模型，获取所述待分析张量化程序对应的关键调度原语特根据所述关键调度原语特征和所述待分析张量化程序对应的抽象语将待分析张量化程序对应的硬件原语特征和所述关键抽象语法树特征嵌入所述程序根据所述待分析张量化程序对应的张量化程序数据集，对初始辅待分析张量化程序功能相同但性能不同的对比张量化程序和每个所述对比张量化程序对根据所述目标辅助性能评估模型中所述注意力层的注意力矩阵待分析张量化程序对应的硬件原语特征和所述关键抽象语法树特征嵌入所述程序行为特构建所述待分析张量化程序对应的抽象语法树，基于所象语法树为所述将待分析张量化程序对应的3获取用于对所述性能评估模型进行升级的训练硬件原语，基于根据所述训练硬件原语对所述性能评估模型进行训练，在损失函数上增加正则项根据所述训练硬件原语对所述性能评估模型最后的全连接层重算子，所述算子包括在所述神经网络模型上运行对应的算法张量化程序样本，所述张量化程序样本包括在所述算子上运行张量化算子自动调优，性能信息集，所述性能信息集包括将所述张量化程序样本运行行为模板模块，用于将待分析张量化程序嵌入预设的程序行为特性能评估模块，用于将所述统一特征表示输入至预先训练好的性所述可执行程序代码，执行如权利要求1_7任一项所述的基于机器学习的张量化程序分析计算机指令被调用时，用于执行如权利要求1_7任一项所述的基于机器学习的张量化程序45将待分析张量化程序对应的硬件原语特征和所述关键抽象语法树特征嵌入所述所述待分析张量化程序功能相同但性能不同的对比张量化程序和每个所述对比张量化程子抽象语法树为所述将待分析张量化程序对应[0011]本发明第二方面公开了一种基于机器学习的张量化程序分析装置，所述装置包6性能评估模块，用于将所述统一特征表示输入至预先训练好的性能评估模型中，将待分析张量化程序对应的硬件原语特征和所述关键抽象语法树特征嵌入所述设的辅助性能评估模型，获取所述待分析张量化程序对应的关键调度原语特征的具体方所述待分析张量化程序功能相同但性能不同的对比张量化程序和每个所述对比张量化程7程序对应的统一特征表示；统一特征表示用于从多个维度表达待分析张量化程序的特征；8[0022]图1是本发明实施例公开的一种基于机器学习的张量化程序分析方法的流程示意图2是本发明实施例公开的利用注意力矩阵确定关键抽象语法树特征的操作示意图4是本发明实施例公开的基于机器学习策略提升性能评估模型泛化能力的示意图6是本发明实施例公开的一种基于机器学习的张量化程序分析装置的结构示意图7是本发明实施例公开的另一种基于机器学习的张量化程序分析装置的结构示图8是本发明实施例公开的又一种基于机器学习的张量化程序分析装置的结构示9[0029]针对特定计算负载的张量化算子自动调优存在巨大的搜空间中的所有点是具有相同计算功能但不同性能的程序。由于定制硬件加速器的快速发[0031]本发明实施例中，统一特征表示用于从多个维度表达待分析[0032]本发明实施例根据张量化程序具有统一的程序行为，设[0036]在一个可选的实施例中，将待分析张量化程序嵌入预设三个阶段对待分析张量程序进行抽象表示，并以程序行为特征模板的方式进行固定化操根据预设的辅助性能评估模型，获取待分析张量化程序对应的关键调度原语特将待分析张量化程序对应的硬件原语特征和关键抽象语法树特征嵌入程序行为矩阵中注意力分数高的调度原语是影响性能的图2是利用调度注意力矩阵挖掘影响张量化程序性能的关键抽象语法树特征的流关键调度引入的抽象语法树变换即是影响张量化程序性能的关键抽语法树中绑定到循环的优化。Bind调度原语根据SampleCategorical的指示选择要被绑定线程的迭代。其他关键调度原语均与程序行为相关，例如CacheWrite调度原语和buffer的多个维度。按照从写buffer到读buffer顺序，从左到右编码。向量loopnest和affine来源于该可选的实施例中调度注[0052]第三个向量是buffer或intrinsic，这取决于当前行为是否依赖硬件原语。向量[0054]进一步可选的，基于张量化程序性能评估的统一特征表量化算子自动调优生成的张量化程序数据集中最优性能张量化程序的延迟除以当前张量构建待分析张量化程序对应的抽象语法树，基于抽象语法树中的特征定义方法，型在差异化硬件上的泛化能力带来了极大的挑战。图3示出了正交分解多样差异化硬件环AVX512支持多种数据类型的点乘操作和不同平台上的不同语义2）在保持语义不变前提[0064]图4示出了基于机器学习策略提升性能评估模型泛化能力的示意图。该可选的实[0065]该可选的实施例中，跨语义需要同时兼顾现有的海量语义还有未来可能的新语[0071]图5示出了该可选的实施例中的张量化程序数据集结构。数据集中相同语义上的[0075]在一个可选的实施例，行为模板模块201将待分析张量化程序嵌入预设的程序行关键语法树模块204，用于根据关键调度原语特征和待分析张量化程序对应的抽以及，行为模板模块201将待分析张量化程序对应的程序特征嵌入程序行为特征将待分析张量化程序对应的硬件原语特征和关键抽象语法树特征嵌入程序行为析张量化程序功能相同但性能不同的对比张量化程序和每个对比张量化程序对应的性能[0084]该可选的实施例由于构建了用于张量化程序性能评估的统一特征表示并采用了张量化程序样本，张量化程序样本可以包括在算子上运行张量化算子自动调优，nn代表矩阵乘法的A矩阵和B矩阵均不转置，nt代表矩阵乘法的A矩阵不转置B矩阵转置；avx512.dot和vnni.dot是X86平台上两个具有相同点乘语义的硬件原语；neon.dot和子自动调优场景；任务7用于模拟多种硬件平台上多种硬件原语的张量化算子自动调优场本发明实施例公开了一种计算机存储介质，该计算机存储介质存储有计算机指所描述的基于机器学习的张量化程序分析方法是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中,存储介质包括只读存储器（Read_OnlyMemory，ROM）、随机存储器（RandomAccessMemory，RAM）、可编程只读存储器（ProgrammableRead_onlyMemory，PROM）、可擦除可编程只读存储器（ErasableProgrammableReadOnlyMemory，EPRO