CN119493931A 一种数据科学任务处理方法和电子设备 （华为技术有限公司）

本申请实施例提供一种数据科学任务处理方法，可以得到数据科学任务的张量抽象化表在异构硬件上部署，达到工程简约性与可移植2确定可用于表达数据科学任务的半环类型与数基于所述数据的密集张量表达，根据所述数据科学任务的计算的线基于所述数据科学任务的计算的密集张量表达，使用深度学习训练框根据所述数据科学任务的计算的线性代数表达确认最优的深度学习基于所述数据的密集张量表达，使用所述最优的深度学习框架根据所述每一步计算对应的计算类型，确定所述每一步计算对应的最8.根据权利要求6所述的方法，其特征在于，所述根据所述每一步计算对应的计算类基于最少张量操作和/或最少算子数量，确定所述每一步计算对应的最优的深度学习9.一种电子设备，其特征在于，所述电子设备包发所述电子设备执行如权利要求1_8中任3数据分析领域，数据科学任务(如图计算/结构查询语言(StructuredQueryLanguage，SQL)查询/数据分析/机器学习推理等)是深度学习任务前训练数据处理阶段不可或缺的环[0010]基于所述数据的密集张量表达，根据所述数据科学任务4机器学习推理任务，所述数据分析任务或所述机器学习推理任务的半环类型包括加强增的计算速度和更小的存储空间，更好地利用深度学习张量算子的并行化与优化加速功能，[0022]根据所述数据科学任务的计算的线性代数表达，推导每一步计算对应的计算类[0025]基于最少张量操作和/或最少算子数量，确定所述每一步计算对应的最优的深度5短的时间内完成大量的矩阵计算和浮点运算。NPU拥有高度并行化的设计和定制化针对深数据计算任务(如张量乘法等)的优化，因此在机器学习模型训练和推理的速度上具有优[0048]以集成数据科学的实时加速平台(Real_timeAccelerationPlatformfor6TraditionalMLPipeline)。输入101包含多个特征提取器(Featurizer1、[0065]解析器111将输入中代表目标模型的每个操作符做解析，每个操作符会被包装成7[0066]优化器112将对解析阶段生成的容器的有向无环图(DirectedAcyclicGraph，[0067]张量编译器113将基于每个操作符的签名，执行一个张量转换函数(conversion_[0069]深度学习编译框架是一种可以将基于张量数据表达的深度学习神经网络模型自据条件的真/假(false/true)结果生成一8量计算操作表达原任务的计算，可以把原任务基于深度学习框架与深度学习编译框架执行。因为深度学习框架与深度学习编译框架具有工程可以达到在传统数据科学任务在异构硬件上部署的工程简单性习框架算子中的执行效率并不高。而上述软件实现方案没有针对性的设计基于稠密[0084]在以上方案中，并没有提出一套流程与理论总结与保证数据科学任务处理可行[0090]如图4所示，系统包括数据训练与处理流程任务下发模块310、数据预处理模块9[0097]张量化数据表达与计算模块330用于将数据科学任务的计算转换为密集张量表[0098]深度学习训练与编译框架340用于基于数据科学任务的计算的密集张量表达，实[0101]S410，线性代数表达单元331确定可用于表达数据科学任务的半环(semiring)类[0110]S420，密集张量算子表达单元332基于S410中确定的数据科学任务的数据的线性[0118]一组string数据(N行M列，每个string最大字符数限制为Q)，可通过utf_8编码encoding和padding操作得到其基于int[0120]S430，最优张量算子选取单元333基于S420中获取的数据科学任务的数据的密集化数据表达与计算模块530以程序代码的形式加载在第一硬件架构501(如计算机内存)内学习训练与编译框架540运行于GPU/NPU/TPU[0142]以下通过具体实施例详细描述根据本申请提供的数据科学任务处理方法实现数本申请的数据科学任务处理方法能够加速图算法中单节点最短路径算法(SingleSourceShortestPath)在应用程序[0150]由任务操作(最短路径算法中为单节点集合遍历Single_nodesettraversal)可最少算子数量”的优化目标，推断出对应的MindSpore深度学习框架算子组合及其计算过(2)将上述结果按dst作为索引求最小值(使用MindSpore的scatter_reduce算子科学任务处理方法能够加速图算法中宽度优先搜索(Breath_FirstSearch)在应用程序中集合遍历Mutil_nodesettraversal)可确定其数据线性表达类型为向量d与矩阵A的相乘(vector_matrixmultiplication，用于表达单目标节点搜索)或矩阵D与矩阵A的相乘图中边e_ij不存在。示计算流程可总结为向量d与矩阵a之间的三步线性代数操作：(1)由向量d复制得到(3)通过current向量与矩阵A的ANDOR操作，基于向量d的NOT操作对current向量重新赋src张量/dst张量的logical_andlogical_or操作，基于向量d的logical_not操作对fill()以及11.中的any()为最优算子。理器元件中的硬件的集成逻辑电路或者软件形式的指令[0232]处理器901可以是片上装置SOC，该处理器901中可以包括中央处理器(Central[0234]处理器901可以包括一个或多个处理单元。例如：处理器可以包括应用处理器(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing信号处理器(digitalsignalprocessor，DSP)，基带处理器，和/或神经网络处理器(inter_integratedcircuit，I2C)接口，集成电路间音频(integratedcircuitsound，I2S)接口，脉冲编码调制(pulsecodemodulation，PCM)接口，通用异步收发传输器(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general_purpose[0237]存储器902可以包括代码存储区和数据存储区。其中，代码存储区可存储操作系和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器(electricallyerasableprogrammableread_onlymemory，EEPROM)、只读光盘(compactdiscread_储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何计算机可读介本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以[0244]本申请一实施例还提供一种计算机程序产品，该计算机程序产品包括计算机程指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0246]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一位于包括存储