CN119512906A 模型处理方法、装置及相关设备 （华为技术有限公司）

种运行环境中的输出数据是否一致；当不一致络节点在两种运行环境中的输出数据是否存在结果，该模型处理结果指示存在问题的网络节部分网络节点在不同运行环境中的输出数据是以有效降低对定位模型中的问题网络节点所需2控制神经网络模型运行在第一运行环境以及第二运行环境中，所述第一运行环境以及所述第二运行环境中运行时具有相同的输入数据以所述神经网络模型运行在所述第一运行环境以及所述第二运行络模型中所述第二网络节点的输出数据影响所述第一网络节点的基于所述第二比对结果，生成模型处理结果，所述模型处理结果指所述比对所述神经网络模型中的第一网络节点在所述第一运行环境中的第一输出数4.根据权利要求1至3任一项所述的方法，其特征在于，所述第所述第一加速硬件的类型与所述第二加速硬件的类件的浮点运算精度与所述第二加速硬件的浮点运6.根据权利要求1至5任一项所述的方法，基于所述第二比对结果，确定第三网络节点，所述神经网络模型控制所述神经网络模型运行在所述第一运行环境以及所述第二比对所述第三网络节点在所述第一运行环境3型处理结果，所述模型处理结果指示所述神经网络模型中的所述第二网络节点存在问题、或指示所述第二网络节点与所述第三网络节点之间的网络7.根据权利要求1至6任一项所述的方法，其特运行环境中通过中央处理器CPU执行，所述神经网络模型在所述第二运行环境中通过加速8.根据权利要求1至7任一项所述的方法，控制模块，用于控制神经网络模型运行在第一运行环境以及第二运经网络模型在所述第一运行环境以及所述第二运行环境中运行时具有相同的输入数据以所述控制模块，还用于当所述第一比对结果指示所述第一输出数所述比对模块，还用于比对所述神经网络模型中的第二网络节点述神经网络模型在所述第二运行环境中运行时存在问题4所述第一加速硬件的类型与所述第二加速硬件的类件的浮点运算精度与所述第二加速硬件的浮点运16.一种包含指令的计算机程序产品，其特征在于，当其在至少一个计算设备上运行5中运行所得到的结果可能存在差异。比如，在将神经网络模型从深度学习处理器(deep_learningprocessingunit，DPU)迁移至图形处理器(graphicsprocessingunit，GPU)由技术人员对该神经网络模型进行相应的修复，以使得修复后的神经网络模型的推理精6境中的输出数据之间的差异，以此实现定位神经网络模型中存在问题的网络节点的情况点在两种运行环境中的输出数据之间存在差异的原因，是第一网络节点发生问题而导致，第一网络节点在第二运行环境中的第二输出数据包括第一子数据以及第二子数据，其中，出数据与第二输出数据，以校验第一网络节点在不同运行环境中的输出数据之间是否一7面或第一方面任一种可能实现方式中的模型处理方8是卷积神经网络(convolutionalneuralnetworks，CNN)、循环神经网络(recurrentforwardneuralnetwork，FFNN)中的一种或者多种，或者可以是其它类型的神经网络模[0029]示例性地，处理器101(以及处理器102)，例如可以是中央处理器(central可以作为用于卸载主机的计算任务的加速硬件(accelera9101可以支持X86架构(泛指一系列基于Intel8086且向后兼容的中央处理器指令集架构)101与处理器102可以是集成在不同计算设备上的加速硬件等。或者，处理器101与处理器[0037]在此过程中，如果模型处理装置300先保存神经网络模型在不同运行环境中运行型运行在第一运行环境以及第二运行环境中，该第一运行环境即为处理器101所构成的运结果用于指示该神经网络模型在第二运行环境中运行时存在问题不同时，模型处理装置300是从上游的网络节点中选择影响该第一网络节点的输出的第二输出数据产生影响的其他网络节点，模型处理装置300可以无需比较其在不同运行环境中能够减少对于该神经网络模型对应的脚本文[0043]在一种示例中，当通过软件实现时，模型处理装置300可以是运行在包括处理器于处理器102所在的计算设备2上，用于控制神经网络模型在处理器102所构成的第二运行(application_specificintegratedcircuit，ASIC)、可编程逻辑器件(programmable现场可编程门阵列(field_programmablegatearray，FPGA)、通用阵列逻辑(generic用户侧的终端设备上的应用程序(application)，或者可以是数据处理系统10对外提供的[0048]S201：模型处理装置300控制神经网络模型分别运行在第一运行环境以及第二运不同网络层中的节点之间的数据运算顺序，当上游的网络层中的节点的输出数据存在错处理系统10中不同的处理器上，具体可以是将该神经网络模型分别调度至处理器101以及10中的不同处理器，并通过客户端向数据处理系统10发送针对该神经网络模型的处理请求。模型处理装置300响应该请求，控制处理器101以及处理器102开始执行该神经网络模[0054]模型处理装置300在控制神经网络模型运行时，可以为不同运行环境中的神经网络模型提供相同的输入数据，并将不同运行环境中神经网络模型的随机值设定为相同的境中的神经网络模型基于该输入数据开始执行该神[0056]在固定神经网络模型中的随机值时，模型处理装置300可以将不同运行环境中的装置300可以将各神经网络模型所需的随机值设定为该配置文件中所指示的固定取值，以此实现不同运行环境中的神经网络模型能够基于相同的[0057]S202：模型处理装置300指示处理器101以及处理器102反馈神经网络模型中的第[0058]S203：处理器101将第一网络节点在第一运行环境中的第一输出数据反馈给模型[0059]S204：模型处理装置300比对第一输出数据以及第二输出数据，得到第一比对结[0061]本实施例中，模型处理装置300在确定神经网络模型在两种不同运行环境中的运[0062]因此，模型处理装置300可以分别指示处理器101以及处理器102反馈该神经网络处理装置300控制神经网络模型再次运行在第一运行环境以及节点上游的至少一个网络节点中选择一个网络节点作为间间隔3个网络节点(也即预先设定的所要间隔的网络节点的数量)，并将网络节点16确定[0073]S207：处理器101将第二网络节点在第一运行环境中的第三输出数据反馈给模型[0074]S208：模型处理装置300比对第三输出数据以及第四输出数据，得到第二比对结[0078]此时，模型处理装置300可以进一步判断第二网络节点是否为与第一网络节点最网络节点，并以此生成相应的模型处理结果来指示存在问题的网络节点为第一网络节点。而如果第二网络节点与第一网络节点之间还间隔至少一个网络节点，则模型处理装置300经网络模型在不同运行环境中，并采集网络层C(也即上述第三网络节点)在不同运行环境的第二网络节点存在问题、或指示第二网络节点与第三网络节点之间的网络节点存在问神经网络模型在不同运行环境中，并采集网络层A(也即上述第三网络节点)在不同运行环点的上游的网络节点中确定存在问题的网络节点，这使得模型处理装置300可以无需比对点6的输出数据，并通过比对输出数据确定网络节点6在两种运行环境中的输出数据不一是否一致，即可确定网络节点5为导致神经网络模型在第二运行环境中运行时存在问题的时所输出的数据的精度，与网络节点5在第一运行环境中运行时所输出的数据的精度保持运行结果不一致时，模型处理装置300可以基于上述步骤S201至步骤S209所描述的实现过经网络模型在第二运行环境中的运行结果与在第一运行环境中的运行结果保持一致，此置300可以利用每组输入数据，分别在第一运行环境以及第二运行环境中运行神经网络模[0088]当存在一组输入数据，使得神经网络模型在不同运行环境中的运行结果不一致控制神经网络模型在不同运行环境中重复运行的过程中，模型处理装置300每次可以向神输入数据重复运行神经网络模型时，模型处理装置300可以将缓存的中间数据输入至各个型时，处理器101以及处理器102可以无需再执行对输入数据进行预处理的操作(即无需执行对输入数据进行预处理以得到首个网络层的输入的过程)，从而可以进一步减少定位存器3也会向模型处理装置300反馈执行神经网络模型的过程中关于第一网络节点的输出数第一子数据与第二子数据一致时，模型处理装置300再比对第一网络节点在第一运行环境中的第一输出数据，与该第一网络节点在第二运环境中的处理器102以及处理器3重新执行神经网络模型并反馈第一网络节点的输出数据。理器反馈的输出数据进行投票后所确定的输出模型处理装置300可以基于上述方式，校验神经网络模型在两种不同浮点运算精度的加速运算精度较低的加速硬件上执行，以此提高神经网络应于可以对应于上述图2所示实施例中的模型处理神经网络模型在第一运行环境以及第二运行环境中运行时具有相同的输入数据以及随机[0096]比对模块502，用于比对神经网络模型中的第一网络节点在第一运行环境中的第[0097]控制模块501，还用于当第一比对结果指示第一输出数据与第二输出数据之间存[0098]比对模块502，还用于比对神经网络模型中的第二网络节点在第一运行环境中的网络模型中第二网络节点的输出数据影响第一网[0113]生成模块503，具体用于当第三比对结果指示第五输出数据与第六输出数据相匹[0115]由于图5所示的模型处理装置500对应于图2所示的方法实施例中的模型处理装置准(peripheralcomponentinterconnect，PCI)总线或扩展工业标准结构(extended电路(applicationspecificintegratedcircuit,ASIC)、图形处理器(graphics接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完[0119]存储器620可以包括易失性存储器(volatilememory)，例如随机存取存储器(