CN119494296A 动作预测、训练方法、程序产品、电子设备和芯片系统 （华为技术有限公司）

t_1次动作之后的环境状态；t为整型变量且t≥象执行第t个算子；第t个算子和第t_1次动作对应的第t_1个算子为相同类型的算子或不同类型2获得动作序列，所述动作序列包括至少一次动作对应的算子的在所述第t_1次动作对应的第t_1个算子为逻辑优化算子，所述第t个算子为后映射算在所述第t_1次动作对应的第t_1个算子为映射算子或后映射算子，所述第t个算子为至少基于执行第t_1次动作之后所述执行对象的状态和所述执行对象对应的图结构信3基于所述第t个第一特征向量、所述第二特征向量和所述第t个第确定所述执行对象对应的图结构信息，将所述图结构信息输入至预设的图神经网络，所述策略网络包括第一actor和第二actor；所述第一actor和所述第二ac将所述第t个状态特征向量输入至第一actor，输出第一参数；所述将所述第t个状态特征向量输入至第二actor，输出第二参数；所述第4轨迹包括在所述第t次动作之前已经被执行的至少一次动作分别对应的环境状态、算子信输入所述历史动作轨迹至所述第二编码器，输出第t次动作相对于第t_基于所述第一系数、所述第二系数以及所述正态分布的熵和所述分类分轨迹包括在所述第t次动作之前已经被执行的至少一次动作分别对应的环境状态、算子信5基于所述第一系数、所述第二系数以及所述正态分布的熵和所述分类分述一个或多个计算机程序被存储在所述存储器中，所述一个或多个计算机程序包括指令，当所述指令被所述电子设备执行时，使得所述电子设备执行如权利要求1_14或15_17中任处理器，用于执行计算机可执行程序，使得安装有所述芯片系统6[0002]芯片设计一般可分为前端设计和后端设计，逻辑综合(LogicSynthesis)是前端和第t_1次动作对应的第t_1个算子为相同类型的算子或不同类型的算子。第t_1个算子和个算子既可以是同类型算子也可以是不同类型算子，相比于相关技术中的算子排列方式，7t_1次动作对应的第t_1个算子为映射算子或后映射算子，第t个算子为逻辑优化算子或映个算子作为第t个算子的概率分布；将第t个状态特征向量输入至第二actor，输出第二参89在电子设备上运行时，使得电子设备执行如上述第一方面或第二方面中任一项所述的方或VHDL(Very_High_SpeedIntegratedCircuitHardwareDescriptionLanguage)语言[0050]逻辑综合阶段可以划分为转译(Translation)、逻辑优化(LogicOptimizaion，[0051]算子本身的设计固然重要，但是如何调度算子的运行顺优先工艺映射组(Area_orientedtech.mapping)、时延优先工艺映射组(Delay_otech.mapping)、面积优先后映射组(Area_orientedpostmapping)、时延优先后映射组[0059]贝叶斯优化(BayesianOptimization，BSBO)是一种高效的数据驱动黑盒优化方络作为代理模型，利用历史数据来估计逻辑综合流程的结果质量(QualityofResults，SystemSpecification表示系统规范，architectureDesign表示架构设计，high_level表示逻辑综合；PhysicalSynthesis表示物理综合，又叫自动版图生成；Physical体预测下一个算子和下一个算子对应的参数，算子和相应的算子参数即组成了下一次动[0067]在本申请一些实施例中，将映射(Mapping)进一步划分为工艺映射(Technology[0072]此外，在其他实施例中，逻辑综合还可以包括高阶RTL优化和后优化(post长度可以是动作中的算子个数，强化学习会实时根据环境以及价值网络对于动作的反馈，到任意相邻的两个算子之间可以是同类型也可当前动作反馈的奖励函数值Reward，Actor根据奖励函数值和Critic输出的价值函数的值辑综合强化学习环境(LogicsynthesisRLEnv)反馈的评价(observation)，基于智能体是至少基于执行第t_1次动作之后执行对象的状态和执行对象对应的图结构信息，对环境[0100]其中，历史动作序列至少包括在执行第t次动作之前已经执行的至少一次动作的[0105]在相同的实施例或者其他实施例中，基于历史动作序列，得到第t个第三特征向回退算子Strash(Structur输入到输出构成的最长的路径(通路)依次经过了LUT2→LU[0120]在该实施例中，图神经网络可以是图卷积神经网络(GraphConvolutional经网络还可以采用图注意力网络(GraphAttentionNetworks)、图自编码器(GraphAutoencoders)、图生成网络(GraphGenerativeNetworks)和图时空网络(GraphSpatial-temporalNetworks)中的一种，或者采用包括GCN在内的其中两种以上进行组合加和操作，之后再与第三特征向量进行拼接或者加和操作，从而得到第t个状态特征向量ht么输出的第一参数可以为一个10维的向量，每一维的元素表示相应的算子作为第t个算子[0131]根据第一参数，进行分类分布采样，确定出第t个算子。其中，分类分布，即[0132]示例性地，第一参数P(k)可以是一组非归一化的参数，可以通过逆变换采样expexp的输出和策略网络的输出，计算预设的损失函数L对应的值，根据Lexpexp[0144]历史动作轨迹至少包括在第t次动作之前已经被执行的多个动作的算子信息，在expexp[0158]具体的，该训练方法基于强化学习执行，如图11所示，强化学习包括策略网络PM的固定序列。[0177]逻辑电路在当前状态下的状态向量，相当于描述当前电[0184]该实施例中，transformer包括输入层、encoder和decoder和输出层，其中，encoder可以包括自注意力层(Self_Attention)和前馈神经网络(Position_wiseFeedForwardNetwork，FNN)；decoder包括自注意力层、注意力层(encoder_decoder[0186]由此，在环境状态混合表征过程中，利用多层感知机MLP、图神经网络GCN、[0188]示例性地，OperatorActor可以基于第一MLP实现，用于执行从ht到pk的映射，[0199]具体来说，在该实施例中，探索预算模型包括第二编码器(TE)和探索预算网络LL[0204]然后，将这三个变化Δ以是PaddingMask或SequenceMask；SoftMax(归一化层)用softmax函数对注意力得分进[0206]接下来，使用分类分布和正态分布采样器的分布熵损失来反映算子和参数的探索，在此引入一种新颖的探索损失函数，通过调整该损失函数的系数bk和bx来确定探索预器(neural_networkprocessingunit，NPU)，还可以包括应用处理器(application号处理器(imagesignalprocessor，ISP)，控制器，数字信号处理器(digitalsignal功能所需的应用程序等。存储数据区可存储存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflash(personalcomputer，PC)(例如笔记本电脑)、平板电脑(TabletPersonalComputer，的硬件的集成逻辑电路或者软件形式的指令memory，ROM)、可存储静态信息和指令的其它类型的静态存储设备、随机存取存储器电可擦可编程只读存储器(electricallyerasableprogrammableread_onlymemory，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0246]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一位于包括存储设备在内的本地和远程计算机存储