CN114723024B 用于存算一体芯片的基于线性规划的神经网络映射方法 （杭州知存算力科技有限公司）

CA2651256A1,2009.04.24用于存算一体芯片的基于线性规划的神经本发明实施例提供了一种用于存算一体芯参数输入预建立的线性规划求解模型进行求解网络各层的权重阵列以及对应的偏置阵列映射观经验的权重和偏置数据映射过程转换为线性2获取待映射神经网络各层的权重阵列以及对应的偏置阵列数将所述待映射神经网络各层的权重阵列以及对应的偏置阵列数据、目所述待映射神经网络各层的权重阵列以及对应的偏置阵列映射至所述目标存算一体芯片其中，所述各层的权重阵列以及对应的偏置阵列数据包括：各层权重阵其中，所述目标存算一体芯片的硬件参数包括：用于写入其中，所述线性规划求解模型的目标函数包括：各层偏置的2.根据权利要求1所述的用于存算一体芯片的基于线性规划的神经网络映射方法，其各层权重的行起始地址位于0和用于写入权重阵各层偏置的行起始地址位于0和用于写入偏3.根据权利要求1所述的用于存算一体芯片的基于线性规划的神经网络映射方法，其各层权重的行起始地址位于M和用于写入权重阵列的闪存单元阵列的行最大值减去对各层权重的列起始地址位于J和用于写入权重阵列的闪存单元阵列的列最大值减去对各层偏置的行起始地址位于0和用于写入偏4.根据权利要求2所述的用于存算一体芯片的基于线性规划的神经网络映射方法，其3根据用于写入权重阵列的闪存单元阵列的行最大值以及最大运算块的行数将用于写5.根据权利要求4所述的用于存算一体芯片的基于线性规划的神经网络映射方法，其数据获取模块，获取待映射神经网络各层的权重阵列以及对线性求解模块，将所述待映射神经网络各层的权重阵映射方案用于将所述待映射神经网络各层的权重阵列以及对应的偏置阵列映射至所述目其中，所述各层的权重阵列以及对应的偏置阵列数据包括：各层权重阵其中，所述目标存算一体芯片的硬件参数包括：用于写入其中，所述线性规划求解模型的目标函数包括：各层偏置的7.根据权利要求6所述的用于存算一体芯片的基于线性规划的神经网络映射装置，其各层权重的行起始地址位于0和用于写入权重阵各层偏置的行起始地址位于0和用于写入偏8.根据权利要求6所述的用于存算一体芯片的基于线性规划的神经网络映射装置，其各层权重的行起始地址位于M和用于写入权重阵列的闪存单元阵列的行最大值减去对各层权重的列起始地址位于J和用于写入权重阵列的闪存单元阵列的列最大值减去对各层偏置的行起始地址位于0和用于写入偏49.根据权利要求7所述的用于存算一体芯片的基于线性规划的神经网络映射装置，其根据用于写入权重阵列的闪存单元阵列的行最大值以及最大运算块的行数将用于写阵列中映射有所述神经网络的权重阵列和偏置所述权重阵列以及对应的偏置阵列的排布方式根据权利要求1至5任一项所述的基于5CPU+GPU架构处理神经网络算法的模式逐渐遇到了速度和功耗的瓶颈，究其根源是因为冯·诺伊曼架构下存算分离使得以数据为中心的神经网络算法给计算系统带来过大的数该待映射神经网络各层的权重阵列以及对应的偏置阵列映射至该目标存6[0013]各层权重的行起始地址位于0和用于写入权重阵列的闪存单元阵列的行最大值之[0014]各层权重的列起始地址位于0和用于写入权重阵列的闪存单元阵列的列最大值之[0021]各层权重的行起始地址位于M和用于写入权重阵列的闪存单元阵列的行最大值减[0022]各层权重的列起始地址位于J和用于写入权重阵列的闪存单元阵列的列最大值减[0028]根据用于写入权重阵列的闪存单元阵列的行最大值以及最大运算块的行数将用[0032]各层偏置的排布行数位于各层偏置最小行数与该用于写入偏置的闪存单元阵列[0033]将用于写入权重阵列的闪存单元阵列按纵向均分成Y个区[0035]数据获取模块，获取待映射神经网络各层的权重阵列以及对应的偏置阵列数据、7[0036]线性求解模块，将该待映射神经网络各层的权重阵列以及对应的偏置阵列数据、映射方案用于将该待映射神经网络各层的权重阵列以及对应的偏置阵列映射至该目标存[0038]该权重阵列以及对应的偏置阵列的排布方式根据上述的基于线性规划的神经网被处理器执行时实现上述的基于线性规划的神经网络映射[0041]本发明实施例提供了一种用于存算一体芯片的基于线性规划的神经网络映射方观经验的权重和偏置数据映射过程转换为线性规划的数学模型的求解问题，提高运算精[0045]图1示出了本发明实施例中的用于存算一体芯片的基于线性规划的神经网络映射[0049]图5是本发明实施例中的用于存算一体芯片的基于线性规划的神经网络映射装置8员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范[0055]图1示出了本发明实施例中的用于存算一体芯片的基于线性规划的神经网络映射映射方案用于将所述待映射神经网络各层的权重阵列以及对应的偏置阵列映射至所述目9实际物理架构由主阵列(用于写入权重阵列)和Bias(偏置)阵列组成。在实际应用过程中，[0069]目标一体芯片的硬件参数中，用于写入权重阵列的闪存单元阵列的行最大值为重阵列的闪存单元阵列中的行起始地址,y[i]为第i层权重阵列在用于写入权重阵列的闪存单元阵列中的列起始地址,bx[i]为第i层偏置在用于写入偏置的闪存单元阵列中的行起过扩展排布后第i层偏置在用于写入偏置的闪存单元阵列中的行数；最大运算块的行数为[0073]3、各层偏置的行起始地址位于0和用于写入偏置的闪存单元阵列的行最大值之[0078]1、各层偏置的排布行数位于各层偏置最小行数与所述用于写入偏置的闪存单元[0079]2、将用于写入权重阵列的闪存单元阵列按纵向均分成Y个区，各区的宽度均为XY＝闪存单元阵列的列宽度，across[i]表示第i层神经网络的权重矩阵映射到闪存单元阵[0085]3、各层偏置的行起始地址位于0和用于写入偏置的闪存单元阵列的行最大值之[0090]1、各层偏置的排布行数位于各层偏置最小行数与所述用于写入偏置的闪存单元[0091]2、将用于写入权重阵列的闪存单元阵列按纵向均分成Y个区，各区的宽度均为XY＝闪存单元阵列的列宽度，across[i]表示第i层神经网络的权重矩阵映射到闪存单元阵重阵列的闪存单元阵列的行最大值以及最大运算块的行数将用于写入权重阵列的闪存单[0096]3、各层偏置的行起始地址位于0和用于写入偏置的闪存单元阵列的行最大值之[0100]7、权重阵列按P对齐均分成Q层，各层权重的行起始地址和行结束地址不能跨层运算块的行数；所述Q为用于写入权重阵列的闪存单元阵列的行最大值除以P后取整。Q=[0104]1、各层偏置的排布行数位于各层偏置最小行数与所述用于写入偏置的闪存单元[0105]2、将用于写入权重阵列的闪存单元阵列按纵向均分成Y个区，各区的宽度均为X[0110]3、各层偏置的行起始地址位于0和用于写入偏置的闪存单元阵列的行最大值之[0114]7、权重阵列按P对齐均分成Q层，各层权重的行起始地址和行结束地址不能跨层运算块的行数；所述Q为用于写入权重阵列的闪存单元阵列的行最大值除以P后取整。Q=[0118]1、各层偏置的排布行数位于各层偏置最小行数与所述用于写入偏置的闪存单元[0119]2、将用于写入权重阵列的闪存单元阵列按纵向均分成Y个区，各区的宽度均为XY＝闪存单元阵列的列宽度，across[i]表示第i层神经网络的权重矩阵映射到闪存单元阵据偏置数值以及目标芯片的参数(每一行Bias的属性)计算出每一层Bias阵列中全部或部分存算一体单元存储的Bias数值，需要利用Bias阵列中的空闲行对[0136]表3示出了基于表1和表2的数据，利用本发明实施例中的用于存算一体芯片的基[0139]所述权重阵列以及对应的偏置阵列的排布方式根据上述的基于线性规划的神经用于存算一体芯片的基于线性规划的神经网络映射装置解决问题的原理与上述方法相似，因此用于存算一体芯片的基于线性规划的神经网络映射装置的实施可以参见上述方法的[0142]图5是本发明实施例中的用于存算一体芯片的基于线性规划的神经网络映射装置[0143]数据获取模块10获取待映射神经网络各层的权重阵列以及对应的偏置阵列数据、[0144]线性求解模块20将所述待映射神经网络各层的权重阵列以及对应的偏置阵列数据、目标存算一体芯片的硬件参数输入预建立的线性规划求解模型进行求解得到映射方[0147]下面参考图6，其示出了适于用来实现本申请实施例的电子设备600的结构示意储器(ROM)602中的程序或者从存储部分608加载到随机访问存储器(RAM))603中的程序而的计算机程序根据需要被安装如存储部分6该计算机程序被处理器执行时实现上述的用于存算一体芯片的神经网络映现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定[0155]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特令装置的制造