CN119416844A 基于算法与硬件协同的神经网络加速方法、装置及加速器 （杭州市北京航空航天大学国际创新研究院(北京航空航天大学国际创新学院)）

基于算法与硬件协同的神经网络加速方法、本发明涉及一种基于算法与硬件协同的神将处理后的数据放入位分组中，以消除无贡献应索引机制的相关输入和张量分配到位弹性计算单元，且根据非零比特位数执行移位加法计2基于稀疏性阈值，处理量化张量的值级索引，以生成层元数据，并根据符号转换和位查找表识别非零比特的位置和数量处理位分组，并将从层元数据中提取的自适应索引机制的相关输入和张基于列式计算阵列，指令所有阵列在预设周期内完成乘法运算，并将所述非零元素数量输入神经网络模型，输出稀疏比例结果每层神经网络中的非零元素数量样本与稀疏比例样本为训练根据符号转换和位查找表识别非零比特位的位置和数量，并将处理后的数据放入位分组基于层元数据中提取的稀疏性阈值和列式计算阵列的计算能力，基于自适应索引机制，从层元数据中提取索引信息，并将索引信息从预缓存区中提取位分组信息及对应的输入和权重张量，并将其加载到3识别模块，用于根据符号转换和位查找表识别非零比特的分配模块，用于处理位分组，并将从层元数据中提取的自理器执行时实现权利要求1至6中任一项所述的基于算法与硬件协同的神经网络加速方法45是以每层神经网络中的非零元素数量样本与稀疏比例样本为训[0011]本发明还提供了一种基于算法与硬件协同的神经网络加速器，包括顶层控制器、6被处理器执行时实现如上述任一种所述的基于算法与硬件协同的神经7GPT3.5大1000倍以上这为内存和能量受限的设备带来了挑战。传统的深度学习加速器[0024]需要补充说明的是，起始地址和结束地址用于标识当前层在存储器中的地址范了无效的内存访问。这种基于地址的层次访问减少神经网络层间转换而引入的额8[0027]通过将动态稀疏性模式与值级索引处理结合，实现存储9是以每层神经网络中的非零元素数量样本与稀疏比例样本为训[0048]在本实施例中，参见图5，根据符号转换和位查找表识别非零比特位的位置和数[0051]为了有效地确定非零比特位的位置，位匹配阶段采用高位查找表和低位查找[0073]通过比较两个输入数值的绝对值，确保结果符号总是与述的基于算法与硬件协同的神经网络加速装置与上文描述的基于算法与硬件协同的神经[0077]识别模块820用于根据符号转换和位查找表识别非零比特的位置和数量，并将处[0078]分配模块830用于处理位分组，并将从层元数据中提取的自适应索引机制的相关神经网络中的非零元素数量样本与稀疏比例和张量分配到位弹性处理单元940，并在预缓存模块和调度器模块中保留层元数据和位分自适应索引机制(Ψidx并将相关输入加载到输入和权重专用缓冲区，确保计算过程中处[0088]列式处理阵列950将每一列分配给执行整个计算链，确保所有阵列在给定的周期14)和W3(_5)在算法层面_位稀疏性与阈值调整算法格式中的数值表示。列式处理阵列950提取权重的非零比特位位置（Wbitpos）和符号标志冲区为乘法运算独立提供处理单元阵列的访问。,[0096]比特弹性处理单元从专用缓冲区中检索多个权重（WIdx）及其相应的输入元素Idx结果执行带符号的加法运算。非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM步DRAM(SDRAM)、双倍数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态