CN119514607A 用于分层权重稀疏卷积处理的方法和系统 （墨芯人工智能科技(深圳)有限公司）

202180028638.42021.08.23道高新区社区高新南九道55号微软科张量分割成复数个子张量且将复数个子张量指是否具有至少一个非零权重的复数个位以及对的一个或多个及来自所指派的子张量的对应输2及基于所述过滤器的所述分层位表示及所述输入张量来执行乘法及累加基于所述分层位表示来识别所述过滤器中的所述复数个非零权重中的一个或多个及对所识别的一个或多个非零权重及对应输入值执行为值的所述复数个非零权重中的一个及作为键的所述复数个非零权重中的所述一个的通针对所述复数个非零权重中的每个非零权重，基于所述分层位表示的所述基于所述分层位表示的所述第二层来判定该非零权重在所述过滤器通道群组内的偏括分别对应于所述复数个子过滤器中的每个子过滤器中的复数个水平面的复数个位向量，针对所述复数个非零权重中的每个非零权重，基于所述分层位表示的所述基于所述分层位表示的所述第三层来判定该非零权重的高度索引基于所述分层位表示的所述第二层来判定该非零权重在所述过滤器通道群组内的偏修剪所述过滤器，使得所述复数个子过滤器中的每个子过3基于所述复数个部分和来构建所述神经网络的所述卷将所述输入张量分割成复数个子张量，其中，所述复数个子张量中将所述复数个子张量及所述复数个子过滤器指派给复数个处理器，以供并行执行MAC11.一种用于分层权重稀疏卷积处理的系统，包括一个或多个处理器及耦合至所述一一个或多个处理器执行以促使所述系统执行包括及基于所述过滤器的所述分层位表示和所述输入张量来执行乘法及累加基于所述分层位表示来识别所述过滤器中的所述复数个非零权重中的一个或多个及对所识别的一个或多个非零权重及对应输入值执行作为值的所述复数个非零权重中的一个及作为键的所述复数个非零权重中的所述一个的针对所述复数个非零权重中的每个非零权重，基于所述分层位表示的所述基于所述分层位表示的所述第二层来判定该非零权重在所述过滤器通道群组内的偏包括分别对应于所述复数个子过滤器中的每个子过滤器中的复数个水平面的复数个位向416.一种用于分层权重稀疏卷积处理的非暂态计算机可读存储介质，配置有可由一个及基于所述过滤器的所述分层位表示及所述输入张量来执行乘法及累加基于所述分层位表示来识别所述过滤器中的所述复数个非零权重中的一个或多个及对所识别的一个或多个非零权重及对应输入值执行值对，每个键值对包括作为值的所述复数个非零权重中的一个及作为键的所述复数个非针对所述复数个非零权重中的每个非零权重，基于所述分层位表示的所述基于所述分层位表示的所述第二层来判定该非零权重在所述过滤器通道群组内的偏5到玩复杂游戏的各种使用场景中。典型NN可以包括其中执行密集及昂贵(在运算及能量方及具有稀疏权重(例如，有限数目个非零权重)的过滤器的卷积进行优化的通用计算引擎[0005]本说明书的各种实施例可包含用于分层权重稀疏卷积处理及并行化的系统、方理器基于分层位表示来识别复数个非零权重中的一个或多个及来自所指派的子张量的对应输入值；对所识别的一个或多个非零权重及对应输入值执行乘法及累加(MAC)运算以获6通道群组索引及偏移来识别来自所指派的子张量处理器中的每个处理器具有一个或多个列方向的个处理器基于分层位表示完成一个子张量与对应子过滤器之间的MAC运算且获得部分和之中的每个处理器基于分层位表示完成复数个子过滤器中的一个或多个与对应子过滤器之多个处理器及耦合至一个或多个处理器且配置有指令的一个或多个非暂态计算机可读存过滤器中的复数个子过滤器且指示对应的子过滤器是否具有至少一个非零权重的复数个括作为值的复数个非零权重中的一个及作为键的复数个非零权重中的一个的通道识别符；由复数个处理器中的每个处理器基于分层位表示来识别复数个非零权重中的一个或多个7乘法及累加(MAC)运算以获得部分和；以及累加由复数个处理器中的每个处理器获得的部[0018]根据又一方面，提供了一种用于分层权重稀疏卷积的非暂态计算机可读存储介一个非零权重的复数个位，且第二层包括对应于该过滤器中的复数个非零权重的复数个权重及对应输入值执行乘法及累加(MAC)运算以获得部分和；以及累加由复数个处理器中暂态计算机可读介质的这些及其他特征以及相关结构元件和部分组合的操作方法和功能[0029]本文中所描述的实施例提供了用于神经网络中的分层权重稀疏卷积的方法、系出的特征图或从神经网络中的先前层输出的激活)的基本但计算昂贵的运算。卷积过程的8征检测器(过滤器)与输入张量之间的乘法过将稀疏化的过滤器高效存储于存储器高效布局中且并行化复数个处理实体(PE)(例如，代(对应于NN中的多个卷积层)中保持于可显著减小过滤器的存储器占用面积(例如，每个使得复数个PE可并行执行局部运算以提高性能的方式将子过滤器及子张量指派给复数个个回合中所产生的部分和并将累加结果组装为输出内)直接累加由每个PE在多个回合中产生的部分和，以在无需与其他PE交换数据的情况下示的任何实施例的特定特征和方面可与本文中所揭示的任何其他实施例的特定特征和方9[0036]图1绘示根据各种实施例的例示性卷积神经网络(CNN)。CNN广泛用于包含图像理[0037]图1中所绘示的例示性神经网络100包括复数个层，诸如，第一卷积层120及第一网络100中并通过复数个层来变换。最后层(FC层170)最终产生表示输入图像110中的字母积层中的多个图像或存在从先前层接收的多个输入激活张量时)，每个输入张量可按照积层140)。卷积层在不丢失对于得到良好预测/分类而言至关重要的特征的情况下将输入可应用元素激活函数来滤除由卷积层120或140产生的一些输出(激活)。例如，可采用max(0,x)函数来滤除卷积输出中的所有负激活且仅将正激活馈送至下一层。ReLU函数可不改中，神经网络100的第一池化层130及第二池化层150可分别沿空间维度(高度及宽度)对输[0042]神经网络中的完全连接(FC)层可学习由来自先前层(例如，图1中的池化层150或[0043]图2绘示根据各种实施例的例示性卷积处理。神经网络中的典型卷积处理可开始于接收(或获得)一个或多个输入张量及复数个过滤器且执行卷积过程以产生一个或多个输出张量。为简单起见，图2中的例示性卷积处理220涉及一个输入张量222、一个过滤器[0045]在图2中所展示的卷积处理220期间，对过滤器224及输入张量的每个深度方向切222中的所有深度方向切片(图2中的9个切片)之后判定输出张量225。输出张量225中的通道的数目等于已在卷积期间应用的过滤器的数目。因为卷积处理220仅使用一个过滤器所以追求理论上的理想并行性需要硬件具有难以企体及存储器交换机构)。以下描述中所揭示的实施例提供了通过完全利用给定硬件的并行[0048]图3绘示根据各种实施例的用于分割输入张量及过滤器的例示性方法。在每个卷入张量323可表示为3(H)*3(W)*6(C)，其中H维度包含3个高度单元，W维度包含3个宽度单外维度N(例如，表示输入张量识别符)来扩展多个输入张量中的每个输入张量的H*W*C表道方向维度上具有通道群组Cg324。过滤器342的分割可通过各种方式实施且具有各种粒且被作为子过滤器对待。作为另一示例，每个过滤器区块345可进一步分割成复数个水平345或346)具有全零权重或预定数目个非零权重。每个子过滤器中的预定数目个非零权重假定过滤器342及343位于相同过滤器群组中，则来自过滤器342的第一通道群组的子过滤例示性过滤器420为了说明而被假设为3(R)*3(S)*32(C)张量并可指代图3中所展示的过滤这些假设仅为了简单及清楚且可容易修正或放宽以适应不同过滤器分割方式或卷积的实于过滤器中的复数个过滤器区块且指示对应的过滤器区块是否具有至少一个非零权重的值对包括作为值的复数个非零权重中的一个及作为键的该一个非零权块中的每个过滤器区块包括分别对应于该过滤器区块内的复数个水平面的复数个位向量，[0057]例如，假定过滤器420具有包含一些非零权重的第一过滤器区块(阴影立方体)及分层位表示440的第一层包括指示对应的过滤器区块是否含有至少一个非零权重的复数个过滤器区块的水平面的复数个位向量。在此示例中，第一过滤器区块具有表示为表432、第二层中的第二位向量具有指示第二水平面(R＝1)在第一列(S＝0)及第三列(S＝2)中具W1位于通道7中。例中，分层位表示440可通过以下操作来提供每个非零权重的准确位置：基于分层位表示440的第一层来判定通道群组索引，其中通道群组索引对应于非零权重位于其中的过滤器[0060]为了在每个PE上执行MAC运算，可基于一个或多个过滤器或过滤器区块的分层位个索引，PE可定位来自输入张量的对应输入值且基于非零权重及输入值来执行MAC运算以[0061]在一些实施例中，分层位表示440中的每个层可维持指向先前处理过的位、位向[0062]分层位表示440提供高效方式来存储非零权重及定位对应输入值以执行卷积所需式协作以通过促进复数个处理实体上的并行卷积计算来提高神经网络的吞吐量及能量效作流程及与芯片外组件(诸如，主机CPU510及双倍数据速率(互并通过DDR接口530来与芯片外DDR存储器520交互。加速器500可通过直接存储器访问(DMA)控制器540(其经由DDR接口530来与芯片外DDR存储器520通信)来从芯片外DDR存储器张量)相关联的数据。全局缓冲器550可与稀疏处理单元(SPU)562的阵列560交换数据以执何将子张量(输入张量600中的阴影部分)及子过滤器群组(过滤器610中的阴影部分)指派数个PE中的每个PE与其相邻PE交换数据(例如，从其列方向的相邻PE之一的内部缓冲器读[0068]图6A中所展示的过滤器及输入张量的例示性指派可为神经网络中的卷积过程提图6A中所展示的相同方式分割输入张量600及过滤器610且将它们指派给复数个PE。例如，每个PE可根据需要通过权重交换连接624来从其列方向的相邻PE读取更多的非零权重。图[0070]图6B中所展示的过滤器及输入张量的例示性指派可为神经网络中的卷积过程提[0072]区块710包含在神经网络的卷积层获得输入张量及复数个过滤器。在一些实施例[0073]区块720包含将输入张量分割成复数个子张量且将复数个子张量指派给复数个处[0074]区块730包含针对复数个过滤器中的每个过滤器，产生该过滤器中的复数个非零[0075]区块740包含由复数个处理器中的每个处理器基于分层位表示来识别复数个非零多个及来自所指派的子张量的对应输入值包括：针对复数个非零权重中的每个非零权重，[0077]区块750包含对所识别的一个或多个非零权重及对应输入值执行乘法及累加[0078]区块760包含累加由复数个处理器中的每个处理器获得的部分和，以建构神经网个处理器基于分层位表示完成一个子张量与对应子过滤器之间的MAC运算且获得部分和之过滤器中来自相同高度索引及相同宽度索引的一个或多个子过滤器指派给复数个处理器器中的一个或多个子过滤器与对应子过滤器之间的MAC运算且获得部分和之后，累加部分[0080]图8绘示其中可实施本文中所描述的任何实施例的示例计算设备。计算设备可用用于传送信息的其他通信机构及与总线802耦合用于处理信息的一个或多个硬件处理器[0081]计算设备800还可包含耦合至总线802用于存储信息及由(一个或多个)处理器804量或其他中间信息。这些指令在存储于(一个或序逻辑(它们与计算设备组合可促使计算设备800成为或将计算设备800编程为专用机器)多个)处理器804执行主存储器807中所含的一个或多个指令的一个或多个序列而执行。这807中所含的指令序列可促使(一个或多个)处理器804执行本文中所描述的过程步骤。例系统或包括计算机硬件的计算机处理器执行的代码模块中且由这些代码模块完全或部分[0086]当本文中所揭示的功能以软件功能单元的形式实施且作为独立产品售卖或使用[0087]特定实施例进一步提供了包括处理器及存储指令的非暂态计算机可读存储介质法中的步骤的操作。特定实施例进一步提供了配置有指令的非暂态计算机可读存储介质，这些指令可由一个或多个处理器执行以促使该一个或多个处理器执行对应于上文所揭示他方式执行。区块或状态可被添加到所揭示的示例实施例中或从所揭示的示例实施例移或步骤或一个或多个实施例必须包含用于在具有或不具