CN112434803B 用于识别图像的方法和设备 （三星电子株式会社）

2通过将输入图像输入到被配置为识别输入图像的神经网络基于输入数据的稀疏性的形式重新排列输入数据，使得输入数据在神经网络的至少一个卷积层中的每个卷积层上通过对重新排列的输入数据执行卷其中，所述至少一个卷积层中的首层卷积层的输入数据至少一个卷积层中的最后层卷积层输出的输出特得输入数据的所述多个行之中的包括最多零值元素的输入数据的行与输入数据的所述多且第一规则被周期性地应用于包括在输入数据中的所述据中的第一列的非零值移位到与输入数据的与第一列相邻的第二对应用了第二规则和第三规则中的一个或两个的重新排列的输入数据和另外的数据10.一种非暂时性计算机可读记录介质，在所述非暂时性计算机可读记录介质上记录3通过将输入图像输入到被配置为识别输入图像的神经网络基于输入数据的稀疏性的形式重新排列输入数据，使得输入数据在神经网络的至少一个卷积层中的每个卷积层上通过对重新排列的输入数据执行卷其中，所述至少一个卷积层中的首层卷积层的输入数据至少一个卷积层中的最后层卷积层输出的输出特入数据的所述多个行之中的包括最少零值元素的输入数据的且第一规则被周期性地应用于包括在输入数据中的所述将包括在输入数据中的第一列的非零值移位到与包括在输入数据中的与第一列相邻的第和第三规则中的一个或两个的重新排列的输入数据和另外的数据4通过将输入图像输入到被配置为识别输入图像的神经网络通过操作输入数据中的包括零值的位置来生成重新排列的数一个或多个程序中的至少一个，以将规则应用于包括在重新排列的数据的窗口中的非零与输入层相邻的层中的至少一个非零值移位到输入层的与所述至少一个非零值对应并且5[0001]本申请要求于2019年8月26日在韩国知识产权局提交的第10-2019-0104578号韩[0003]神经网络表示使用生物大脑作为模型的计算架构。根据神经网络技术的最新发[0005]提供本发明内容来以简化的形式介绍在以下具体实施方式中进一步描述的构思中的包括最多无效值的输入数据的第一行与输入数据的所述多个行之中的包括最少无效6[0013]第一规则可包括将包括在输入数据中的所述多个列的元素沿相同方向移位特定跳过关于在包括在输入数据中的多个列之中的仅包括无效值的至少一在输入数据中的有效值移位到输入数据中的包括无效值的位置来生成值移位到输入数据中的另外的位置来生成重新7[0044]提供下面的具体实施方式以帮助读者获得对在此描述的方法、设备和/或系统的8项中的任意一个或相关所列项中的任意两个或更多个的任意组合。与内核的卷积运算将输入图像输出为四个通道的特征图，每个通道具有20×20像素大小9[0057]内核220在以具有3×3像素大小的区域(或区块)单元在输入特征图210上滑动的经由将输入特征图210的任意区域的每个像素值与作为内核220的相应元素的权重相乘(由征图201与4D内核202之间的3D卷积运算来生成包括多个输出激活的输出特征图203，并且[0062]经由一个2D输入特征图与一个2D内核之间的卷积运算生成输出特征图的处理如以上参照图2所述，并且在X个输入通道的输入特征图201与Y个输出通道的内核202之间重复执行图2中描述的2D卷积运算以生成Y个输出通道于处理数据的设备400中还可包括除了图4中示出的组件之如，处理器420通常可通过执行存储在存储器410中的程序，来控制用于处理数据的设备元以重复地执行输入特征图与内核之间的卷积运算，从而生成与输出特征图相关的数据。[0071]处理器420还可包括片上存储器和分配器，片上存储器管理用于处理卷积运算的缓存功能，分配器(dispatcher)分配各种操作数(诸如，输入特征图的像素值和内核的权[0072]处理器420执行输入特征图数据与内核数据之间的卷积运算，因此当进行运算的数据的重新排列可表示改变矩阵的原始架构(诸如，改变包括在矩阵中的一些元素的位置[0078]参照图5，处理数据的方法可包括由图4中示出的用于处理数据的设备400按时间理器420可在多个层中执行卷积运算，并且前一层中的输出特征图数据可以是下一层中的[0083]在下文中，将参照图6A和图6B对处理器420识别输入数据的稀疏性的示例进行描640可被表示为矩阵，处理器420可通过在包括在矩阵中的通道的元素之间执行乘积求和(sum-of-product)计算来基于包括在输入数据的多个行中的每个行中的0的数量，来重新排列多个行。在另一示例中，处理器420可根据第一规则对输入数据的多个列中的每个列的元素移位。在另一示例[0094]在图7中示出作为输入数据的输入特征图数据710和内核数据720。输入特征图数5)中的至少一个中。[0097]更具体地，参照输入特征图数据710和特征图数据711，处理器420可执行重新排2)和具有最少空白的row0彼此相邻。处理器420还可执行重新排列，使得多个行row0至理器420可基于包括的空白的数量通过重新排列输入特征图数据710的多个行row0至row[0099]处理器420还可通过将具有与窗口740的大小相同的大小的窗口750应用于内核数据720，将包括在窗口750中的权重输入到逻辑电路730。处理器420可重新排列内核数据[0100]处理器420可重新排列内核数据720，使得将与输入到逻辑电路730的激活一起被计算的权重被准确地输入到逻辑电路730。处理器420可根据重新排列的内核数据720将权[0104]在图8中示出作为输入数据的输入特征图数据810和内核数据820。输入特征图数[0105]处理器420可基于输入特征图数据810的稀疏性的形式来重新排列输入特征图数[0106]第一规则可将多个列col0至col5中的每个列的元素沿相同方向移位特定大通过重新排列生成的特征图数据811，处理器420可通过将包括在输入特征图数据810的第包括在输入特征图数据810的第五列col4中的激活移位两格，来生成特征图数据811的第[0110]将参照图11至图13描述处理器420通过处理特征图数据811和内核数据820来生成[0112]在图9中示出作为输入数据的输入特征图数据910和内核数据920。输入特征图数位到与列col1相邻的列col0的最后的元素([0118]处理器420可基于输入特征图数据1010的稀疏性的形式，来重新排列输入特征图征图数据1010中的多个列col0至col5之中的仅包括空白的列col1至列col被重新排列。[0122]例如，处理器420可通过使用重新排列的输入数据执行卷积运算，来生成输出数[0125]在操作1110中，处理器420可将第二规则和第三规则中的至少一个规则应用于重器420可通过应用第二规则或第三规则来重新排列[0127]在操作1120中，处理器420可对应用了至少一个规则的重新排列的数据和另外的[0128]在下文中，将参照图12对处理器420将第二规则应用于重新排列的数据的示例进将特征图数据1210的包括在窗口1240中的激活输入到逻辑电路1230。处理器420可通过将处理器420可将第二规则应用于包括在窗口1240中的激活，以使逻辑电路1230的输入层1231中的空白最小化(例如，逻辑电路的输入层的内容来自将被输入到逻辑电路的窗口的[0137]处理器420可通过将第三规则应用于包括在窗口1340中的激活，将最多的激活输但是配置不限于此。处理器420可识别特征图数据1210和1310以及内核数据1220和1320的