CN111985632B 解压缩设备及其控制方法 （三星电子株式会社）

号EncodingforHighCompFastOn-chipReconstructionforDNeuralNetwork.ICLR2019.2018,第1-1被解压缩并在人工智能模型的神经网络处理中的输入通过多个逻辑电路对压缩数据进行解压器输出的数据中获得神经网络可处理形式的数2解码器，对应于编码矩阵并包括与所述压缩数据的压基于所述补丁信息，改变从所述解码器输出的所述解压缩数据基于所述解压缩数据和与所述压缩数据对应的代表值矩阵获得神经网络可处理形式其中，使用所述编码矩阵，所述解压缩数据中所包括的使用所述神经网络可处理形式的数据执行所述其中，所述第一修剪索引矩阵和所述第二修剪索引矩阵原始矩阵所获得的第一子矩阵和第二子矩阵中3成具有相同列数和行数的多个矩阵并对所划分的多个矩阵基于所述其它压缩数据的输入通过所述多个其它逻辑电路对所述其它压缩数据进行从所述另一解码器输出的所述其它解压缩数据中获得神经网络可处理形式的其它数通过耦合所述神经网络可处理数据和所述神经网络可处理形式的其它数据来获得每10.一种解压缩设备的控制方法，所述解压缩设备包括与压缩数据的压缩方法相关的通过所述多个逻辑电路接收所述压缩数据和与所述压缩数据对应的补丁信息，其中，通过对应于编码矩阵的所述多个逻辑电路对所述压缩数据基于所述补丁信息，改变从所述多个逻辑电路输出的所述解压元素的至少一个元素的二进制数据值，使得所述二进制数据值被确定成最小化误差数目，基于所述解压缩数据和与所述压缩数据对应的代表值矩阵获得神经网络可处理形式其中，使用所述编码矩阵，所述解压缩数据中所包括的使用所述神经网络可处理形式的数据执行所述4基于与所述压缩数据对应的修剪索引矩阵更新所述基于与所述压缩数据对应的第一修剪索引矩阵和与所述压缩数据对应的第二修剪索其中，所述第一修剪索引矩阵和所述第二修剪索引矩阵分别是阵进行因式分解所获得的第一子矩阵和第二子矩阵5[0002]本申请要求并基于2019年5月24日在韩国知识产权局提交的第10-2019-0060991申请以及2019年11月6日在韩国知识产权局提交的第10-2019-0140720号韩国专利申请的[0003]本公开涉及用于对人工智能(AI)系统中的压缩人工智能模型进行解压缩的解压[0009]附加方面将部分地在随后的描述中阐述，并且部分地将解码器输出的数据中获得神经网络可处理形式6所获得的第一子矩阵和第二子矩阵中的每一[0017]解压缩数据包括通过将原始矩阵划分成具有相同列数和行数的多个矩阵并量化[0018]存储器进一步配置为存储被解压缩并在人工智能模型的神经网络处理中使用的[0021]控制方法可以包括基于解压缩数据和对应于压缩数据的代表值矩阵获得神经网缩数据和代表值矩阵包括通过量化人工智能模型中所包括的7[0023]控制方法可以包括基于对应于压缩数据的补丁信息来改变解压缩数据中所包括[0024]控制方法可以包括基于对应于压缩数据的第一修剪索引矩阵和对应于压缩数据原始矩阵所获得的第一子矩阵和第二子矩阵中[0027]解压缩数据包括通过将原始矩阵划分成具有相同列数和行数的多个矩阵并量化神经网络可处理形式的其它数据来获得每个元素包括多个[0030]通过以下结合附图公开了本公开的各种实施方式的详细描述，本公开的其它方[0040]图9是描述根据本公开的实施方式的用于合并处理器的多个第二矩阵的方法的8[0047]提供以下参考附图的描述以帮助全面理解由权利要求书及其等同限定的本公开9[0060]例如，解压缩设备100可以是对压缩人工智能模型中所包括的压缩数据进行解压[0063]存储器110可以存储被解压缩并在人工智能模型的神经网络处理中使用的压缩数解码器120。第二矩阵可以是人工智能模型中所包括的原始矩阵(权重矩阵)通过修剪等进[0066]解码器120可以包括与对压缩数据进行压缩的方法相关的多个逻辑电路。作为使则相应输入/输出端子可以连接以输出编码矩阵和二进制数据的矩阵乘法结果。二进制数据是指被二进制量化并以1位显示的数据，但不限于此，并且可以通过其它量化方法来获并且可以通过比较多个异或门中的每一者的输入和多个异或门中的每一者的输出来获得输入/输出端子以便对应于编码矩阵来实施解码[0068]当输入第一矩阵时，解码器120可以通过多个逻辑电路解压缩第一矩阵并输出解[0069]处理器130可以从解码器120输出的二进制数据中获得第处理器130可以从输出五次的九个单元的二进制数据中获得包括45个[0071]处理器130可以基于第二矩阵和代表值矩阵获得恢复矩阵，并且使用恢复矩阵执[0073]处理器130可以从第二矩阵和代表值矩阵获得待用于神经网络处理的恢复矩阵。[0074]处理器130可以包括以矩阵形式排列的多个处理元件，并且可以使用多个处理元始矩阵中所包括的多个元素中的预定值或更小的元素改变为0来修剪m×n的原始矩阵，并法结果等于第二矩阵中所包括的第二数目的单元的对应二进制数据，并且在这种情况下，剪索引矩阵将第二矩阵中所包括的多个元素中的一些压缩设备100提供指示在将第二矩阵压缩成第一矩阵的过程中没有使用修剪索引矩阵的信[0083]这里，补丁信息可以包括在将第二矩阵压缩成第一矩阵的过程中生成的误差信阵乘法结果与第二矩阵中所包括的第二数目的单元的对应二进制数据之间的差异的位数压缩设备可以向解压缩设备100提供补丁信息以解决在解压缩过程中可能出现[0084]处理器130可以基于补丁信息改变第二矩阵中所包括的多个元素中的一些元素的[0085]另一方面，存储器110还可以存储对应于压缩数据的第一修剪索引矩阵和对应于[0087]第一修剪索引矩阵和第二修剪索引矩阵可以基于通过因式分解原始矩阵获得的[0088]压缩设备可以通过因式分解原始矩阵以获得第一子矩阵和第二子矩阵并分别修备可以通过将使用修剪索引矩阵的神经网络处理的结果与使用第一修剪索引矩阵和第二[0089]压缩设备可以通过将修剪索引矩阵转换成第一修剪索引矩阵和第二修剪索引矩[0090]处理器130可以基于第一修剪索引矩阵和第二修剪索引矩阵获得修剪索引矩阵，中的每一者可以包括二进制数据，并且处理器130可以通过对第一修剪索引矩阵和第二修[0091]处理器130可以基于修剪索引矩阵将第二矩阵中所包括的多个元素中的一些元素[0093]处理器130可以根据对应于交错的方法对恢复矩阵进行去交错，并且使用去交错[0098]解压缩设备100包括与基于编码矩阵的第三矩阵的压缩方法相关的多个其它逻辑[0100]处理器130可以从另一解码器输出的数据中获得神经网络可操作形式的第四矩第二矩阵和第四矩阵以获得其中每个元素包括多器110可以仅从芯片外部的外部存储器接收一些压缩数据，并且仅存储一些压缩数据。此[0104]解压缩设备100可以通过上述方法执行解压缩以获得恢复矩阵，并且使用所获得[0109]压缩设备50可以量化人工智能模型中所包括的原始矩阵以获得代表值矩阵和第向解压缩设备100提供第一修剪索引矩阵和第获得指示多个元素中的每个是否被修剪为二进制数据的修剪索获得代表值矩阵330和包括二进制量化数据的第[0125]如图3D所示，压缩设备50可以将修剪索引矩阵310压缩成第一修剪索引矩阵20-1剪索引矩阵20-1和第二修剪索引矩阵20-2的矩阵乘法结果的神经网络处理结果的准确度和第二修剪索引矩阵20-2的矩阵乘法结果的神经网络处理结果的第一类型元素的数目和编码矩阵中所包括的第二类型元素的数目可以彼此相同。例如，信息将编码矩阵A和x的矩阵乘法结果的最后一[0137]可替换地，压缩设备50还可以在不执行修剪的情况下将第二矩阵压缩成第一矩530-1可以分别与图1的存储器110和处理多个矩阵中的每一者以获得多个第一矩阵。压缩设备50可以向外部存储器510提供多个第[0142]多个解码器(D单元)中的每个可以从外部存储器510接收多个第一矩阵之一并且图6的左上角的矩阵被压缩的数据进行解压缩以及对图6的左上角的右边相邻的矩阵被压[0144]多个解码器中的每个可以将解压缩的第二矩阵传输到处理器530-1的内部存储器[0146]多个去交错器520可以对应于压缩设备50的交错操作。也就是说，多个去交错器[0150]处理器530-2中的多个解码器中的每一者可以解压缩多个第一矩阵，并且将多个[0152]图7A至图7C是描述根据本公开的各种实施方式的用于解压缩第一矩阵的方法的[0155]解码器120可以以第一数目的单元接收第一矩阵中所包括的多个二进制数据，并且以第二数目的单元输出多个二进制数据以被包括在第储器110接收第一修剪索引矩阵和第二修剪索引矩阵，并且从第一修剪索引矩阵和第二修[0161]图9是描述根据本公开的实施方式的用于合并处理器的多个第二矩阵的方法的[0163]解压缩设备100可以包括多个解码器，并且多个解码器中的每一者可以向处理器[0164]如图9所示，处理器130可以组合每个元素为1位的第二矩阵1和每个元素为1位的辑电路输出的数据中获得神经网络可处理形式得神经网络可处理形式的数据，并且使用神经网络可处理形式的数据执行神经网络处理，并且解压缩数据和代表值矩阵可以是通过量化人工智能模型中所包括的原始矩阵来获得修剪索引矩阵可以是在原始矩阵的修剪过程中获得的矩阵并且可以在获得压缩数据的过[0176]另一方面，解压缩设备包括与其它压缩数据的压缩方法相关的多个其它逻辑电[0178]图11A至图11D是描述根据本公开的各种实施方式的人工智能模型的学习过程的模型包括两个原始矩阵W12和W23，并且压缩设备50可以将Li-1的值输入到W12以获得Li的[0182]压缩设备50可以量化原始矩阵中所包括的多个元素中的每个以获得代表性矩阵[0183]参考图11D，压缩设备50可以压缩图11D的左侧的第二矩阵1110以获得图11D的右[0184]压缩设备50可以基于如图7A所示的编码矩阵从第二矩阵1110获得第一矩阵1110-矩阵被压缩并被存储为Q23'，如图11D的右侧所示。压缩设备50可以通过第一编码矩阵对更一般的数学表达式(诸如以下数学表达式2)来学习设备50可以通过如以下数学表达式3所示的处理来学习人工[0200]压缩设备50可以如上所述在人工智能模型中包括异或门[0202]压缩设备50可以使用与人工智能模型中所包括的多个原始矩阵中的每一者相对[0210]压缩设备50通过参考图11A至图11D描述的方法执行w的学习，并且将省略其冗余二电子装置的处理器可以像图2的量化获取矩阵单元一样处理存储器中所存储的数据以解[0218]同时，根据本公开的实施方式，上文描述的各种实施方式可以通过包括机器(例程序产品可以以机器可读存储介质(例如，压缩光盘只读存储器(CD-ROM))的形式来分发，品的至少一部分可以至少暂时存储在存储介质(诸如制造商的服务器、应用程序商店的服