CN111742333B 执行深度神经网络学习的方法及其装置 （三星电子株式会社）

2020.08.20PCT/KR2019/00205120WO2019/164251EN2019.08.29号US2018046597A1,2018.02.15US2016307098A1,2016.10.20编码装置连接至深度神经网络的处理学习于使用边缘序列重新配置深度神经网络的层中括在深度神经网络的层中的多个边缘中的连接2接收所述深度神经网络的第一边缘序列，所述第一边缘序列指通过基于所述随机数序列中的具有比特值0的比特与所述随机数序列中的具有比特值1的比特之间的第一比率值以及所述第一边缘序列中的具有指示断开连接边缘的比特值的比特与所述第一边缘序列中的具有指示连接边缘的比特值的比特之间的第二比率值处理开连接的第二边缘序列；接收从所述深度神经网络输出的输出数据，其中所述输出二边缘已经基于所述第二边缘序列被配置的所述第二层对所述图像数据执行学习而生成基于确定出所述第一比率值和所述第二比率值在所述相同范围内，边缘序列处理所述随机数序列生成与所述第一边缘序列和所述随机数序列中的至少一个基于确定出所述第一比率值和所述第二比率值不在所述相同范经由选择器接收中间操作结果中是否已发生溢出的确定基于是否已发生溢出执行对所述深度神经网络中使用的信息的可表示范围进行修改3和所述第二比率值之差是否等于或小于预设值来确定所述第一比率值和所述第二比率值接收所述深度神经网络的第一边缘序列，所述第一边缘序列指通过基于所述随机数序列中的具有比特值0的比特与所述随机数序列中的具有比特值1的比特之间的第一比率值以及所述第一边缘序列中的具有指示断开连接边缘的比特值的比特与所述第一边缘序列中的具有指示连接边缘的比特值的比特之间的第二比率值处理开连接的第二边缘序列；接收从所述深度神经网络输出的输出数据，其中所述输出二边缘已经基于所述第二边缘序列被配置的所述第二层对所述图像数据执行学习而生成基于确定出所述第一比率值和所述第二比率值在所述相同范围内，边缘序列处理所述随机数序列生成与所述第一边缘序列和所述随机数序列中的至少一个基于确定出所述第一比率值和所述第二比率值不在所述相同范述多个第二边缘基于所述第二边缘序列而连基于所述多个第一边缘的权重与预设阈值权重进行比较的结果对所述随机数序列执4基于所述第一比率值和所述第二比率值之差是否等于或小于预设值来确定所述第一5[0001]本公开涉及用于执行深度神经网络学习以使用深度神经网络进行推断的方法和用)等；运动控制是用于控制车辆自主驾驶和机器人运动的技术并且包括运动控制(导航、6[0010]其他方面将部分地在随后的说明中阐述，并且部分地将[0015]图3是示出根据本公开的实施方式的编码装置、学习电路和随机数生成电路的框[0016]图4是描述根据本公开的实施方式、在编码装置中的深度神经网络的学习过程中[0017]图5是根据本公开的另一实施方式的通过使用编码装置执行的编码装置的流程[0018]图6是描述根据本公开的实施方式、通过使用编码装置将第一边缘序列与随机数[0019]图7是根据本公开的实施方式、通过将第一边缘序列与随机数序列进行比较以确[0021]图9是示出根据本公开的实施方式的包括在深度神经网络的每个层中的边缘的连[0022]图10A示出了由根据本公开的实施方式的学习电路执行的在学习过程中调整每个[0023]图10B示出了由根据本公开的实施方式的学习电路执行的在学习过程中调整每个7随机数生成器生成的随机数序列，编码器配置为接收深度神经网络的丢弃信息(dropout信息中具有指示连接边缘的比特值的比特与丢弃信息中具有指示断开连接边缘的比特值[0035]编码器可以基于随机数序列中具有比特值0的比特和随机数序列中具有比特值1率为丢弃信息中具有指示连接边缘的比特值的比特与丢弃信息中具有指示断开连接边缘[0045]生成边缘序列可包括基于随机数序列中具有比特值0的比特和随机数序列中具有8比特值1的比特的模式、以及丢弃信息中具有指示连接边缘的比特值的比特和丢弃信息中以指示深度神经网络的层中的多个边缘的连接或断[0051]本申请基于并要求在韩国知识产权局于2018年2月20日提交的第10-2018-9100可以连接至执行深度神经网络学习的学习电路120。编码装置100可以接收在学习电路深度神经网络150对包括在输入数据中的分类信息执行深度神经网络操作并且输出该信息包含的图像对象的分类类型的结果数据作为点分配权重值，并且深度神经网络150可以基于对输入信号执行的操作和权重值获得输出可以作为隐藏层165之一中的中间结果输出，并且输出值可以通过边缘177传送到相邻层[0069]包括在深度神经网络150的输入层155中的多个节点接收对应于图像数据180的信等于或大于两个比特的比特大小或宽度的二进制数。根据本公开的实施方式的学习电路[0071]上述二进制序列可以是指示构成深度神经网络150的多个层的节点之间的边缘是某个层(例如第一层181)中包括的多个边缘177中的每一个是否被连接或断开连接的边缘经在第一操作周期输出的第一边缘序列。编码电路130可以基于在不同于第一操作周期的指示包括在深度神经网络中的某一层中的多个边缘是连接还是断开连接。学习电路120可先发生的操作周期可以被称为第一操作周期，第二操作周期可在第一操作周期之后发生。可以在第一操作周期与第二操作周期之间的一个或多个居间操作周期的情况下在时间上以基于存储在存储器110中的第一边缘序列生成第二边缘序列，并且将第二边缘序列传送缘序列可已经在与编码电路130将生成第二边缘序列的操作周期不同的操作周期生成，并的每一个的连接或断开连接的二进制序列，存储器110可以将第一边缘序列存储为与某一[0077]根据另一示例，存储在存储器110中的第一边缘序列可以作为指示包括在深度神[0079]在操作S200中，编码装置100可以存储从随机数生成电路或随机数生成器接收的第一数据。第一数据可以是包括通过随机数生成电路的时钟信号输出的随机数序列的数缘序列可已经用于在第一操作周期执行的学习电路120的学习过程的期间，使深度神经网[0081]在操作S202中，编码装置100可以从学习电路120接收深度神经网络的丢弃信[0083]例如，根据本公开的实施方式的编码电路130可执行将第一边缘序列与随机数序列进行比较的操作，以使得第二操作周期的学习过程不通过使用与学习电路120的第一操作周期的学习过程中使用的第一边缘序列相同的边缘序列来执行第二操作周期的学习过[0084]可替换地，根据本公开的实施方式的编码电路130可基于随机数序列和第一边缘时，丢弃率可以表示具有值0的比特数目与包括在第二边缘序列中的比特总数目之间的比[0085]将参考本公开的实施方式来描述基于第一边缘序列和随机数序列生成第二边缘[0087]图3是示出根据本公开的实施方式的编码装置300、学习电路320和随机数生成电也即，与图1A所示的编码装置100相比，图3的编码装置300可进一步包括随机数生成电路[0089]详细地，根据本公开的实施方式的随机数生成电路340可基于时钟信号生成随机数作为包括多个寄存器单元的寄存器。多个寄存器单元中的每一个可以形成为触发器随机数序列确定是将接收到的随机数序列作为与接收到的随机数序列相同的第二边缘序[0091]图4是用于描述根据本公开的实施方式输出将在编码装置中的深度神经网络的学[0092]根据本公开的实施方式的随机数生成电路410可以包括生成随机数序列的线性反对输入值进行异或运算，且可至少将经运算的输出值输出到移位寄存器411的输入端。因成电路410可以包括生成随机数的各种类型的[0094]随机数生成电路410可响应于输入时钟信号来移动存储在移位寄存器411中的比钟信号的上升边缘和下降边缘中的每一个处移动存储在移位寄存器411中的比特值时，可[0096]这里，可基于包括在深度神经网络150中的某一层的边缘数目来确定随机数序列括第一边缘序列)的大小可以基于包括在深度神经网络150的某一层中的边缘数目来确定，[0097]然而，随机数生成电路410仅仅是通过使用根据时钟信号操作的硬件组件以生成[0099]在操作S500中，编码装置420的存储器422可以存储从随机数生成电路410接收的第一数据。第一数据可以是包括通过随机数生成电路410的时钟信号输出的随机数序列的[0100]根据本公开的实施方式，在随机数生成电路410中生成的随机数序列的大小可与[0101]在根据本公开的实施方式的随机数生成电路410中可生成的比特数可具有比在学习电路424中使用的深度神经网络的每个层中的最大边缘数更大的比特宽度。根据本公开生成的二进制序列的一部分作为待与第一边缘序列进行比较的随机数序列。缘序列指示包括于深度神经网络中的某一层中的多个边缘的连接路424可以基于第二边缘序列，连接或断开连接某一层中的多个边缘中的每一个并通过该在第三层183中的多个边缘中的每一个的连接或断开连接，第二边缘序列包括指示包括在相对于第二边缘序列中的总比特数的比率，其可以指示包括在第二层182中的多个边缘的数量与断开连接的边缘数量之间的比率。当第一比率值是40％并且包括在深度神经网络序列，使得第二边缘序列的第二比率值为60从而使得总边缘之中的断开连接边缘的比[0109]如上所述，当将形成深度神经网络150的每个层中的相对于边缘总数的断开连接作以生成第二边缘序列。[0110]在操作S508中，编码装置420可基于第二数据来连接或断开连接某一层中的多个[0111]图6是描述根据本公开的实施方式通过使用编码装置将第一边缘序列与随机数序[0112]根据本公开的实施方式的存储器602、学习电路604和编码电路606可分别对应于[0113]图7是根据本公开的实施方式通过将第一边缘序列与随机数序列进行比较以确定序列。[0116]根据本公开的实施方式，编码电路606可以确定构成第一边缘序列的二进制数和可包括将随机数序列与第一边缘序列进行比第一边缘序列和随机数序列中的至少一个不在相同范围内的第二边中的边缘的边缘序列是1010101010时，存储器602可存储二进制数序列1010101010作为第[0121]根据本公开的实施方式，随机数生成电路608可基于某一层中的边缘数目生成包当确定出两个序列不处于相同范围内时，编码电路606可生成与随机数序列相同的二进制数序列作为第二边缘序列。定位的比特的不同比特值的数目大于3，所以第一边缘序列和随机数序列可确定为不处于为第二边缘序列并输出该第二边缘序列。路606执行的处理随机数序列的方法包括随机数序列与第一边缘序列不处于相同范[0126]根据本公开的实施方式，编码电路606可基于第一比率值和第二比率值在第二操当第一比率值和第二比率值包括在相同范围内时，编码电路606可以处理随机数序列以生成与第一边缘序列不在相同范围内的第二边缘序列。率值等于或大于10％且等于或小于50％时，第二比率值包括在与第一比率值相同的范围内，因此编码电路606可处理随机数序列以产生与第一边缘序列不处于相同范围内的第二减法或乘法)以处理第一边缘序列并可根据运算结果生成第二边缘序列。[0128]根据本公开的实施方式，编码电路606可基于包括在随机数序列中的比特值0和1和第一边缘序列中的比特值0和1是否以特定模式配置(例如，以特定间隔重复至少一个二处理随机数序列以确定与第一边缘序列不在相同范围内的第二边缘序列。由编码电路606执行的处理随机数序列的方法可以是参考本公开中的各种方法所[0129]根据本公开的实施方式，编码电路606可通过使用可执行使得随机数序列不在相606执行的多种处理方法中的一些的执行结果可与第一边缘序列处于相同范围内。编码电路606可以通过选择除了具有与第一边缘序列包括在相同范围内的结果的那些处理方法之外的一些其它处理方法来处理第一边缘序列以确定第二边缘序列。[0134]根据本公开的实施方式，学习电路120可以制造为实现AI的深度神经网络的专用程的一部分可以由通用处理器(例如，CPU或应用处理器)或仅可处理图形的处理器(例如，于针对输入信号的滤波核执行卷积运算以生成特征映射，完全连接层810对作为卷积运算的结果生成的多个特征映射执行推断或分类处理。在卷积层805中执行的卷积运算需要运[0137]根据本公开的实施方式，深度神经网络800的推断方向820和学习方向822可以彼路120可顺序地执行从接近输出端的层到接近输入端的层调整权[0138]图9是示出根据本公开的实施方式的包括在深度神经网络900的每个层中的边缘[0140]根据本公开的实施方式，学习电路120可基于第二边缘序列连接或断开连接包括在深度神经网络900中的层910中的多个边缘。根据本公开的实施方式通过学习电路120使具有值0的比特可以指示在该列中指示的节点之间的边缘不存在或断开连接。下表中具有值1的比特可以指示在该列中指示的节点之间的边缘[0143]然而，上述对齐边缘序列的方法仅仅是确定学习电路120要连接或断开连接边缘[0144]根据本公开的实施方式，学习电路120可基于所获得的第二边缘序列来确定包含的边缘序列，将包括在深度神经网络中的至少一个层或所有层中的至少一些边缘断开连[0146]图10A示出根据本公开的实施方式由学习电路120执行的在学习过程中调整每个[0148]根据本公开的实施方式，学习电路120可基于第二边缘序列连接或断开连接包括在深度神经网络1000中的第二层1012的多个边缘。由根据本公开的实施方式的学习电路电路130生成的第二边缘序列来执行修改第二层1012的权重的学习过程，并由此可以将第二层1012修改为图10B中经训练的第二层1022。经训练的第二层1022可影响第一层1020的[0150]根据本公开的实施方式，学习电路120可基于通过在第二操作周期执行的学习而为推断结果输出的结果值的精确度，学习电路120可迭代地重复根据本公开的上述实施方操作周期的第三操作周期处从存储器110获得第三边缘序列。第三边缘序列可对应于在第示包括在深度神经网络中的某一层中的多个边缘的连接三边缘序列和第四边缘序列对应于分别在编码电路130的每个操作周期生成并输出至学习[0152]图11是根据本公开的实施方式用于通过使用在先前操作周期中确定的边缘的权1110存储指示在第一操作周期确定的构成某一层的多个边缘的连接状态的第一边缘序列，[0156]图12是根据本公开的实施方式由编码装置1100基于存储在寄存器1140中的多个作周期中存储包括构成某一层的多个边缘的权重的第一边缘权重。根据本公开的实施方包括用于将第一边缘权重与预设阈值权重进行定为学习结果的多个边缘的权重再次存储在寄存器1140中，并且可在下一操作周期中使执行的操作的特征可以是与参考本公开的各种实施方式描述的学习电路的特征类似的特期中，编码电路1120可通过将第一边缘权重与预设阈值权重进行比较以生成新的边缘权计算包括在第一边缘序列中的比特值0的比率(丢弃率)和包括在随机数序列中的比特值0计算结果确定某一层的多个边缘之中处于连接据计数器1340的计算结果确定的丢弃率生成第二边缘序列的方法在上文参考本公开的各细说明。此外，图14的寄存器1442和随机数生成电路1444的特征也可以与图11的寄存器性地输出可基于n比特选择信号确定的2^n种[0171]也即，连接至选择器1440的编码装置1400可选择性地使用基于将存储在寄存器于将存储在