CN111914989B 神经网络系统及其学习方法、以及迁移学习方法 （三星电子株式会社）

层的所述确定基于针对所述多个层中的每个层将通过第一次学习迭代得到的第一权重值的分布与通过第二次学习迭代得到的第二权重值的在除已确定所述学习中断的所述至少一个层以的第一分布信息和所述第二权重值的第二分布信息并被配置为向所述处理器提供所述第一分2多个层中的每个层将通过第一次学习迭代得到的第一权重值的分布与通过所述第一次学存储器，被配置为当所述第二次学习迭代完成时存储关于其中所述第一分布信息包括关于所述多个层中的每个层中的所述第一权重值的第一所述神经网络处理器被配置为基于所述多个层中的每个层中的所述第一直方图信息与所述第二直方图信息之差来确定所述多个其中所述神经网络处理器被配置为：从所述第一直方图息；通过将经减法处理得到的直方图信息中所包括的值的绝对值相加来获得差指示符值，其中所述第一分布信息包括关于所述多个层中的每个层中的所述第一权重值的第一所述神经网络处理器被配置为基于所述多个层中的每个层中的所述第一统计信息与所述第二统计信息之差来确定所述多个层中所述学习被中断的所述至其中所述第一统计信息包括从所述多个层中的每个层中的第一权重值的均值、方差、所述神经网络处理器被配置为计算所述第一统计信息与所述第二统计信息之差并针对具有等于或小于阈值的差的层确定所述学其中所述存储器包括迁移学习管理电路，所述迁移学一次学习迭代完成之后基于所述第一权重值获得所述第一分布信息并存储所述第一分布3将通过第N次学习迭代得到的第一权重存储在基于包括在所述第一权重中的第一权重值和包括在通过第(N-1)次学习迭代得到的第在所述多个层中除已确定所述学习被中断的所述至少一个层以外的多个层上执行第其中确定所述学习被中断的所述至少一个层包括基于将所述多个层中的每个层中的其中所述第一分布信息包括关于所述多个层中的每个层中的所述第一权重值的第一确定所述学习被中断的所述至少一个层还包括基于所述多个层中的每个层中的所述第一直方图信息与所述第二直方图信息之差来确定所述多个层中所述学习被中断的所述通过将经减法处理得到的直方图信息中所包括的值的绝对值相加来获得差指示符值，针对具有等于或小于阈值的差指示符值的层确定所其中所述第一分布信息包括关于所述多个层中的每个层中的所述第一权重值的第一基于所述多个层中的每个层中的所述第一统计信息与所述第二统计信息之差来确定其中所述第一统计信息包括从所述多个层中的每个层中的所及在第N次学习迭代结束之后，使用包括在所述存储器中的迁移学习管理电路基于所述4将所述第一分布信息存储在所述迁移学习管还包括：在所述第N次学习迭代结束之后使用所述存储器向神经网络处理器提供所述其中确定所述学习被中断的所述至少一个层是由所述神在所述第N次学习迭代结束之后使用所述存储器向处理器提供所述第一分布信息和所使用所述处理器向神经网络处理器提供关于已确定所述学习被中断的所述至少一个17.一种用于图像处理的神经网络处理器的迁移学习方法，包括多个层上的多次学习将通过第一次学习迭代得到的第一权重值存储在所述神经网络处理器外部的存储器将通过第二次学习迭代得到的第二权重值存储在所述存储器中从所述存储器中接收所述第一权重值的第一分布信息和所述第二权重值的第二分布在所述多个层中除已确定所述学习被中断的所述至少一个层以外的多个层上执行第其中所述第一分布信息包括关于所述多个层中的每个层中的所述第一权重值的第一基于所述多个层中的每个层中的所述第一直方图信息与所述第二直方图信息之差来5通过将经减法处理得到的直方图信息中所包括的值的绝对值相加来获得差指示符值，针对具有等于或小于阈值的差指示符值的层确定所其中所述第一分布信息包括关于所述多个层中的每个层中的所述第一权重值的第一确定所述学习被中断的所述至少一个层包括基于所述多个层中的每个层中的所述第一统计信息与所述第二统计信息之差确定所述多个层中所述学习被中断的所述至少一个6[0002]本专利申请要求于2019年5月8日在韩国知识产权局递交的韩国专利申请No.10-[0006]在神经网络系统中训练神经网络以获得学习结果很重要并花费了大量时间。因习迭代得到的第一权重值的分布与通过第一次学习迭代之后的第二次学习迭代得到的第被配置为当第二次学习迭代完成时存储关于第一权重值的分布的第一分布信息和关于第括在第一权重中的第一权重值和包括在通过第(N-1)次学习迭代得到的第二权重中的第二7处理器外部的存储器中；以及将通过第二次学习迭代得到的第二权重值存储在存储器中。[0011]根据以下结合附图的具体实施方式，将更清楚地理解本公开的发明构思的实施[0030]图1示出了根据示例实施例的电子系统10。电子系统10可以基于神经网络实时分8器100可以包括至少一个处理器，该至少一个处理器根据一个或多个神经网络模型执行操神经网络处理器100可以被称为神经网络处理设备、神经网络集成电路或神经网络处理单[0035]神经网络处理器100可以通过系统总线从至少一个IP块接收各种输入数据，并且号的上述类型的识别信号。神经网络处理器100可以接收各种类型的输入数据并基于输入9可以指的是使用应用于第一模型的神经网络对应用于第二模型的神经网络的学习和/或通权重对应用于特定模型的神经网络的学习和/或通过应用于特定模型的神经网络进行的学意地将来自该层的操作结果从一次迭代改变为下[0038]根据示例实施例，电子系统10的神经网络处理器100可以基于通过当前学习迭代100可以仅在除确定学习中断的层以外的层中执行后续学习迭代。例如，神经网络处理器100可以基于将通过当前学习迭代得到的权重值的分布与通过先前学习迭代得到的权重值的分布进行比较的结果来确定学习要中断的层。神经网络处理器100可以仅在除确定学习[0039]上面对图1的描述描述了两次迭代之间权重值的比较。当前迭代和先前迭代不必码将存储在存储器400中的程序和/或数据临时加载到RAM2001。可以使用诸如动态RAM(DRAM)或静态RAM(SRAM)的存储器来实现处理单元(CPU)。处理器300可以包括单个核或多个核。处理器300可以处理或执行存储在RAM2001和存储器400中的程序和/或数据。例如，处理器300可以通过执行存储在存储器器和非易失性存储器中选出的至少一种存储器。非易失性存储器可以包括只读存储器RAM(PRAM)、磁RAM(MRAM)、电阻RAM(RRAM)和铁电RAM(FeRAM)。易失性存储器可以包括[0045]传感器模块500可以收集电子系统20的周围信息。传感器模块500可以从电子系是使用应用于第一模型的神经网络对应用于第二模型的神经网络的学习和/或通过应用于用于特定模型的神经网络的学习和/或通过应用于特定模型的神经网络进行的学习，其中到的权重值的分布与通过先前学习迭代得到的权重值的分布进行比较的结果来确定学习隐藏层1220和1240以及输出层1300。神经网络1000可以基于输入数据I1和I2执行操作并[0049]包括在神经网络1000中的层(即，输入层1100、隐藏层1220和1240以及输出层[0051]到每个神经元的输入和来自每个神经元的输出可以分别被称为输入激活和输出[0053]神经网络1000的一般学习和/或通过神经网络1000进行的一般学习可以包括多次W21、W22和W23。学习迭代可以被称为时期。已通过执行多次学习迭代来训练的神经网络[0054]神经网络1000的迁移学习和/或由神经网络1000进行的迁移学习可以通过类似的[0055]图4示出了根据示例实施例的迁移学习方法。迁移学习可以指的是使用应用于第一模型的神经网络对应用于第二模型的神经网络的学习和/或通过应用于第二模型的神经神经网络的学习和/或通过应用于特定模型的神经网络进行的学习，其中神经网络算法或[0056]换言之，使用已在一般模型中训练的训练后的权重W_G11和W_G12来获得应用于练后的权重W_G11和W_G12作为初始权重在多个层上执行多次学习迭代来获得应用于特定层中的一个或多个层作为初始值的来自一般模型的权重可能已经饱和或图1的电子系统10和图2的电子系统20。神经网络系统30可以包括神经网络处理器100和存储器200。神经网络处理器100可以是图1中的神经网络处理器100和/或图2中的NPU1001[0060]迁移学习电路120可以执行神经网络处理器100的迁移学习和/或由神经网络处移学习电路120可以基于通过第N次学习迭代得到的输出数据来更新权重(其中N为自然数)。迁移学习电路120可以输出更新后的权重作为第N个学习结果Res_N。迁移学习电路[0061]迁移学习电路120的迁移学习可以以各种形式实现，并且可以由根据各种实施例电路120的迁移学习不限于这些实施例，并且可以由软件和硬件的组合(例如，固件)来实[0062]迁移学习控制器140可以控制迁移学习电路120的迁移学习和/或通过迁移学习续学习迭代中学习将中断的层。迁移学习控制器140可以控制迁移学习电路120仅在除在后续学习迭代中确定学习中断的层之外的层中执行学习。例如，在第N次学习迭代结束之的分布的分布信息Info_DB_N-1和关于通过第N次学习迭代得到的权重值的分布的分布信息Info_DB_N。迁移学习控制器140可以基于分布信息Info_DB_N-1和分布信息Info_DB_N[0064]存储器200可以存储指示关于权重值的分布的信息的分布信息Info_DB。在实施了在第(N-1)次学习迭代之后获得的第(N-1)个学习结果Res_N-1和在第N次学习迭代之后w118和w119。[0073]神经网络系统30可以将关于在第N次学习迭代之后获得的权重值的第一分布信息神经网络系统30可以确定学习中断的层。在实施例中，存储器200可以向神经网络处理器100提供关于通过第N次学习迭代得到的第一权重值的第一分布信息和关于通过第(N-1)次学习迭代得到的第二权重值的第二分布信息，并且神经网络处理器100可以基于第一分第一权重值的第一分布信息和关于通过第(N-1)次学习迭代得到的第二权重值的第二分布于在第一次学习迭代之后获得的权重值的第一分布信息与关于初始权重值(而不是在第作S140中可以使用初始权重值而不是在第零次学习迭代之后获得的不[0077]图8A和图8B示出了根据示例实施例的权重值的分布的变化。图8A和图8B可以示[0078]参考图8A，在特定隐藏层的情况下，权重值的分布可以在第N次学习迭代之后改于在第N次学习迭代之后获得的权重值的分布信息Info_DB。图9A和图9B示出了神经网络[0081]参考图9A，分布信息Info_DB可以包括关于与多个层相对应的权重值的直方图信经网络处理器100可以基于这样的直方图信息确定后续学习迭代中断的层。将参考图10对重值的均值可以具有第二均值m_2，并且与第二层相对应的权重值的标准差可以具有第二相对应的权重值的标准差可以具有第K标准差值S_K。图5中的神经网络处理器100可以基[0087]图10示出了根据示例实施例的神经网络系统的学习方法图10可以是与分布信息包括直方图信息(比如，图9A中所示的直方图信息)的情况相对应次学习迭代得到的权重值与通过第N次学习迭代得到的权重值之差很小。较小的差可以被[0091]图11示出了根据示例实施例的神经网络系统的学习方法图11可以是与分布信息包括统计信息(比如，图9B中所示的统计信息)的情况相对应的迁于第一阈值且标准差值之差等于或小于第二阈值[0094]图12示出了根据示例实施例的另一神经网络系统40。将省略已参考图1至图11对[0096]在第N次学习迭代结束之后，神经网络处理器100可以向存储器200提供第N个学习迭代结束之后，迁移学习管理器220可以向神经网络处理器100提供通过第(N-1)次学习迭代得到的权重值的分布信息Info_DB_N-1和通过第N次学习迭代得到的权重值的分布信[0099]图13示出了根据示例实施例的另一神经网络系统50。将省略已参考图1至图12对权重W12存储在第二存储器设备210_2中，并且将权重W13存储在第三存储器设备210_3中。在存储每个权重的过程中，存储器200还可以从与每个存储器设备相对应的迁移学习管理[0103]在实施例中，权重W11和权重W12可以被分为一组并存储在第一存储器设备210_1制下确定，或者基于存储在第一迁移学习管理器220_1至第三迁移学习管理器220_3中的基于存储在第一迁移学习管理器220_1至第三迁移学习管理器220_3中的每个迁移学习管[0105]图14示出了根据示例实施例的另一神经网络系统60。将省略已参考图1至图13对器300可以执行确定学习中断的层的操作作为与图7中的操作S140相对应的操作。处理器[0110]存储器2200也可以包括穿透这些层的多个TSV2230(硅通孔)。TSV2230可以与沟道具有128比特的带宽时，TSV2230可以包括用于输入和输出1024比特的数据的组成部[0111]缓冲器管芯2210可以包括TSV区域2212、物理区域(PHY区域)2213和直接访问区域(DA区域)2214。TSV区域2212是形成有用于与至少一个核管芯2220通信的TSV2230的区器控制器的各种信号可以通过PHY区域2213提供给TSV区域2212并通过TSV2230提供给至冲器管芯2210中实现。迁移学习管理器2240可以对应于参考图12至图14描述的迁移学习[0113]DA区域2214可以在存储器2200的测试模