CN110135588B 用于存储器管理的方法和用于机器学习的系统及方法 （三星电子株式会社）

WO2017073000A1,2017.052019.08.16号用于存储器管理的方法和用于机器学习的本发明涉及一种用于存储器管理的方法和结构包含一个或多个任务识别符及一个或多个一个或多个数据对象识别符中的第一数据对象的第一依赖关系识别以由所述第一数据对象识方法进一步包括计数对所述第一数据对象识别时将所述计数递减1，且当所述计数达到零时将2分配快速图形处理器存储器空间及慢速系统存储器产生依赖关系结构，所述依赖关系结构包含一个或多个任务识别至少部分地基于确定所述第一任务已完成执至少部分地基于确定所述计数小于所述第一阈值而将分配给所述第一数据对象的所述快速图形处理器存储器空间或所述慢速系统存储器空产生零个或更多个推算可持久化数据对象识别符的列表，第一推基于确定所述反向推算已完成而将所述第一数产生零个或更多个训练可持久化数据对象识别符的列表，第一训基于确定所述神经网络的训练已完成而将所述第一数据14.根据权利要求13所述的方法，其中所述第一数据对象是所述神经网络的第一层中3分配所述快速图形处理器存储器空间及慢速系统存储器识别所述第一数据对象，所述第一数据对象具有由以所述第一数所述一个或多个任务中以所述第一数据对象作为输至少部分地基于确定所述第一任务已完成执至少部分地基于确定所述计数小于所述第一阈值而将分配给所述第一数据对象的所述快速图形处理器存储器空间或所述慢速系统存储器空17.根据权利要求15所述的系统，其中所述第一任务是神经网络的第一层中的计算运为神经网络中的第一数据对象分配快速图形处理器存储器空间及慢速系统存储器空确定所述第一数据对象具有至少由以所述第一数据对象作为输入的一个或多个任务确定以所述第一数据对象作为输入的所述一个或多个任务中的最后一个已完成执行；基于确定以所述第一数据对象作为输入的所述一个或多个任务中的所述最后一个已完成执行且基于确定所述第一数据对象具有至少由以所述第一数据对象作为输入的一个或多个任务界定的存留期而将分配给所述第一数据对象的所述快速图形处理器存储器空21.根据权利要求20所述的方法，还包括为所述神经网络中的第二数据对象分配所述4基于确定所述第二数据对象具有由所述反向推算的所述完成界定的所述存留期而在所述反向推算的所述完成时将分配给所述第二数据对象的所述快速图形处理器存储器空22.根据权利要求21所述的方法，还包括为所述神经网络中的第三数据对象分配所述基于确定所述第三数据对象具有由所述神经网络的训练的所述完成界定的所述存留期而在所述神经网络的训练的所述完成时将分配给所述第三数据对象的所述快速图形处理器存储器空间或所述慢速系统存储器空间5地基于确定所述计数小于所述第一阈值而将所述第一数据对[0014]在一个实施例中，所述方法包括：产生零个或更多个推算可持久化(pass-persistent)数据对象识别符的列表，所述零个或更多个推算可持久化数据对象识别符中6[0016]在一个实施例中，所述方法包括：产生零个或更多个训练可持久化(training-persistent)数据对象识别符的列表，第一训练可持久化数据对象识别符识别神经网络中及连接到所述图形处理器的存储器，所述图形处理器被配置成：调用非复用检测器(no个或多个任务中的所述最后一个已完成执行且基于确定所述第一数据对象具有至少由以所述第一数据对象作为输入的所述一个或多个任务界定的存留期而将所述第一数据对象对象具有由所述反向推算的所述完成界定的存留期而在所述反向推算的完成时将所述第述第三数据对象具有由所述神经网络的训练的完成界定的存留期而在所述神经网络的训7yyyy[0054]以下结合附图所述的详细说明旨在作为对根据本发明所提供的用于为机器学习据对象存留至其被释放为止，并且所述数据对象中的一些数据对象被高速缓存在GPU存储分配在GPU上的数据对象以页粒度(pagegranularity)迁移到系统存储器。此种方法可导8施例通过将较慢但较大的存储器与快速GPU存储器一起使用来为GPU提供大的存储器以进[0057]图1示出在主机上利用快速GPU存储器100及慢速系统存储器105来为GPU提供大存过检查神经网络的有向非循环图(directedacyclicgraph，DAG)来对不需要存留的数据行引擎110在执行每一GPU代码之后执行对非复用检测器120的调用。因在GPU上的机器学习训练期间不必要地请求大的动态随机存取存储器(DynamicRandomyy述依赖关系结构可将数据对象识别符链接到需要所述数据对象识别符来作为输入的任务。9存留期是由以第一数据对象作为输入的一个或多个任务界定(或者至少由所述一个或多个期间计算出的权重梯度以及正向推算的输出解除分配可降低在GPU上的机器学习训练期间件的任一组合。处理电路硬件可例如包括专用集成电路(applicationspecificintegratedcircuit，ASIC)、通用或专用中央处理器(CPU)、数字信号处理器(digitalsignalprocessor，DSP)、图形处理器(GPU)及可编程逻辑装置(例如现场可编程门阵列媒体中的指令的更通用硬件(例如CPU)执行。处理电路可制作在单个印刷电路板(printed或产物中的任何其他单一组分的量大的量存在于所述组合物或产物中的组分。相比之下，包括复数形式。应进一步理解，在本说明书中所使用的用语“包括(comprises及/或(used)”可被视为分别与用语“利用(utilize、utilizing及utilized)”、“正利用[0070]虽然本文中已具体阐述及示出了用于为机器学习而管理存储器