CN119494379A 用于训练神经网络的装置和方法 （索尼集团公司）

提供了一种用于训练神经网络的装置和方得具有多个任务特定的输出接口和由这些任务通过将权重标准化应用到该多个层中的至少一2获得具有多个任务特定的输出接口和由所述任务特定的输出接口共享的多个层的所通过将权重标准化应用到所述多个层中的至少一个卷积层的权重来训练所述神经网获得具有多个任务特定的输出接口和由所述任务特定的输出接口共享的多个层的所训练所述神经网络以执行多个任务，其中，训练所述9.一种用于使用经训练的神经网络执行多个任务获得所述经训练的神经网络，其中，所述经训练获得具有多个任务特定的输出接口和由所述任务特定的输出接口共享的多个层的所3会在保持多样的输入数据的可变性和在所有任务中实现高性能方面带来挑战。具体而言，理电路被配置为获得具有多个任务特定的输出接口和由这些任务特定的输出接口共享的包括获得具有多个任务特定的输出接口和由这些任务特定的输出接口共享的多个层的经4理电路110直接访问，和/或处理电路110可以被配置为(至少部分地)生成神经网络130(例整的统计模型的数据结构和/或规则集/运算集。神经网络130具有基于彼此耦合的神经元5[0024]为了实现训练效果，神经网络130具有可学习/可调整的参数，例如权重和/或偏层140可以具有任意数量(n≥2)的层。在图1b的示例中，示出了两个任务特定的输出接口进一步耦合到下游的任务特定的输出接口150，使得多个层由任务特定的输出接口150共[0028]多个层140可以是或包括神经网络130的主干(backbone)，而输出接口150可以是基本架构或特征提取器。头部或任务头是指神经网络130的可以被添加在主干之上以执行[0030]在图1b的示例中，多个层140中最下游的层被直接耦合到两个输出接口150_1、数量的层包括作为对于一个任务的神经网络1306[0032]卷积层(Convolutionallayer)(卷积层(Convolutionlayer)或卷积层(Conv元素乘法(Element_wisemultiplication)。卷积运算涉及通过在张量上滑动这些滤波器(Representation)或嵌入(Embedding)的数据架构。编码器从而将输入数据压缩为较低维[0036]单步多框检测器(SSD)层可以能够检测一图像中的多个对象。它结合了不同尺度步进的方式对其逐步细化来生成数据或预测。它可以具有一系列的去卷积层或上采样层，[0039]使用参考图1b解释的神经网络130的架构，通过以下方式执行神经网络130的训[0040]处理电路110可以通过执行训练框架来训练神经网络130，以调整神经网络130的7一输入的输出与该输入相关联的标签或期望的输出进行比较。处理电路110因此可以接收和对应的目标标签都被提供到训练框架。神经网络130的任务是学习输入与标签之间的映统的梯度下降是基于损失函数相对于整个训练数据集的平均梯度来更新参数，而SGD则针8[0046]处理电路110被配置为通过将权重标准化应用到多个层140中的至少一个卷积层以使用权重标准化来提高神经网络130的性能并减少[0048]为了适应不同的多域数据，处理电路110可以被配置为将缩放的权重标准化应用Wij9下，多个层140中的所有层都可以直接耦合到多个层140中的另一层，或者在其间没有(批[0058]装置100可以为多域数据提供无归一化的多任务学习。这可以实现去除主干中的[0059]图2示出了神经网络230的架构的另一个示例。可以通过如本文所述的装置(例如自上而下层；第二输出接口250_2，该接口是具有用于图像分割的两个层的全卷积网络[0062]图3示出了用于训练神经网络的方法300的示例的流程图。方法300可以由如本文些任务特定的输出接口共享的多个层。方法300还包括训练320该神经网络以执行多个任务，其中，训练320神经网络包括将权重标准化应用到该多个层中的至少一个卷积层的权[0065]图4示出了用于训练和部署神经网络(例如神经网络130或230)的方法400的示例[0066]方法400包括训练410神经网络以执行多个任务。训练410神经网络包括将权重标[0067]方法400还包括通过使用450量化和使用460TensorFlowLite来部署经训练的神[0069]TensorFlowLite是轻量级的跨平台框架，用于在移动和嵌入式设备上运行神经嵌入式系统)上部署经训练的神经网络530。经训练的神经网络530具有多个任务特定的输外地或可替代地，多个层中的至少两个卷积层彼此直接耦合。例如，网络架构(例如，ResNet)中的多个层中的至少两个卷积层可以在没有批量归一化层或归一化层的情况下彼[0075]装置500可以简化多任务神经网络的部署：可能只需要一个单个模型来支持多个[0076]作为装置500的进一步增强，多个层中的所有卷积层中的每一个都可以耦合到另的交并比可以从55.28％增加到72.69对象检测的平均准确度从51.70％增加到69.90并且姿态估计的准确度可以从37.69％增加到[0080]此外，基于本文描述的技术训练的神经网络模型530可以预测具有较小批量大小[0082]方法600包括获得610具有多个任务特定的输出接口和由这些任务特定的输出接图5)进行解释。方法600可以包括与提出的技术的一个或多个方面或一个或多个上述示例处理电路被配置为获得具有多个任务特定的输出接口和由这些任务特定的输出接口共享[0104]示例(例如，示例20)涉及一种用于使用经训练的神经网络执行[0105]示例(例如，示例21)涉及一种用于使用经训练的神经网络执行程序具有在处理器或可编程硬件上执行该程序时用于执行示例19或35中的任何一个的方[0122]关于先前示例中的一个特定示例描述的方面和特征也可以与一个或多个进一步