CN113168567A 用于小样本转移学习的系统和方法 （Hrl实验室有限责任公司）

PCT/US2019/04516920WO2020/091871EN2020.05一种用于训练控制器以控制机器人系统的标签空间中的标签来接收用于所述机器人系统用所述编码器参数将输入数据样本从所述原始分类器参数使用所述特征向量将所述标签空间器参数以最小化所述特征空间中以下项之间的2接收原始控制器的神经网络，所述原始控制器的神经网根据所述编码器参数，将输入数据样本从所述原始域映射到特征空间中的特征向量；根据所述分类器参数，基于所述特征向量将所述标签空间的从来自所述目标域的多个目标数据样本计算的多个特征空间中的所述目标特征向量之间的slicedWasserstein距根据所述中间编码器参数计算所述特征空间更新所述中间编码器参数以减少在所述原始特征向量和所述目标特征向量之间的相述特征空间中的所述目标特征向量之间的slicedWasserstein根据所述中间编码器参数计算所述特征空间3根据所述分类器参数计算所述目标特征向量的预测标签，所响应于确定满足所述停止条件，输出所述中间编码器参数作为所述更新的编码器参接收原始控制器的神经网络，所述原始控制器的神经网及根据所述分类器参数基于所述特征向量将所述标签空间的标签分配给所述输入数据从来自所述目标域的多个目标数据样本计算的多个述特征空间中的所述目标特征向量之间的slicedWasserstein4根据所述中间编码器参数计算所述特征空间更新所述中间编码器参数以减少在所述原始特征向量和所述目标特征向量之间的相包括当由所述处理器执行时使所述处理器通过迭代地计算多个中间编码器参数来计算所根据所述中间编码器参数计算所述特征空间根据所述中间编码器参数计算所述特征空间根据所述分类器参数来计算所述目标特征向量的预测标响应于确定满足所述停止条件，输出所述中间编码器参数作为所述更新的编码器参18.根据权利要求17所述的系统，其中，所述更新所述中间编码器参数在以下之间交接收原始控制器的神经网络，所述原始控制器的神经网5及根据所述分类器参数基于所述特征向量将所述标签空间的标签分配给所述输入数据从来自目标域的多个目标数据样本计算的多个目标述原始特征向量与所述特征空间中的所述目标特征向量之间的slicedWasserstein距离码器参数的所述指令包括当由所述处理器执行时使所述处理器迭代地计算多个中间编码根据所述中间编码器参数计算所述特征空间更新所述中间编码器参数以减少在所述原始特征向量和所述目标特征向量之间的相码器参数的指令包括当由所述处理器执行时使所述处理器通过迭代地计算多个中间编码根据所述中间编码器参数计算所述特征空间根据所述中间编码器参数计算所述特征空间使用所述分类器参数来计算所述目标特征向量的预6响应于确定满足所述停止条件，输出所述中间编码器参数作为所述更新的编码器参7的漂移而使得训练和部署数据集具有不同的分布(例如，可用于训练的标记数据与现实世adaptation)(这些术语有时可互换使用)，它们是用于提高学习速度和模型泛化(modelgeneralization)的密切相关的范例。这些方法通过从其中标记数据可用的相关源域有效转移可用于通过适配在不同但相关的领域上训练的模型来克服一个领域中的标记数据稀样本映射到特征空间中)，诸如通过最小化嵌入空间中的源域和目标域的分布之间的差异空间(或特征空间)中的分布之间的slicedWasserstein距离(SWD)来计算差异。本发明实8[0008]可根据所述特征空间中的所述原始特征向量与所述特征空间中的所述目标特征[0010]可根据所述特征空间中的所述原点始特征向量与所述特征空间中的所述目标特征向量之间的slicedWasserste述原始特征向量与所述目标特征向量之间的相异性；以及迭代之间的多个伪标签的饱和9[0019]可根据所述特征空间中的所述原始特征向量与所述特征空间中的所述目标特征[0020]使所述处理器更新所述编码器参数的所述指令可包括当由所述处理器执行时使的所述原始特征向量；根据所述中间编码器参数计算所述特征空间中的所述目标特征向[0021]可根据所述特征空间中的所述原始特征向量和所述特征空间中的所述目标特征[0026]使所述处理器更新所述编码器参数的所述指令可包括当由所述处理器执行时使[0029]根据本发明的一个实施例，一种非暂时性计算机可读介质具有存储于其上的指[0030]可根据所述特征空间中的所述原始特征向量与所述特征空间中的所述目标特征[0031]使所述处理器更新所述编码器参数的所述指令可包括当由所述处理器执行时使的所述原始特征向量；根据所述中间编码器参数计算所述特征空间中的所述目标特征向[0032]可根据所述特征空间中的所述原始特征向量和所述特征空间中的所述目标特征[0037]使所述处理器更新所述编码器参数的指令可包括当由所述处理器执行时使所述的机器学习模块及其对从第一域和不同于第一域的第二域或目标域(例如，未经训练的机[0042]图2A和2B是基于从第一域(或原始域)取得的标记样本来训练并且基于来自不同[0043]图3是根据本发明的一个实施例的用于基于来自第一域(或原始域)的数据来训练机器学习模块并且基于来自第二域(或目标域)的一些标记的数据点来更新该模块的方法[0044]图4A、图4B、图4C和图4D是根据本发明的一个实施例的切片和sliced_国国家标准与技术研究院(ModifiedNationalInstituteofStandardsandTechnology)或MNIST)的标记样本学习编码函数φ(或学习编码函数的编码器参数)以及更新编码函数φ(或更新编码器参数)以基于来自第二域(街景门牌号(StreetViewHouse[0046]图6是比较使用根据本发明的实施例的转移学习来训练的模型的数字识别准确度[0047]图7A和7B是根据本发明一个实施例的基于来自第一域或原始域(域A(Do船只的航空光电或EO相机图像)的数据学习编码函数φ(或学习编码函数的编码器参数)以及更新编码函数φ(或更新编码器参数)以基于来自第二域或目标域(船只的合成孔径雷达[0048]图8是将使用根据本发明实施例的转移学习来训练的模型的船只检测准确度与不[0049]图9是根据本发明的一个实施例的在更新原始训练模型(例如，更新编码器参数)之后的小样本学习(few_shotlea[0050]图10A是根据本发明的一个实施例的用于计算更新的编码器ψ的编码器参数的方[0056]本发明的实施例的方面涉及用于利用先前学习的模型(例如，基于来自一个域的标数据集(例如，具有来自诸如手动标记数据的昂贵的地面实况数据的少量标签的真实世界数据集)上执行任务。本发明的实施例的一个方面涉及在来自新的或不同的域的样本未应用的示例包括但不限于：自主驾驶(例如，训练用于自驾车辆的控制器在一个地点中操110的机器人系统的系统或控制器100可以包括机器学习模块A(ML模块A)10A，其包括基于域)中的任务中收集(例如操纵规则的矩形框120)，并且还可包括例如基于机器人臂系统映射到标签空间中的类别标签Y的函数，并且分类器可以根据多个分类器参数执行分前训练的模型以学习修改的或新的任务(抓取在初始训练过程期间从未看到的对象)的系[0064]如图2A和2B所示，应用根据本发明的实施例的转移学习，可以基于来自部署域Dr(或第二域或目标域)的“部署数据”XT来修改或更新原始的经训练的机器学习模块A的第一域中保持了高性能。在许多情况下，在第二域Dr(部署域或目标域)中获得大量数十数量级个样本)来更新先前训练的ML模块A10A以生成能够在第一域和第二域中准确地[0067]因此，本发明的实施例的一些方面涉及用于学习可应用于原始域(部署前或“原GustavoK.Rohde的“用于概率分布的SlicedWasserstein内核(SlicedWasserstein会议论文集(ProceedingsoftheIEEEConferenceonComputerVisionandPattern[0068]图3是根据本发明的一个实施例的用于基于来自第一域的数据来训练机器学习模练数据可被表示为x=[x,…xnleR并且标签空间中的对应标签可被表示为Y=D,…,ynleR⃞,其中每个样本xi可以用K个可能的类别或分类中的一个或多个[0070]如上所述，编码器模块φ140提供从样本x到潜在空间(或特征空间)的参数映(或特征空间)Z的值(或特征向量)映射到以及LeCun，Yann等人的“Backpropagationappliedtohandwrittenzipcodex中的非线性，使得潜在(或特征)空间z与标签空间y之间的映射可以被建模为线性的，可能不提供从目标域Dr的可感知的特征提取(例如，将φ应用于xr中的XT可[0072]根据本发明的一个实施例，以上参考图2B描述为计算映射的模块用诸如反向传播的技术来直接单独从新样本XT学习ψ的参数(例如，神经网络的连接的权[0073]因此，本发明的实施例的一些方面涉及在操作320中自动学习编码函数φ的编码[0075]换句话说，通过最小化作为输入提供的损失函数为argT)))强制所有投影数据点p(ψ(XT))的概率分布(p[0085]因此，上述等式1可以被改写以用slice_Wasserstein距离(sw3)代替一般相异jfeedforwardnetworkswiththeMarquardtalgorithm.”IEEEtransactionson“Sliced_WassersteinAutoencoder：AnembarrassinglysimplegeneratiVemodel.”并且其中用双头箭头示出了距离的一些示例。和5B是根据本发明的一个实施例的基于来自第一域DS(域A，修改的美国国家标准与技术研究院或MNIST)的标记样本学习编码函数φ(或学习编码函数的编码器参数)以及更新编码函数φ(或更新编码器参数)以基于来自第二域Dr(街景门牌号或SVHN)的数据计算编码1998年11月)中用图像(地面实况标签)C中表示的数字标记的手写数字，被表示为类器ρ表示从潜在空间(或特征空间)到标签空间中的标签Y的值(或特征向量)Z的映[0099]为了识别部署或目标域的打印编号，基于来自街景门牌号(SVHN)数据集的标记[0100]图6是比较使用根据本发明的实施例的转移学习来训练的模型的数字识别准确度和仅在不使用来自源(或原始)域的信息或无标记数据的情况下训练的比较模型DS(域A，船只的航空电光或EO相机图像)的数据XS学习编码函数φ(或学习编码函数的编码器参数)以及更新编码函数φ(或更新编码器参数)以基于来自第二域Dr(船只的合成孔谱中的光的数字照相机捕获。深度卷积神经网络(CNN)已经被应用于具有人类级性能的分[0103]相反，合成孔径雷达(SAR)成像通过使用雷达信号提供高分辨率图像来提供这种[0105]对于目标域，南非专属经济区的航空SAR图像被预处理成21×21像素的子图像。始(源或原始)数据集来训练初始模型，该初始数据集包括从由行星实验室公司(PlanetLabsInc)操作的卫星星座所捕捉的旧金山湾区域的卫星图像中提取的船只的4,000个颜码器φ和分类器ρ,其将航空电光图像分类为C1：船舶的一部分或C2：背景的一部分(例如[0108]图8是将使用根据本发明实施例的转移学习训练的模型的船只检测准确度和仅在经网络)能够被应用以仅使用来自目标域的几个标记示例在不同的但相关的目标域中执行涉及用于更新基于源(或原始)域来训练的模型以对来自目标域的样本执行分类任务的无[0111]图9是根据本发明的一个实施例的在更新原始训练模型之后的小样本学习框架的970(包括源(或原始)域DS中的标签YS和目标域Dr中的标的分类任务中的数字0到9)的成员资格。还假设样本XS是独立的并且与源(或原始)联合概经学习的权重。在这种情况下，可以通过最小化关于适当损失函数的经验风险，来学习参数θ,所述损失函数诸如交叉熵损失(换言S域的单个数字的分布聚类(例如，对应于来自目标域的数字5和6的图像可以在特征空间中))标数据的可信的伪标签来计算目标的替代，该目标数据是使用源分类器(或[0119]图10A是根据本发明的一个实施例的用于计算更新的编码器ψ的参数的方法1000forunSuperViSeddomainadaptation.”InEuropeanConferenceonComputer实施例不限于DRCN，并且本发明的其它实施例可以使用其它无监督域自适应(UDA)方法来[0120]在一些使用DRCN用于初始步骤的实施例中，DRCN被用于分类源(或原始)域数据D5=XKS并且还被用于重建用于无标记目标域数据Dr=册的标签Y′T。对于要的潜在空间或特征嵌入空间或特征空间Z.为了实现这一点，DRCN使用源标签预测流水线Wasserstein距离(SWD)方法来提高来自操作1010的初始模型的准确度。为了实现这一点，本发明的实施例的方面采用两种方法：目标数据的伪标签生成，以及完全标记的源(或原始)数据和伪标记目标数据之间的伪监督SWD最[0122]图10B是根据本发明的一个实施例的用于迭代地更新模型的方法的流程图。在操′化允许在SWD训练步骤期间以有意义的方式减小源(或原始)和目标分布之间的差异。在一T原始)样本XS的聚类或布置更相似的聚类或布置。在迭代过程终止之后(下面更详细地描也非常类似于目标数据集的地面实况标签的布置来编码目标样本X′T在特征空间ψfinal[0131]作为具体示例，使用上述MNIST和SVHN数据集连同从美国邮政服务(USPS)邮局收集的数据集(参见Hull，JonathanJ.“AdatabaSeforhandwrittentextrecognition图像的集合。这三个数据集可以定义六个域自适应问题(例如，自适应M→U自适应M→S、自适应U→M、自适应U→S、自适应S→M和自适应S→U)。在相关工作之后，对于和S→M的情况，涉及本发明实施例的一些实验，使用了来自以对SVHN数据集(S)进行灰度化。附加训练数据，以便改进一般化(参见例如Simard，P.Y.、Steinkraus，D.和Platt，J.C.2003.“Bestpracticesdocumentanalysis.”InSeventhInternationalConferenceonDocumentAnalysisW.2016.Deepreconstruction_classificationnetworksforunsuperviSeddomain[0134]在无监督的域自适应问题中，在源(或原始)域和目标域之间存在假定的域偏源(或原始)域数据的扩充以在训练之前减少该偏移，从而产生更容易的优化问题。例如，始MNIST训练图像的旋转、歪斜、移位和有噪声版本来增强源(或原始)训练数据，来减少[0135]因此，本发明的实施例的方面涉及用于使在源(或原始)域DS上训练的模型适应于使用来自目标域的相对少量的样本在另一个相关的目标域Dr中运行的系统和方法。本发明的实施例的一些方面涉及使用slice_Wasserstein距离来调整在源(或原始)域数据上当来自目标域Dr的少数样本未被标记时，将为无标记目标域样本计算伪标签以便执行自计算机可读存储器单元内并且由示例性计算机系统1200的一个或多个处理器执行的一系1220的信息和指令。示例性计算机系统1200还可包括与地址/数据总线1210耦合的非易失[0140]在一个实施例中，示例性计算机系统1200可包含与地址/数据总线1210耦合的输系统1200可包括与地址/数据总线1210耦合的光标控制设备1270，其中光标控制设备1270被配置为向处理器1220传送用户输入信息和/或命令选择。在一个实施例中，利用诸如鼠上所述，在一实施例中，光标控制设备1270经由来自输入设备1260的输入被指引和/或激[0141]在一个实施例中，示例性计算机系统1200还可包括与地址/数据总线1210耦合的和/或图形。在一个实施例中，显示设备1290可包括阴极射线管(“CRT”)、液晶显示器例性计算机系统1200并不严格限于计算机系统。例如，实施例提供了示例性计算机系统