CN119487525A 无任务相关源数据的用于跨模态知识迁移的系统和方法 （三菱电机株式会社）

2025.01.03PCT/JP2023/0219892023.06.02WO2024/009708EN2024.01.11无任务相关源数据的用于跨模态知识迁移提供了一种用于使一个或更多个源模型网络适应于一个或更多个目标模型网络的跨模态知识迁移系统。所述系统被配置为执行以下步个源模型网络的BN层从TI配对数据提取TI源特特征和TR目标矩与所述TI源特征和TI源矩进行匹配来联合训练所述一个或更多个目标模型网合所训练的一个或更多个目标模型网络来形成2存储器，所述存储器被配置为存储：任务无关TI配对数据集，未标至少一个处理器，所述至少一个处理器被配置为根据所通过使TI源配对数据集经过所述一个或更多个源模型网络而从所述一个或更多个源通过使所述TI配对数据集和所述未标记TR数据集经过所述一个或更多个目标模型网基于所提取的所述一个或更多个目标模型网络的TR目标特征来计算模态不可知损失通过分别计算所提取的所述TI目标特征和所述TR目标矩与所述TI源特征和TI源矩之通过使所计算的所述模态不可知损失函数和所述模态特定损失函数最小化来联合训通过将经训练的所述一个或更多个目标模型网络进行组合来生成最2.根据权利要求1所述的跨模态知识迁移系统，数据集接口，所述TI/TR数据集接口被配置为通过通信网络接收所述TI配对数据集和所述网络将所生成的所述最终目标模型网络的模型参数发送到其它未训练的一个或更多个目个或更多个目标模型网络提取的所述按批次的TI目标特征和所述T3模态特定损失函数用于桥接特征空间中所述一个或更多个源模型网络和所述一个或更多包括所提取的所述TI源特征和所述TI目标特征之间的特征距离以及所述TI源矩和所述TR11.一种计算机实现的跨模态知识迁移方法，所述计算机实现的跨模态知识迁移方法通过使TI源配对数据集经过一个或更多个源模型网络而从所述一个或更多个源模型网络提取TI源特征和TR源矩，其中，所述一个或更多个源模型网络的CNN层和分类器被冻通过使TI配对数据集和未标记TR数据集经过一个或更多个目标模型网络而从所述一基于所提取的所述一个或更多个目标模型网络的TR目标特征来计算模态不可知损失通过分别计算所提取的所述TI目标特征和所述TR目标矩与所述TI源特征和TI源矩之通过使所计算的所述模态不可知损失函数和所述模态特定损失函数最小化来联合训通过将经训练的所述一个或更多个目标模型网络进行组合来生成最12.根据权利要求11所述的计算机实现的跨模态知识迁移方法，所述计算机实现的跨模态知识迁移方法还使用TI/TR数据集接口通过通信网络接收所述TI配对数据集和所述未未标记TR数据集存储到所述至少一个存储理器还执行通过网络将所生成的所述最终目标模型网络的模型参数发送到其它未训练的4别组合从所述一个或更多个目标模型网络提取的所述按批次的TI目标特征和所述TR目标损失函数和所述模态特定损失函数用于桥接特征空间中所述一个或更多个源模型网络和损失函数的组合包括所提取的TI源特征和TI目标特征之间的特征距离以及所述TI源矩和5[0001]本发明涉及用于在没有任务相关源数据的情况下进行跨模态知识迁移的系统和[0002]跨模态知识提取(CMKD)方法旨在从另一个模态的大型标记数据集中学习针对没为了解决有关源数据的存储或隐私问题，最近出问用于训练源模型的任务相关数据的情况下进行有效的知识迁移的新型跨模态知识迁移[0003]本公开涉及用于在没有任务相关源数据的情况下进行跨模态知识迁移的系统和[0004]本发明的一些实施方式描述了经济高效的深度和红外传感器作为常规RGB传感器的替代品现在已经成为现实，并且它们在自主导航和遥感等领域相对于RGB的优势已被清些情况下高达12％)不考虑模态差距的针对分类任务的现有6过使TI源配对数据集经过所述一个或更多个源模型网络从所述一个或更多个源模型网络过使TI配对数据集和未标记TR数据集经过所述一个或更多个目标模型网络从所述一个或数据集经过所述一个或更多个源模型网络从所述一个或更多个源模型网络提取TI源特征据集和未标记TR数据集经过所述一个或更多个目标模型网络从一个或更多个目标模型网7[0019]图6示出了根据本发明的实施方式，在不访问所有域对的任务相关源数据的情况[0021]图7示出了根据本发明的实施方式，在不访问任务相关源数据的情况下，针对从RGB到深度模态的多源跨模态知识迁移任务的SUNRGB_D数据到NIR或相反的单源跨模态知识迁移任务[0027]图10示出了根据本发明的实施方式使用SHOT针对SUNRGB_D场景分类的跨模态和[0037]图1示出了根据本发明的一些实施方式的无源跨模态知识迁移(SOCKET)方法的示8[0039]图3示出了基于跨模态知识迁移系统1100(图13所示)的一个或更多个神经网络形[0040]跨模态知识迁移系统将它们分别使用TI特征匹配损失320与预提取的源特征321提炼的方法，以将知识从其中有大量标记数据可用的如RGB的模态上训练的模型迁移到如需要为相同的TOI构建模型的目标模态中的未标记数据。关键的方面是跨模态知识迁移系统要求不访问针对TOI的源模态中的任何数据。在存储和隐私方面的考虑不允许从源模态TOI无关的源目标模态对的外部数据集我们称之为任务无关(TI)数据可以通过使两种9态转换可以比从一个RGB数据集到另一个的域转换更具挑战性。这表明所提出的框架对于以及(b)通过将源模型中的归一化层获得的矩与关于未标记目标数据[0048]3、在多个数据集上进行的广泛实验—针对从RGB到深度的知识迁移以及从RGB到[0051]我们通过设计有助于减小源模态特征和目标模态特征之间的差距的专门的损失是学习目标分类器其能够很好地适应从不同传感器模态(例如深度或NIR)获得的目将这些特征映射到N个类别上的概率分布，其中最大值被视为分类器预测。[0056]传统的无源UDA方法使用域特定但与模态无关的损失，这无助于减少源模态和目标模态之间的特征距离。为了更好地捕获源和目标之间的跨模态关系，我们提出了框架SOCKET来减小模态差距。为了训练具有减小了的模态差距的目标模型我们提出使用下面将描述的任务无关特征匹配和任务相关们感兴趣的任务，我们在源端没有包括与感兴趣的任务(TOI)相关的数据的任务相关(TR)标模态的特征编码器中的参数定义的Lm最小化来实现我们考虑与第l个卷积层相对应的BN层有rl个节点，并且每个源模型存在b个这样的和按批次的均值和方差，根据权值ζi将其进行线性组合，并将该加权组合与TI和λd是正则化超参数。[0070]上文提出的两种方法有助于在不访问任务相关源数据的情况下减小源和目标之以及是经验标签分布。互信息被计算为的最大化(或的最小化)确保了如通过源预测的目标标签符函数。我们最终的损失是上述两种损失的组合。我们将这种组合称为模态不可知损失[0078]我们将总体目标函数计算为模态不可知损失和模态特定损失的总和，并使用图4RGB_NIR场景(RGB和近红外)数据集上的结果。图5示出根据本发明的实施方式在实验中使1500/500个RGB_D对的更小的样本数据集而不是完整的数据集用于分布在18个场景类中的训练源模型的主干架构。按照该架构，我们用包含256个单元的瓶颈层替换最后的全连接道图像重复为三通道图像，以便能够将其馈送通过从在RGB图像上训练的源模型初始化的[0096]我们的方法足够通用以处理任何数量的源，并且我们展示了单源和多源知识迁针对从RGB到深度模态的单源跨模态知识迁移任务的SUNRGB_D数据集上的结果。在图中，我们使用关于来自四个域中每一个的RGB数据训练的源模型来调整这些数据。行表示对源[0097]图7示出了根据本发明的实施方式，在不访问任务相关源数据的情况下，针对从RGB到深度模态的多源跨模态知识迁移任务的SUNRGB_D数据六个双源组合，每个组合用于从所有四个域适应到深度数据。列表示针对DECISION和显示出一些非常好的改进，这些独立情况如(Kinectv1+Xtion)_RGB到的Kinectv1深度_改进12.2％_和(Kinectv2+Realsense)_RGB到Kine使用的TI数据相同。通过这样做，我们示出，即使使用来自完全不同的数据集的TI数据，源跨模态知识迁移的任务的RGB_NIR数据集上的结果。列表示针对三种方法在深度域上的[0104]为了显示我们所考虑的新问题的重要性，我们针对模态变化和域转移比较了SUNRGB_D数据集上的单源知识迁移结果。图10示出了根据本发明的一些实施方式的使用SHOT有模态不可知损失Lma的结果，而第二行和第三行示出了我们提出的模态特定损失以及的最后一行将得到最好的结果。我们只在小括号内显示了相对于仅使用模态不可知损失[0109]图12A示出了根据本发明的一些实施方式的针对SUNRGB_D数据集TI数据的数量每个类TI数据的样本导致在SUNRGB_D数据集上针对RGB到深度迁移的场景分类精度的提[0111]图12B示出了根据本发明的一些实施方式的针对作为SOCKET的一部分提出的我们的新损失的正则化超参数与测试精度的影响。我们对SUNRGB_D数据集执行Kinectv1和[0112]我们确定了新的且具有挑战性的在不访问来自源模态的任务相关数据的情况下模态转换下执行不佳的针对无源无监督域自适模态数据的特征的按批次的统计相匹配，以通过减小源_目标模态差距来帮助知识迁移过以是被训练以提供设备布局的神经网络模块。跨模态知识迁移系统1100包括TI/TR接口电或其组合的通信网络190从系统100外部的数据库装置(服务器)195接收任务无关配对数据