CN114048284B 指代表达定位与分割模型的构建方法和装置 （中国科学院自动化研究所）

号QianzhongLietal..Crosscomprehensionandsegmentation.《文.指代表达定位与分割模型的构建方法和装置本发明涉及指代表达定位与分割模型的构感知子网络和视觉指导的文本感知子网络的模用指代表达定位与分割数据库对上述网络组合立的两模态的协同获取多尺度下图像-文本协同特征，并对多尺度下图像-文本协同特征进行融2步骤三：对于各尺度图像特征，相应构建包含文本指导将第三中间特征与相应尺度图像特征逐元素相乘以融合，得到相应尺度下文本-图像将聚合后的特征与文本预处理特征逐元素相乘以融合，得到相应尺度下图像-文本融3对拼接后的特征依次进行特征选择和特征变换vl,i表示第i个尺度下图像-文本协同特征，表示第i个尺度下加权后的图4利用各感受野的卷积层对拼接后的特征进行处理后得到的特征进行逐元素相加后的特征，预处理图像主干网络和预处理文本主干网络构建模块，用于模态内在关系感知网络构建模块，用于对于各尺度图像特征，相应构交叉模态融合网络构建模块，用于构建与各模态内第一多尺度融合网络和第二多尺度融合网络构建模块机程序被处理器执行时实现如权利要求1至9任一项所述指代表达定位与分割模型的构建5内容常常见于人与机器人的交互之中，人通过语言描述发送相关指令(语言可识别为文[0004]上述方法中特征学习与融合过程存在以下几点缺陷：(1)因模态间孤立地进行特解决上述问题的指代表达定位与分割模型的构建方6[0019]将第三中间特征与相应尺度图像特征逐元素相乘以融合，得到相应[0020]基于通道注意力机制和空间注意力机制，对相应尺度下文本-图像融合特征进行[0024]将聚合后的特征与文本预处理特征逐元素相乘以融合，得到相应尺度下图像-文[0026]根据本发明提供的指代表达定位与分割模型的构建方法[0029]根据本发明提供的指代表达定位与分割模型的构建方法，所述对各尺度下图像-7[0032]根据本发明提供的指代表达定位与分割模型的构建方法，所述相应表示对利用各感受野的卷积层对拼接后的特征进行处理后得到的特征进行逐元素相加后89[0064]图7是本发明提供的实现指代表达定位与分割模型的构建方法的电子设备的结构[0066]下面结合图1-图7描述本发明提供的指代表达定位与分割模型的构建方法和装[0069]本发明可从图像与文本理解数据集(包含图像于对应的文本描述语句)中采集样为时序序列。图像和文本分别输入预处理图像主干网络和预处理文本主干网络中，作为整个网络的输融合网络/第二多尺度融合网络构建图像-文本协同特征信息传递通路；其将各尺度图像-到多尺度融合特征，将该多尺度融合特征为定位分支(第一多尺度融合网络中)/分割分支[0082]当有实际需求时，将图像和描述指代物的文本输入到指[0083]本发明针对图像金字塔和文本预处理特征，模态内在关系感知网络以文本/图像滤波，进而得到图像-文本协同特征，其在语义与位置空间上建立图像与文本两模态的协[0091]本实施例中，第一尺度的图像特征为第二尺度的图像特征为[0100]将第三中间特征与相应尺度图像特征逐元素相乘以融合，得到相应[0101]基于通道注意力机制和空间注意力机制，对相应尺度下文本-图像融合特征进行vex'(ef12.…a小(di是图像特征通道数)；[0108]将聚合后的特征与文本预处理特征逐元素相乘以融合，得到相应尺度下图像-文特征映射至同一公共空间得到和这里的下标a[0114]将图像特征与文本特征lc进行向量相乘融合网络结构示意图，其中，第一/二多尺度融合网络对各尺度图像-文本协同特征表示对利用各感受野的卷积层对拼接后的特征进行处理后得到的特征进行逐元素相加后[0140]本实施例全局特征信息经过两层全连接层变换后，由柔操作时预处理图像主干网络可以选用101层的深度残差主干网络(ResNet-101)来进行图像向量对应文本的每个单词输入词向量，再用两层双向门循环单元(Bi-GRU)[网络对其进行描述的指代表达定位与分割模型的构建装置与上文描述的指代表达定位与分割模型的构建方法可相互对应参照。图6示例了一种指代表达定位与分割模型的构建装置的结构示意络构建模块24、第一多尺度融合网络和第二多尺度融合网络构建模块24和优化训练模块和第二多尺度融合网络构建模块25，用于构建第一多尺度融合网络和第二多尺度融合网以包括：处理器(processor)710、通信接口(CommunicationsInterface)720、存储器用于特征提取得到图像/文本预处理特征；所述图像预处理特征为由不同尺度图像特征组在关系感知网络、第一多尺度融合网络和第二多尺度融合网络组合成的网络进行优化训[0151]此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改，或者对