CN114579794B 特征一致性建议的多尺度融合地标图像检索方法及系统 （西安建筑科技大学）

特征一致性建议的多尺度融合地标图像检本发明公开一种特征一致性建议的多尺度据，构建地标检索训练数据集Tr与测试数据集用地标检索训练数据集Tr对多尺度地标图像检2S2构造特征一致性建议的多尺度融合地标图像检索S3通过特征一致性建议函数、三元组损失函数和步骤S2中，在ResNet50网络最大池化层后衔接有多尺度信息提左上到右下的顺序提取初始局部特征图的多个局部特征块，得到不同尺度的N个局部特征步骤S2中，ResNet50后构建特征自注意融合网络，所r"f"5ci组、组中，得到的初步融合的两个地标全局特征映射;向量序列zi和分别输入两个Transformer编码层中对两个地标全局特征映射Ff,rf中的2.根据权利要求1所述的一种特征一致性建议的多尺度融合地标图像检索方法，其特3.根据权利要求1所述的一种特征一致性建议的多尺度融合地标图像检索方法，其特融合分支生成的全局特征映射Ff,rf分别关注到不同类别前缀的地标建筑的相同区域，具3（4）4.根据权利要求3所述的一种特征一致性建议的多尺度融合地标图像检索方法，其特5.根据权利要求4所述的一种特征一致性建议的多尺度融合地标图像检索方法，其特6.根据权利要求1所述的一种特征一致性建议的多尺度融合地标图像检索方法，其特45领域研究的热点。地标图像检索是指从数据库图像中找到包含相同地标建筑实例的图像，[0010]S4将地标检索测试数据集Te输入特征一致性建议的多尺度融合地标图像检索模6量函数按照从左上到右下的顺序提取初始局部特征图的多个局部特征块，得到N个局部特网络包括两个特征自注意融合分支，两个特征自注意融合分支各由一层Transformer编码[0016]2)利用结果向量序列z′0和z"0分别表示两个地标全局特征映射Fi1,Fi2的具体信特征自注意融合分支生成的全局特征映射Fi1,Fi2分别关注到不同类别前缀的地标建筑的k为簇中心向量。ii7[0027]分类损失函数为在任一个全局特征映射后设计一个批量归一化层BN()、一个意融合分支Transformer编码层对多个局部特征块中的重要信息进行自注意学习，并将局8部特征块和Transformer编码层随机初始化生成的初始全局特征映射进行融合生成了两个[0051]2.构造特征一致性建议的多尺度融合地标图像检索网络，具体包括骨干网络ResNet50(Backbone)、多尺度信息提取模块(Multi-scaleInformationExtraction个局部特征块，特征自注意融合网络用于自注意学习并融合多个局部特征块和9度信息提取模块通过重组张量函数提取初始局部特征的多个特征自注意融合分支，两个特征自注意融合分支各由一层Transformer编码层构成，Transformer编码层先随机初始化生成全局特征映射，再将初始全局特征映射与局部特征度信息提取模块通过重组张量函数对初始局部特征图提取不同尺度的局部特征块fin和pos的Transformer编码层中，在Transformer编码层中将标准的可学习的位置向量E嵌入到pospos[0061]位置向量E的嵌入可以保留初始全局特征映射和局部特征块的位置信息，其中pos~M。pos[0064]式中，E表示对局部特征块处理为可计算的向量，E表pos码层中的多头自注意模块对两个地标全局特征映射Fi1,Fi2中的重要信息进行自注意学习，[0101]设计区域特征一致性建议项[0110]本发明还提供一种计算机存储介质，所述计算机存储介[0111]图3为本发明方法在地标数据集Paris6k的检索结果。其中图3中第一列表示待查[0112]将本发明方法和其他现有的优秀检索方法在数据集Paris6k上的CMC(CumulativemAPR+QE方法相比mAP提升了0.7检索效果处于领先地位，进一步证