CN119445125A 一种基于稠密语义相似度的图像部件分割方法及系统 （华南理工大学）

一种基于稠密语义相似度的图像部件分割本发明公开了一种基于稠密语义相似度的分别提取目标图像以及基础图像数据集的图像目标图像全局特征与所有基础图像全局特征的算目标图像描述子与最相似基础图像的基础图2步骤三、分别提取目标图像以及基础图像数据集的步骤四、计算每个目标图像的全局特征与所有基础图像的全步骤五、计算目标图像描述子与最相似基础图像的所述预处理包括采用降低背景亮度、使用高斯滤波器模糊背景、裁剪;其中与分别是第i个目标图像的全局特征与第i个基础图像的全局特征，;3第个目标图像的全局特征与基础数据集中所有全局特征步骤五中，第个目标图像描述子与最相似基础图像的基础图像描述子的稠密语义特征相similarityparr.：;其中，表示第i个目标图像，ineer表示最相似基础图像在基础数据集中的索引，用表示由描述子提取模块得到的目标图像描述子，x、y是目目标图像描述子中每个特征点对应最相似基础图像的基础图像描述子特征点的坐标;其中xcorr,ycorr表示目标图像描述子的特征点对应最相似基础图像的基础图像描述parr表示目标图像描述子与最相似基础图像的基础图像描述子的稠密语义特征相;标注。9.实现权利要求1~8任一项所述的一种基于稠密语义相似度的图像部件分割方法的系所述描述子提取模块通过VIT模型提取目标图像与基础图像数据集图像的描述子与全所述基础图像查找模块用于定位目标图像与基础图像数据集中最相4所述部件语义分割模块用于分割目标图像中物体的部件，通过计算目标5前公开数据，这极大的限制了部件分割模型对于训练集中未见过物体的部件的分割能力。[0005]现有技术采用两种方案（一阶段和二阶段）进行部件语义分割（OV_PARTS:像部件分割方法对未见过物体进行部件分割，不受数据集中图像数量与物体类别的限制。6密语义特征相似度similarityobjectr,的公式如下：;其中feks,与feiy分别是第i个目标图像的全局特征与第i个基础图像的全局特征，Il.Ilz表示向量的长度；目标图像与基础图像越相似，全局特征稠密语7;是第i个目标图像的全局特征与基础数据集中所有全局特征的稠密语义特征相似度。的稠密语义特征相似度similarityparr.：;其中，Ii表示第i个目标图像，inear表示最相似基础图像在基础数据目标图像描述子中每个特征点对应最相似基础图像的基础图像描述子特征点的;其中xcorr,ycorr表示目标图像描述子的特征点对应最相似基础图像的基础图示目标图像描述子与最相似基础图像的基础图像描述子的稠;其中，M,(x,y)表示在目标图像中坐标为(x,y)的特征对应的掩码的类别，M,(x标注。8所述描述子提取模块通过VIT模型提取目标图像与基础图像数据集图像的描述子所述基础图像查找模块用于定位目标图像与基础图像数据集中最相似基础图像，似度定位到与目标图像的全局特征最相似的基础图像，并提取最相似的基础图像的描述于本领域普通技术人员来讲,在不付出创造性劳动性的前提下，还可以根据这些附图获得[0022]所述描述子提取模块通过VIT模型提取目标图像与基础图像数据集图像的描述子[0023]所述基础图像查找模块用于定位目标图像与基础图像数9其中基础图像数据集的图像中仅包含一个物体，物体包含的部件尽可能的丰富，[0029]步骤三、使用描述子提取模块分别提取目标图像以及基础图像数据集的图像特计算单元块中的多头注意力机制的键输出目标图像描述稠密语义特征相似度similarityobjecrn的公式如下：;其中feks,与feli,分别是第i个目标图像的全局特征与第i个基础图像的全局特;图像中物体的空间特征，在第12个计算单元块中的多头注意力机制中提取键key作为最相（1）目标图像描述子与最相似基础图像的基础图像描述子的稠密语义特征相似;其中，Ii表示第i个目标图像，inear表示最相似基础图像在基础数据表示在基础图像查找模块中得到的最相似基础图像，为较小的值避免被零除，第二个特征点与最相似基础图像的基础图像描述子的所有特征点中相似程度最高的特征;其中xcorr,ycorr表示目标图像描述子特征点对应的与基础图像描述子相似程标图像描述子与最相似基础图像的基础图像描述子的稠密语义特征相;表示在最相似基础图片中坐标为(xcorm