【商品图像检索国内外研究现状的文献综述4800字】

商品图像检索国内外研究现状的文献综述商品图像检索是在电子商务领域针对商品图像的特点以及电子商务的需求进行的图像检索，目前的商品图像检索方法大多数是为了解决特定的商品图像检索任务，在不同的商品图像数据集上的泛化性能各不相同。现在的商品图像检索方法主要是针对检索任务和商品图像的特点在其他图像检索方法的基础上进行改进而来。商品图像的检索方法主要分为基于内容的商品图像检索方法[6]和基于深度学习的商品图像检索方法[7]。基于内容的商品图像检索技术[6]，对商品图像底层的视觉特征进行提取，每幅商品图像构成一个特征向量，所有的商品图像构成一个特征矩阵，通过计算输入商品图像的特征向量与特征矩阵中每个向量的相似度来进行商品图像检索。基于内容的商品图像检索，通常分为特征提取和相似性度量两个方面进行研究。商品图像的底层特征主要包括：颜色特征、纹理特征、形状特征等。颜色特征[8]可以直观表现图像的色彩特点或者色彩变化，是一种常用的图像特征，例如，颜色矩、颜色直方图、颜色相关图等。颜色直方图[9]是一种基于像素统计的图像特征，一幅图像中不同的色彩所占的比例是不同的，选择不同的颜色空间，统计该颜色空间各分量的数量，最终得到颜色直方图特征，常用的颜色空间有RGB颜色空间、HSV颜色空间等。图像的平移、旋转操作对颜色直方图特征的大小几乎没有影响，但是颜色直方图特征对图像的形状，颜色位置等信息不敏感。陈倩等[9]通过使用改进的颜色特征实现了对服装图像的检索，该算法先对服装图像提取颜色直方图、颜色矩等不同的颜色特征，再对不同的颜色特征设置合理的权重，通过加权将不同的颜色特征组合成复合的颜色特征，最后通过距离度量实现对服装图像的检索。侯媛媛等[10]将基于内容的颜色特征和基于神经网络的的深度特征进行融合，同样实现了对服装图像的检索，该方法对只使用神经网络特征进行服装图像检索的检索效果进行了改善，改善后的服装图像检索结果不仅在款式上相似，在颜色方面也比较接近。黄冬艳等[11]提出了一种基于颜色特征和Bundled特征的服装图像检索算法，该方法先对服装图像进行区域分割，提取出服装区域，再对服装区域提取颜色特征，最后通过图像特征进行相似性度量，实现检索。纹理特征[12]是一种反映图像表面纹理变化或者纹理走向的图像特征，当图像具有较好的纹理层次时，对图像提取纹理特征，能较好的获取图像信息，灰度共生矩阵特征、局部二值模式特征以及基于马尔可夫模型的特征都属于图像的纹理特征。葛俊等[13]提出了一种利用不同的图像底层特征分次进行图像检索的方法，每使用一种图像底层特征进行一次图像检索，最后综合每次的检索结果，确定最终的检索结果，该方法使用的纹理特征是局部二值模式特征，该方法可以很好的利用不同图像特征的互补性。缪智文等[14]结合局部二值模式特征和灰度共生矩特征，对服装图像提取了LBP-GLCM纹理特征，通过融合纹理特征和颜色特征，使检索准确度进一步得到提升。吴倩雯[15]利用特征点描述子对服装提取局部纹理特征，并通过算法的改进克服了描述子对旋转的不稳定性，实验结果表明，该方法对服装的纹理特征有较好的表示，服装图像的检索性能得到进一步提升。形状特征[16]可以表达图像中主要内容的轮廓，整体结构等信息，在商品图像检索领域，利用形状特征可以较好的区分商品的款式和种类。傅里叶描述子是将图像轮廓上的离散点看作是一个函数，该函数具有周期性，通过对该函数进行傅里叶展开计算得到描述该图像轮廓的描述子。杜鹃[17]提出了一种多种特征结合的商品图像检索方法，该方法把商品图像的边缘直方图作为图像的形状特征，通过形状特征和其他特征的结合有效实现了商品图像检索。Suzuki[18]等提出了基于轮廓特征的图像检索方法，利用边缘上的离散点来表示轮廓信息，同时利用离散点之间的有向距离来表示离散点之间的位置信息，最后通过特征点匹配的方式进行图像检索。李爽[19]提出利用结合的形状特征来表示图像的轮廓特征，实现商品图像检索，该方法把统计理论应用到形状特征的描述中，用塔式梯度直方图来描述图像的边缘信息，同时根据边界的曲率来选取合适的角点进行图像匹配，该方法提高了计算的速度和检索的准确度。基于形状特征和颜色特征，姜海洋[20]通过二次检索的方式实现了商品图像检索，第一次把颜色的分布情况作为一种特征进行检索，第二次把塔式直方图作为图像的形状特征进行检索，第一次检索的结果可以帮助判断商品图像所属的类别，第二次根据第一次检索的类别信息，在相应类别的商品图像中进行检索，这种方式不仅利用了图像的形状特征，同时很好的利用了商品图像类别信息，降低了计算的复杂度。李飒[21]提出了一种关注图像边缘信息的特征提取方法，针对商品图像中不同类别图像边缘信息差别较大的特点，对商品图像边缘提取直方图特征。同时，根据不同类商品图像的颜色特征和纹理特征的差异性，提取了一种综合颜色信息和纹理信息的特征，并通过相似性度量，实现了通过综合颜色和纹理特征多类商品图像的检索。单一的图像底层特征有时候并不能反映图像的真实面貌，关注一种图像信息的同时，有可能会忽略图像的其他信息，因此，选择不同特征，通过信息的互补效应，可以提升商品图像检索的效果。Qi等[22]利用空间金字塔池(SpacePyramidPool，SPP)和局部聚合描述子向量(VectorofLocallyAggregatedDescriptors，VLAD)提取更多的判别特征用于实例感知产品搜索。通过将空间信息编码到图像特征中，提高了产品图像的细粒度搜索。张文静[23]通过全局特征和局部特征相结合的方法来提高商品图像的检索性能，对提取到的不同图像特征赋予合理的权重，然后按照分配的权重进行特征结合，最后通过排序算法对检索相似度进行排序，从而实现对商品图像的检索。Fu等[24]提出了一种基于物体轮廓角、图像纹理和颜色的商品图像检索方法。根据商品图像背景简单，商品位置在图像中比较突出的特点，使用形状特征来描述商品的轮廓，并检测轮廓的角来减少像素的数量。每个角用其基于距离的近似曲率来描述。此外，从图像的HIS颜色空间中提取逆概率块差和局部相关块变纹理特征和颜色矩特征。最后，采用动态时间翘曲方法对不同长度的特征进行匹配。通过在microsoft商品图像数据库中进行实验，检索精度和查全率曲线证明了该方法的有效性。基于深度学习的商品图像检索方法，一般通过神经网络等深度学习模型对商品图像进行特征提取[25]，进而实现图像检索；或者通过深度学习对图像之间的相近关系进行建模，通过训练深度学习模型，直接检索出相近似的图像。深度学习提取的图像特征相比图像的底层特征具有更高的语义信息。贺周雨[26]对哈希网络SHN模型进行了改进，此模型把金字塔模型和哈希学习模型两种池化方式相互融合，并借助于此模型提取商品图像的特征。为了尽可能的学习到数据之间的原始关系信息，保证哈希学习的效果，借助加权和量化误差损失的方式完成约束哈希编码。借助金字塔池化方式融合不同尺度下的商品图像特征。此模型对于图像形状发生改变的情况，有较好的鲁棒性，而且通过哈希编码的方式还有助于进一步提升商品图像检索效率，降低运算消耗。针对规模较大的商品图像借助于此方式进行检索也能够获得较好的检索效果，而且针对不同类别的商品图像之间具有较大的数据量差别这一问题，该模型也能够较好的进行解决。除此之外，在拍摄商品图像时，有时存在不同因素导致的部分数据信息出现丢失问题，进而降低检索出的商品图像的准确率，该方式也能够有效解决该问题。周晔等[27]基于深度学习提出了一种多尺度图像检索模型，该模型能够对图像中的不同尺度的特征进行提取。针对背景复杂度较大的图像或者是尺度发生改变的图像而言，通过该模型对其特征进行提取，具有更优的鲁棒性，而且此模型为了将在线场景下的响应速度进一步提高可以将模型的宽度以及深度进行降低。陈翊[26]改进了多尺度SE-Xception的网络模型，该模型主要解决了服装图像深度卷积特征信息丰富程度较差而导致检的索效果不佳问题，同时通过实验表明，相较于使用比较广泛的CNN模型，该网络模型在检索速度以及服装图像类别划分方面表现更好。此检索模型主体框架主要以深度二进制哈希快速检索模型为基础，并与服装图像特征相互结合，进一步进行优化改进。服装图像检索库的检索范围进一步减小的目的，在该模型的输出上加入了语义特性；为了将相同服装商品的特征距离进行缩短，同时将该类服装与其他类服装图像特征之间的距离进一步增大，使用了三元损失作为损失函数的一部分；为了能够将检索的准确性进行提高，对深度卷积融合特征应用PCA完成降维处理之后再计算其相似度。Fang等[27]把商品图像视为设计图像，并以该角度作为出发点，设计出检索商品图像的深度框架，该框架为了尽可能多的获取商品图像的设计细节，在敏感特征排序学习和对象检测方面进行了研究，前者是借助于网络Siamese完成的多任务学习，后者则是以速度更快的R-CNN作为基础。Chen等[28]建立了一个商品图像检索系统，此系统是以分类学习的方式作为基础建立的，同时借助于两类神经网络完成类别划分的学习，分别为CNN神经网络以及ListNet神经网络。此方式中的CNN共存在两个卷积层，池化层以和内积层也各有两个。同时选择ReLu函数作为卷积层之后的激活函数，该函数不但能够实现数据稀疏，同时还能够保持信息的梯度，池化层则选择使用随机池化的方式，进一步将模型的泛化能力增强。Sharma[29]等在对图像嵌入进行学习时，提出了使用深度卷积神经网络的方式，通过该方法来定义视觉的相似性，实现了相似电子商务图像的检索。如果商品图像的背景复杂度较高，在进行检索时如何从复杂度较高的背景中将商品图像进行分割是检索商品图像的主要步骤。方强[30]采用GrabCut算法，为了将图像背景与前景两者进行更好的分离，针对图像区域内的商品部分进行交互式分割。而且在对图像进行特征提取之前，在商品图像的分割过程中选择使用以JSEG为基础的分割算法完成分割。同时通过选取合理的分割算法对图形特征进行提取，很好的实现了复杂背景下的商品图像检索。参考文献ChangX,MaZ,YangY,etal.Bi-levelsemanticrepresentationanalysisformultimediaeventdetection[J].IEEEtransactionsoncybernetics,2017,47(5):1180-1197.ZhuL,HuangZ,LiuX,etal.Discretemultimodalhashingwithcanonicalviewsforrobustmobilelandmarksearch[J].IEEETransactionsonMultimedia,2017,19(9):2066-2079.CaoY,LongM,WangJ,etal.Collectivedeepquantizationforefficientcross-modalretrieval[C]//ProceedingsoftheThirty-FirstAAAIConferenceonArtificialIntelligence.2017:3974-3980.Zhuang,Y.，Wang,Y.，Wu,F.，etal.Supervisedcoupleddictionarylearningwithgroupstructuresformulti-modalretrieval[C].inAAAIConferenceonArtificialIntelligence，Washington，USA，2013:1070-1076．欧卫华，刘彬，周永辉，宣瑞晟.跨模态检索研究综述[J].贵州师范大学学报(自然科学版)，2018，36(2):114-120.方强.基于内容的商品图像检索[D].南京理工大学,2013.ChenC,YangR,WangC.ResearchandRealizationofCommodityImageRetrievalSystemBasedonDeepLearning[C].

ParallelArchitecture,AlgorithmandProgramming.PAAP2017：376-385.高硕.基于内容的图像检索系统研究与实现[D].华北理工大学,2019.陈倩，潘中良.基于内容的服装检索系统中颜色特征提取算法的研究和改进[J].激光杂志2016，37(04):62-68.侯媛媛,何儒汉,刘军平.融合颜色特征和深度特征服装图像检索算法[J].计算机应用与软件,2020,37(10):194-199.黄冬艳,刘骊,付晓东,黄青松.联合分割和特征匹配的服装图像检索[J].计算机辅助设计与图形学学报,2017,29(06):1075-1084.QiW,JingxiangL,KaiX,WenyinLandLiangL.2018.BeautyProductImageRetrievalBasedonMulti-FeatureFusionandFeatureAggregation.InProceedingsofthe26thACMinternationalconferenceonMultimedia(MM'18).AssociationforComputingMachinery,NewYork,NY,USA,2063–2067.K.Suzuki,XinleiWandH.Ikeda,"Anartisticdesignsystemforindustrialproductimageretrieval,"in

IEEEIndustryApplicationsMagazine,vol.8,no.1,pp.29-36,Jan.-Feb.李爽.基于形状的图像匹配及商品检索算法研究[D].大连理工大学,2010.姜海洋.基于形状的商品图像检索[D].大连交通大学,2011.吴倩雯.改进的SURF描述子及其在服饰图片检索中的应用研究[D].电子科技大学,2014.葛俊,于威威.一种基于加权颜色形状特征和LBP服装图像检索方法[J].现代计算机(专业版),2018(19):33-38.Qi,S,Kyaw,Z,Wang,X.

etal.

Largescaleproductsearchwithspatialquantizationanddeepranking.

MultimedToolsAppl

78,

27045–27065(2019).李飒.基于内容的图像检索技术在多类别商品图像检索中的应用[D].大连理工大学,2009.张文静.基于全局特征与局部特征组合的商品图像检索[D].北京邮电大学,2015.Fu,H.,Kong,X.,Yang,N.

etal.

Productimageretrievalbased