（信号与信息处理专业论文）基于内容的图像检索技术在多类别商品图像检索中的应用.pdf

大连理工大学硕士学位论文 摘要 近年来，对基于内容的图像检索技术的研究如火如荼，各种理论和应用成 果不断涌现。与此同时，电子商务技术的迅速发展催生了一种新的购物方式一 一网络购物，各种类型的网络购物平台层出不穷，这为基于内容的图像检索技 术提供了一个崭新的应用领域。为了实现基于内容的图像检索技术与网络购物 的结合，本文对利用基于内容的图像检索技术检索多类商品图像进行了探索。 首先，本文对颜色和纹理特征的典型提取方法和相似性度量方法进行了研 究，并且在传统边缘直方图特征提取方法的基础上，结合多类商品图像的特点 提出了一种突出对象边缘直方图特征提取方法。其次，本文对颜色和纹理特征 的自身特点以及颜色和纹理综合特征的特点进行了分析，并且在此基础上提出 了一种综合颜色和纹理特征的多类商品图像检索方法。最后，本文设计并实现 了一个商品图像检索实验系统，并利用此系统对本文提出的方法进行了实验验 证。 实验结果表明：第一，对于多类自然图像检索，颜色特征的检索性能优于 纹理特征，然而对于多类商品图像检索，纹理特征优于颜色特征；第二，对于 多类商品图像检索，本文提出的突出对象边缘直方图较之传统的边缘直方图具 有更好的查全查准曲线，并且在查全率为0 4 时，前者的平均查准率高于后者 5 ；第三，本文提出的综合颜色和纹理特征的商品图像检索方法较之单一特征 具有更好的查全查准曲线，并且在查全率为0 4 时，前者的平均查准率高于后 者3 。 通过上述的实验结果可以得出如下结论：第一，对于多类商品图像检索， 纹理特征较之颜色特征具有更好的检索性能，特别是边缘特征检索效果最佳； 第二，结合商品图像的特点对传统边缘特征进行改进可以进一步提高检索性能； 第三，利用综合多种不同类型的特征可以进一步提高检索性能。 关键词：图像检索；电子商务；网络购物平台；商品图像；边缘直方图 基于内容的图像检索技术在多类别商品图像检索中的应用 a p p l i c a t i o no f c o n t e n t - b a s e di m a g er e t r i e v a lt e c h n o l o g yi n m u l t i c l a s sp r o d u c ti m a g e sr e t r i e v a l a b s t r a c t i nr e c e n ty e a r s ，c o n t e n t _ b a s e di m a g er e t r i e v a l ( c b i r ) h a sb e e nd e v e l o p i n g r a p i d l y ，a n dav a r i e 够o ft h e o r i e sa 1 1 da p p l i c a t i o n s 、r ep r o p o s e d m 也em e a n t i m e ， a san e ww a yt od os h o p p i n g ，s h o p p i n go m i n eh a sb e e ne m e r g i n gw i t h 也ef b t d e v e l o p i n go fe c o m m e r c e a sar e s u l t ，m a n y 、bs i t e sf o rs h o p p i n go m i n ec 锄e o u t ，柚c hp r o v i d e dan e wj e i e l do fa p p l i c a t i o nf o rc b i r i no r d e rt oa p p l yt h ec b i r t e c 王1 1 1 0 l o g yi n t os h o p p i n go n l i n e ，t 量l i sp a p e rm a d ea i le 筋r tt or e t r i e v em u l t i c l a s s p f o d u c ti m a g e sw 吐lc b i rt e c h l o i o g y f i r s to fa l l ，i nt h i sp a p e rm ec l a s s i ce x t m c t i o nm e t h o d so fc o l o ra n dt e x t u r e f e a n l r e sa i l ds i m i l 撕够m e a l s u r e m e n tm e t h o d s 、w r es t u d i e d ，a n d 也e nau i l i q u e e x t m c t i o nm e t h o ds o c a l l e do b j e c tr e g i o nh 培h l i g h t e de d g eh i s t o g r a md e s c r i p t o r ( o r h e h d ) w a sp r o p o s e db a s e d o nt h et m d i t i o n a le d g eh i s t o g r a md e s c r i p t o r ( e h d ) s e c o n d l y ，t 1 1 ec h a r a c t e r i s t i c so fc o l o rf e a n 盯e sa 1 1 dt e x 仙r ef e a m r e sw e r ed i s c u s s e d d e e p l y ，b a s e do nw h i c han e wr e t r i e v a lm e t h o dc o m b i i l i n gc 0 1 0 rf b a t u r ea n dt e x t u r e f e a t l l r ew a sp r o p o s e df o rm u l t i - c l a s sp r o d u c ti m a g e sr e t d e v a 王f i m l l y ，t h i sp 印e r d e s i 舀l e da n di m p l e m e n t e da ne x p e r i m e n ts y s t e mf o rp r o d u c ti m a g e sr e t r i e v a l ，w l i c h w a l su s e dt ot e s tw h e m e rt h em e t l l o d sp r o p o s e di nt l i sp a p e rw e r ev a l u a b l eo rn o t t h er e s u h so ft 王l ee x p e 血n e n t ss h o w e dt h a tf i r s t l y ，2 l st ot h em u l t i - c 1 2 l s sn a t u 陬l i m a g e sr e t r i e v a l ，也ec o l o rf e a t u r e sp e r f - o m l e db e t t e r 廿l a nt h et e x 砸r eo n e s ，w k l em e 1 a t t e rw o r k e db e 舵ri nt h em u l t i c l a s sp r o d u c ti m a g e sr e t r i e v a l ；s e c o n d l y ，i i lm e m u l t i c l a s sp r o d u c ti r n a g e sr e t r i e v a lo r h e h dp r o d u c e dap r e f e rp 1 0 to fp r e c i s e v e r s ei b c a l l ( p v i u ；f i n a l l y ，i nt l l em u l t i c l a s sp r o d u c t i m a g e sr e t r i e v a lm e c o m p r e h e l l s i v ef e a t u r ep r o p o s e di nm i sp a p e rw o d db e t t e rt 1 1 a ns i n g l ef e a t u r e s t h r o u g ht h er e s u h sa b o v e s e v e r a lc o n c l u s i o n sw e r ed r a 、w la sf o l l o w s ：f i r s t l y ，i 1 1 m u l t i c l a s sp r o d u c ti m a g e sr e t r i e v a l lt h et e x t u r ef i e a t u r e sp e r f o m l e db e t t e rm a i lt h e c o l o rf e a t m e s ，e s p e c i a l l yt h ee d g ef e a t u r e ；s e c o n d l y ，a c c o r d i n gt 0t h ec h a r a c t e r i s t i c s o ft h ep r o d u c t 沛a g e s ，t h et r a d i t i 0 僦e x 订a c t i o no fe h dc a i lb ei m p r o v e dt or a j s et h e p e r f 0 m l a n c ei nm u l t i - c l a s sp r o d u c ti m a g e sr e t r i “a l ；矗n a l l y ，m ec o m p r e h e n s i v e f - e a t u r e c o m b i n i n go n ef e a t u r ew i t ha n o m e rc a ni m p r o v et h ep e r f o r m a n c ei n m u l t i c l a l s sp r o d u c ti m a g e sr e t r i e v a l e h d l ( e y w o r d s ：打n a g er e t r i e v a l ；e c o m m e n c e ；s h o p p i n go nl i n e ；p r o d u c ti m a g e j i i 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进 行研究工作所取得的成果。尽我所知，除文中已经注明引用内容和 致谢的地方外，本论文不包含其他个人或集体已经发表的研究成果， 也不包含其他已申请学位或其他用途使用过的成果。与我一同工作 的同志对本研究所做的贡献均已在论文中做了明确的说明并表示了 谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：差重迫查壶团簋型幽丝是墅j 盘国堡篮拯却 作者签名：二耋盏坠一日期：丝哆一年堡月卫日 大连理工大学硕士学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目： 作者签名： 导师签名： 大连理工大学硕士学位论文 1绪论 1 1 研究背景及意义 图像检索技术诞生于上世纪7 0 年代【l 】。早期的图像检索技术是利用传统的 文本检索技术，因此该方法被称为基于文本的图像检索( t b i r ) 。这种方法首 先为图像做出文字化标注来描述图像的内容，然后再对图像进行基于关键字的 检索。该方法简单而且易于理解，而且能从用户的角度表达图像的高层语义【2 j 。 但是文本的描述能力有限，不能充分地表达一幅图像所具有的丰富内容。特别 是一些没有清晰表达对象的图像往往很难用文字来描述。如不规则形状、散布 的纹理等图像就很难用文本来描述【3 】。另外，文本描述还具有一定的主观性。 不同的人甚至同一个人在不同时间或地点都可能对同一幅图像产生不同的理 解，这样就产生了对图像内容理解的歧义性。 进入上世纪9 0 年代，随着计算机网络、数据库和信息处理等技术，特别是 互联网技术( i n t e m e t ) 的迅速发展，信息的表达形式由原本单一的文本向多媒 体方向( 图像、视频和音频等) 扩展【4 】。信息的发布者由以前少数公司团体等 组织向个人扩散，每个组织或个人都可以轻而易举地向网络提供大量的信息， 这些信息中包含了大量的图像信息【5 】。为了存储这些海量的图像信息，众多的 大规模图像数据库应运而生。面对这些大规模数据库中不计其数的图像信息， 早期的靠手工完成的图像标注已经无能为力，极低的效率使得图像标注成为一 项无法完成的工作。为了克服基于文本的图像检索的弊端，研究者们提出了基 于内容的图像检索( c b i r ) 技术。该方法根据图像的颜色特征、纹理特征、形状 特征以及空间关系等图像底层的内容信息作为索引，计算被查询图像和目标图 像特征之间的相似距离，这个距离就作为图像间的相似性度量，然后按照图像 之间的相似程度进行检索【6 j 。基于内容的图像检索是通过处理、分析和理解图 像的底层乃至高层的内容信息，获得对图像的准确描述。这样，传统的手工图 像注释的低效性和歧义性问题得到了很好的解决，c b i r 技术渐渐取代了t b i r 成为视觉信息检索的主要方法1 7 j 。 另一方面，几乎与图像检索技术同时，电子商务在上世纪7 0 年代末也悄然 兴起。从电子商务这一概念诞生以来，关于究竟什么是电子商务的本质和内涵 这一问题，不同的研究者从不同的角度和层面给予了各自的阐述。时至今日， 研究者们对于电子商务的本质和内涵的认识不断深化和扩展，并且逐渐达成了 共识。电子商务的概念应该分为广义电子商务和狭义电子商务【8 j 。所谓狭义的 电子商务也称作电子交易( e c o m m e r c e ) ，主要是指利用w e b 提供的通信手段 基于内容的图像检索技术在多类别商品图像检索中的应用 在网上进行的交易。而所谓的广义的电子商务是指包括电子交易在内的，利用 w e b 进行的全部商业活动，如市场分析、客户联系、物资调配等，亦称作电子 商业( e - b u s i n e s s ) 。从技术角度看，电子商务的发展经历了e d i ( e l e c t r o l l i cd a t a i n t e r c h a n g e ) 电子商务和i n t e m e t 电子商务两个阶段。早在2 0 世纪6 0 年代末， 欧洲和美国几乎同时提出了e d i 的概念【8 j 。早期的e d l 只是在两个商业伙伴之 间，依靠计算机与计算机直接通信完成。这种用于商业目的的数字化通信方式 构成了电子商务的雏形。2 0 世纪7 0 年代，数字通信技术的发展大大加快了e d i 技术的成熟和应用范围的扩大，也带动了跨行业e d i 系统的出现。公司之间通 过e d i 可以实现电子化传输订单、发票等作业文件。e d i 通过计算机通信网络 将贸易、运输、保险、银行和海关等行业信息，用一种国际公认的标准格式表 示，实现各有关部门与公司或企业之间的数据交换与处理，并完成以贸易为中 心的全部过程。8 0 年代e d i 标准的国际化又使e d i 的应用跃入了一个新的里 程。然而，e d i 在提高贸易效率的同时，也存在着通用性差、成本高的弊端。 2 0 世纪9 0 年代对公众开放的因特网，为电子商务提供了一种简单、易行而且 高效的实现方式。另外，商贸领域不断增长的供货能力、客户需求以及经济全 球化的变化趋势，极大地刺激了对电子商务的实际需求。于是，基于因特网的 电子商务应运而生，因特网商务不仅可以从根本上解决e d i 存在的问题，而且还 能够实现实时的、交互的和多媒体的商务信息传输方式。 近年来，随着i m e m e t 技术和电子商务技术的不断发展与成熟，以此为技 术基础的网络购物平台层出不穷。例如，国外知名的购物网站：易贝【9 j ，亚马 逊【l o 】以及1 i k e 购物网【l l 】；在国内知名的购物网站：淘宝网【1 2 】，百度有啊【1 3 】和拍 拍网【1 4 】。网络购物平台中的商品货源广泛、品种齐全且价格合理，有着巨大的 消费需求，因此得到了迅速的发展。目前，随着物流服务的完善，网络购物作 为一种新型的购物方式已经渐渐取代了传统的购物方式，成为一种时尚。纵观 国内外的知名购物网站，它们无一例外的都为用户提供了商品检索功能。然而， 除了l i k e 购物网为用户提供了所谓的可视化检索功能外，其他的国外知名购物 网站以及所有国内的知名购物网站只为用户提供了基于关键字的检索功能。网 络购物平台中的一些商品难于用文字来表达其自身的属性，这给用户挑选中意 的商品带来的很大的不便。例如，服装的款式花色很难用文字表达，这使得用 户难以用关键字检索到具有欣宜花色和款式的服装。然而，利用图片作为查询 信息，这个问题就会迎刃而解。c b i r 就像是一种为其量身定做的技术，可以 很好的解决对某些不便于用文字描述其特征的商品图像的检索问题，极大地方 便用户利用网络购物平台选购商品。 大连理工大学硕士学位论文 综上所述，实现c b i r 技术与网络购物平台的结合不仅对c b i r 技术的进 一步发展具有重要的理论意义，而且对网络购物平台的进一步完善具有重要的 应用价值。从理论的角度讲，商品图像检索是c b i r 理论的一个重要的研究方 向，是对c b i r 理论的进一步扩展与完善。从应用的角度讲，c b i r 技术应用于 网络购物平台，必将在很大程度上方便用户的购物方式，改进用户的购物体验， 从而促进网络购物这种新型的电子商务模式的进一步发展。 1 2 国内外研究现状 目前，对于c b i r 基本理论和应用的研究己经取得了许多成果。在理论研 究方面，各种新的技术方法不断涌现，一些知名的学术期刊开辟了专刊介绍， s p i e 每年都有关于c b i r 的国际会议和相关论文集。在应用方面，一些研究机 构在网上发布了自己的c b i r 原型系统，其中著名的有i b m 公司开发的q b i c 系统【1 5 】，哥伦比亚大学开发的v i s u a l s e e k 系统【1 6 j 以及v i r a g e 公司开发的v i r a g e 系统【1 7 】。 q b i c 系统结构分为图像库建立、特征提取和图像查询3 个部分。q b i c 除 了提供基于颜色、纹理、形状等基本的索引方法外，还提供了基于手绘草图的 图像索引方法。颜色特征的提取采用了平均色和颜色直方图两种方法；纹理特 征的提取采用了纹理的粗糙度、对比度和方向性三种方法的综合；形状特征的 提取采用了形状的面积、圆形度、离心率、主轴方向以及一组变换无关矩等方 法。o b i c 中的基于内容的图像检索技术已应用于实际的产品，如i b m 数字图 书馆、超媒体管理器、d b 2 数据库的图像扩展等工具软件。 v i s u a l s e e k 系统由图形用户界面、服务器应用、图像检索服务器、图像归 档4 部分组成【l s 】。v i s u a l s e e k 提供了基于颜色和纹理的图像索引方法。在 v i s u a l s e e k 中，颜色全局特征的表达使用了全局色彩直方图，颜色局部特征的 表达采用二进制颜色集法。对于纹理特征的表达，使用了基于小波变换的方法。 v i s 砌s e e k 所使用的技术现己在电子图书馆等领域得到了一些应用。 v i r a g e 系统由图像表达层、图像对象层、领域对象层、领域事件层4 个层 次组成。v i r a g e 系统在提取特征时需要进行图像预处理，然后再提取图像的特 征索引。v i r a g e 将特征称为“原语”，包括颜色、纹理以及空间分布等原语。 这些原语可以进一步分为通用型原语和特定领域原语。v i r a g ee n g i n e 以及在图 像对象层上的操作是v h g e 技术的核心。v i r a g ee n g i n e 主要具有3 方面的功能： 图像分析、图像比较和图像管理。它将查询引擎作为一个插件，它既可应用到 通用的图像查询，也对其进行扩展并应用到特定的领域【l 圳。 基于内容的图像检索技术在多类别商品图像检索中的应用 c b i r 各个方面的研究成果不胜枚举。然而，利用c b i r 技术进行商品图像 检索是一个较新的应用领域，且具有相当大的商业价值，因此不论是国内还是 国外公开的研究文献都很有限。在国外，x i a 0f 砌i n l 2 0 j 等人提出了一种综合多 种特征的分阶段的商品图像检索方法，该方法综合了颜色、纹理和形状等多种 的图像底层特征，并且首先利用纹理特征进行初步检索，然后在利用多种特征 进行综合检索，从而提高了检索的速度。除此之外，文献 2 0 】中还提出了一种 多种特征的权值动态分配方法，该方法根据被检索图像的分辨率不同对不同类 型的底层特征动态分配权值，从而提高检索效果。另外，2 0 0 6 年成立的美国一 家名为l i k e 的购物网站为用户提供了可视化的商品检索方法。该网站为每一幅 商品图像提供了一个视觉检索按钮，消费者如果对该商品或与其相类似的商品 感兴趣，可以通过点击该按钮检索出与此商品图像在视觉上相似的所有商品图 像。这种商品图像的检索方法使用了c b i r 技术，因此l i k e 网站也成为第一个 使用c b i r 技术的网络购物平刽2 0 1 。在国内，仅有少数的研究者对c b i r 技术 应用于商品图像检索进行了探讨。王海龙等人1 2 l j 提出了一种基于c b i r 的服装 检索方法。该方法将服装图像的特征概括为颜色、花型和款式，利用代表色表 达服装的颜色，利用灰度共生矩阵刻画服装的花型，提取外轮廓特征表达服装 的款式，并且提出相应的匹配算法，实现了对服装图像的全方位检索。卢兴敬 等人【2 2 】也提出一种c b i r 方法用于服装检索。该方法利用分割算法的图像背景 去除技术，减少背景对提取特征的干扰，并且用颜色直方图、l b p 算法来提取 图像的颜色与纹理特征。 1 3 本文的研究内容 本文主要对基于内容的商品图像检索进行了研究，提出了一种基于突出对 象区域的边缘直方图描述符的商品图像检索方法，并将该方法与颜色布局描述 符相结合，提出一种综合颜色和纹理特征的商品图像检索方法，最后设计并实 现了一个商品图像检索原型系统，具体的研究工作如下： ( 1 ) 本文对基于内容的图像检索方法进行了简要介绍，讨论了典型的基于颜 色和纹理的特征提取方法，并且通过实验证实：对于本文所选用的微软亚洲研 究院提供的商品图像库，边缘特征较之颜色和其他纹理特征具有更好的检索准 确率。 ( 2 ) 本文在分析了商品图像自身特点的基础上，针对原有边缘直方图描述符 的不足，提出了一种基于突出对象区域边缘直方图的商品图像检索方法。较之 原有的边缘直方图，该方法对商品图像具有更高的检索准确率。 大连理工大学硕士学位论文 ( 3 ) 本文讨论了不同类型特征的特点及特征综合的典型方法。在此基础上， 综合使用了颜色布局和本文提出的基于突出对象区域的边缘直方图两种不同类 型的特征，提出了一种综合颜色和纹理特征的商品图像检索方法。 ( 4 ) 本文设计并实现了一个商品图像检索原型系统，该系统具有建立特征 库，查询商品图像，显示检索结果的基本功能。该系统对进一步研究商品图像 检索有很好的帮助作用。 1 4 本文的组织结构 本文将用的内容详细阐述基于内容的商品图像检索问题，具体的内容安排 如下： 第一章：绪论。阐述了本文研究课题的背景和意义和国内外关于c b i r 与 电子商务结合研究的现状，简要介绍了c b i r 系统的构成和关键技术，最后讨 论了本文的研究内容和组织结构。 第二章：特征提取。详细讨论了几种基于颜色和纹理的特征提取方法，并 使用这些方法对商品图像进行检索，证明其各自的检索性能。在上述检索实验 的基础上，提出了一种基于突出对象区域边缘直方图的商品图像检索方法。 第三章：综合颜色和纹理特征的商品图像检索方法。阐述了不同类型特征 的特点以及特征综合的典型方法，并在此基础上提出了一种综合颜色和纹理特 征的商品图像检索方法。 第四章：系统设计与实现。阐述了一个商品图像检索原型系统具体的设计 步骤和实现方法。 第五章：实验。利用上述系统对进行商品图像检索实验，检验本文提出的 新方法的有效性。 第六章：结论与展望。+ 总结了本文的主要研究成果，并讨论了下一步的研 究方向。 2 特征提取及相似性度量 特征提取以及相似性度量是基于内容的图像检索系统的两项关键技术，因 此也是本文的研究重点。特征的可区分能力的高低和相似性度量算法的准确程 度直接影响了系统的检索性能【2 3 】。作为本文的研究重点本章将详细介绍基于颜 色和纹理的特征提取方法以及与其相对应的相似性度量算法，并且在深入分析 商品图像特点的基础上，对传统的边缘直方图特征进行了改进，提出了一种基 于突出对象区域的边缘直方图描述符( o b j e c tr e g i o nh i 曲l i 曲t e de d g e h i s t o g r a md e s c r i p t o r ，o i m e h d ) ，进一步提高了对商品图像的检索精度。 基于内容的图像检索技术在多类别商品图像检索中的应用 2 1 基于颜色的特征提取 颜色作为的一种重要的视觉特性，最早被应用于基于内容的图像检索中 【2 4 1 。由于颜色特征具有定义明确，提取简单的特点，所以在图像检索领域得到 了广泛的采纳和重视。在商品图像检索中，颜色特征也具有至关重要的作用。 颜色特征虽然不是决定商品分类的主要特征，但却是用户需要的一项重要的商 品属性。因为表达图像颜色信息的特征与所使用的颜色模型有着密切的关系， 并且用以测量两个图像特征之间的相似程度的相似性度量方法在一定程度上影 响检索结果，所以本节首先讨论颜色模型的选择，然后介绍了两种典型的图像 颜色特征的描述方法，包括提出最早、应用最广的颜色直方副2 4 】和m p e g 7 建 议的利用了颜色空间信息的颜色布局描述符( c o l o rl a y o u td e s c r i p t o r ，c l d ) 【2 5 】。 2 1 1 颜色模型的选择 为了能够定量地使用颜色，需要建立颜色模型。由于一种颜色可用3 个基 本量来描述，所以建立颜色模型就是建立一个3 d 坐标系统，其中每个空间点 都代表种颜色。这些颜色点所组成的坐标空间则称为颜色空间。按照其用途， 常用的颜色模型可以分为两类：一类是面向硬件设备的，如彩色显示器或打印 机。另一类是面向视觉感知或者说以颜色处理分析为目的的应用，如动画中彩 色图形，各种图像处理的算法等【2 】。下面结合后文的应用，对常见的颜色空间 作简要的介绍。 ( 1 ) r g b 颜色模型 r g b 模型是最常见的面向硬件设备的颜色模型，它以人类视觉系统的结构 作为建模基础。按照人眼的结构，所有颜色都是有三种基本颜色也就是人们常 说的三原色，即红( r ，r e d ) 、绿( g ，蓼e e n ) 和蓝( b ，b l u e ) 组成的。1 9 3 1 年，国际照度委员会( c i e ) 将红、绿和蓝三种基本色的波长分别规定为7 0 0 m n ， 5 4 6 1 眦和4 3 5 8 衄。 r g b 模型可以建立在笛卡尔坐标系中，其中三个坐标轴分别代表r ，g ， b 三个颜色分量。如图2 1 所示。 大连理工大学硕士学位做 翟圆? 图2 1r g b 颜色模型 f 远2 1c o l 盯m o d e lo f r o b r g b 空间是个正方体，原点对应黑色，距离原点最远的顶点对应白色。连 接黑色点和白色点的对角线上分布着从黑到白的灰度值。从原点到r o b 正方 体内的任何一点的向量都对应着不同的颜色。 ( 2 ) h s v 颜色模型： h s v 是最常用的面向视觉感知的颜色模型，由于它的三个颜色分量更接近 人类视觉感受特性，所以目前许多图像处理算法和图像特征提取算法中都采用 该颜色模型。h s v 的三个分量对应人眼视觉特征的三要素，即色调( h u e ) 、 饱和度( s ，s a m 眦i o n ) 和亮度( v ，v 址鹏) 。色调h 的取值范围是 o ，3 6 0 。】， 表示光的颜色，它由一个物体反射或投射的光波的长短决定。波长不同的光具 有不同的色调，如红、橙、黄、绿等。饱和度s 的取值范围是【0 ，1 】，表示颜色 的深浅或者说浓淡程度，它与颜色中混合的白色的比例有关，反映了某种颜色 被白色冲淡的程度，不混合白色成分，则饱和度为1 0 0 只有白色，则饱和 度为0 。亮度v 的取值范围是【0 ，1 ，表示光的明暗程度，它由光波的能量决定， 能量越大，亮度越大【2 6 】。 颜色模型对应的颜色空间是圆柱坐标系中的一个圆锥形子集，如图22 所 示。 膪2 2h s v 颜色模型 基于内容的图像检索技术在多类别商品图像检索中的应用 f i g 2 2 c o l o rm o d e lh s v 圆锥的顶点( 即原点) 处，v = 0 ，h 和s 无定义，表示黑色。圆锥的项面 对应于亮度v = 1 ，顶面的中心处s = o ，v = 1 ，h 无定义，表示白色。从圆锥的顶 点到顶面中心的连线上分布着从黑到白的灰度值，这些点的s = 0 ，h 无定义。 在h s v 模型中，h = 0 。、h = 1 2 0 。和h = 2 4 0 。三个平面分别对应r g b 模型中 的r 1 ，g = l 和b = l 三个平面。另外，在圆锥顶面的圆周上的颜色，v = 1 ，s = 1 ， 这种颜色叫纯色。h s v 模型与画家配色的方法相似，画家用改变色浓和色深的 方法从某种纯色获得不同色调的颜色，在一种纯色中加入白色以改变色浓，加 入黑色以改变色深，同时加入不同比例的白色，黑色即可获得各种不同的色调 【2 6 1 。r g b 空间与h s v 空间的转换公式为： 日= 秒s 坠塑丝坚坠b ga ，cc o s ；= = 兰= = = = 兰= = 兰= = = = 兰= = =占“ 2 万一矿三! ! 二兰兰兰三盐b g c 2 j ， 2 万一批c o s 竺丝些竺坠b g 。 2 ( r g ) 2 + ( r b ) ( g b ) s ：翌竺! 墨：g ! 墨! 二些! 墨：堡：璺 m a ) 【( r ，g ，b ) 矿：里竖! 墨! 堡：旦 2 5 5 ( 2 2 ) ( 2 - 3 ) ( 3 ) y c b c r 颜色模型 y c b c r 颜色模型是y u v 颜色模型的一种演化，广泛地应用于彩色图像的 压缩、图像的彩色显示和图像的传输等领域【2 7 1 。值得一提的是，常用的j p e g 压缩格式就是使用的y c b c r 颜色模型。y c b c r 的三个颜色分量中，y 表示亮度， c b 和c r 分别表示蓝色和红色的色度。从r g b 空间到y c b c r 空间的转换公式 为： 刚卦 器蒹篡旧 亿4 ， 一7 4 2 0 71 1 2 0 0 l lgl( 2 4 ) 一9 3 7 8 6一1 8 2 1 4 八bj 利用颜色特征描述图像的视觉特性有许多表达方法，其中提出最早也是应 用最广的一种表达方法就是统计直方图。颜色直方图就是对不同颜色的像素点 大连理工大学硕士学位论文 在图像空间中出现的频率进行统计，从而得到关于有限种颜色的直方图。颜色 直方图可以抽象为一个一维函数，即 踯) = 寿，j j - 1 ，2 ， ( 2 5 ) 式( 2 5 ) 中尼代表图像的特征取值，三是特征可取值的个数，2 。是图像中具 有特征值为尼的像素的个数，是图像像素的总数。如图2 3 所示，是一个具 有8 个柄的颜色直方图，代表了图像中8 种不同灰度像素点的个数在总像素点 数种的出现频率。 0 3 0 2 5 o 2 0 1 5 0 1 o 0 5 0 l23 45678 图2 38 柄边缘直方图 f i g 2 3e x 锄p l eo fe h d w i t h8b i n s 对于彩色图像，可以对三个颜色分量分别作直方图，即 刚垆等，拈l ，2 ，三 ( 2 - 6 ) 式( 2 6 ) 中，也代表一个分量的直方图，c = r ，g ，b ，则整幅图像的直方图 为 h = t hr ，h g ，h8 1 ( 2 7 ) 颜色直方图具有很多良好的抗几何变换的特性，如旋转不变性、平移不变 性和缩放不变性等，这使得颜色直方图适用于判断两幅图像全局颜色的相似性。 然而，颜色直方图仅考虑了具有某种颜色的特征的像素点在图像中出现的频率， 基于内容的图像检索技术在多类别商品图像检索中的应用 而没有考虑该像素点在图像中的空间位置信息【2 8 1 。这使得颜色直方图的检索精 度受到了一定的影响，有时会出现在视觉上明显不同的两幅图像，可能具有相 同或者相似的颜色直方图的情况【2 9 1 。 2 1 3 颜色布局 颜色直方图利用像素颜色的出现的频率来表达图像的信息，而没有考虑这 些像素的空间信息。接下来，介绍一种利用颜色的空间分布信息来表达图像特 征的方法。国际标准m p e g 7 建议了颜色布局描述符，它用一种紧凑的形式有 效地表达了一幅图像的颜色空间分布信息。颜色布局描述符可以通过如下的步 骤来获得 2 5 】： ( 1 ) 将图像从r g b 空间映射到y c r c b 空间，映射公式为： 】，= 0 2 9 9 r + o 5 8 7 g + 0 1 4 4 b ( 2 8 ) c 6 = o 1 6 9 r 一0 3 3 l g + o 5 0 0 b ( 2 9 ) c p = o 5 0 0 r o 4 1 9 g 一0 0 8 1 b ( 2 1 0 ) ( 2 ) 将整幅图像分成6 4 块( 每块尺寸为w 8 日8 ，其中矽为整幅图像 的宽度，日为整幅图像的高度) ，计算每一块中所有像素各颜色分量 ( 】，c 6 ，o ) 的平均值，并以此作为该块的代表颜色( 主颜色) ： ( 3 ) 对各块的平均值数据进行d c t 变换； ( 4 ) 通过之字形扫描和量化，取出三组颜色d c t 变换后的低频分量，共同 构成该图像的颜色布局描述符。 输入图像 二进制的描 述符 图2 4 颜色布局描述符的提取流程 大连理工大学硕士学位论文 f l g 2 4 f 。i o w0 tc l d 颜色布局描述在存储开销和检索效率之间达到了很好的均衡，它仅用6 3 个比特来存储整幅图像的特征信息，而且具有较高的检索精度。这个特点使得 颜色布局描述符很适合图像数据库的规模比较庞大，并且相似性度量的计算量 较大的情况【3 0 1 。 2 2 基于纹理的特征提取 纹理是另一种重要的视觉特征。对纹理目前尚无正式的( 或者说一致的) 定义【l 】，可以认为纹理是灰度( 颜色) 在空间以一定的形式变化而产生的图案 ( 模式) ，是真实图像区域固有的特征之一。本节首先介绍一种由y o 吼gd e o k c h 吼等人【3 1 1 提出的基于逆概率块差异( b l o c kd i f f e r e n c eo fi n v e r s ep r o b a b i l i t ) ， b d i p ) 和局部相关系数块变化( b l o c ki n v a r i a i l c eo f l o c a lc o 仃e l a t i o nc o e 伍c i e n t s ， b v l c ) 矩的纹理特征，该特征在自然图像检索中具有很好的检索精度。然后， 介绍m p e g 7 建议的边缘直方图描述符及其改进形式【3 2 】，并且结合商品图像检 索任务的特点，提出一种基于感兴趣对象区域边缘直方图的商品图像检索方法。 2 2 1基于b d i p & b v l c 的描述符 所谓的逆概率块差异( b d i p ) 是指一个图像块的像素数量与像素亮度之和 与块中最大像素亮度的比值之间的差。这个特征利用图像块的局部概率来测量 块儿间的亮度变化。而所谓的局部相关系数块变化( b v l c ) 是指图像块中关 于四个方向的局部相关系数的最大值与最小值之间的差。这个特征利用图像块 的局部相关系数的变化来测量纹理的光滑程度。b d i p 和b v l c 的一阶矩和二 阶矩作为c b i r 的特征向量。 b d i p 的计算公式如下： ：砸，_ ，) b d 俨：m 2 一旦坐旦_ 一 ( 2 1 1 ) 曷警砸，) 。 ( 1 _ ) e 占 式( 2 1 1 ) 中，( f ，) 表示像素点( f ，) 的亮度，b 是m m 的图像块。一个图 像块的亮度变化越大，。则该图像块的b i d p 值就越大。 b v l c 的计算公式如下： 雕：查鳖竺兰竺竺：亿蚴 基于内容的图像检索技术在多类别商品图像检索中的应用 式( 2 1 2 ) 中，b 是m m 的图像块，啪和吼，。代表图像块b 的均值和标准 差。( 七，z ) 代表一个水平垂直偏移量，该偏移量共有四个取值( 一9 0 。，0 。，一4 5 。，4 5 。) 。 纵。，和吼，分别代表向( 七，) 方向偏移的图像块的均值和标准差。 一个具有2 x2 像素的窗沿四个方向偏移后，原窗口与偏移后窗口之间的相 关系数表示为p ( o ，1 ) ，p ( 1 ，o ) ，p ( 1 ，1 ) 和p ( 1 ，一1 ) 。相应的b v l c 的值计算如下： 砒( ：2 ( 鼢 一( 警p h ( 2 1 3 ) d 4 = ( o ，1 ) ，( 1 ，o ) ，( 1 ，1 ) ，( 1 ，一1 ) 从式子( 2 1 3 ) 可以看出图像块的纹理粗糙程度越大，则b v l c 的值就越大。 我们的图像检索方法是基于b d i p 和b v l c 的矩的联合。一组关于b d i p 和b v l c 的矩构成了c b i r 的特征向量。 r g b 图像 图2 5 基于b d 口和b v l c 的纹理特征的生成流程 f i g 2 5 f l o w0 fb d i p & b v l c b d i p & b v l c 特征 图2 5 显示了b d i p 和b v l c 矩联合特征的生成流程。假设有一幅彩色的 查询图，首先将查询图的每个颜色分量都被割成大小为m m 不重叠的图像 块。然后，计算每个图像块的b d i p 和b v l c ，并且将所有的图像块分为8 个 不同等级。 块分级的步骤如下：第一步，以图像中所有图像块的b d i p 的平均值为阈 值，将所有的图像块分为两组；第二步，将上述两组中的每一组图像块再分为 两组，这次的阈值为每组中所有的图像块的b d i p 的平均值；最后一步，重复 第二步的所有步骤，将所有图像块最终分为8 个等级。 图像块分类结束后，分别计算每个等级b d i p 和b v l c 的一阶与二阶矩， 然后将这些矩联合成一个特征向量，如下所示： 厂= 【d 尺，昧，d g ，圪，d b ，】( 2 1 4 ) 大连理工大学硕士学位论文 d c = ；( d ) ，；( d ) ，：( d ) ，仃；( d ) ，盯；( d ) ，( d ) ，c r ，g ，b ( 2 1 5 ) 圪= 【；( 矿) ，；( y ) ，；( y ) ，仃：( y ) ，仃；( 矿) ，仃；( 矿) 】，c r ，g ，b ( 2 1 6 ) 式中，d 广和琢分别代表每一幅颜色分量图的b d i p 和b v l c 矩向量，疋( ) 和d 二( ) 分别代表每个颜色分量图的第f 个等级的均值和标准差。 2 2 2m p e g 7 建议的边缘直方图描述符及其改进形式 边缘是表达图像内容的一个重要特征，人类的视觉对其有很强的感知能力。 表达图像的边缘特征的一种有效方法是利用直方图。一个边缘直方图代表了一 幅图像的亮度变化的频率和方向，是一种有别于颜色直方图和同质纹理的独特 的特征。为了表达边缘特征，国际标准m p e g 7 建议了一种标准的描述符 边缘直方图描述符( e d g eh i s t o g r 锄d e s c r i p t o r ，e h d ) 。 m p e g 7 建议的边缘直方图描述符表达了一幅图像( i m a g e ) 的5 种边缘类型 的局部分布率，其相关定义及其所表达的含义如下所述： 将一幅图像分为4 4 的不重叠的块，每个块就是一幅子图像( s u b - i m a g e ) ， 如图2 6 所示。论原始图像的大小是多少，图像分割总是产生1 6 幅大小相等的 子图像。每幅子图像都形成一个关于其边缘分布的直方图来刻画自身所表达的 口o口1 口3 s u b s u b s u b s u b 口 i m a g e1 m a g e1 m a g ei m a 9 e ( 0 ，o )( o ，1 )( o 2 ) ( o ，3 ) s u b -s u b s u b s u b i m a 口e1 m a g ei m a g ei m a g e ( 1 ，0 )a ，1 )1 ，2 ) ( ，3 ) s u b s u b s u b - s u b 罩圆傍恤 1 m a g ei