（计算机软件与理论专业论文）基于色彩情感语义和用户侧档的网上图像检索策略研究.pdf

基于色彩情感语义和用户侧档的 网上图像检索策略研究 摘要 随着万维网技术的快速发展和普及应用，多媒体已成为人们经常使用的信息载 体。在万维网上除了普通文本之外，还有大量的图像、视频、音频、动画和图形等， 对这些媒体类型的信息进行快速准确的检索已成为人们的迫切需求和目标。 当前，基于内容的图像检索已经出现了一些比较好的理论研究方向，但目前不断 增加的在线图像信息数量以及图像底层特征与高层语义信息之间映射的“语义鸿沟 问题，对一些基于内容的图像检索机制提出了新的挑战，许多学者正关注于这个方向 且已经做了广泛的研究工作，基于语义信息的网上图像检索系统也成为当今研究的热 点。本文就多媒体检索中的网上图像检索技术做了较深入的讨论。 本文讨论了图像底层特征提取，在对网上图像信息进行合理收集和基于色彩情感 语义和用户侧档的基础上，主要做了以下主要工作： ( 1 ) 在检索结果全面性方面，利用语义信息相近和语义信息蕴含技术进一步解 决检索中由于图像对象概念描述不同等原因出现的检索不全的问题。具体而言，使用 分类树对图像库中的图像进行分层分类，建立各个概念之间的上下层关系，父层是所 属子层的一个共同概念和属性，子层是从不同类型对父层进行更加详细的描述，它们 是语义信息蕴含的关系，每一个概念的同一个子层之间是语义信息相似的关系，它们 有相同的父层属性。 ( 2 ) 在语义信息检索方面，本文提出图像主色调聚类思想，以图像主色彩的情 感语义信息主色调为筛选条件，进一步提供符合用户个性化情感语义需求的结果。具 体而言，在图像语义信息提取方面，除了图像对象等基本语义信息提取外，加入使用 色彩分离函数和情感语义信息集合( 本文为此提出建立色彩表) 从而加入了图像的色 1 彩情感语义信息，情感语义信息描述采用的是人类肉眼最容易识别且最容易产生情感 的八种常见色彩如红、黄、蓝等。在此基础上通过图像主色彩和主色调的提取以及与 情感集合的映射描述出图像的主要情感语义信息，进行主色调情感语义信息聚类，通 过色彩语义信息检索筛选出更符合用户色彩情感偏好的检索结果，为用户提供个性 化、智能化的检索服务。 ( 3 ) 在人机互动反馈机制方面，除了常用的反馈机制外，本文提出建立个性化 用户侧档，实时记录和更新用户的个性化信息，检索时遍历用户侧档，为不同用户输 出符合用户个性化要求的检索结果，用户每次反馈的信息都会有选择性的再次更新用 户侧档中的信息，使个性化信息永远持续被更新。 本文讨论了基于色彩情感语义和用户侧档的图像检索策略，并对文中提出的思想 和方法进行了仿真实验，实验结果验证了所提方法的合理性和有效性。 关键词：分层分类，色彩，情感语义信息，网上图像检索，用户侧档 i i o n l i n ei m a g ei n f o r 【a t i o nr e t r i e v a lb a s e d o nc o l o ra f f e c t i o na n du s e rp r o f i l e a bs t r a c t a st h es u s t a i n e dg r o w t ho fw e bt e c h n o l o g y , t h em u l t i m e d i ai sb e c o m i n gs e m a n t i d e t h a tp e o p l eu s u a l l yu s e d th a sb e c o m eu r g e n t l yw h i c hm e t h o dc a l lr e t r i e v ea c c u r a t e l ya n d i n t e l l i g e n t l yf o rm u l t i m e d i ai n f o r m a t i o n ，b e c a u s eo ft h ek i n d so fi n t e r n e ti n f o r m a t i o n t h et e c h n o l o g yo fi m a g er e t r i e v a lh a sg o tg r e a td e v e l o p m e n ta n dt h e r ea r em a n y g o o dr e s e a r c hf i e l d so nc o n t e n t b a s e di m a g er e t r i e v a la tp r e s e n t h o w e v e r , i ts t i l lc a l l tm e e t t h eh i g ha c c u r a c y i m a g er e t r i e v a la l r e a d yb e c o m e st h ef o c u sw h i c hp e o p l ep a yc l o s e a t t e n t i o nt oi nr e c e n ty e a r s t h e np e o p l ew a n tt os e a r c hn e c e s s a r yi n f o r m a t i o nb ys e m a n t i c c o n c e p tt og e tm o r ea c c u r a t er e t r i e v a lr e s u l t s ，w h i c hc a np a r t l yd i s p e lp e o p l eu n d e r s t a n d d i f f e r e n c eb e t w e e nl o w l e v e lp h y s i c a lf e a t u r e sa n ds e m a n t i ci n f o r m a t i o n t h i sp a p e rh a s d o n ea ni n d e p t hd i s c u s s i o no no n l i n ei m a g er e t r i e v a lt e c h n o l o g y , a n di t sm a i nw o r kc a l l b es e g m e n t e di n t ot h ef o l l o w i n gt h r e ep o i n t s ： f i r s t ，t h i sp a p e rp r o p o s e dam e t h o dt os o l v et h ep r o b l e mt h a tr e t r i e v i n gi n f o r m a t i o n l i m i t e d ，w h i c hc a l l e ds e m a n t i ci n c l u s i o na n ds e m a n t i cr e l e v a n t t h ep r e r e q u i s i t eo ft h e m e t h o di st ou s et h ec l a s s i f i c a t i o nt r e et os o r tt h ei m a g ei n f o r m a t i o n ，t h e ns e tu par e l a t i o n f r o mf a t h e r - l a y e rt o s u b - l a y e rb e t w e e ne a c hc o n c e p tw i t ht h e c l a s s i f i c a t i o nt r e e f a t h e r - l a y e ri sac o n l m o nc o n c e p to fi t ss u b l a y e r , a n ds u b l a y e ri sad e t a i l e dd e s c r i p t i o nt o f a t h e r - l a y e rf r o md i f f e r e n tt y p e s ，a n dt h e i rr e l a t i o ni ss e m a n t i ci n c l u s i o n m a n ys u b - l a y e r s o fo n e c o n c e p th a v et h es a n l ef a t h e r - l a y e r , a n dt h e yh a v et h es a l t l ea t t r i b u t eo ft h ef a t h e r , s o t h e i rr e l a t i o ni ss e m a n t i cr e l e v a n t s e c o n d ，t h i sp a p e rp r o p o s e sam e t h o dt oo f f e rm o r ea c c u r a t er e t r i e v a l ，w h i c hc a l l e d i i i m a i nc o l o rc l u s t e r i n g t h i sp a p e rs e t su pc l u s t e r i n gf o re i g h tt y p e so fc o l o r , s u c ha sr e d ， g r e e n ，e t c d i f f e r e n tc o l o rc a l lb r i n gd i f f e r e n ta f f e c t i o nt op e o p l e w h e ne x t r a c t i n gt h ec o l o r c h a r a c t e r i s t i c ，e a c hi m a g eh a st h er e c o r do fo n l yo n em a i nh u eo ft h o s ee i g h tt y p e so fc o l o r a n di t sa f f e c t i o n ，w h i c hc a nb er e c e i v e db ys e p a r a t i o nf u n c t i o no fc o l o r t h i r d ，e x c e p tt h ef e e d b a c km e c h a n i s mt h a tu s u a l l yu s e d ，t h i sp a p e rr i s e sam e t h o dt o r e c o r da n du p d a t eu s e r si n d i v i d u a li n f o r m a t i o n ，w h i c hc a l l e du s e rp r o f i l e w h e nr e t r i e v e ， s y s t e m c a ns u p p l ym o r es a t i s f y i n gr e s u l t st ou s e r sb yt r a v e r s a lt h eu s e rp r o f i l e t h e i n f o r m a t i o no ft h eu s e rp r o f i l ec a nb eu p d a t et i m e l yb yf e e d b a c ki n f o r m a t i o n ，s oa st ob e k e p tl a t e s t t h i sp a p e rd i s c u s s e dt h em e t h o d so fi m a g er e t r i e v a lb a s e do ns e m a n t i ci n f o r m a t i o n ， a n dd i d e x p e r i m e n t st op r o v e t h e m t h er e s u k so ft h e e x p e r i m e n tp r o v e d t h e r e a s o n a b l e n e s sa n de f f e c t i v e n e s so ft h em e t h o d st h a tt h ep a p e rm e n t i o n e d k e y w o r d s ：s o r t i n ga c c o r d i n gt ol a y e r s ；c o l o r ；a f f e c t i v es e m a n t i ci n f o r m a t i o n ； o n - l i n ei m a g er e t r i e v a l ；u s e rp r o f i l e i v 浙江师范大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研 究成果。论文中除了特别加以标注和致谢的地方外，不包含其他人或其他机构已经发 表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均已在论文中作了明 确的声明并表示了谢意。本人完全意识到本声明的法律结果由本人承担。 作者签名：旅呖粜 同期：硼年6 月日 学位论文使用授权声明 本人完全了解浙江师范大学有关保留、使用学位论文的规定，即：学校有权保留 并向国家有关机关或机构送交论文的复印件和电子文档，允许论文被查阅和借阅，可 以采用影印、缩印或扫描等手段保存、汇编学位论文。同意浙江师范大学可以用不同 方式在不同媒体上发表、传播论文的全部或部分内容。 保密的学位论文在解密后遵守此协议。 作者掺名：浓辑泉洲签 】 j j ：冲印“， 浙江师范大学学位论文诚信承诺书 我承诺自觉遵守浙江师范大学研究生学术道德规范管理条 例。我的学位论文中凡引用他人已经发表或未发表的成果、数 据、观点等，均已明确注明并详细列出有关文献的名称、作者、 年份、刊物名称和出版文献的出版机构、出版地和版次等内容。 论文中未注明的内容为本人的研究成果。 如有违反，本人接受处罚并承担一切责任。 承诺人( 研究生) ：狱鸿采 指导教 1 绪论 1 1 研究背景与意义 w w w 网络是一个庞大的全球信息资源网络，各种各样的信息充斥着互联网的每 一个角落。随着网络的发展和普及，图像信息也逐渐加入进来，网络上的各类资源日 益丰富，尤其是内容丰富、直观形象的图像信息飞速增多且备受人们的青睐。如今， 各个行业对图像的使用越来越广泛，例如，每天的天气预报少不了云图变幻的讲解， 医学界免不了对病理图片的拍摄、检查和研究，眼下时兴的网上商店更是以图片代表 商品信息，各式各样图像信息需求的增加使图像检索这一研究越来越受到重视。 图像不同于文本，它隐藏有大量的信息。“一幅画胜过一千句话，一图值千字” 等俗语很好的诠释了这个道理。图像信息的丰富和生动为人们带来了便利的同时随着 图像数据信息量大、抽象程度低等一系列问题的出现，也引起了信息过分膨胀的问题。 整个w w w 网络环境就像一个巨大的混合数据库，在其中找寻一种自己感兴趣的信息 就犹如大海捞针一样困难，而且查询返回的结果往往是一大堆用处不大的无关信息， 各式各样的超级链接很可能使用户陷入网络迷宫中，这就是所谓的“信息爆炸”【2 j 。 如何快速获取所需要的信息的同时又使用户不被淹没在信息海洋中，如何有效的保 存、组织和管理图像信息，如何从海量数据中有效的提取关键信息进行匹配检索，成 为当前一个热门的研究领域。 自七、八十年代开始图像检索便已经成为一个非常活跃的研究领域，早期的图像 检索使用的是文本标注方法。这种基于文本的图像检索可以追溯到2 0 世纪7 0 年代末， 该方法是一种利用文本描述的方式，手工将图像信息进行标注，并将其作为关键字进 行检索查询。其主要方法是对图像文件建立一些关键词或文本标题以及一些附加描述 信息，然后将图像的存储路径与图像关键词之间建立联系，其研究主要在数据库领域 方面进行。当时流行的图像检索系统是将图像作为数据库中存储的一个对象，用关键 词或自由文本对其进行描述。查询操作是基于该图像的文本信息描述进行精确匹配或 概率匹配，有些系统的检索模型还有词典支持。下图1 1 是基于文本图像检索的流程 图，首先对图像基本信息用文本进行注解，根据其内容手工将其标注为一系列关键词， 并对关键词建立索引，这样图像检索就转化为文本检索。然后用基于文本的数据库管 l 绪论 理系统( d b m s ) 来进行图像检索。在数据库中图像数量不大或者图像的内容比较单一 时不失为一种简单易行的方法。然而，随着图像信息数量和类型的与日俱增，这种检 索方式的弊端逐渐暴露出来： ( 1 ) 手工标注十分耗时、耗力、耗人。 ( 2 ) 图像标注难以统一，没有一致的标准。 ( 3 ) 做标注检索不能跨语言进行。 j ( 4 ) 对抽象图像很难做相适应的标注。 ( 5 ) 标注损失了图像信息中的很多数据信息。 图i 1 基于文本的图像检索流程图 上述弊端为用户进行图像信息检索时带来了很大的不便。随着图像检索研究的进 展，9 0 年代初一种新的的检索技术甚于内容的图像检索应运而生。它的研究是在 图像处理基础上，利用机器对图像内容进行自动分析，直接根据图像内容特征信息建 立索引，并且通过图像特征向量间的近似度量进行图像相似性匹配，从而实现图像的 检索。这种技术的特征提取主要是底层特征提取，运用算法直接从图像中获得客观的 视觉内容特征，如颜色、纹理、形状等。下图1 2 为基于内容的图像检索的流程图， 检索时根据图像所包含的形状、颜色、纹理以及空间关系等信息，建立图像的特征矢 量。检索方法主要是基于图像的多维特征进行相似性查询，它以模式识别、计算机视 觉、图像处理等知识为基础，从数据块管理系统、人工智能、信息检索以及人机交流 等领域引入新的数据模型，设计出可靠、比较有效的匹配算法，这种技术的引入为图 像检索开拓了新的发展空间，成为现有图像检索技术研究的主流。 2 1 绪论 图1 2 基于内容的图像检索的流程图 然而，人们判断图像的相似性并非仅仅是建立在图像的视觉特征相似性上，实际 上，使用图像检索系统的用户往往事先对所需的图像只存在一个大致的概念，这个概 念建立在图像所描述的对象、事件以及表达的情感等含义上。随着研究的进一步深入， 人们渐渐感觉到基于底层特征获得检索结果不是令人很满意，因为底层特征和图像信 息的高层语义信息间存在着很大的差异，底层特征不能完全反映或者匹配用户的实际 需求，这就是所谓的语义信息鸿沟问题，这也是计算机视觉、图像理解等领域互相渗 透融合的一个难点问题。而基于内容的图像检索就忽略了图像的语义信息部分【3 1 ，具 体来说，基于内容的图像检索技术忽视了以下几个方面的问题： ( 1 ) 通常，人们习惯上使用一个5 w 的形式描述自己所看到的图像：w h o 什么 人，、h e l l 一什么时间，w h e r p 在哪里，w h a t - 发生了什么事，w h 厂为什么。因图像 技术的发展水平和计算机对认知的理解能力的局限性，计算机无法自动为这些信息建 立描述，它们属于图像高层语义信息方面的内容。如果能够建立图像底层特征与这些 高层语义信息之间的映射关联，就可以使计算机自动抽取到图像所表达的语义信息内 容，对一般特征来说，建立这种映射关联是很难的。结合图像底层特征并具有语义信 息自动抽取能力和语义信息检索能力的检索系统是未来图像检索的发展趋势之一。 ( 2 ) 人们对客观图像的感知具有主观性，一幅图像中所涵盖的内容可能非常丰 富，每个人看到这幅图像时读取的重点内容有所不同，从而导致对这幅图像的认知也 非常不同。 ( 3 ) 人们对图像色彩的敏感度和兴趣度不同。色彩能反映人的情感，在长期的 生产和生活实践中，色彩被赋予了感情，成为代表某种事物和思想情绪的象征。不同 的色彩在人的心理上能产生不同的影响，能激发人们情感，即使内容基本相同的一幅 图像，色彩换了，带给人们的感觉也会发生变化。 综上所述，如何在图像检索这个有限的领域内缩小图像底层特征与高层语义信息 3 1 绪论 之间的鸿沟、提高检索效率成为当前亟待解决的课题。理想的情况下，用户主要根据 图像的语义信息进行检索，而不是凭借简单的颜色、纹理、形状等特征，直观地进行 分类并判别图像满足自己需求的程度。人与计算机的本质不同就在于人观察图像时结 合了日常生活中积累的大量的经验和实际感觉，观察图像的过程同时也是一个利用知 识推理图像语义信息的过程。 基于语义信息的图像检索是图像检索发展的高级阶段，但目前语义信息图像检索 技术还仅是处于起步研究阶段。理想的图像检索系统需要多个学科的共同研究和支 持，数据库、计算机视觉、图像处理、模式识别、人工智能、心理学、生物视觉等模 型等技术的发展和综合应用必将推动图像检索技术向前发展。基于语义信息图像检索 的流程图如图1 3 所示： 图1 3 基于语义信息图像检索的流程图 1 2 本文主要研究内容 网上图像检索面临的最大挑战是解决语义信息索引的生成问题和如何满足用户 的个性化需求问题，以便为用户提供个性化检索服务。语义信息检索难度很大，多媒 体高级语义信息的发现、识别和表达都十分困难。目前基于内容的多媒体检索实际上 是基于视觉或听觉内容的多媒体检索，而不是真正基于语义信息内容的多媒体检索。 本次论文试图从用户、图像、反馈机制和图像信息分层分类四个方面用个性化的方法 优化基于w w w 的网上图像检索和查询问题。 ( 1 ) 图像信息分层分类。 采用语义信息蕴含和语义信息相似的两种检索方式解决检索中常出现的同义现 象，这两种检索方式的前提是对图像使用分类树进行分层分类，实现语义信息蕴含扩 展和语义信息相似扩张。根据人们日常的习惯为每一个概念建立描述集合，集合里的 4 1 绪论 元素都是同义关系，集合没有数量限制，方便实时的增加、修改和删除。用分类树建 立各个概念之间的上下层关系，父层是所属子层的一个共同概念和属性，子层是从不 同类型对父层进行更加详细的描述，它们是语义信息蕴含的关系；每一个概念的同一 个子层之间是语义信息相似的关系，它们有相同的父层属性。图像检索时可根据语义 信息蕴含和语义信息相似将符合条件的全面的结果输出给用户。 ( 2 ) 根据对图像提取的色彩语义信息，对图像进行色彩情感映射和主色调相似 聚类。 每一种色彩都可以带给人们不同的情感，对图像进行颜色特征提取时采用区域划 分的方法分别进行颜色特征提取。人类对图像中能感知的颜色数目很少，一般不超过 八种。根据相邻最近原则进行像素的聚类，并令八种主要颜色为 c o ，c 1 ，c 2 ，c 3 ，c 4 ，c 5 ，c 6 ，c 7 ) 作为聚类的中心，每一种颜色都可以映射到一个语义信息 集，例如：红色= 太阳，红旗，红玫瑰) 。p = ( r ，g ，b ) 为图像像素值，分别计算p 和 聚类中心的距离，根据最短距离原则把像素归到相应的颜色中去。 c i 表示图像中归 为颜色c j 的像素的数目之和，群c 为像素数目总和。那么， c i c i 表示图像中颜色为c i 在相应区域中所占的百分比。这种方法描述了不同色彩在图像中所占的比例，此外， 不同色彩也会传达给人们不同的情感感受，因此色彩又可以映射到一个情感语义信息 集，例如：蓝色= 忧郁，宁静) ，根据色彩所代表的情感运用k 均值聚类算法将图像 进行情感聚类。在这一过程中涉及到一个难点，即：图像中主色调( 表达图像情感基 调的色调) 提取方法的准确性。 ( 3 ) 根据用户偏好，给用户提供个性化检索服务和信息过滤。 一般把描述一个人对某类信息喜好偏向的文字叫做“用户侧档( u s e r p r o f i l e ) ， 基于侧档可以为用户自动过滤掉其他无关信息。用户侧档以数据表的形式存在于系统 数据库中，通过用户对图像检索结果的点击率和相关反馈对用户侧档进行持续更新， 提高了可扩展性。 1 3 论文结构安排 本文主要讨论了基于语义信息的图像检索研究策略，旨在提取图像底层基本特征 信息的基础上，进一步提取图像的语义信息，尤其是用图像色彩和建立的用户侧档体 现出的语义信息，以增强图像检索的精确性、智能性以及更好的人性化服务。 全文由五部分组成，依次为： 第一章：绪论。着重介绍图像检索技术的研究背景、意义以及它的发展历程。 第二章：图像检索中的底层特征提取。主要介绍图像的底层视觉特征如颜色、纹 理、形状以及图像空间关系等的提取，其中，针对颜色特征的提取，本章又对多种颜 s l 绪论 色特征表示方法做了详细的介绍，为后面的色彩语义信息提取做了基础铺垫。 第三章：网上图像色彩情感语义信息提取和映射。本章首先对网上图像信息收集 和图像检索中涉及的语义信息模型和语义信息层次进行了简单介绍，之后提出使用分 类树对图像进行分层分类，采用语义信息蕴含和语义信息相似的两种检索方式可以相 应的缓解计算机检索时可能因为描述的不同而出现的检索不全等问题；本章中后半部 分先简单介绍色彩分离函数、情感集合，之后着重讲述图像主色调的提取方法以及在 图像主色调基础上的图像中色彩聚类，并由仿真实验验证了主色调聚类的情感检索效 果。 第四章：用户侧档学习过滤策略。本章首节介绍图像检索中增强检索性能的相关 反馈机制，对里面涉及到的公式、算法进行了介绍。在此基础上对反馈机制进行了一 定的改进，加入用户侧档记录用户的个性化信息，通过用户反馈和实时更新用户侧档 一定程度上解决“语义信息鸿沟”的问题。 第五章：展望。总结本文的主要内容，并对未来研究工作进行了展望。 6 2 图像检索中的底层特征提取 2 1 网上图像底层特征简介 图像底层特征的提取与表达是图像检索技术的基础，主要用于在基于内容的图像 检索系统中建立图像的内容描述，一般说来，图像底层特征包括基于文本的特征( 如 标识关键字、注释等) 和基本视觉特征( 如颜色、纹理、形状等) 。这一方法和技术 直接来源于图像处理和模式识别以及计算机视觉等领域的研究成果。颜色、形状、纹 理、空间信息是图像最基本的底层特征，也是人们进行图像检索的切入点。由于计算 机从一般的图像中自动提取出关键字目前尚不可能实现，因此，基于内容的图像检索 一般是根据图像的颜色、纹理、形状以及图像对象的空间关系等特征进行检索的。 2 2 底层特征提取 特征提取是指寻找原始信号的表达方式【4 】，提取出能代表原始图像基本信息的数 据形式。与文本中分析的关键字是不同的，图像数据中的特征一般说来是从图像中提 取的视觉特征，如颜色、纹理、形状、空间关系等，所有提取出来的特征都被用来表 征图像数据流，在后续图像检索时被用到。所谓图像检索是对图像数据所蕴含的物理 特征和语义信息的内容进行计算机自动分析和理解，以方便用户查询，其本质是对无 序的图像数据流进行结构化，提取类似语义信息，保证图像内容能被快速检索到。因 而特征提取是图像检索中必不可少也是非常重要的一项技术内容。 2 2 1 图像颜色特征的提取 颜色特征是图像的一个基本特征，也是图像检索中应用最为广泛的的视觉特征， 主要原因在于图像中的颜色与图像中所含的图像或场景往往具有密切的关系，是图像 最底层、最直观、也是最明显的物理特征，通常对噪声、尺寸、分辨率、方向和图像 质量的退化等变化具有很强的鲁棒性，是绝大多数基于内容的图像和视频检索系统中 使用的特征之一。此外，与其他的视觉特征相比，颜色特征对图像本身的尺寸、方向、 视角的依赖性比较小，从而具有较高的稳健性。 7 2 图像检索中的底层特征提取 准确表达图像的颜色特征涉及到若干问题和技术，一方面，由于许多不同的颜色 色彩空间的存在，对于不同的具体应用，图像颜色特征需要选择合适的颜色色彩空间 来描述；另一方面，颜色特征的表达需要采用一定的量化方法将其转为向量的形式， 在将图像色彩特征表示为向量形式后，才能进行相似度的比较；最后，还要定义一种 相似度或者说是距离标准来衡量不同图像之间颜色上的相似性，如以蓝色为主色调的 图像和以红色为主色调的图像是不相似的。下面的内容将介绍几种常用的颜色特征表 示方法。 2 2 1 1 颜色直方图 许多图像检索系统中都广泛应用到颜色直方图这一颜色特征表示方式。其核心思 想是在颜色空间中采用一定的量化方法对颜色特征进行量化，然后统计每一个量化通 道在整幅图像颜色空间中所占的比例，而并不关心每种色彩各自所处的空间位置，即 无法描述图像中的对象或物体。颜色直方图具有如下特性：旋转不变性( r o t a t i o n h l v a r i a n c e ) 、尺度不变性( s c a l ei n v a r i a n c e ) 和平移不变性( t r a n s l a t i o ni n v a r i a n c e ) ， 因此它被广泛的应用到图像检索系统中。常用的颜色空间有r g b 和h s v 空间，量化 的方法有均匀量化、基于主观感知的量化等。颜色直方图尤其适用于那些难以进行自 动分割的图像和不需要考虑物体空间位置的图像。 当然，颜色直方图还可以基于不同的颜色空间和坐标系。通常用的颜色空间是 r g b 色彩空间，原因在于大部分的数字图像都是用这种颜色空间表达的。然而，r g b 空间结构并不符合人们对颜色相似性的主观判断。为此，有人提出了基于h s v 空间、 l u v 空间和l a b 空间的直方图，因为它们更接近于人们对颜色的主观认识何感受。其 中h s v 空间是直方图最常用的颜色空间，它的三个分量分别代表色彩( h u e ) 、饱和度 ( s a t u r a t i o n ) 和值( v a l u e ) 。从r g b 空间到h s v 空间的转化公式如下： 1 ，= m a x ( r ，g ，6 ) v - m i n ( r ，g ，6 ) s = o ， ( 2 1 ) 5 + 6 ， 矿，- = m a x ( ；，g ，b ) a n d ，g = m i n ( r ，g ，b ) 1 一g i f ，= m a x ( r ，g ，b ) a n d ，g m i n ( r ，g ，6 ) 1 + ， i fg = m a x ( r ，g ，b ) a n d ，b = m i n ( r ，g ，6 ) 3 一b i fg = m a x ( ，g ，b ) a n d ，bm i n ( r ，g ，6 ) ( 2 2 ) 3 + g 矿b = m a x ( r ，g ，b ) a n d ，= m i n ( r ，g ，6 ) 5 一，0 t h e r w i s e 2 图像检索中的底层特征提取 ，： ! 二! v - m i n ( r ，g ，b ) g ，： ! 二星 6 1 ，一n f m ( r ，g ，b ) 6 ，： ：= 皇 v - m i n ( r ，g ，b ) ( 2 3 ) 冀中，g ，b o ，l 】h o ，6 ，a n ds ，1 ， o ，l 】 在以上的h s v 空间中，针对颜色距离有很多种各具特色的计算方法，其中在文 献 5 中研究者提出如下的颜色距离计算公式： 口( f ，) ：1 一l 1 ( 2 4 ) 5 ( 一v j ) 2 + ( 墨c o s h f s fc o s hf ) 2 + ( s i n h f s ，s i n hf ) 2 】2 此公式中( h i ，s i ，v i ) 和( h i ，s j ，v j ) 分别代表两种h s v 空间中的颜色。这种相似度 度量方法相当于一个圆柱形颜色空间中的欧拉距离，该空间中的颜色值表示为 ( s c o s h ，s s i n h ，v ) 。在文献 6 中这样的圆柱空间被进一步变形称为圆锥形空间，其中的 颜色表示为( s v c o s h ，s v s i n h ，v ) 。这些改变降低了直方图对h 和s 分量的分辨能力。 计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区间称为直 方图的一个b i n ，这个过程称为颜色量化。然后，通过计算各种颜色落在每个小区间 内的像素数量便可以得到颜色直方图。颜色量化有许多种方法，向量量化、聚类方法 都是近年来应用效果比较好的颜色量化方法。其中最为常用的方法是将颜色空间的各 个分量均匀地进行划分。相比之下，聚类算法则会考虑到图像中各种颜色特征在整个 空间中的分布情况，从而避免出现某些b i n 中的像素数量特别稀疏的情况，使量化更 为实用有效。另外，如果图像是r g b 格式而直方图是用h s v 空间表达的，此时可以 预先建立一个从量化的r g b 空间到量化的h s v 空间之间的查找表，从而加快直方图 的计算过程。 选择合适的颜色小区间( 即直方图的b i n ) 数目和颜色量化方法与具体应用的性 能和效率要求有关。一般来说，颜色小区间的数目越多，直方图对颜色的分辨能力就 越强。然而，b i n 数目很大的颜色直方图不但会增加计算负担，也不利于在大型图像 库中建立索引。而且对于某些应用来说，使用非常精细的颜色空间划分方法不一定能 够提高检索效果，特别是对于不能容忍对相关图像错漏的那些应用。另一种有效减少 直方图b i n 数目的方法是只选用那些数值最大( 即像素数目最多) 的b i n 来构造图像 特征，因为这些表示主要颜色的b i n 能够表达图像中大部分像素的颜色。实验证明这 种方法并不会降低颜色直方图的检索结果。事实上，由于忽略了那些数值较小的b i n ， 9 2 图像检索中的底层特征提取 颜色直方图对噪声的敏感程度降低了，有时会使检索效果更好。 上述的颜色量化方法也会产生一定的问题。设想两幅图像的颜色直方图特征几乎 完全相同，只是互相错开了一个b i n ，这时如果采用欧拉距离计算两者的相似度，会 得到很小的相似度值。为了克服这个缺陷，需要考虑到相似但不相同的颜色之间的相 似度。一种方法是采用二次式距离【7 1 ，另一种方法是对颜色直方图事先进行平滑过滤， 即每个b i n 中的像素对于相邻的几个b i n 也都会有贡献。这样，相似但不相同颜色之 间的相似度对直方图的相似度也会有所贡献。 2 2 1 2 颜色集 为了支持在大规模图像库中的快速查找，s m i t h 和c h a n g 提出了用颜色集作为对 颜色直方图的一种近似【8 】。他们首先将图像从r g b 颜色空间转化成视觉相对均衡的颜 色空间中的图像，并将颜色空间量化成若干个b i n 。然后，用色彩自动分割技术将图 像分为若干个区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将图像表 达为一个二进制的颜色索引集。在图像匹配中，比较不同图像颜色集之间的距离和色 彩区域的空间关系( 包括区域的分离、包含和交等操作，每一种均对应于不同的评分) 。 因为颜色集表达为二进制的特征向量，可以构造二分查找树来加快检索速度，这对于 大规模的图像集合十分有利。 2 2 1 3 颜色矩 另一种非常简单而有效的颜色特征表征方法可以使用由s t r i c k e r 和o r e n g o 所提出 的颜色矩方法 9 1 。这种方法的数学基础在于图像中任何的颜色分布均可以用它的矩来 表示。此外，由于颜色分布信息主要集中在低阶矩中，因此仅仅采用颜色的一阶矩、 二阶矩和三阶矩就足以表达图像的颜色分布。与颜色直方图相比，该方法具有另一个 好处：无需对特征进行向量化。颜色的三个低阶矩的数学表达形式如下： 舻i l 秘i v q 2 ( 专善( 岛嗽) 2 ) i 岛2 ( 专荟( 助_ 以) 3 ) j ( 2 5 ) 其中岛是图像中第j 个像素的第i 个颜色分量。因此，图像的颜色矩一共只需要 l o 2 图像检索中的底层特征提取 9 个分量( 3 个颜色分量，每个分量上三个低阶矩) ，与其他的颜色特征相比已经是非 常简洁了。 2 2 1 4 颜色聚合向量 针对颜色直方图和颜色距无法表达图像色彩空间位置的缺点，文献 1 0 q 丁p a s s 提 出了图像的颜色聚合向量( c o l o r c o h e r e n c e v c t o r ) 。它实际上是颜色直方图的一种演变， 其核心思想是将属于直方图的每一个b i n 的像素分为两部分：如果该b i n 内的某些像 素所占据的连续区域的面积大于给定的阈值，则该区域内的像素作为聚合像素，否则 作为非聚合像素。假设与屈分别表示直方图的第i 个b i n 中聚合像素和非聚合像素 的数量，图像的颜色聚合向量可以表达为： 。而在此基础上 生成的 就是该图像的颜色直方图。因其包含了颜色分布的空 间信息这一特点，对需要比较物体空间位置的图像来说颜色聚合向量可以比颜色直方 图提供更好的检索效果。 2 2 1 5 颜色相关图 颜色相关图是图像颜色分布的另一种表达方式。这种方式不但刻画了某一种颜色 的像素数量占整个图像的比例，还反映了不同颜色对之间的空间相关性。经研究人员 实验表明，颜色相关图比颜色直方图和颜色聚合向量有更高的检索效率，特别是针对 查询空间关系一致的图像。 2 2 2 图像纹理特征的提取 图像的纹理特征常常被看成是图像的一个局部特征，或者是对局部区域中像素间 关系的一种度量。它是图像灰度在空间中以某一种形式变化而产生的图案，是一种不 依赖于颜色或亮度的且能反映图像中铜质现象的一种视觉特征，还是所有物体表面共 有的内在特性，例如，云彩、树木、织物、房屋等都有各自不同的纹理特征。纹理特 征包含了物体表面结构组织排列中的重要信息以及它们与周围环境的联系【1 1 1 。正因为 如此，纹理特征在基于内容的图像检索中被广泛应用到，用户可以通过提交包含有某 种纹理特征的图像来查找含有相似纹理的其它图像。 由于纹理特征对模式识别和计算机视觉等研究领域具有重要意义，对纹理的分析 研究在过去的几十年中取得了重大的成果。对纹理图像的建模和分析常常分为统计 法、结构法和频谱法，这些方法也常常一起结合使用。本文主要介绍几种在基于内容 的图像检索中所常用的一些纹理特征。 2 图像检索中的底层特征提取 2 2 2 1 自回归纹理特征 最近_ 二- - - 十年中有许多研究者使用应用随机场模型表达图像纹理特征，其中马可 夫( m a r k o v ) 随机场( m r f ) 模型取得了很大的成功。自回归纹理模型就是m r f 模 型的一种应用实例。 在自回归纹理模型中，每个像素的强度均被看成随机变量，可以通过与其相邻的 像素一起来进行描述。如果s 代表某个像素，则其强度值鳓可以表达为它的相邻像 素强度值的线性叠加与噪音项删的和，如下： g o ) = + 芝：o ( r ) g ( s + r ) + 占0 ) ( 2 6 ) 其中是基准偏差，由整幅图像的平均强度值所决定，d 表示了s 的相邻像素集。 联r ) 是一系列模型参数，用来表示不同的相邻位置上像素的权值。4 s ) 是均值为0 而 方差为仃的高斯随机变量。通过公式2 6 可以用回归法计算参数臼和标准方差盯的值， 它们反映了图像的各种纹理特征。例如，较高的仃表示图像具有很高的精细度或较低 的粗糙度。又比如，如果s 正上方和正下方的6 i 很高，表明图像具有垂直的方向性。 最小平方误差法和极大似然估计可以用来计算模型中的参数。此外，自回归纹理模型 的一种变种：旋转无关的自回归纹理特征，它具有与图像旋转无关的特点。 2 2 2 2 基于小波变换的纹理特征 小波变换( w a v e l e tt r a n s f o r m ) 也是一种常用的纹理分析方法【1 2 】。小波变换指的 是将信号分解成一系列的基本函数( x ) 。这些基本函数都是通过对母函数变形而得 到的v 4 x ) ，如下： 一苎 吵枷( 功= 22 少( 2 4 x - n ) ( 2 7 ) 其中m 和n 是整数。这样，信号f ( x ) 可以被表达为： 厂( x ) = c , 。g 栅o ) ( 2 8 ) 册露 二维小波变换的计算需要递归来进行过滤和采样。在每一个层次上，二维的信号 被分解为四个子波段，根据频率特征分别被称为l l 、l h 、h l 和h h 。有两种类型的 小波变换可以用于纹理分析，它们分别是金字塔结构的小波变换( p y r a m i d s t r u c t u r e d w a v e l e tt r a n s f o r m 或p w t ) 和树状结构的小波变换( t r e e s t r u c t u r e dw a v e l e tt r a n s f o r m 或t w t ) 。其中，p w t 递归分解l l 波段。但是对于那些主要信息包含在中频段范围 1 2 2 图像检索中的底层特征提取 内的纹理特征，仅仅靠分析低频段的l l 波段是远远不够的。于是，t w t 被提出来以 克服上述问题。t w t 区别于p w t 的主要之处在于它除了递归分解u 波段之外，还 会分解其它的l h 、h l 和h h 等波段【4 j 。 小波变换所表征的纹理特征可以用每个波段的每个分解层次上能量分布的均值 和标准方差来表征。例如，三层p w t 分解所提取的小波纹理特征可以表达为3 4 2 的特征向量。一般来说，由p w t 所得的特征是由t w t 所得特征的一个子集。此外， 不同的小波变换在对纹理分析方面没有很显著的差别。 2 2 2 3 其它纹理特征 除了上面提到的自回归纹理模型和小波变换纹理特征之外，还有其它的许多纹理 特征。早在七十年代，h a r a l i c k 等研究人员就提出了用共生矩阵( c o o c c u r r e n c em a t r i x ) 表示纹理特征的方法】。共生矩阵是用两个位置的像素的联合概率密度来定义，它不 仅反映亮度的分布特性，也反映具有同样亮度或相似亮度的像素之间的位置分布特 性，是有关图像亮度变化的二阶统计特征。它是定义一组纹理特征的基础。一幅图像 的灰度共生矩阵可以反映出图像灰度关于方向、相邻间隔、变化幅度的综合信息，它 是分析图像的局部模式和它们排列规则的基础。该方法从数学角度研究了图像