（计算机应用技术专业论文）基于颜色矢量量化的图像检索及其应用研究.pdf

摘要 本文研究基于图像分块的图像主颜色特征提取技术，并将其运用于图像相似性描述方法的构造。 其主要研究内容是将图像分块方法运用于图像颜色特征提取、图像集的颜色矢量量化及基于码书的 异常图像发现具体地，在以下三个方面开展了较为深入的研究工作。 ( 1 ) 图像主颜色特征提取与分块主颜色特征表达。本文采用k 一均值聚类算法提取图像的主颜色 集，再运用误差传播技术对主颜色集进行优化，以获得更为准确表达图像颜色特征的主颜色集合 在此基础上，采用分块策略研究在图像子块层次上的图像局部颜色特征提取技术。提出了图像的分 块颜色直方图描述方法。通过构造图像的全局颜色直方图矢量，实现了描述图像颜色特征的数值化。 ( 2 ) 研究了基于分块颜色直方图的图像相似性度量方法及相似图像检索算法。通过定义图像子 块颜色直方图间的二次式距离，给出了度量图像问相似性的计算公式，并由此提出相应的相似图像 检索算法。进一步地，通过运用权值矩阵和基于交互的感兴趣区域匹配策略，提出两种改进的相似 图像匹配算法。 。 ( 3 ) 提出基于码书的离群点的概念，并将其运用于图像集中的异常图像检索技术。论文首先利 用码字对于数据集的表达能力提出基于码书的离群点定义，并从数据挖掘和统计学的角度论证了定 义的合理性。然后，对图像集的分块主颜色特征矢量进行矢量量化，从而生成关于图像集的码书 根据本文提出的基于码书的离群点的定义，提出了相应的异常图象检索算法。 本文在对所提出的相关理论及算法进行论证的基础上，还采用人工数据集和真实数据集进行了 实验。实验结果表明了所构造算法的合理性、有效性与可用性。最后，本文将研究成果运用于连云 港市数字化水工水情图像检测系统的开发，介绍了系统的总体结构、功能模块构成、图像与特征数 据库构建和相似图像检索的实现过程。 关键词：图像检索，颜色特征提取，分块主颜色直方图，离群点，异常图像检测 a b s t r a c t i nt h i st h e s i s ，w ep r o p o s eab l o c k w i s ec o l o rf e a t u r ee x t r a c t i o ns c h e m ef o rc o n t e n tb a s e d i m a g er e t r i e v a l t h em a j o rc o n t r i b u t i o n so ft h ep r o p o s e ds c h e m ea r et h a t w ct a k et h e a d v a n t a g e so fi m a g eb l o c k i n gf o rc o l o rf e a t u r ed e s c r i p t i o n , i m a g ev e c t o rq u a n t i z a t i o na n d o u t l i e ri m a g ed e t e c t i o n t h et h r e ep r i n c i p a lc h a p t e r si nt h ep a p e ra l eb r i e f l yd e s c r i b e di nt h e f o l l o w i n g ：( 1 ) i m a g ec o l o rf e a t u r ee x t r a c t i o n ：w e f i r s ti l s ec l u s t e r i n ga l g o r i t h mt oe x t r a c t m a i nc o l o r so f a ni m a g ei nt h eh s vc o l o rs p a c e ，t h e nw ei m p r o v et h em a i nc o l o rs e tu s i n ga n c t l o rd i f f u s i o nm e c h a n i s m b ys u c ham e c h a n i s m ，t h em a i nc o l o re x t r a c t e dc a l lb em o r e a c c u r a t ei ns i m u l a t i n gt h eo r i g i n a lc o l o r so fp i x e l s w i t ht h em a i nc o l o rs e te x t r a c t e d ，w e p a r t i t i o nt h ei m a g ea n dd e s c r i b ee a c hb l o c kb yi t sc o l o rb _ i s t g r a m t h u s ，a l li m a g ec a l lb e r e p r e s e n t e d 吲n ga l la r r a yo fi t sb l o c k w i s ec o l o rh i s t o g r a m ( 2 ) b l o c k w i s em e a ns q u a r ee r r o r i m a g es i m i l a r i t yr e t r i e v a l ：w ec h a r a c t e r i z et h es i m i l a r i t yb e t w e e nt w oi m a g e sb ym e a ns q u a r e d i s t a n c eo ft h e i rb l o c kl e v e lc o l o rh i s t g r a m s ab a s i cs i m i l a ri m a g em a t c h i n ga l g o r i t h mi s p u r p o s e df o l l o w e db yt w oa l t e r a t i v em a t c h i n gs c h e m e ：w e i g h t e db l o c k w i s em a t c h i n ga n d m a t c h i n gb yr e g i o no fi n t e r e s t ( r o i ) ，i nt h em a t c h i n gb yr o is c h e m e ，a l lh u m a n - c o m p u t e r i n t e r a c t i o ni su s e dt oa l l o wt h es e l e c t i o no ft h ei n t e r e s t i n gr e g i o nb yh u m a nw h i c hc a n i n c o r p o r a t et h es e m a n t i cd e s c r i p t i o ni n t ot h ef e a t u r ee x t r a c t i o np r o c e s s ( 3 ) c o d e b o o kb a s e d o u t l i e ri m a g ed e t e c t i o n ：w ep u tf o r w a r dan e wc o n c e p t , i e ，c o d e b o o k - b a s e do u t l i e r ，i nt h e d a t aa n a l y s i sa n di m a g er e t r i e v a ll i t e r a t u r e ac o d e b o o kb a s e do u t l i e rc a nb ec o n s i d e r e da sa d a t ao b j e e tt h a ti sf a ra w a ye n o u g hf r o mi t sn e a r e s tc o d e w o r di ns o m em e t r i cs p a c e t h e c o d e b o o ka n dt h ec o d ew o r d sc a r lb eg e n e r a t e du s i n gav e c t o rq u a n t i z a t i o na l g o r i t h m u n d e r t h ea b o v ed e f i n i t i o n , w ep u r p o s ean o v e li m a g ed e t e c t i o na l g o r i t h mw h i c hc a nf i n do u t l i e r i m a g e st h a ti sm a r k e d l yd i f f e r e n tf r o mt h ec l a s s i f i e di m a g e s a l o n gw i t ht h et h r e ep r i n c i p a lr e s e a r c hi s s u e s ，w ec a r r yo u tas e r i a l o fe x p e r i m e n t s w h i c hs h o w st h ev a l i d i t ya n da v a i l a b i l i t yo fa l g o r i t h m sw ec o n s t r u c t e di nt h i sp a p e r f u r t h e r m o r e ，w ei m p l e m e n t e dt h em e t h o d sa n da l g o r i t h m si n am u n i c i p a lp r o j e c t - 一d i g i t a l i m a g e - b a s e dm o n i t o r i n gs y s t e mo f l i a n y u n g a n gc i t yw a t e rc o n s e r v a n c y k e yw o r d ：i m a g er e t r i e v e ，c o l o rf e a t u r ee x t r a c t i o n ，b l o c k w i s em a i nc o l o rh m t o g r a m , e o d e b o o k - b a s e do u t l i e r , n o v e li m a g ef i n d i n g 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其他教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并 表示了谢意。 研究生签名： 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：隼导师签名彰毖 期： r 1 第一章概述 1 i 选题依据及意义 第一章概述 图像是人们采用各种观测系统以各自的形式和手段观测客观世界而获得的，是可以直接或间 接地作用于人眼并进而产生视觉的实体科学研究和统计表明，人类从外界获得的信息约有7 5 是从图像中获得的。随着计算机和网络技术的发展，数字图像技术越来越受到重视并取得了长足 的进展，出现了许多相关的新理论、新技术、新算法和新设备，并己在科学研究、工农业生产、 医疗教育、文化娱乐、管理和通信等方面得到广泛的应用，对推动社会发展，改善人们生活都起 到了重要的作用。 目前，金世界数字图像的拥有量正以惊人的速度增长。无论是军用还是民用设备，每天都会 产生容曩相当于数千兆字节的图像。这些数字图像中包含了大量有用的信息。然而，由于这些图 像的无序性、分散性，图像中包含的信息无法被有效地访问和利用这就要求有一种能够快速而 准确地查找访问图像的技术。也就是所谓的图像检索技术自从2 0 世纪7 0 年代以来，在数据库 系统和计算机视觉两大研究领域的共同推动下，图像检索技术已逐渐成为一个非常活跃的研究领 域。其中，传统的数据库领域主要研究基于对图像标注的文本检索，而基于计算机视觉的图像检 索则是从图像本身的特征研究图像的检索技术，即基于内容理解的图像检索( c o n t e n tb a s e di m a g e r e t r i e v a l c b i r ) 技术n 十多年来，研究者围绕基于内容理解的图像检索所开展的深入而广泛的研究与探索工作常新 不竭，成果丰硕。但是由于图像数据本身的复杂性和图像获取能力的飞速增长，对图像数据的 有效组织和图像资源的有效利用还远没有达到令人满意的程度面对这一重大而复杂的课题，人 们除了借助于高速计算机以外，就是从根本上研究并构造高效的面向图像的信息与知识抽取方法。 基于内容理解的图像检索研究主要集中在相似图像的检索领域，其主要问题可以描述为，给 定一个图像数据集和一幅待检测图像，要求从图像集中搜索与待检测图像最相似的一幅或n 幅图 像。必须指出在以相似图像检索为研究主流的今天。人们往往忽视了对额颖的异常图像发现问 题。事实上从大量相似的图像数据集中发现少量表达异常模式图像的相异图像检测同样具有十 分重要的意义例如，在基于图像的产品质量检测、大范围环境异常监控等众多新兴的应用场合 中，常常需要从大量或实时图像数据集中发现那些显著区别于正常模式的异常图像。在工业图像 监测的场合这些异常图像往往代表着被检产品在质量上的变化或流水线异常，在环境监测应用 中某一区域新出现的异常图像模式可能提示污染或其他自然灾害的发生。这些事例都说明，基 于内容理解的图像检索不仅应该关注相似图像检索问题，也应考虑相异图像的发现。借用数据挖 掘技术的术语，本文把后一类关于异常图像检索问豚称为离群图像发现。 本论文研究面向环境监测这一特定主题的图像检索与识别技术，工作涉及基于矢量量化方法 的图像编码与相似性构造、图像数据的存储组织与三种形式的相似图像检索、异常图像发现和基 于上述技术的环境图像监控系统的设计与实现等内容。在本论文研究工作中，利用数据挖捌的技 术与理念，通过码书层次上的数据聚类与离群点分析技术，把相似图像与相异图像的监测问题统 一起来形成了具有一定实用价值和理论意义的基于内容理解的图像检索系统。 本论文根据基于内容理解的图像检索技术研究的潜在应用背景结合教育部博士学科点专项 科研基金项目“大规模高维数据离群点检测算法研究”( 基金立项编号：2 0 0 4 0 2 8 6 0 0 9 ) 和淮海i ： 东南大学硕士学位论文 学院自然科学基金项目“矢量量化技术在图像检索系统中的应用研究”( z 2 0 0 6 0 1 7 ) 的研究工作， 通过对基于分块主颜色矢量量化技术和图像相似性构造的深入研究，提出面向大规模图像数据的 分析和检索方案，并将研究成果运用于连云港市水利局横向合作开发项目。连云港市水资源实时 监控与管理系统”的图像监控子系统，实现具有实用功能的应用系统。 1 2 图像检索研究内容 1 2 1 相关技术 视觉信息是人类从客观世界获得信息的主要来源。人类对五彩缤纷的大干世界的认识上至 宇宙星云下至细胞、基因、原子，无一不是通过视觉形象信息获得深刻的感知进而得到正确的 认识的。“物以类聚”是人们处理客观世界数据的晟普遍习惯同样地，在面对大量来自多种信 息渠道、包含不同内容的图像数据集时，快速准确地查找到人们感兴趣的图像也是十分重要的研 究课题。 早在2 0 世纪7 0 年代末。基于文本的图像检索技术就已经产生它们通过对图像进行手工注解 利用文本检索技术进行关键字的检索。但是，基于文本的图像检索方式存在着两大难题1 1 】：一是 完全手工注解的工作量太大：二是文本注解存在不可避免的主观性和不幸蠹确性。文本标注在描述高 层的、抽象的语义概念时虽有其简单、清楚的优点但如何提供快速高效的技术手段，到目前 为止仍然是一个难以逾越的问题 2 0 世纪9 0 年代初，大规模图像集不断涌现，研究者提出了基于内容的图像检索( c o n t e n tb a s e d i m a g er e t r i e v a l ，c b i r ) 。c b i r 系统从图像的颜色、纹理、形状及区域等视觉特征入手来实现图像 的归类与检索1 1 4j 由于这些视觉特征是唯一可以独立、客观地直接从图像中获得的信息，因此， 这种方法成为2 0 世纪9 0 年代以来图像检索技术研究的主流。c b i r 的主要特点是利用图像本身包含 的客观视觉特征。图像相似性体现在视觉相似性上，由于它不需要人的主观解释因此不需要或 者仅需要少量的人工干预使得这种技术在需要高度自动化的场合取褥了大量应用。 基于内容的图像检索是一个涉及众多技术的研究领域，主要的研究主题包括：图像特征信息 的抽取及其方法，图像间相似性的度量方法、图像多特征的相关反馈、相似性检索结果的评判与 可视化技术等，以及图像数据集的数据索引结构和数据库系统设计技术。其中，图像特征信息的 抽取与索引方法是系统成功的关键，也是本文的研究重点之一 图1 1 表示了一个典型图像信息检索系统的一般流程。首先，系统对图像数据库中的图像信 息进行处理、分析和理解建立相应的内容表示和索引：当用户提交检索需求时，生成规范的内 容查询表达；最后，根据匹配模型计算相似度并返回检索结果集。 检 索 结 果 图1 1 图像信息检索的一般流程 2 第一章概述 1 2 2 内容索 内容索引模块完成对图像信息的处理、分析和理解有效的提取和表示内容。对于图像数据来 说，所谓“内容”具有多个层次上的含义： ( 1 ) 感知层( p e r c e p t i v el e v e l ) ，如视觉上的颜色、纹理、形状、轮廓、运动、时空关系听觉 上的音高、音色、音质等： ( 2 ) 认知层( c o g n i t i v el e v e l ) ，如主体、对象、场景，故事等概念和语义； ( 3 ) 情感层( a f f e c t i v el e v e l ) ，如印象、情绪、感情等。 实际上，正是对“内容”这个概念理解的不断深化，才使得人们认识到图像信息检索仅仅用基 于文本标注的方法来进行检索是远远不够的。图像信息检索系统必须能获得、存储和检索媒体中基 于形象( i m a g e r y - b a s e d ) 的信息内容。 由于图像索引是本文的关键研究内容，本文将在下节详细加以讨论。 1 2 3 内容匹配 内容匹配模块主要是根据用户提交的查询表达在索引库中搜索所需的图像内容，井将匹配结果 返回给查询模块。因为图像的内容索引已经建立了，所以只要将查询目标的内容表达与图像数据库 中的个体描述进行比较，就可以确定它们在内容上的一致性和相似性。 对匹配的计算要采用一定的计量方法来测度人类的相似感觉目前得到广泛应用的相似性度量 是在空间中定义某种距离p 】。设s l ，s 2 ，s 3 为d 维空间中3 个目标，则目标之间的距离函数d 应满 足以下要求： ( 1 ) 自相似性 d ( s 1 ，毛) = d ( s 2 ，5 2 ) = o ( 1 1 ) ( 2 ) 最小性( m i n i m a l i t y ) d ( s l ，5 2 ) d ( s 1 ，而) 2 0 ( 3 ) 对称性 d ( s t ，j 2 ) = d ( s 2 ，岛) ( 4 ) 三角不等性 ( 1 2 ) ( 1 3 ) a ( s j ，s 2 ) + d ( s 2 ，s o d ( s l ，屯) ( 1 4 ) 常用的距离函数主要是e u c l i d e a n 距离如和m a n h a t t a n 距离如，设施和几分别是目标却和印提 取的内容索引，d 表示索引总数目，则 d ( 凡，5 2 ) ： d ( 5 l y i ) 2 1 1 2 d c ( 吣j 2 ) = k - y f ( 1 5 ) ( 1 6 ) 它们都可以看作是如下明氏距离( m i n k o w s k y d i s t a n c e ) 的特例： d m l ( j 2 ) ：【墨1 h y t 阿，4 ( 1 7 ) t i l 如果考虑到各个内容索引之间具有相关性或不同的权重则可以采用马氏距离( m a h a l a n o b i s d i s t a n c e ) ： 东南大学硕士学位论文 j m 。( q ，j 2 ) = ( i y ) 7 c 一( i y ) r = 芝量c 上，( x i - y 而一y ，) ( 1 8 ) nn i 越j 一 其中c 是特征向量的协方差矩阵。 此外，在文本检索领域，还经常用到余弦距离，采用向量之间的夹角来度量相似性： d “y l d c ( q 芦2 ) = c o s “ ( 1 9 ) 这些基于特征向量的空间距离度量，有如下优点： ( 1 ) 它们对某些人类感受的相似性是比较合适的，如对颜色刺激的评价比较吻合； ( 2 ) 它们对内容的描述采用特征向量的形式，便于计算机分析和处理； ( 3 ) 特征向量可以根据传统的多维访问方法建立快速访问的数据索引，这对于大规模的图像数 据库非常重要。 向量模型在图像检索研究进展中具有十分重要的地位，它可追溯到2 0 世纪6 0 年代。从那时 起就成为大量检索研究的基础，它使几何中很多匹配算法可以很方便的被用到检索领域。 1 2 4 内容查询 图像查询是图像索引和匹配的终极目标是应用的目标。图像查询主要是对用户提供多样的 查询手段，并将用户的查询要求转化为对内容的规范表达，以支持用户根据不同应用进行各种类 型的信息获取与文本检索类似，图像内容的查询也是一个用户交互的过程。图像信息本身复杂 的结构和大数据量的特点对图像信息检索系统的交互界面提出了许多新的要求，如何提供有效的 查询手段，也是影响图像信息检索系统性能的一个重要环节。 除了传统的基于文本，关键词的查询外，还有基于内容的图像检索方式，主要是基于示例的查 询( q u e r yb y e x a m p l e ) 和基于草图的查询( q u e r y b y s k e t c h ) 。与传统的关键词查询相比，示例查 询和草图查询突破了只能用文字表述查询要求的局限。用户在查询时不需要提供对查询对象的详 细描述，这些描述将由系统根据用户提供的范例或草图计算得到。基于文本的查询适合比较高层 概念语义的查询，而在范例或草图查询中，用户都提供了一个用作参考的图像对象，比较适合表 达图像内容的低层或中层特征的感知面貌。此外，本文研究了以图像的局部特征为依据的基于感 兴趣区域的图像查询方法，该方法将检索重点从图像全局转移到图像中的局部区域，从而更有利 于从图像集中发现具有某一特定物体或纹理的图像。 需要指出的是，无论哪种方式都很难全面的表达人们的查询要求。例如，用户可能知道一个 事物或对该事物的感觉是怎么回事，但很难描述清楚。在这种情况下，往往需要一个反馈交互的 过程。也就是说，系统首先根据用户的查询要求，返回一批相似的结果；然后由用户对返回结果 进行评价，系统再参照用户评价调整参数重新进行查询。通过若干次这样的迭代反复，最终找到 用户真正需要的信息。 1 3 图像特征及其提取 图像特征的自动提取和表示是基于内容图像检索的基础，从广义上讲，图像特征既包括高层 语义特征，又包括低层可视特征。然而且前的计算机视觉和图像理解技本还不能自动提取图像的 语义特征，图像目标提取和识别技术还没有达到理想状态，所以较常用的仍然是低层可视特征。 图像的可视特征又可进一步分为通用特征以及领域相关的特定特征。前者用于描述所有图像共有 4 第一章概述 的特征。与图像的具体类型或内容无关，如色彩、纹理、形状等；后者则建立在和图像内容有关 的某些先验知识基础上与特定应用紧密相关，如人脸特征或指纹特征等由于领域相关的图像 特征主要属于模式识别的研究范围，井涉及许多专业的领域知识，在此就不再详述，而只考虑通 用的图像特征。 1 3 1 颜色特征 颜色特征是在图像检索中应用最为广泛的视觉特征。主要原因在于颜色往往和图像中包含的 物体或场景十分相关。此外，与其他特征相比，颜色特征计算简单，同时具有对图像本身的尺寸、 方向、视角的依赖性小等优越性。 在所有颜色特征提取方法中，颜色直方图( c o l o rh i s t o g r a m ) 是使用最为广泛的它实际上是 对一幅图像中所有像素的颜色取值所作的统计，定义如下： h ( i ) = 等，f - o ，1 ，k ( 1 1 0 ) 其中n i 为图像中颜色取值为i 的像素个数，n 为像素总数，k 为可能的颜色取值范围。这样计 算得到的颜色直方图就是一个k 维的特征向量。颜色直方图所描述的是不同色彩在整幅图像中所 占的比例，而并不关心每种色彩所处的空间位置，所以特别适合描述那些不需要考虑特定物体空 间位置的图像内容 除了常规的颜色直方图，还有一种非常简单而有效的颜色特征是颜色矩f 5 】( c o l o rm o m e n t s ) 与直方图不同，它可以表达一定的颜色分布信息。这种方法的数学基础在于图像中任何的颜色分 布都可以用它的矩来表达。由于颜色分布信息主要集中在低阶矩中。因此可以仅采用颜色的一阶 矩( i b e a n ) 、二阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 来表达。设p j j 是图像中第j 个像素的第i 个颜色分量，则该颜色分量上矩的计算如下： 铲亩毛p f “j d q = ( ( p f 叫) 2 ) “2 ( 1 1 2 ) 砖= ( 二1 毛n ( 珊叫 ( 1 | 1 3 ) 除了以上的还有其他一些颜色特征也经常被引用到，如颜色集( c o l o r s e t ) ，颜色聚合向量( c o l o r c o h e r e n c e v e c t o r ) ，颜色相关图( c o l o r c o r r e l o g r a m ) 等。 1 3 2 纹理特征 纹理反映了物体表面或结构的性质，通常是一种由某种颜色或亮度造成的同质性视觉模式， 如云彩、树木、砖、织物等的表面模式。直觉上，纹理是比较明显的，但是由于纹理的变化很多 并且是与心理效果相关的，很难精确描述，目翦尚无正式的或一致的定义纹理特征包含了物体 表面结构排列的重要信息以及它们与周围环境的联系。正因为如此，纹理特征在基于内容的图像 检索中得到了广泛的应用。 在上世纪7 0 年代初期，h a r a l i c k 等人提出了纹理特征的共生矩阵表示【6 】。他首先根据像素间 的方向和距离构造一个共生矩阵，然后从共生矩阵中抽取有意义的统计量作为纹理表示。 受关于纹理的人类视觉的心理学研究的启发，t a m u r a 等人1 7 1 从另外一个角度提出了纹理表示。 5 东南大学硕士学位论文 纹理有六个视觉性质：粗细度( c o a r s e n e s s ) ，对比度( c o n t r a s t ) ，方向性( d i r e c t i o n a l i t y ) 线状性 ( 1 i n e l i k e n e s s ) ，规则性( r e g u l a r i t y ) 和粗糙度( r o u g h n e s s ) 。目前使用较多的是前三个。而后三个 性质则与前三个存在内在的相关性。它们和共生矩阵的一个主要差别在于：在t a m u r a 表示中的所 有纹理性质都是有意义的，与人的主观感受比较吻合，而从共生矩阵提取的纹理性质贝u 可能没有 意义。这使得t a m u r a 纹理表示在图像检索中非常具有吸引力，而且可提供一个更为友好的用户界 面。 上世纪9 0 年代初期，在引入小波变换并建立它的理论框架后。许多研究者开始研究在纹理表 示中使用小波变换。s m i t h 和c h a n g 8 1 使用从小波带中抽取的统计量( 平均值和方差) 作为纹理表 示取得了较好的效果。l i 和m a n j u n a t h e 9 1 评价了各种小波变换，包括正交和双正交小波变换，树 结构小波变换和u s b o r 小波变换。他们发现这其中g a b o r 小波变换最符合人类的视觉特征。 1 3 3 形状特征 形状是描述图像内容的一个重要特征。它常与目标联系在一起，又有一定的语义含义，因而 可以看作是比颜色或纹理要高层一些的特征。但另一方面。对形状的表达比对颜色或纹理的表达 从本质上要复杂得多，常需要先对图像进行分割。由于当前的技术无法做到准确和通用的自动图 像分割，图像检索中的形状特征只能在特定应用场合使用。在这些应用中，利用特定领域知识可 以从图像中分割获得包含的目标( 物体或区域) 此外，为了使从不同视角获取的目标图像互相匹配，形状特征还应具有平移、旋转和缩放变 换不变性 一般来说，形状特征有两种表示方法，一种是轮廓特征，一种是区域特征前者适用于对形 状边界的描述，而后者则适用于表达形状包含的整个区域。这两类形状特征的最典型方法分别是 傅立叶描述符( f o u r i e rd e s c r i p ；o r ) 和形状无关矩( m o m e n ti n v a r i a n t s ) 。 傅立叶描述符的主要思想是将经过傅立叶变换后的边界作为形状特征。从轮廓上的任一点开 始绕轮廓一周可以定义一个复数序列： ”( ) 2 z ( ) + j y ( k ) k 2o ，l ，n 一1 ( 1 1 4 ) 对其进行离散傅立叶变换，就得到轮廓的傅立叶描述： 一 1 n - l f ( ) = u ( k ) e x p ( - j 2 ，：t c a k n ) m = 0 , 1 ，一l ( 1 1 5 ) v 卸 在此基础上，文献 4 4 提出了一种改进的傅立叶算法，这种算法不仅对噪音具有很好的鲁棒性， 而且对几何变换具有不变性，更加适合图像检索的需要。 形状无关矩是基于区域的物体形状表示方法设图像，伍，y ) 中非零像素点表示形状区域r ，则 r 的第p + q 阶矩的定义为： m p q = j y 9 f ( x ，y ) ( 1 1 6 ) j ， 为获得平移无关性，可以利用中心矩： p w = o x - - ) 9 0 一矿f ( x ，y ) ( 1 1 7 ) jy 其中i = m ，。m 。，尹= m 。m 表示重心坐标。进步可以对中心矩进行归一化，获得缩放无关性。 。：鱼 。肿 盎 6 ( 1 1 8 ) 第一章概述 其中，= 旦笋+ i ，j 口+ g = 2 , 3 ，将一些归一化的二阶和三阶中心矩进行组合可得到多个对平移、 旋转和缩放变换均无关的矩。 近年来在形状表示和匹配方面的工作还有有限元法( f i m t e e l e m e n t m e t h o d ) 、旋转函数( t u r r u n g f u n c t i o n ) 和小波描述符( w a v e l e td e s c r i p t o r ) 等方法”。 1 4 图像检索的相关反馈技术 对于基于内容图像检索的早期阶段，研究工作主要集中于寻求各种各样的图像特征表示方法。 在检索过程中，需要用户选择所关心的一种或多种图像特征，设定各特征之间的权重，然后系统 根据这些条件查找相似的图像。这种方法的前提假设是用户可以比较容易地将图像的高层语义硖 射到图像的底层特征上。但在实际应用中，这对于普通用户来说是很大的负担，甚至是不可能的 为了解决这一问题，目前的研究焦点转向把人作为检索过程一部分的交互式检索机制。把交 互式概念引入图像检索领域，就是基于相关反馈的方法相关反馈是一种查询逐步求精技术，最 初用于文本检索系统中。其主要特点是将用户引入查询过程，根据用户的反馈信息调整查询要求 从而进一步优化查询结果，直到用户满意为止。用户的参与使系统能更好地揣测用户的意图，也 使得在低层可视特征和高层语义概念之间建立某种联系成为可能。 图像检索中的相关反馈方法大致可以分为两种类型：参数调整方法和机器学习方法，下面分 别加以介绍。 1 4 1 参数调整方法 r u i 等首先将相关反馈的思想引入基于内容的图像检索，并提出了一种修改查询向量和相 似性度最公式的相关反馈方法。其基本思想是使相关图像靠近正例中心，远离反例中心。也就是 说，利用用户反馈信息调整相似性度量公式中各分量的权值，加强查询向量中较为重要的分量， 同时减弱次要的分量。修改的依据是图像特征向量各分量的标准差。 在上述思想的基础上i s h i k a w a 等【l ”提出了一种基于优化学习的相关反馈算法，支持图像的 层次表示，为相关反馈提供了理论依据。a k s o y 等f 1 2 】迸一步改进了加权相关反馈算法，认为权重 是相应图像特征值标准差的比值，并在实验中取得了较好的效果。但是它们仅考虑正例，而忽略 了用户提供的负反馈，也没有考虑历史反馈信息的影响。l u 等在i f i n d 系统中用语义网络建立 关键字和图像之间的关联，在图像内容的表示中集成了图像的低层可视特征和高层语义信息使 得系统性能得到显著的提高。 1 4 2 机器学习方法 实际上，图像检索系统也可以看作是一个模式分类问题，因为用户认为相关和不相关的图像 可以分别看作正例样本和反例样本，这时可以把人机交互的相关反馈看作是一个有监督的模式学 习过程。m e i l h a c 等根据用户的反馈，学 - j 相关图像的先验概率和类条件概率，并用贝叶斯判别式 计算每个图像的后验概率，对于不相关图像采用类似的策略【”】这样对图像库中每一幅图像，比 较其属于相关类的概率和属不相关类的概率，从而判断该图像的所属类别。v a s c o n c e l o s 等则提出 了根据用户反馈进行基于b a y e s i a n 推理的信念传播【“】 7 东南大学硕士学位论文 1 5 图像检索研究的发展趋势 十多年来，基于内容的图像信息检索研究已取得了巨大的进展，形成了一系列重要的研究主 题如特征提取与约减、相似度匹配模型、相关反馈机制等，也设计和实现了一些实验系统但 是。目前基于内容的图像信息检索技术在检索准确性、使用方便性等方面距离实际应用的要求还 存在很大的差距，存在不少需要进一步研究的问题。对它的发展、趋势和前景，许多人己进行了 广泛的讨论，并提出了一系列值得重视的研究方向 1 5 1 人机结合技术 图像信息检索研究的一个根本性因素在于人的参与，这也是与其他领域研究( 如计算机视觉、 模式识别等) 相区别的一个重要方面。人是图像信息检索系统中不可或缺的一个环节，但在计算 机视觉或模式识别领域却并非必要。 在图像信息检索的研究中，需要寻找一条将人和计算机进行统一结合的最佳路径。早期的研 究中人们强调的是如何实现“全自动的检索系统”，并力求寻找所谓“最优特征”。然而这条研究 途径并没有带来令人满意的成果。失败的主要原因在于计算机视觉或模式识别技术并没有发展到 全自动化所需的技术水平。因此，现在的研究人员把更多的精力投入到“交互式系统”和“人机 结合”的课题上来。 1 5 2 高层语义和底层特征之间的差距 人们在日常生活中习惯于使用高层的语义概念来检索信息。然而，目前的计算机技术能够处 理的大多是图像内容的底层特征。在某些特定领域应用领域知识，是可能将图像底层特征_ 手l i 高层 语义建立某种联系的。但是面向通用的一般的领域，底层特征与高层语义之间存在难以逾越的鸿 沟。 为了缩小这两者间的差距，需要一些在线或离线的有效学习机制。离线学习可以通过监督学 习、非监督学习或两者的结合完成，比如统计模型、神经网络等。在线学习需要设计一个交互学 习的智能化查询界面。系统可以根据用户的行为进行再学习。 1 5 3 面向互联网 国际互联网正在以难以想象的速度发展和扩张。每天都有数以万兆计的新数据被连接到网上， 其中很大一部分是图像数据。为了能够有效地利用网上的各种信息，面向互联网的图像搜索引擎 是十分必要的。目前已经有许多技术成熟的文本搜索引擎，如g o o g l e ，y a h o o 等。尽管g o o g l e 、 y a h o o 也支持面向图像的检索。但目前也仅局限在基于关键词的图像检索层次上，尽管y a h o o 已经 提供了一定功能的基于示例的图像检索但要达到与文本搜索引擎媲美的实用程度还需要技术上 的突破。 目前，主要的技术障碍还是在于不能有效提取图像内容的语义。根据对用户使用图像搜索引 擎习惯的研究，发现采用按主题分类浏览和基于文本( 关键字) 检索的操作远远高于基于底层特 征的检索方式。人们更习惯基于语义的查询，但是目前图像搜索引擎的还不能很好的解决这一问 题。此外，网上搜索引擎索要处理的是一个规模巨大的数据集，需要研究提高检索速度的技术， b 第一章撮述 如高维数据索引。 1 5 4 多模式融合分析 多模式融合分析代表了新的研究趋势。文本、图像、视频和音频是目前构成图像信息的主要 部分。考虑到图像信息各种媒体所包含的丰富信息，如果仅仅单独使用某个媒体如视觉或听觉特 征进行分析，将导致信息缺失。一个语义事件常常是一个多模式的表达，如运动员的跳水事件既 有视觉上的运动也有听觉上的踏板声和入水声，只对其中一个模式进行分析是不完整的，需要综 合多个模式进行判断。更进一步。也是难点，则是要考虑各种模式信息之间的时序关系综合文 本、图像、视频和音频等各种模式的分析不仅在图像信息检索领域，而且在许多其他相关领域也 是一个重要的研究热点。 1 5 5 性能评价和测试集 任何一项技术都是由该领域中相应的评价标准来推动的。就目前而言，图像信息检索领域的 标准主要是借用了文本检索领域的查准率和查全率。尽管这一评判标准在一定程度上反映了检索 系统的某些性能指标，它们还远不能令人满意。一个重要原因在于选取评价标准关系到人们对图 像内容的主观理解。难以实现完全客观的评价。与评价标准具有同等意义的一个课题是建立一个 平衡的、大规模的测试数据集一个好的测试集必须具有相当的规模，以便于对系统的处理速度 和性能进行评价。另一方面测试集又必须是平衡的，即包含了各种类型的图像数据以求对系统 的整体性能进行客观的测试。 目前在图像信息检索领域，还没有一个被广泛接受的评测方法和测试集。包括m p e g 7 委员 会、n i s t ( 美国国家标准技术局) 等在内一些机构正在进行这方面的工作。特别是n i s t 从2 0 0 3 年开始设立的视频检索评价大赛( t r e c v i d 。h t t p ：w w w n l p i r n i s t g o v p r o j e e t s t r e e v i d ) 正在越来越 多地吸引研究者的注意。 1 6 本文的组织 本文的目标是在研究图像颜色特征提取的基础上利用矢量量化原理构造相似图像的检索算 法和异常图像检测技术，并将研究结果运用于基于数字图像的水资源监控系统。 第二章介绍基于矢量量化的图像颜色特征提取方法，首先采用颜色聚类算法对h s v 颜色空间 中的图像进行主颜色量化，并研究基于误差传播技术的主颜色集优化方法从而获得图像的全局 主颜色集合。在此基础上，研究图像的分块主颜色矢量量化技术井将图像表达为它的分块主颜 色直方图矢量。同时，针对所提出的主颜色特征提取方法开展了相关的实验研究。 第三章首先从图像子块的主颜色宜方图向量空间的距离定义入手，构造了图像块问的相似性 度量和基本的图像全局相似性度量方法与相应的相似图像检索算法，改进的图像相似性度量方法 包括基于分块权值矩阵的方法和基于感兴趣( r o d 区域的图像相似性比对方法，所开展的实验表 明了这些改进方法对图像检索结果的有效性。 第四章进一步利用矢量量化技术对图像集的分块主颜色矢量进行矢量量化，从而实现图像集 基丁矢鹫化码书的分类。本章重点讨论了基于码书的离群点的定义，从经典数理统计学的角度论 证了这一思想的重要意义，提出了相应的离群点检测方法最后，将这一方法运用于异常图像的 9 东南大学硕士学位论文 检测问题，给出了面向图像集的异常图像检测算法。 第五章是本文研究结果在面向水资源与工程数字图像检测系统中的具体应用。介绍了图像监 控技术在水利设施与水利资源监控系统中的应用和系统的开发过程。从系统总体构成、图像采集、 图像数据库构建、图像检索和异常监控图像的检测等方面论述了相关的技术与实现方法与开发过 程。 第六章是对论文研究工作的总结，综述了本文在理论研究与应用系统设计与开发方面的研究 成果，指出了下一步研究工作的重点和努力方向。 l o 第二章图像的主颜色分块矢量量化编码 第二章图像的主颜色分块矢量量化编码 2 1 矢量量化概述 矢量量化( v q v e c t o r q u a n t i z a t i o n ) 技术首先是由仙农作为一种信息的有损压缩技术提出的【”1 。 目前，与矢量量化( v q ) 技术相关的理论与应用研究十分活跃。由于矢量量化技术能利用矢量数据对 象间及矢量各分量间的关联特性有效地消除信息冗余，从而简化数据处理的复杂性，使它成为广泛 运用于各类复杂数据压缩、存储、传输与分析的重要技术。矢量量化过程首先起始于对事先择取的 训练数据集的聚类、分类研究，然后，通过训练数据集的分类模式提取相应的特征矢量集( 即码书) 来近似地表达全体数据集的数据分布模式。通过特征矢量数据集的提取，矢量量化技术实现了对后 续数据简约高效的描述与处理手段f 6 1 。 矢量量化可定义为女维欧氏空间矿到它