（计算机应用技术专业论文）基于内容的图像检索关键技术研究(3).pdf

摘要 计算机技术、多媒体技术以及i n t e r n e t 技术的飞速发展产生大 量的图像信息，因此如何有效地、快速地从大规模图像数据库中检索 出需要的图像是目前一个急需解决的重要问题，基于内容的图像检索 技术正是解决这一问题的有效途径。本文围绕特征提取与表示、相关 反馈技术及索引技术等图像检索关键技术进行研究，主要的研究工作 如下： ( 1 ) 在颜色直方图的基础上提出了基于自适应加权的改进颜色 直方图方法；采用二值信息来表示图像的颜色、形状、纹理特征，给 出了相应的二值主色，二值全局色，二值形状、二值纹理等低层特征 表示方法，并将这些特征用于过滤明显不符要求的图像，加快系统检 索速度；介绍了一种新颖的基于凹度树的形状特征提取方法，该形状 特征结合颜色特征用于相似度计算。 ( 2 ) 把改进的基于特征加权的s o o n 聚类方法应用到图像聚类， 并给出了基于s o o n 聚类的图像索引方法。在s o o n 聚类的基础上，为 进一步提高检索速度，我们对每一类构建了一棵基于相似度分层聚类 的动态索引树，该索引树不用进行相似计算就能得到根据相似度排序 的检索结果，因而它比其它的索引树具有更快的查找效率。 ( 3 ) 对用户反馈标记的正例和负例不平衡问题，采用基于有偏 支持向量机方法应用到相关反馈方法中( b s v m ) ；同时针对样本数量 少，准确率不高的问题，采用改进的结合先验知识的b o o s t i n g 方法 把有偏支持向量机提升为强学习算法，给出了相应的基于b o o s t i n g 与b s v m 结合的相关反馈方法( b b s v m ) ；在此基础上为进一步提高系 统图像反馈的速度与准确率，我们创新的建立了长期学习知识库，提 出了基于长期学习的相关反馈方法( l b b s v m ) 。 ( 4 ) 设计了基于集成的图像检索系统，该系统主要以我们上面 提出的方法为核心技术，详细的编写了这些方法的具体代码，实验表 明了该系统具有较好的查准率和效率。 关键词图像检索，相关反馈，s o o n 聚类，二值特征，s v m a b s t r a c t t h er a p i dd e v e l o p m e n to fc o m p u t e r , m u l t i m e d i aa n di n t e r a c t t e c h n i q u e sh a sp r o d u c e dt o ol a r g ea m o u n to fi m a g e s t h e r e f o r e ，i t b e c o m e sa nu r g e n tp r o b l e mt h a th o wt of i n dn e e d e di m a g ee f f i c i e n t l yi n l a r g e - s c a l ei m a g ed a t a b a s e o n ee f f e c t i v ew a y sh a sb e e np r o p o s e dt o s o l v et h ep r o b l e m ：i m a g er e t r i e v a lb a s e do nc o n t e n t t h em a i ns e a r c h c o n t e n ta b o u tt h e t e c h n i q u ei n c l u d e ：e x t r a c t i n gf e a t u r e ，r e l e v a n c e f e e d b a c ka n di n d e xt e c h n o l o g y i nt h i sp a p e r , w em a k er e s e a r c hi ne a c h s t e po f i t o u rr e s e a r c hw o r kf o c u so nt h ef o l l o w i n ga s p e c t ： ( 1 ) t oi m p r o v ei m a g er e t r i e v a ls p e e da n da c c u r a c y , s o m en o v a lf e a t u r e a r ep r e s e n t e dt o r e p r e s e n ti m a g e l o w - l e v e lf e a t u r e ，i n c l u d i n gt h e m a y o rc o l o r ，g l o b a lc o l o ra n ds h a p ef e a t u r eo fi m a g eu s i n gb i n a r y i n f o r m a t i o n ；t oc o m p u t es e m i n a r ym e a s u r eo f t w oi m a g e ，w ep r e s e n ta a d a p t i v ew e i g h t e dc o l o rh i s t o g r a m ，a n di n t r o d u c ec o n c a v i t yt r e et o r e p r e s e n ts h a p ef e a t u r e ( 2 ) an o v a li m a g ei n d e x i n gm e t h o d ，i n d e x i n gt r e eb a s e do ns o o n c l u s t i n g a n ds e m i l a rc l u s t i n g , i sp r e s e n t e d ，w h i c hi st w ol e v e l i n d e x i n g ：s o o nc l u s t i n gi n d e x i n ga n ds e m i l a r yc l u s t i n g t r e e i n d e x i n g s o o nc l u s t i n gm e t h o di sb e t t e rp e r f o r m a n c et h a no t h e r s c l u s t ，s oi ti su s e dt oi m a g ec l u s t i n ga n dw ep r e s e n tai n d e x i n gb a s e d o ns o o n , o nt h eb a s e ，w ep r e s e n ti n d e x i n gt r e eb a s e do ns e m i n a r y c l u s t i n gt r e e ( 3 ) w ep r e s e n tt h r e en o v e lr e l e v a n c ef e e d b a c km e t h o db a s e do nm a c h i n e l e a r n i n g f i r s t , t ov o i du n b a l a n c eo fp o s i t i v ea n dn e g a t i v es a m p l ew e u s er e l e v a n c ef e e d b a c kb a s e do nb s v mm e t h o d s ；t h e ni no r d e rt o i m p r o v et h ea c c u r a t er a t e ，w ep r e s e n tr e l e v a n c ef e e d b a c kb a s e do n b o o s t i n ga n db s v m ；o nt h eb a s e ，i no r d e rt oi m p r o v et h es p e e do f i m a g er e t r i e v a l ，w ep r e s e n tt h el o n gl e a r n i n gr e l e v a n c ef e e d b a c k a l g o r i t h m ( 4 ) w ed e s i g na ni n t e g r a t i v ei m a g er e t r i e v a ls y s t e m , w h i c hi n c l u d ea l l o i l l p r e s e n t e dm e t h o da b o v e ，a n dd e s i g na l lc o d e k e yw o r d s i m a g er e t r i e v a l ，r e l e v a n c ef e e d b a c k ，s o o nc l u s t i n g ，b i n a r y f e a t u r e ，s u p p o r tv e c t o rm a c h i n e 1 1 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了论文中特别加以标注和致谢 的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不 包含为获得中南大学或其他单位的学位或证书而使用过的材料。与我 共同工作的同志对本研究所作的贡献均已在论文中作了明确的说明。 作者签名：毖囡堡选 日期：丑年一i -一c 9 0 日 关于学位论文使用授权说明 本人了解中南大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文，允许学位论文被查阅和借阅；学校可以公布学位 论文的全部或部分内容，可以采用复印、缩印或其它手段保存学位论 文；学校可根据国家或湖南省有关部门规定送交学位论文。 作者签名：醒驵强盗导师签名燃日期：主乙年月立日 中南大学硕士学位论文第一章绪论 第一章绪论 1 1 研究背景及意义 随着多媒体技术、计算机技术、通信技术及i n t e r n e t 网络的迅速发展， 人们越来越多地接触到各种各样的信息。互联网的动态性和增长性，为人们 提供了一个取之不尽、用之不竭的多媒体信息源。然而互联网上不断增加的 信息量也将人们带入了无所适从的困境，信息爆炸使人们面临着一个严峻的 问题，即如何管理这些日益增长的信息，如何快速准确的查询到所需要的信 息。据统计，人类接受的外部信息，7 0 以上来自视觉。视觉信息可以自然、 贴切、真实地反映周围景物的本来面貌，所以对于信息获取至关重要。图像 作为一种内容丰富，表现直观的多媒体信息，长期以来一直受到人们的青睐。 每天人们熟知的天气预报离不开卫星云图的帮助，公安人员迅速破案需要大 量的罪犯图像信息作为辅助，网上时兴的电子购物，也都是以图像的形式向 用户展现商品的。各种各样应用需求的出现，使得图像信息的有效检索成为 迫切需要解决的问题。图像包含的意义非常丰富，“一幅图像胜过千言万语”， 于是基于内容的图像检索技术应运而生。 基于内容的图像检索是一种实用性很强的技术，有着广阔的应用前景， 涉及到社会和生活的许多方面。 ( 1 ) 数字图书馆。数字图书馆是对传统图书馆的根本性变革，它将所有有用的 多媒体信息资源用数字的形式进行表示，根本目标是为数字多媒体信息的收 集、存储和组织提供一个快速有效的方式，从而人们可以通过网络用基于内 容的方式来处理和检索这些信息。因此在数字图书馆中，如何快速有效的查 找所需的信息，是基于内容的图像检索系统的重要研究方向，数字图书馆也 成为基于内容的图像检索系统的重要应用市场。n e t r a 就是加里福利亚大学 a d l ( a l e x a n d t r i ad i g i t a ll i b r a r y 亚里山大数字图书馆) 项目中，为图像 检索开发的一个c b i r 原型系统。 ( 2 ) 医疗。基于内容的图像检索可用于医疗诊断和决策支持。现在越来越多的 医院都配备了图像档案和通讯系统，每年医院都会生成大量的x 线、磁共振 图像和ct 图像等医疗图像，有效的基于内容的图像管理和检索系统将帮 助医生找出历史上相似的病例。通过研究相似历史病例的诊断和治疗方案， 医生将更好地理解新病例，并做出更好的医疗方案。如c r e t e 大学的二维放 射图像检索系统和c a r n e g i e - - m e h o n 大学的三维神经图像检索系统等，就在 这方面进行了尝试。 中南大学硕士学位论文 第一章绪论 ( 3 ) web 应用及电子商务。现在互联网已成为在线图像的最大载体，实现w eb 图像的快速索引和检索是一件振奋人心的课题。电子商务是近几年新起 的热门话题，网上时兴的电子购物则是取代现在超市的必然结果，而电子购 物也都是以图像的形式向用户展现商品，因此如何在成千上万的商品图像中 找到用户所需商品是基于内容的图像检索的急需解决的问题。 ( 4 ) 知识产权保护。随着知识经济的到来，知识产权日益受到重视，并得到法 律的保护。当注册商标的时候，需要对已有的数据库进行查询，检查是否已 有重复或类似的图像，这时就需要用到图像检索方法。o b i c 和v i r a g e 检索系 统已经采用了商标数据库( h t t p ：w w w q b i c a l m a d e m i b m c o m t m d e m ) 另 外日本东京大学电子实验室的t r a d e m a r k 系统，新加坡大学的s t a r 系统，英 国n o r t h u m b r i a 大学的a r t i s a n 系统也已有了相应的商标数据库。其中s t a r 和a r t i s a n 系统都已经应用到国家专利局。 ( 5 ) 犯罪预防。如在国家的安全部门中，可以建立图像数据库，存放有过犯罪 记录的人脸图像和指纹图像等等，这样当有案件发生时，一旦找到嫌疑人的 照片和指纹就可以搜索图像库进行人脸识别或者是指纹识别，查询相关情况。 ( 6 ) 建筑和工程设计。建筑和工程设计的一个共同特点就是采用二维图像表示 三维物体。设计者特别希望能够借鉴以前的设计作品，特别是那些在某些方 面很相似或者符合某些规定标准的图像。但是目前，这方面还没有一个成熟 的商业系统，所以对于c a d 设计人员来说，迫切需要开发出一套建筑和工程 图像检索系统。c a l i f o r n i a 大学的三维信息管理系统正在实验阶段。 ( 7 ) 服装设计。对于服装设计者来说，设计一套好的服装必须考虑所选的颜色、 纹理、服装的样式等等，如果能够对照当前比较流行的服装图像，设计者可 以从中得到很多启发。室内装璜和图像也有很大的联系，参考装修很好的图 像可以帮助我们更好的设计我们的房间。可惜现在还没有这样成熟的商业化 检索系统。 ( 8 ) 新闻和广告。新闻和广告都利用图像进行宣传，对于不同情况和不同目的， 设计不同的富有极大的图片是一件不容易的事情。但是如果能够找到一些相 似的图像对我们柬说应该有很大的帮助。 ( 9 ) 地理信息和遥感系统。通过地图规划商场和工厂的位置。农业学家和地理 研究都离不开图像，把图像及其分析结果保存起来对以后的研究有很大的帮 助，通过图像检索系统，可以方便查找所需的地理图像信息。 o o ) 文化遗产的保护。博物馆和文化馆保存了大量的图像，通过相似性来鉴 别不同的对象对于我们追溯历史很有帮助。对于艺术爱好者来说总希望能够 找到自己感兴趣的图像以便收藏。i b m 的q b i c 系统已经建立了艺术图像数据 中南大学硕士学位论文第一章绪论 库供艺术爱好者检索。印度的j a i n e t a l 也应用c b i r 技术来保存和管理h i n d u 大教堂有关的图像和视频资料。 除了上述应用外，基于内容的图像检索还可以用于许多其他方面，如： 图像分类( 过滤网上不健康的图片，视频等) ；军事( 雷达，空间，卫星目标 识别等) ：工业( 纺织品，时装设计) ：家庭娱乐；教育和培训。 图像检索系统涉及了多个技术领域，主要包括：数据库技术、图像处理 技术、计算机视觉、模式识别、人工智能等等，而这些领域也处在发展时期， 因而图像检索技术是一个非常艰巨的任务。近年来，国内、外众多学者在这 方面进行了大量的研究工作，发表了大量的论文和报告，但是尚未有成熟的 方法，在理论上仍然存在大量有待进一步研究、解决的问题；在应用方面主 要还局限于单一领域的小型图像库系统如：商标图像库检索系统、艺术图像 库检索系统，对于大型的或者涉及多个领域的图像库检索系统的应用还很有 限或者还不完善，因此，研究一种新的高效完善的图像检索系统，一方面有 望在图像检索技术的理论与方法上取得一定的突破，有利于计算机视觉、模 式识别、人工智能、图像处理、数据库等研究的进一步发展；另一方面提高 图像检索系统的实用性、拓展其应用范围。因此基于内容的图像检索技术研 究具有重大的理论意义和应用价值。 1 2 国内外研究现状 基于内容的图像检索技术开始于9 0 年代初期，目前已有十几年的历史，由 于此技术涉及的领域很多，因此迅速成为研究的热点，各大著名杂志如i e e e t r a n s o np a m i 、i e e et r a n s 0 ni m a g ep r o c e s s i n g 、i e e et r a n s o n m u l t i m e d i a 、i e e et r a n s o nc s l 旧、c o m p u t e r v i s i o n g a n d i m a g e u n d e r s t a n d i n g 、 i n t e r n a l j o u r n a l o f c o m p u t e r v i s i o n 、p a t t e r n r e c o g n i t i o n 、s i g n a lp r o c e s s i n g ：i m a g ec o m m u n i c a t i o n 、j o u r n a l o f e l e c t r o n i ci m a g i n g 、m u l t i m e d i as y s t e m s 等纷纷设专刊介绍该领域研究的 最新成果，著名的国际会议如：i e e ec o n f e r e n c eo fc v p r 、i e e ec o n f e r e n c e o fi c m e 、i e e ec o n f e r e n c eo fi c i p 、a c mc o n f e r e n c eo nm u l t i m e d i a 、s p i e c o n f e r e n c eo ne l e c t r o n i ci m a g e i n g 等纷纷设立专题交流最新的研究成果。 各大研究机构和公司都推出了它们的系统，比较著名的系统有：q b i c ( q u e r y b yi m a g ec o n t e n t ) 1 1j 是i b m 公司著名的a l m a d e n 实验室开发的。v i r a g e 公 司 2 1 的v i r ( v i s u a li n f o r m a t i o nr e t r i e v a l ) 图像引擎提供了四种可视属性 检索( 颜色、成分、纹理和形状) ，每种属性被赋予0 到l o 的权值。e x c a l i b u r 中南大学硕士学位论文第一章绪论 翻p h o t o b o o k 4 1 是m i t 媒体实验室开发的图像检索系统，v i s u a l s e e k 和 w e b s e e k ( 【5 l 【1 0 l 是由美国哥伦比亚大学开发的姊妹系统。国内的一些高校和研 究机构也有这方面的研究，开发了一些原型系统，但成熟的商品化应用系统 还很少。浙江大学完成了基于图像颜色和基于图像形状的原型系统。中国科 学院计算技术研究所的图像检索系统mi res 按照颜色、形状、纹理等 特征对图像进行检索，采用基于svm 的语义分类，并用核判别式分析解 决多类问题。此外，系统还加入用户反馈，不断调整特征参数以得到更佳的 效果。 基于内容的图像检索主要的关键技术包括：低层特征提取与表示、图像 索引技术、相关反馈技术，下面我们从三方面对已有的研究进行概括。 1 2 1 低层特征的提取与表示 基于内容的图像检索技术常用的方法有：颜色直方图方法、颜色矩方法、 颜色相关图方法、t a m u r a 纹理方法、小波变换方法、共生矩阵方法、形状无 关矩方法等。下面我们对这些常用的方法做个简单的介绍。 ( 1 ) 颜色直方图方法【1 1 1 【1 2 1 颜色直方图是在许多图像检索系统中被广泛采用的颜色特征。它所描述 的是不同色彩在整幅图像中所占的比例，而并不关心每种色彩所处的空间位 置，即无法描述图像中的对象或物体。颜色直方图特别适于描述那些难以进 行自动分割的图像。当然，颜色直方图可以是基于不同的颜色空间和坐标系。 最常用的颜色空l 日j 是r g b 颜色空问，原因在于大部分的数字图像都是用这种颜 色空间表达的。然而，r g b 空间结构并不符合人们对颜色相似性的主观判断。 因此，有人提出了基于h s v 空间、l u v 空间和l a b 空间的颜色直方图，因为它们 更接近于人们对颜色的主观认识。其中t i s v 空间是直方图最常用的颜色空间， 它的三个分量分别代表色彩( h u e ) 、饱和度( s a t u r a t i o n ) 和值( v a l t i e ) 。 计算颜色直方图需要将颜色空间划分成若干个小的颜色区间，每个小区问成 为直方图的一个b i n ，这个过程称为颜色量化( c o l o rq u a n t i z a t i o n ) ，然后， 通过计算颜色落在每个小区间内的像素数量可以得到颜色直方图。颜色量化 有许多方法，例如向量量化、聚类方法或者神经网络方法。最为常用的做法 是将颜色空1 日j 的各个分量( 维度) 均匀地进行划分。相比之下，聚类算法则 会考虑到图像颜色特征在整个空间中的分稚情况，从而避免出现某些b i n 中的 像素数量非常稀疏的情况，使量化更为有效。另外，如果图像是r g b 格式而直 方图是h s v 空i 日j 中的，我们可以预先建立从量化的r g b 空间到量化的t t s v 空| b j 之 间的查找表( 1 0 0 k u pt a b l e ) ，从而加快直方图的计算过程。颜色直方图 中南大学硕士学位论文第一章绪论 具有计算简单，并具有旋转、缩放、平移等不变性，因此被许多图像检索系 统采用，但是采用单一的颜色特征在某些图像检索中准确率不是很高。 ( 2 ) 颜色矩方法【1 习 另一种非常简单而有效的颜色特征使由s t r i c k e r 和o r e n g o 所提出的颜 色矩( c o l o rm o m e n t s ) 。这种方法的数学基础在于图像中任何的颜色分布均 可以用它的矩来表示，此外，由于颜色分布信息主要集中在低阶矩中，因此仅 采用颜色的一阶矩( m e a n ) 、二阶矩( v a r i a n c e ) 和三阶矩( s k e w n e s s ) 就 足以表达图像的颜色分布。与颜色直方图相比，该方法的另一个好处在于无 需对特征进行向量化，与其他的颜色特征相比是非常简洁的。在实际应用中为 避免低阶矩较弱的分辨能力，颜色矩常和其它特征结合使用，而且一般在使 用其它特征前起到过滤缩小范围( n a r r o wd o w n ) 的作用。颜色矩具有颜色 直方图的优点，也具有颜色直方图的缺点，计算也相对颜色直方图复杂。 ( 3 ) 颜色相关图方法【1 4 】 颜色相关图( c o l o rc o r r e l o g r a m ) 是图像颜色分布的另一种表达方式。 这种特征不但刻画了某一种颜色的像素数量占整个图像的比例，还反映了不 同颜色对之间的空间相关性。实验表明，颜色相关图比颜色直方图和颜色集 具有更高的检索效率，特别是查询空间关系一致的图像。假设i 表示整张图 像的全部像素，i 。，则表示颜色为c ( i ) 的所有像素。颜色相关图可以表达为： 彬2 。黥。，i p z li p , 一岛l = 七j 其中i ，j 1 ，2 ，n ) ，k 1 ，2 ，d ) ，ip ，一p ，表示像素 p j 和p ，之间的距离。颜色相关图可以看作是一张用颜色对 索引的表，其 中 的第k 个分量表示颜色为c ( i ) 的像素和颜色为e ( j ) 的像素之间的距离 小于k 的概率。如果考虑到任何颜色之间的相关性，颜色相关图会变得非常复 杂和庞大( 空间复杂度为o ( nd ) ) 。一种简化的变种是颜色自动相关图( c o l o r a u t o - c o r r e l o g r a m ) ，它仅仅考察具有相同颜色的像素问的空间关系，因此 空白j 复杂度降到0 ( n d ) 。颜色相关图的图像检索效果比上面两种方法都要好， 但是它的缺点就是计算量很大。 ( 4 ) t a m u r a 纹理方法i 。5 j 基于人类对纹理的视觉感知的心理学的研究，t a m u r a 等人提出了纹理特 征的表达。t a m u r a 纹理特征的六个分量对应于心理学角度上纹理特征的六种 属性，分别是粗糙度( c o a r s e n e s s ) 、对比度( c o n t r a s t ) 、方向度 ( d i r e c t i o n a l i t y ) 、线像度( 1 i n e l i k e n e s s ) 、规整度( r e g u l a r i t y ) 和 5 中南大学硕士学位论文第一章绪论 粗略度( r o u g h n e s s ) 。其中，前三个分量对于图像检索尤其重要。粗糙度的 计算可以分为以下几个步骤进行。首先，计算图像中大小为2 2 个像素的 活动窗口中像素的平均强度值，然后，对于每个像素，分别计算它在水平和 垂直方向上互不重叠的窗口之间的平均强度差。其中对于每个像素，能使e 值达到最大( 无论方向) 的k 值用来设置最佳尺寸。最后，粗糙度可以通过 计算整幅图像中s 。，( f ，) = 2 的平均值来得到。对比度是通过对像素强度分布 情况的统计得到的。方向度的计算需要首先计算每个像素处的梯度向量，当 所有像素的梯度向量都被计算出来后，一个直方图被构造用来表达0 值， 该直方图首先对0 的值域范围进行离散化，然后统计了每个b i n 中相应的i g i 大于给定阈值的像素数量，这个直方图对于具有明显方向性的图像会表现 出峰值，对于无明显方向的图像则表现得比较平坦，最后，图像总体的方向 性可以通过计算直方图中峰值的尖锐程度获得。 ( 5 ) 小波变换方法f 1 6 1 1 7 1 小波变换( w a v e l e tt r a n s f o r m ) 也是一种常用的纹理分析和分类方法。 小波变换指的是将信号分解为一系列的基本函数v 。( x ) 。这些基本函数都是 通过对母函数v ( x ) 的变形得到。二维小波变换的计算需要进行递归地过滤 和采样。在每个层次上，二维的信号被分解为四个子波段，根据频率特征分 别称为l l 、l h 、h l 和h h 。有两种类型的小波变换可以用于纹理分析，其中是 金字塔结构的小波变换( p y r a m i d s t r u c t u r e dw a v e l e tt r a n s f o r m 或p w t ) 和树桩结构的小波变换( t r e e s t r u c t u r e dw a v e l e tt r a n s f o r m 或t w t ) 。p w t 递归地分解l l 波段。但是对于那些主要信息包含在中频段范围内的纹理特征， 仅仅分解低频的l l 波段是不够的。因此，t w t 被提出来克服上述的问题。t w t 区别于p w t 的主要之处在于它除了递归分解l l 波段之外，还会分解其它的l h 、 h l 和h h 等波段。小波变换表示的纹理特征可以用每个波段的每个分解层次上 能量分布的均值和标准方差。例如三层的分解，p w t 表达为3 x 4 x 2 的特征向量。 t w t 的特征向量取决于每个子波段是分解方式。一般来说，由p w t 所得的特征 是由t w t 所得特征的一个子集。此外，根据在文献 2 1 中所作的性能对比，不 同的小波变换在对纹理分析方面没有很显著的差别。 ( 6 ) 共生矩阵法【1 8 l 基于共生矩阵法的纹理描述方法适用于纹理中的某一灰度级结构重复出 现的情况，它表现了纹理中不同灰度之i 日j 的空间关系依赖性。这种结构在精 细纹理中随着距离而快速变化，而在粗糙纹理中则缓慢地变化。假设在纹理 图像的某个部分是一个n x n 的窗口，| - 日j 距为d 的两个灰度级像素同时出现的联 合频率分布可以用灰度共生矩阵来表示。它描述了具有灰度级的两个像素， 中南大学硕士学位论文第一章绪论 在方向上间隔距离为d 的条件下，它在该窗口出现的最大频率。对粗纹理的区 域，其灰度共生矩阵中的值相对集中于主对角线附近，因为对于粗纹理，像 素对趋于具有相同的狄度。而对于细纹理的区域，其灰度共生矩阵中的值则 散布在各处。各个共生矩阵可以通过对距离和方向的各个组合来定义。对矩 阵有贡献的像素对总数m ，比物体内部像素的个数少，而且这个数目随着距离 的增加逐渐减少。因此，小物体的矩阵会相当稀疏。鉴于上述原因，常常减 少划分灰度级数目n ，以便于共生矩阵的计算。 ( 7 ) 形状无关矩方法【侧f 2 0 】【2 1 j 圈 形状无关矩( m o m e n ti n v a r i a n t s ) 是基于区域的物体形状表示方法。 h u 【1 明提出了一系列分别具有变换、旋转和缩放无关性的7 个矩。除了上述的 七种无关矩以外，还有许多计算形状无关矩的方法。在文献刚中，y a n g 和 a l b r e g t s e n 在g r e e n 定理的基础上提出了在二值图像中快速计算矩的方法。由 于许多有效的不变量都是从反复的实验中得到的，k a p u t 等开发了一系列算法 用来系统地寻找特定的几何不变性【2 1 j 。g r o s s 和l a t e c k i 还开发出了一种方 法，能够在图像数字化的过程中保持物体边缘的定性微分几何圈。另外，文 献( 2 0 】还提到了一种代数曲线和不变量的框架，用来在混杂的场景中表示复杂 物体，它用多项式拟合来表示局部几何信息，用几何不变量进行对象的匹配和 识别。 正如上面所述，各种图像检索方法都有自己的优点和缺陷，所使用的都是 图像的单一特征，有些直接以图像的颜色为特征进行检索，有些图像纹理作 为特征进行检索，有些则以形状特征进行检索。这种单一特征的检索准确率 不是很高，因此许多的图像检索系统采用多特征进行图像检索，这些方法我 们就不详细介绍。 1 2 2 索引技术 多年来，研究者提出了各种各样索引技术，这些索引技术大致的可以分 为四类：高维索引方法、降维方法、聚类方法、过滤方法。高维索引方法根 据数据索引的组织形式和演变过程，一般分为：r 树类、k d 树类、四叉树 类、网格文件、空间填充曲线和向量近似文件v a f 订e 等。1 9 8 4 年g u t t m a n 首次提出r 一树 2 3 1 的概念，它是b + 树在空间上的扩展，其数据以空间中的最小 包围矩形( m i n i m a lb o u n d i n gr e c t a n g l em b r ) 来表示。r + 树1 2 4 的提出就是为 了解决r 树中m b r 重叠造成的多重路径搜索问题。r 木树 2 5 1 的创新之处在于分 裂时提出了一种“强行再插入”的概念，i b m 公司的q b i c 图像检索系统就是 中南大学硕士学位论文 第一章绪论 采用了这种索引方法。s s 一树是一个类似r 一树的索引结构，但它使用的是最 小包围球( m b s s ) ，而不是最小包围矩形( m b r s ) ，尽管球形的使用减小了区域 的重叠从而使得s s - 树的性能超过了r 一树，但对于高维空间，球形也会产生 重叠。s r 一树【2 7 1 则是对s s 一树的扩展，并结合了s s 一树和r 树的概念，它共同 使用m b s s 和m b r s 作为近似区域。x 一树1 2 8 1 是r 爿c 一树对高维数据的扩展，它通过 记录树的划分历史来进行无重叠的划分。k - d - bt r e e 2 e 是一种k 维空间中的二 叉查找树，主要用于存储点数据。四叉树d 0 1 是一类常见的索引结构，与r 树 的不同是，四叉树属于基于空间划分的索引结构。网格文件( g r i df i l e ) p ” 是一种典型的基于哈希表的数据存取方式，它是由包含着很多与数据桶相联 系的单元网格目录来实现的。空间填充曲线的索引方法 3 2 1 的基本思想是：利 用空间填充曲线将高维空间的数据映射到低维空间，然后利用其它索引方法 对这些低维空间的数据进行处理，h i l b e r tr t r e e l 3 2 1 就是基于这一思想提出的。 v a f i l e 1 1 的基本思想是将高维点数据进行压缩和近似存储。最近， s a k u r a i 提出了a 树刚，i q 树阿，并引入了相关近似的概念，a 一树的基本思想 是使用虚拟边界矩形来近似表达最小边界矩形或最小边界对象， 这样在树的 一个节点上，会包含m b r 区域的位置的精确信息以及其孩子的相关位置的近 似信息，其性能超过了v 丘一f i l e 和s r 一树。 高维索引技术对维数低的特征向量非常有效，然而文献1 3 6 1 给出的数据实 验表明，当维数超过5 时，会急剧的降低系统的性能，甚至不如顺序扫描，因 此很多人提出了基于降维的方法。降维的方法是解决维度灾难的一个最直接 的途径，其主要思想是利用降维后的向量计算出来的近似距离代替精确距 离。它的基本过程是先利用奇异值分解、离散小波变换、离散余弦变换等方 法对数据集进行降维处理，然后利用传统的多维索引方法对降维后的数据建 立索引。q b i c 系统利用了主成分分析( p c a ) 把2 0 维的基于矩的形状特征 进行降维从而形成图像的索引。此外。由f a l o u t s o s 和l i n 等所提出的 f a s t m a p 算法【3 2 l 也是一个典型的降维方法，它的基本手段是使用多维缩放来 实现多媒体数据库的索引和可视化。 基于聚类的图像索引和基于过滤的图像索引是近来提出的一种新颖且有 效的方法。文献刚采用f a s t m a p 算法实现图像高维特征向量降维，并用改进 后的模糊c 均值聚类算法对降维后的图像进行聚类，生成图像索引。该算法 用于图像检索，检索时间不会随着图像数据库中图像数量、特征向量维数的 增加而增加，极大地提高了系统的检索效率，有效地解决了聚类中心初值的 选取问题。同时利用该算法构成的系统还具有动态删除、分裂、合并、插入 等功能。文献硼中首先将图像库中的n 个图像聚成r 类每个图像聚类都有一 8 中南大学硕士学位论文 第一章绪论 个代表样本，类中平均有n r 幅图像，在进行查询时，将示例图像分别与图 像库中的聚类代表样本进行匹配，找到与示例图像距离最近的聚类中心，或 者说是与示例图像最相似的聚类中心。则在该聚类中，用示例图像与类中每 一幅图像进行匹配，根据用户要求的相似度，将结果返回并排序。基于过滤的 方法是通过过滤一些向量以使得在检索中只需要访问较少部分的其余向量。 它可以通过多种途径实现聚类、分类以及潜在语义分析都是常用的过滤手段。 此外，在关系数据库中，利用一些结构化的简单属性先进行数据库的选择操 作也可以大大缩小搜索范围。 1 2 3 相关反馈技术 相关反馈技术发展至今大约十余年，许多学者提出了各种各样的相关反 馈技术方法。从相关反馈原理大致可以分为以下四类：查询向量转移的相关 反馈，权值调整的相关反馈，基于统计学习理论的相关反馈，基于机器学习 的相关反馈。 权值调整的方法是相关反馈最初提出时采用的方法 3 9 一, 4 1 , 4 2 , 4 3 。基于权值 调整的相关反馈方法的基本思想是：通过调整查询过程中不同特征向量j ； 的 权值系数，达到修改查询目标的方法。很多时候，用户对图像的局部关注程 度可能高于图像的全局；同时，用户也可能通过某些局部的相似性来判断两 幅图像是否相似。另外，在采用多特征进行相似度计算的图像检索系统中， 有时用户对检索的图像偏重于颜色，因此就要对颜色特征向量分配较重要的 权值，例如在检索风景图片时：而用户对检索的图像偏重于形状时就要对形 状特征向量分配较大的权值，例如检索动物图片时。因此通过用户的反馈对 检索出的图像是否相关的判断，系统可以调整各个局部的权值，越重要的部 分权值就越大。可以看出这个策略的重点是通过修改距离度量的公式获取用 户查询意图，而查询目标是不变的，所以它适用于用户清楚自己的查询目标 的情况下。该方法在一定程度上提高了检索准确率，然而该方法存在用户反 馈样本数量少、没有积累以前用户反馈的信息、检索速度不快等问题。 最早提出查询向量转移的相关反馈方法的是r l i i 3 8 】，他的基本思想是：图 像的低层特征用一个向量表示，假定查询向量点代表了用户的查询意图，而 相关图像的选择代表了用户对图像的“感觉相似性”评价，移动查询点试图 改进对理想查询点的估计，就是将查询点移向好的范例点而远离坏的范例点。 对于用户提交的正反馈集合图像和负反馈集合图像，用户在原来查询向量的 基础上，增加正反馈集合图像平均向量的比例，降低负反馈集合图像平均向 9 中南大学硕士学位论文第一章绪论 量的比例来修币查询向量。该方法修改的是查询目标，所以适用于用户不太 清楚查询目标的情况下，根据用户的反馈标记结果，通过修改查询向量值在 一定程度上提高了图像检索的准确率；但是该方法也存在用户反馈样本数量 少、没有积累以前用户反馈的信息、检索速度不快等问题。 基于统计学习理论的相关反馈方法采用概率框架来描述相关反馈问题。 其中主要的方法是把相关反馈看成一个两类( 相关和不相关) 分类问题，采用 统计模式识别的方法来求解。文献一5 l 中的方法也等价于在假设相关图像的 特征服从高斯分布的情况下，采用极大似然估计( m l e ) 来估计高斯分布的参 数在c o x 等人的工作中i 蛔，首先定义了给定用户目标图像的情况下用户在交 互中的行为模型，然后通过对当前用户行为的观察，根据贝叶斯规则来预测目 标图像。w u 等人【4 h 针对相关反馈问题中训练样本少的困难，提出了一种基于 贝叶斯规则的相关反馈概率框架，它在利用标记样本的同时考虑了全体样本 ( 标记和未标记的样本) 的分布特点以提高检索性能。然而这些方法普遍存在 的问题就是没有积累用户反馈的知识，检索时反馈的速度也不快。 基于机器学习的相关反馈方法是一种比较新颖的反馈方法，许多学者将 相关反馈看作模式识别中的有监督学习或分类问题，利用成熟的、较为新兴 的机器学习理论，如：支持向量机( s v m ) 【4 8 ，柏，5 0 、决策树 s z l 、神经网络1 5 们、 基于内核的学习、b o o s t i n g 等，通过对样本集的学习，得出用户查询目的与 图像特征之问对应的模型，然后根据学习的模型指导新一轮的检索。上面提 到的这四种相关反馈方法得到了广泛的应用，在某些实际的应用领域也取得 了很好的效果 1 3 研究内容及章节安排 本文主要的研究了四个方面的内容：低层特征提取技术、索引技术、相关 反馈技术、图像检索系统的实现以及实验结果。下图1 一l 给出了本文研究的 整个系统的检索结构框图，论文的结构安排如下： 1 0 中南大学硕士学位论文第一章绪论 图1 - 1 图像检索系统结构框图 第一章：引言。主要介绍了基于内容的图像检索的研究意义，国内外研究 现状、主要的研究方法，包括特征提取方法、索引方法、相关反馈方法等。 第二章：低层特征的提取。主要介绍了颜色词颜色直方图，改进的自适应 加权的颜色词直方图以及二值信息的颜色、形状、纹理特征的提取方法。 第三章：索引技术研究。介绍了基于s o o n 聚类的方法，并提出了基于s o o n 聚类的图像索引，在此基础上，提出了基于相似度聚类的动念树索引。 第四章：相关反馈技术研究。介绍了三种基于机器学习的相关反馈方法， 基于b s v m 的相关反馈方法、基于b b s v m 的相关反馈方法，基于l b b s v i l i i 的相 关反馈方法。 。 第五章：基于内容的图像检索系统。本章是对本文的一些关键技术的综合 运用，提出了相应的基于内容的图像检索系统，包括多种检索方式的设计， 相似度计算、检索算法等。 第六章：总结与展望。对本文的研究进行了全面的总结，并对进一步的研 究工作进行了展望。 中南大学硕士学位论文第二章图像特征提取 第二章图像特征提取 2 1 引言 图像特征的提取与表达是基于内容的图像检索技术的基础。从广义上讲， 图像的特征包括基于文本的特征( 如关键字、注释等) 和视觉特征( 如色彩、纹 理、形状、对象表面等) 两类。由于基于文本的图像特征提取在数据库系统和 信息检索等领域中已有深入的研究，这里主要介绍图像视觉特征的提取和表 达。在图像检索中，通常所说的视觉特征是指用于描述所有图像共有的特征， 与图像的具体类型无关，主要包括颜色、纹理、位置和形状等。 基于内容的图像检索中特征提取有着很重要的意义，一方面，图像特征提 取是图像检索过程一个很重要的步骤，所提取的特征直接影响后续的图像相 似匹配过程、检索有效性等；另一方面，随着计算机技术、网络技术、多媒 体技术的发展，网络上储存了大量的各种各样的图片，这些图片它们的类型 各不相同，有些图像适合颜色特征，有些适合纹理特征，有些可能适合用形 状特征表示，而有些图片这些特征都不适合，因此这需要我们提取出图像中 的各种新颖的适合的特征来表示图像。而且，图像检索中提取的新颖的适合 的特征对别的领域也有着广泛的