（通信与信息系统专业论文）结合语义特征的图像检索系统研究.pdf

华北电力大学硕士学位论文摘要 摘要 本论文对结合语义特征的图像检索系统进行了设计，利用v i s u a lc + + 为 丌发工具，a c c e s s2 0 0 0 为图像及特征存储的数据库，借助d a o 接口连接系统 和数据库，实现了基于内容的图像检索系统。参考人类认识和分析事物的过 程，系统把图像内容分为背景和对象，分别对背景和对象提取相应的视觉特 征，用来作为检索的参数，进行图像检索。系统中还可加入用户的参与机制， 由用户对检索结果进行评价，借此来调整各特征参数的权重，使检索一步步 按用户的要求进行，直到在视觉和语义上都符合用户的需要。文中系统阐述 了基于内容图像检索技术的概念及特点，对各特征提取算法及相关反馈技术 进行了研究和探讨，最后对本课题作了总结和进一步工作的展望。 关键词：图像检索，图像分割，语义，相关反馈 a b s t r a c t t h i st h e s i si sd e s i g n e df o ri m a g er e t r i e v a ls y s t e mc o m b i n i n gs e m a n t i c f e a t u r e u s ev i s u a lc + + a sd e v e l o p m e n tt o o l ，a c c e s s2 0 0 0 a s i m a g ea n d f e a t u r ed a t a b a s e ，h a v ea i d so f d a oi n t e r f a c ec o n n e c t i n gs y s t e ma n dd a t a b a s e h a v er e a li z e dc o n t e n t b a s e di m a g er e t r i e v a ls y s t e m r e f e rt op r o c e s so f u n d e r s t a n d i n ga n da n a l y s i n go fh u m a n ，i m a g eb e i n gd i v i d e di n t ob a c k g r o u n d a n do b j e c t ，d r a wc o r r e s p o n d i n gv i s u a lf e a t u r er e s p e c t i v e l ya sp a r a m e t e r o fr e t r i e v a l ，c a r r yo u t i m a g er e t r i e v a l t h es y s t e mm a ya c c e p t u s e r p a r t i c i p a t i o na sa p p r a i s ef o rr e t r i e v a lr e s u l t ，r e s o r tt oi ta d j u s t i n gt h e w e i g h to fe a c hf e a t u r ep a r a m e t e r ，m a k et h er e t r i e v a ls t e pb ys t e pg o i n g o na c c o r d i n gt ot h er e q u i r e m e n to fu s e r ，u pt oa c c o r dw i t ht h en e e d so f u s e ro nv i s i o na n ds e m a n t i c c o n c e p ta n dc h a r a c t e r i s t i co fc b i rt e e h n o l o g y h a v e b e e ne l a b o r a t e d ，e x t r a c ta l g o r i t h mf o re a c hf e a t u r ea n dr e l a t e d f e e d b a c kt e c h n o l o g yw a sd i s c u s s e d ，f i n a l l ys u m m a r ya n dp r o s p e c to ft h ec b i r t e c h n o l o g yw a s m a d e s h iw e i ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o fy up i n g k e y w o r d s ：i m a g er e t r i e v a l ，i m a g es e g m e n t a t i o n ，s e m a n t i c ，r e l e v a n c e f e e d b a c k 声明 本人郑重声明：此处所提交的硕士学位论文结合语义特征的图像检索系统 研究，是本人在华北电力大学攻读硕士学位期间，在导师指导下进行的研究工 作和取得的研究成果。据本人所知，除了文中特别加以标注和致谢之处外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得华北电力大学或 其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 学位论文作者签名：! 生垒日期 e e | 6 关于学位论文使用授权的说明 本人完全了解华北电力大学有关保留、使用学位论文的规定，即：学校有 权保管、并向有关部门送交学位论文的原件与复印件；学校可以采用影印、缩 印或其它复制手段复制并保存学位论文；学校可允许学位论文被查阅或借阅； 学校可以学术交流为目的，复制赠送和交换学位论文；同意学校可以用不同 方式在不同媒体上发表、传播学位论文的全部或部分内容。 ( 涉密的学位论文在解密后遵守此规定) 作者签名： 日期 导师签名 西6 日期： o i 、b 华北电力大学硕士学位论文 1 1 课题的提出 第一章引言 随着多媒体技术、计算机技术、通信技术及i n t e r n e t 网络的迅速发展，人们 越来越多地接触到各种各样的信息。互联网的动态性和增长性，为人们提供了一个 取之不尽、用之不竭的多媒体信息源。然而互联网上不断增加的信息量也将人们带 入了无所适从的困境，信息爆炸使人们面临着一个严峻的问题，即如何管理这些日 益增长的信息，如何快速准确的查询到所需要的信息。 据统计，人类接受的外部信息，7 0 以上来自视觉。视觉信息可以自然、贴切、 真实地反映周围景物的本来面貌，所以对于信息获取至关重要。图像作为一种内容 丰富，表现直观的多媒体信息，长期以来一直受到人们的青睐。每天人们熟知的天 气预报离不开卫星云图的帮助，公安人员迅速破案需要大量的罪犯图像信息作为辅 助，网上时兴的电子购物，也多是以图像的形式向用户展现商品的。各种各样应用 需求的出现，使得图像信息的有效检索成为迫切需要解决的问题。对于图像的管理， 早期采用文件的管理方式。到了上世纪7 0 到8 0 年代期间，对图像数据的管理是对 图像赋予属性信息，并且在关系数据库中把这些属性看作格式化的数据，图像的检 索仅仅局限于这些图像属性的字符串的匹配，其主要方法是对图像文件建立关键词 或文本标题以及一些附加描述信息，然后将图像的存储路径和图像关键词之间建立 联系。基于文本关键词的图像检索技术简单方便，也有成熟的数据库理论和应用系 统的支持，但是它不能充分描述图像的丰富内涵，从而造成实际应用上的困难。一 般说来基于文本关键词图像检索的主要缺点有：人工标注费时费力，而且容易出错， 特别是当数据库很大的隋况下这个缺点更加突出。图像包含的意义非常丰富，“一 幅图像胜过千言万语”，区区几个文字是很难充分表达图像内涵的，于是基于内容 的图像检索技术应运而生。 1 2 基于内容的图像检索技术 2 0 世纪9 0 年代出现了基于内容的图像检索( c o n t e n tb a s e di m a g er e t r i e v a l ， c b i r ) 技术，即对图像内容的视觉特征如颜色、纹理、形状等进行检索，计算机通 过对图像视觉特征和上下文联系的分析，提取出图像的内容特征作为索引来得到需 要的图像。 基于内容的图像检索主要研究内容是在数字图像处理基础上的视觉特征提取、 多维索引以及检索系统设计。它主要利用了图像本身包含的客观的视觉特征，图像 华北电力大学硕士学位论文 的相似性不需要人来解释，体现在视觉相似性上。这使得它不需要或者仅仅需要少 量的人工干预，在需要自动化的场合有大量应用。 基于内容的图像检索不同于传统的图像理解和目标识别技术，它是一种信息检 索技术，要能够从大型数据库中以用户可以接受的响应时间，尽量以与领域无关的 方式检索所需要的数据库。它不必考虑对象的分类和识别，更关注的是基于内容的 快速查找和发现。换句话说，基于内容的图像检索属于信息过滤技术，在检索过程 中，由用户最终决定采用哪些和废弃哪些图像。通过检索结果评价和查询细化，用 户逐渐逼近需要的图像类。由于基于内容的图像检索是面向图像数据库查询的，而 一般检索表达并不能充分反映检索要求，因此在应用中往往并不要求查询结果是图 像库中的所有相似图像，而允许有漏检。 综上所述，基于内容的图像检索有如下特点： ( 1 ) 图像内容中提取信息线索。基于内容的检索突破了传统的基于关键词检索 的局限，它直接对图像进行分析并抽取特征，使得检索更接近媒体对象。 ( 2 ) 提取的特征多样化，包括形状特征、颜色特征、纹理特征、轮廓特征等。 ( 3 ) 基于内容的检索是一种近似匹配。在检索过程中，通常采用逐步求精的办 法，不断减小查询结果集合的范围，直至定位到目标。 1 3 国内外研究现状 自9 0 年代以来，基于内容的图像检索已成为一个非常活跃的研究领域。i b m 公司的q b i c 系统是第一个商品化的图像检索系统，实现了基于颜色、纹理和形状 的组合查找以及文字关键字的查询。q b i c 还是少数几个考虑了高维特征索引的系 统，能够使用户快速简洁地对可视化信息进行筛选；美国哥伦比亚大学的 v i s u a l s e e k 查询系统可以直接从压缩数据中提取视觉特征，检索过程中使用了图像 区域之间的空间关系。为加快检索速度，还使用了基于二叉树的索引算法；伊利诺 斯大学的m a r s 系统注重于如何将不同的视觉特征组织成有意义的检索体系，以动 态地适应不同用户和应用场合的需要。它第一个正式提出相关反馈技术，并应用于 检索的不同层次中。它通过区域分块和聚类把图像划分成若干个块，提取图像块的 视觉特征进行检索；v i r g e 公司开发的v i r a g e 系统是由多个独立的模块组成，这些 模块不同的组合可以构成不同的程序模式，这使得它支持颜色、颜色布局、纹理、 形状的任意组合查询，而且用户可以根据自己的要求调整各特征的权重；e x c a l i b u r 技术公司的r e t r i e v a l w a r e 将神经网络算法用于图像检索中，是一个比较成功的数 据库应用产品：加利福尼亚大学的n e t r a 是一个图像检索原型系统，它结合了强健 的自动化图像分割算法，首先将图像进行分割，对每一图像区域提取颜色、纹理、 形状和空间布局信息，并根据用户的选择，查找并返回包含与用户兴趣区域相似的 2 华北电力大学硕士学位论文 图像；m i t 多媒体实验室的p h o t o b o o k 在图像装入数据库时按人脸、形状或纹理特 征自动分类，然后根据类别通过显著语义特征压缩编码。在它的新版本中，提出了 模型社区的方法，在特征提取时探测图像中的人物并加以标注：德克萨斯大学的 c i r e s 系统，把图像结构作为高层语义线索，利用图像中的直线、连接点、l 线形、 u 线形、平行线、多边形抽取语义信息，提高检索正确率。 国内的一些高校和研究机构也有这方面的研究，开发了一些原型系统，但成熟 的商品化应用系统还很少。浙江大学完成了基于图象颜色和基于图象形状的原型系 统。中国科学院计算技术研究所的图象检索系统m i r e s 按照颜色、形状、纹理等 特征对图象进行检索，采用基于s v m 的语义分类，并用核判别式分析解决多类问题。 此外，系统还加入用户反馈，不断调整特征参数以得到更佳的效果。 目前很多著名的搜索引擎都有了自己的图像检索引擎。g o o g l e ( h t t p ：w w w g o o g l e c o m a d v a n c e d i m a g e s e a r c h ? h l = z h c n ) 通过关键字傲检 索，同时在检索范围内可以指定图像的大小，图像的格式，图像的色调等等。 y a h o o ( h t t p ：g a l l e r y y a h o o c o m ) 支持基于关键字的检索，同时将图像分门别类 成了各种类别，用户可以按类别浏览。 国际标准m p e g 一7 对图像内容特征( 如颜色、纹理、形状等) 进行了描述，为图像 检索提供了标准化接口。目前基于内容的图像检索主要集中在基于视觉特征的查 询，但是由于没有利用外部知识，只在特定的应用领域获得了成功。虽然基于语义 的查询符合人的使用要求方式，但是由于目前计算机视觉和图像理解的发展水平， 使实现这种方式的查询存在一定困难，还没有一个完整的基于语义的图像描述内容 方案来支持实际的检索过程。如何从图像的物理特征中自动提取语义特征，是一个 难题，目前提取图像语义信息最常用的方法是基于内容的图像分类、聚类和基于人 机交互的相关反馈方法。 1 4 课题研究的意义和主要内容 1 4 1 课题研究的意义 基于内容的图像检索是一种实用性很强的技术，有着广阔的应用前景，涉及到 社会和生活的许多方面。 ( i ) 数字图书馆。数字图书馆是对传统图书馆的根本性变革，它将所有有用 的多媒体信息资源用数字的形式进行表示，根本目标是为数字多媒体信 息的收集、存储和组织提供一个快速有效的方式，从而是的人们可以通 过网络用基于内容的方式来处理和检索这些信息。 ( 2 ) 医疗。基于内容的图像检索可用于医疗诊断和决策支持。现在越来越多 华北电力大学硕七学位论文 的医院都配备了图像档案和通讯系统，每年医院都会生成大量的x 一线、 磁共振图像和c t 图像等医疗图像，有效的基于内容的图像管理和检索系 统将帮助医生找出历史上相似的病例。通过研究相似历史病例的诊断和 治疗方案，医生将更好地理解新病例，并做出更好的医疗方案。 ( 3 ) w e b 相关的应用。现在互联网已成为在线图像的最大载体，实现w e b 图像 的快速索引和检索是一件振奋人心的课题。 除了上述应用外，基于内容的图像检索还可以用于许多其他方面，如：建筑、 室内设计：遥感和地球资源管理( 卫星农业分布，森林采伐，交通等) ；图像分类 ( 过滤网上不健康的图片，视频等) ；军事( 雷达，空间，卫星目标识别等) ：工业 ( 纺织品，时装设计) ；版权保护( 商标，图片拷贝侦测等) ；公共安全和犯罪调查 ( 指纹识别，面部识别等) ；文化( 画廊，博物馆) 。 1 4 2 课题的主要内容 基于内容的图像检索的首要目标就是快速有效的数据及信息获取，为此本课题 主要侧重于从一般意义上研究面向广域图像的数据模型、检索方法及查询方式等问 题。其中的研究重点在于视觉特征提取及描述、图像分割、区域特征提取及描述、 基于区域的多特征检索等。本课题的主要内容总结如下： ( 1 ) 本课题设计了一个基于内容的图像检索系统框架。该框架包括特征提取、特 征匹配和相关反馈三大部分。首先对图像进行处理便于特征信息的提取，然后提取 各种视觉特征并存入相应的数据库。在对查询图像检索匹配时，首先对查询图像进 行处理，提取出特征信息，再把该特征向量和数据库中的特征向量一一匹配，检索 结果经筛选后按相似顺序由大到小进行排列并返回给用户。 ( 2 ) 系统全部采用m i c r o s o f tv is u mc + + 6 0 面向对象程序语言设计完成，并且 充分利用了m f c 的强大功能，并与m i c r o s o f ta c c e s s2 0 0 0 数据库相结合，具有软 件模块化、易维护、易更新的特点。 ( 3 ) 建立系统的计算匹配机制，计算检索图像和库中图像综合特征的距离，根据 相似度大小进行排序，给用户显示相似度较高的图像。 ( 4 ) 实现基于颜色特征的检索，按照人的视觉分辨能力，对颜色特征进行量化， 把三维的颜色数据综合为一维7 2 柄数据，减小了数据库内的数据量，提商了检索 速度。 ( 5 ) 利用图像的灰度信息得到灰度共生矩阵，计算0 0 ，4 5 0 ，9 0 。，1 3 5 0 四个方向共 生矩阵的纹理特征，实现对图像纹理的描述。结合颜色特征，并对特征归一化，可 进行综合颜色和纹理特征的查询。 ( 6 ) 研究比较各种经典图像分割算法，采用可结合象素空间关系的区域生长的方 法，把h s v 空间的相似图像数据进行合并，使图像分为若干块区域。然后根据画面 4 华北电力大学硕士学位论文 构造的特点，把背景区域逐渐消除，最后得到图像中的对象，从而实现简单场景图 像的对象、背景分离。 ( 7 ) 利用支持向量机的二分类特性，对相关反馈算法进行了研究。用户对检索给 出的结果图像进行标注，分别标注为相似和不相似两类，然后系统根据用户的意见 调整检索过程中各特征的权值，按调整后的权值进行检索，直到结果符台用户的语 义要求。也即在相似图像样本和非相似图像样本之间找到一个分界面，正确区分相 似和非相似图像。 华北电力大学硕士学位论文 第二章图像检索中用到的基本特征 图像检索是对计算机自动提取的图像特征进行比对，找出相似图像。图像特征 的提取是基于内容的图像检索的基础。本章对各特征的提取与表示方法进行了研 究。 2 1 颜色特征 颜色是彩色图像最显著的特征，与其他特征相比，颜色特征具有非常稳定，对 于旋转、平移、尺度变化都不敏感的特性，表现出很强的鲁棒性。又由于颜色特征 计算相对简单，因此基于颜色的查询成为现有基于内容的图像检索系统中应用最基 本的方法。 2 1 1 颜色空间模型 最近一百多年以来，为了满足各种不同用途的需求，人们已经开发了许多不同 名称的颜色空间。颜色空间数不胜数，从颜色感知的角度来分类，可分为以下三类： 1 、混合型颜色空间：按三种基色的比例合成颜色。例如，r g b ，c m y ( k ) 和x y z 等颜色空间。 2 、非线性亮度色度型颜色空间：用一个分量表示非色彩的感知，用两个独立 的分量表示色彩的感知。当需要黑白图像时，这样的系统非常方便。例如，l * a * b ， l * u * v ，y u v 和y i q 等颜色空间。 3 、强度饱和度色调型颜色空间：用饱和度和色调描述色彩的感知，可使颜 色的解释更直观，而且对消除光亮度的影响很有用。例如，h s i ，t t s l ，h s v 和l c i t 等颜色空间。 目前几乎所有的颜色空间都是从r g b 颜色空间导出的，下面主要讨论r g b 空间 和与人视觉特性比较相似的h s v 空间。 2 1 1 1r 6 b 颜色模型 当建立彩色图像时，大部分情况下都会选择r g b 模式。这种模式是屏幕显示的 最佳模式，它由三种基本颜色组成：红、绿和蓝。r g b 彩色模式又称为加色模式， 因为红、绿、蓝三色相加为白色，所以每叠加一次具有红、绿、蓝亮度的颜色，总 亮度就会增加。一个2 4 位的r g b 图像有三个色彩通道( 分量) 组成，即红、绿和 蓝，每个通道都有八位色彩信息：从0 ( 黑色) 至2 5 5 ( 纯白色) 的亮度值色域。 三个通道组合出1 6 7 7 万种颜色。 r g b 模型的空间是个正方体，原点对应黑色，离原点最远的顶点对应白色。在 华北电力大学硕士学位论文 这个模型中，从黑到白的灰度值分布在从原点到离原点最远顶点间的连线上，而立 方体内其余各点对应不同的颜色，可用从原点到该点的向量表示。一般为方便起见， 总将立方体归一化为单位立方体，这样所有的r ，g ，b 的值都在区间 0 ，1 之中。 r g b 空间模型如图2 1 1 所示。 蓝( 0 ，0 ，1 ) 青( o ，l ，1 ) 品红 ( 1 ，o ，1 ) 第卜、 ( o ，0 ，0 ) 红( 1 ，0 ，o ) 图2 1 1r g b 彩色立方体空间模型 绿( 0 i ，0 ) 特例，当三种分量的绝对值相等时，结果是灰色。随着三个分量值，由0 增至 2 5 5 ，颜色由黑色逐步变灰、变淡，直至白色。这种模式的色彩超出了打印色彩的 范围，打印结果往往会损失一些亮度和鲜明的色彩。但所有扫描仪、显示器、投影 设备、电视机及电影屏幕都使用i t g b 色彩模式。r g b 颜色模型是面向硬件的，为硬 件描述色彩所采用，而人的视觉只能大致分辨出物体的颜色，比如对一块看上去蓝 色的布匹，他很难说出r 、g 、b 的分量各占多少，可见r g b 颜色模型与人的视觉感 知不甚符合。 2 1 1 2 h s v 颜色模型 在各种颜色模型中，h s v 模型( 色调、饱和度、亮度) 以人类对颜色的感觉为 基础，描述了颜色的三种基本特性。色调与饱和度台起来成为色度，故颜色可由色 度分量和亮度分量组成。色度分量与亮度分量是可分离的，图像的彩色信息与亮度 无关，只由色调和饱和度有关。这些特点使得h s v 模型非常适合基于人的视觉系统 对彩色感知特性进行处理分析的图像算法。 l 、色调( h u e ) 色调是从物体反射或透过物体传播的颜色。在0 到3 6 0 度的标准色轮上， 按位置度量色调。通常情况下，色调是由颜色名称标识的，比如红色，橙色或 绿色。 2 、饱和度( s a t u r a t i o n ) 饱和度，有时也称彩度，是指颜色的强度或纯度。饱和度表示色相中灰色 华北电力大学硕士学位论文 分量所占的比例，使用从0 ( 灰色) 到1 0 0 ( 完全饱和) 的百分比来度量。 在标准色轮上，从中心向边缘饱和度是递增的。 3 、亮度( v a l u e ) 亮度是颜色的相对明暗程度，通常用从0 ( 黑) 到1 0 0 ( 白) 的百分比 来度量。亮度与物体的反射率成正比，如果无彩色就只有亮度l 维量的变化。 对彩色来说，颜色中掺入白色越多就越明亮，掺入黑色越多亮度就越小。 青 o o 图2 1 2 红0 0 f o o 3 6 0 0 ) s ( 0 h 1 ) h s v 空间模型的坐标系统 如果色点在v 轴上，即s 值为0 ，则h 没有定义，这些点成为奇异点。奇异点 的存在是h s v 模型的一个缺点，而在奇异点附近，r ，g ，b 值的微小变化会引起h ，s ，v 值的明显变化。在进行颜色空间转换时，若s = 0 ，对应无色，定义此时h 为0 。另 外，当v = 0 或v = 1 时，讨论s 也没有意义。 2 1 1 3 颜色模型间的转换 从r g b 立方体的白色顶点，顺主对角线向原点方向投影，可得到个正六方形， 如图2 1 ，3 所示。此六边形是h s v 圆锥顶面的一个真子集。 r g b 立方体中所有顶点在原点，侧面平行于坐标平面的子立方体往上述方向投 影，必定为h s v 圆锥中某个与v 轴垂直的界面的真子集。因此，可以认为r g b 空间 的主对角线，对应于h s v 空间的v 轴。下面给出两个模型之间的转换算法： 华北电力大学硕士学位论文 青 绿 黄 红 蓝 品红 图2 1 3r g b 在主对角线的投影 给定r g s 颜色空间的值( f ，g ，b ) ，r ，g ，b e 0 ，1 h s v 空间的h ，s ，v 值计算如下： 设v = m a x ( r ，g ，b ) 则v = v 2 5 5 s = v 。一m i n ( r ，g ，b ) v 。 h = ( 5 + b ) ， ( 1 一g ) ， ( 1 + 厂) ， ( 3 一b ) ， ( 3 + g ) ， ( 5 一，) “，2 5 5 j ，则转换到 ( 2 1 1 ) ( 2 1 2 ) ( 2 1 3 ) 矿，= m a x ( r ，g ，6 ) a n dg = m i n ( r ，g ，b ) 矿r = m a x ( r ，g ，b ) a n dg m i n ( r ，g ，6 ) i fg - - - - m a x ( ? ，g , b ) n 材6 = 曲( ，g ，6 ) ( 2 1 4 ) i fg = m a x p ，g ，6 ) a n db m i n ( r ，g ，6 ) i fb = m a x ( r ，g ，6 ) a n dr = m i n ( r ，g ，b ) o t h e r w i s e h = 6 0 h ( 2 1 5 ) 其中r ，g ，b 定义为 卜f 而y - r ，g i 而v - - g ，b + = v - m 生i n ( r , g , b ) ( 2 1 6 )卜f 面丽8 一f 面丽山一2 1 6 这里h 0 ，3 6 0 ，s 0 ，1 ，v e 0 ，1 。 同样h s v 颜色值也能用公式转换成r g b 值。 2 1 2 图像颜色特征的提取 颜色特征的表达主要有统计直方图、累积直方图和颜色布局三种。简单直方图 匹配算法主要有颜色直方图、颜色一致性矢量、颜色相关图、颜色矩等。颜色直方 图的比较是最基本方法，但缺乏图像的空间信息；颜色一致性矢量方法不仅统计了 整幅图像中各颜色的像素值，还统计了图像中各颜色最大区域的像素值，效果较好， 华北电力大学硕士学位论文 但它并没有强调各颜色最大区域的形状以及与背景的关系；颜色相关图法强调同一 颜色在图像中的空间距离相关性，其检索效果比上述几个方法都要好，但计算量比 较大：颜色矩算法主要是采用图像中各颜色的均值和方差作比较，处理简单，可用 它作为图像检索的初检，为下一步的细检缩小搜索范围。 颜色特征在图像检索中占有重要位置，但其固有的光照敏感性也限制了其使用 范围。 颜色是图像检索中最先被采用的特征，通常采用r g b 三色表示。为使表示法更 符合人眼视觉特性，比较时一般要把r o b 空间转换到其他颜色空间中处理。m u n s e l l 、 h i s 、h s v 、h s b 都是面向视觉感知的颜色模型。课题中把r b g 空间模型转换为h s v 空间模型进行颜色特征的统计。 人眼对h 值较敏感，对s 、v 值的感知较弱，下面就将h s v 三个分量按照人的 颜色感知进行非等间隔的量化： ( 1 ) 按照人的视觉分辨能力，把色调h 空间分成8 份，饱和度s 和亮度v 空间 分别分成3 份。 h ( 2 ) 根据色彩的不同范围和主观颜色感知进行量化。 0 矿h 【3 1 6 ，3 5 9 1 u o ，2 0 】 1 矿h 【2 1 ，4 0 】 2 矿h 【4 1 ，7 5 】 3vh e 【7 6 ，1 5 5 】 4 矿h 【1 5 6 ，1 9 0 】 5 矿h 【1 9 1 ，2 7 0 】 6 矿h 【2 1 ，2 9 5 】 7 矿h 【2 9 6 ，3 1 5 】 s = 仨 矿v 【0 , 0 2 】 矿v 【0 2 ，0 7 】( 2 1 7 ) 矿v 【0 7 ，1 】 ( 3 ) 根据光学理论，物体的颜色与光的波长和频率有关。不同的色光在真空中 的波长和频率的范围不一样，因此可以将色调进行不等间隔量化。 ( 4 ) 构造一维特征矢量。按照以上的量化级，把3 个颜色分量合成为一维特征 矢量： g = h q s m + s q v + v ( 2 1 8 ) 其中，q s 和q v 分别是分量s 和v 的量化级数，这里q 。= 3 ，q v = 3 。因此式( 2 1 8 ) 实际上为： g = 9 h + 3 s + v( 2 1 9 ) 这样，h ，s ，v 三个分量在一维矢量上分布开来。根据式( 2 9 ) ，g 的取值范 围为 0 ，l ，7 1 ，计算g 获得7 2 柄( b i n ) 的一维直方图。 下图是把h s v 空间颜色各特征值进行不等间隔量化并综合后，统计的颜色直方 图( 已经进行了直方图的归一化) ： 1 0 嗍搿扩扩扩 华北电力大学硕士学位论文 图2 1 4根据图像h s v 空间颜色分布提取的颜色直方圈 2 1 3 颜色特征的相似度量 对于一种颜色特征表示，其距离度量方法又可以有很多种，例如直方图相交、 直方图的欧式距离、直方图余弦距离、二值集汉明距离、直方图二次距离度量、二 值集二次距离、直方图m a h a l a n o b i s 距离。这里我们只简要介绍一下系统中常用的 直方图的交、直方图的欧式距离两种距离度量方法。 i 、直方图相交方法 直方图相交方法，根据颜色索引检索出查询图像的颜色直方图，将其与图 象库中的每一图像的直方图取交集，根据交集的值来选出最佳匹配图像。 令h q ( k ) 和h d ( k ) 分别为查询图像q 和数据库图像d 的颜色直方图，则两 图像之间的匹配值p ( q ，d ) 可借助如下公式计算： l - 1 m i n h o ( 七) ，h 。( i ) p ( q ，d ) = 塑下广一 如( 七) k = o p ( q ，d ) ( 0 ，1 ) ，它的值越接近1 ，则两图像越相似。 直方图相交方法能对两幅图像进行详细的比较，然而对于许多合成的图像，如 商标等，他们有大量的一致颜色使得三维直方图只有几个域的值很高，而其他许多 域的颜色信息变化有限。因而，对于这样的图像进行过细的比较是不必要的。又由 于在扫描图像时容易产生一些噪音，所以这种过细的比较容易产生错误的结果。 华北电力大学硕士学位论文 2 、欧式距离方法 直方图间的距离可使用一般的欧式距离函数m e ( q ，d ) 来衡量 ( q d 户悖蹦f ) 卅d ( f 汗 也可以使用加权距离函数m w ( q ，d ) 来衡量： 啪，= 辱磊 其帆= 豢2 嚣茹 如果采用归一化直方图，则w i l ，即加权距离要小于欧式距离。 2 1 4 图像查询示例 系统中采用c o r e l 图象库中的1 0 0 0 幅图像来进行测试，其中分别有自然风景、 人工建筑、恐龙、汽车、大象、花卉、马、雪山、食物等图片。 检索有效性的两个距离度量是查全率和查准率。查全率表明在整个图象库中检 索到的相关图像所占的比例：查准率表明检索到的与查询相关的图像所占的比例。 查全率和查准率越高，说明该检索算法的效果越好。但由于人对图像内容认知上的 主观性，使得定义一个客观的评价标准存在很大困难，一般以人的主观感受为准。 查全率= 蔫豁蒜警 查准率= 等煞恭警 以下是系统的几个检索示例： 输入检索图像是黄色花朵，检索结果大都是黄色的或和黄色接近的花朵图像。 检索图像是红色花朵，检索结果几乎全部是红色花朵。检索黄色花朵时出现的其他 颜色花朵是因为数据库中黄色花朵数目有限，系统按相似度进行排序，其他颜色花 朵图像颜色直方图分布和检索图像颜色直方图分布比较接近。这充分说明了基于内 容的图像检索技术表现的是相似度，而不是“象”还是“不象”。 华北 u 力人学顼十学澎论文 图2 i 5以黄色花朵作为检索图像的查询结果 图2 i 6以红色花朵作为检索图像的查询结果 华北电力大学硕士学位论文 2 2 纹理特征 纹理是描述图像时常用的一个概念，通常被看作图像的某种局部性质，或是对 局部区域中象素之间关系的一种度量。纹理特征也可用来对图像中的空间信息进行 一定程度的定量描述。 对纹理图像的描述常借助纹理的统计特性或结构特性进行，对基于空域的性质 也常可转换变换到频域进行研究。 2 2 1 纹理的定义和各种特征提取方法 纹理是与物体表面材质有关的图像内在特征，可以把纹理描述为：一个邻域内 象素灰度级变化的空间分布规律，包括表面结构组织与周围环境关系的许多重要信 息。而纹理的精确定义至今还未给出，一般地说，纹理就是指在图像中反复出现的 局部模式和它们的排列规律。它不能单纯的由颜色或密度得到，目前也是基于内容 的图像检索系统中的一条重要线索。 纹理分析一点是计算机视觉的一个重要研究方向。纹理的量化方法主要有两 类：即结构方法和统计方法。结构方法从“纹理是怎样产生的”观点出发，认为纹 理是结构，结构复杂，纹理亦复杂。根据这一观点，纹理分析很容易引导到句法结 构识别方法中去。它通常是在一致纹理基元的情况下进行的，使用分析如纺织品图 案、砖等花样排列较规则的纹理。它假定图像由较小的纹理基元排列而成，采用句 法分析方法，对图像中非常具有结构规律的特征进行分析，但只适用于规则的结构 纹理分析；统计方法从壹观印象出发，认为纹理无非是客观实物给人的印象，所以 有心理学的因索。国外有人做过视觉心理学的试验，发现人眼睛所看到的物体，是 光线照于物体，物体表面灰度级的反应。灰度级是一个统计函数，可以分为一阶、 二阶及高阶统计函数，经过分析研究，认为人眼看到的是一阶及二阶统计函数，人 眼觉察不到高于二阶的统计函数。从这一观点出发，认为纹理分析应该采用统计识 别方法，它是对图像的颜色强度的空间分布信息进行统计，又可进一步分为传统的 基于模型的统计方法和基于频谱分析的方法，统计方法常被用于分析如木纹、沙地、 草坪等细而不太规则的纹理。 纹理是所有事物表面固有的一种特性，一般认为纹理就是纹理元素有规律的排 列组合。具有重复性、形状简单、强度一致的区域可看作纹理元素。纹理和图像频 谱中的高频分量是密切联系的。视觉纹理特性主要有：粗细度、对比度、方向性、 线状性、规则性、粗糙度等，m p e g 一7 中推荐了三种纹理描述符，分别是边缘直方图、 同质描述符和纹理浏览描述符。 图像检索用到的纹理特征表示方法主要有：共生矩阵法、t a m u r a 法( 反映了粗 华北电力大学硕士学位论文 糙度、对比度、方向度等) 、马尔可夫自回归模型m r s a r 、g a b o r 变换、塔式小波变 换p w t 、树式小波变换t w t 等。共生矩阵法是利用纹理在灰度级的空间相关性，先 根据图像象素间的方向和距离构造个共生矩阵，再从中提出有意义的统计数据作 为纹理的特征表示。t a m u r a 法是对整幅图像进行处理，效果较差，改进方法是采用 直方图；和其他方法( 小波变换特征等) 的比较可知，m r s a r 区分不同纹理模式的能 力较强，但计算开销也较大。m r s a r 与g a b o r 方法虽然性能较好，但其复杂度较高、 处理时间也较长，在图像检索中使用基于t w t 、p w t 的方法比较合适。p w t 仅递归分 解l l 通道( 低频部分) ，而t w t 除h h 通道外，其余部分都分解。 2 2 2 基于灰度共生矩阵的纹理检索算法 纹理灰度共生矩阵是表示图像灰度级空间相关的矩阵，是提取图像的纹理特征 的一种有效的方法。该方法主要是通过对纹理图像局部模式以及它们之间的排列规 则的描述来进行分析。灰度共生矩阵m “。表示的即为图像中相距位置为( x ， y ) 的两个灰度对同时出现的联合频率分布，它体现了灰度级纹理的空间依赖关系。 常用的统计量有角二阶矩、相关、反差、反差分矩、和的熵、熵、差的方差、差的 熵以及相关信息度量等十几种描述，他们都可以作为纹理特征的度量。例如，反差 的大小反映了纹理的粗细程度，而相关是一种灰度线性关系的度量，它用来描述m ”。矩阵中行或列元素之间三维相似程度。灰度共生矩阵用p ( i ，j ，r ，0 ) 表示， 其中i ，j 分别表示两象索的灰度值( i ，j = 0 ，1 ，2 5 5 ) ，r 表示两象素的距离，e 表 示两象素连线向量的角度，因此，p 矩阵就是一个2 5 6 2 5 6 的正方矩阵。用 ( k ，1 ) ( m ，n ) 表示图像中两点，课题中采用共生矩阵沿着0 。，4 5 。，9 0 。和1 3 5 。四 个角度来描述纹理特性： p ( i ，j ，r ，0 。) = # f ik - m l = o ， 卜n i - - r ，y ( k ，1 ) = i ，y ( m ，n ) = j ( 2 2 1 ) p ( i ，j ，r ，4 5 。) = # k - m | = r ，1 1 一n i = r ，y ( k ，1 ) = i 。y ( m ，n ) = j 1 ( 2 2 2 ) p ( i ，j ，r ，9 0 。) = # ik - m l = r ，i 卜r l l = 0 ，y ( k ，1 ) = i ，y ( m ，n ) = j ) ( 2 2 3 ) p ( i ，j ，r ，13 5 。) = # ( ik - m l = r ，i l n i = r 。y ( k ，1 ) = i ，y ( m ，n ) = j ( 2 2 4 ) 其中# 是指满足条件的总的元素个数，因为p ( i ，j ，r ，0 ) = p ( j ，i ，r ，0 ) ，所 以共生矩阵是对称的。 由于角度关系，象素对的总数是不固定的，因此就需要对每一个共生矩阵的频 率作归一化处理，因而引入频率归一化常数r 。例如，对于水平、垂直以及两个对 角方向的共生矩阵，我们可以分别定义其常数： r h = 2 n y ( n x 1 ) ( 2 2 5 ) r v = 2 n x ( n y 一1 ) ( 2 2 6 ) r d = 2 ( n x 一1 ) ( n y 1 ) ( 2 2 7 ) l5 华北电力大学硕士学位论文 使用以上的共生矩阵可以产生许多不同的纹理特征，但为了提高计算效率，课 题中只采用了以下六种纹理特征作为提取的对象： 1 、极大概率：f h p - m ，a 。x ( 半) ( 2 2 8 ) 2 、能量( 或称角二阶矩) ： f 删2 军军( 半) 2 ( 2 2 9 ) 3 、 反差( 或称主对角线骨陡矩) ：f c o w = 莩莩( f 一( 半) ( 2 2 l 。) 4 、相关：f c o r =；渺掣等一俐 a x o y s 、熵：r e w t 2 一 ：；：! 堡二；盟。s 竿 s 、逆差距：硒旷莩莩( 再若万掣) ) 对于每一个方向的共生矩阵可以计算总共6 个特征值，四个方向的灰度共生矩 阵，每一个纹理特征都有四个不同方向的值，取四个值的均值和方差来表示该特征 的值，由此可以提取1 2 个纹理特征值。 2 2 3 图像查询示例 本文中分别对图像纹理相对简单和相对复杂的花朵图像进行了纹理检索，检索 结果如下所示： 可以看出，对画面纹理简单的图像进行检索时，输入的是单个的花朵，检索结 果大都是单个，颜色单一，层次变化小的花朵图像。输入的是画面复杂的花朵，检 索结果大都是花朵数目多，或层次变化大，页面杂乱的花朵图像。 图2 2 1基于简单纹理花朵检索的查询结果 图2 2 2 基于简单纹理花朵检索的查询结果 华北电力大学硕士学位论文 2 3 形状特征 形状是描述图像内容的一个重要特征，但由于物体形状的自动获取很困难，基 于形状的检索一般仅限于非常容易识别的物体。形状可用面积、离心率、圆形度、 形状矩、曲率等全局和局部特征来表示，主要分析方法有不变矩、傅立叶描述符、 向心链码等，前两种方法是最成功的表示法。不变矩法利用了不变矩的位移、旋转 和缩放不变性；傅立叶描述符法是用物体边界的傅立叶变换作为其形状描述：向心 链码的方法首先采用向心链码对形状进行编码，再在编码码流中直接提取形状的 “相对凸数”及“凸度”，以此作为形状检索的依据。向心链码方法具有一定的抗 “相似性形变”能力。 形状持征表达的一条重要准则是要求对位移、旋转、变比的不变性。m p e g - 7 中推荐的形状描述符主要有基于边界的和基于区域的形状描述符，前者利用的是形 状的外边界，而后者则利用整个形状区域。最成功的表达是傅立叶描述符和不变矩。 华北电力大学硕士学位论文 第三章图像中对象和背景的分割 课题中采用区域生长和图像画面分析的方法进行图像对象和图像背景的分割， 先用区域生长的方法把图像分为一个一个的颜色块，然后对图像按颜色块进行分 析，为每个颜色块找到相应的归属( 是对象还是背景) ，最后把对象和背景的分界 线应用于原始图像，实现图像中对象和背景的分割。此方法适用于画面颜色相对简 单的图像，对颜色复杂图像的分割有待于进一步的研究。 3 1 区域生长算法 早期的区域生长算法用于灰度图像，其基本思想是将具有相似性质的象素结合 起来构成区域。具体先对每个需要分割的区域找一个种子象素作为生长的起点，然 后将种子象素周围邻域中与种予象素有相同或相似性质的象素合并到种子象素所 在的区域中。将这些象素当作新的种子象素继续进行上面的过程，直到再没有满足 条件的象素可以被包括进来。这样一个区域就长成了。 区域生长方法将图像以象素为基本单位来进行操作，基于区域灰度差的方法主 要有以下步骤： 1 、对图像进行逐行扫描，找出尚没有归属的象素； 2 、以该象素为中心检查它的邻域象素，即将邻域中的象素逐个与它比较。如 果灰度差小于预先确定的阈值，将他们合并； 3 、以新合并的象素为中心，返回到步骤2 ，检查新象素的邻域，直到区域不能 进一步扩张。 4 、返回到步骤1 ，继续扫描直到不能发现没有归属的象素，则结束整个生长过 程。 灰度图像包含的信息有限，不能有效描述多姿多彩的现实世界，而且随着技术 的进步，彩色图像使用得越来越多，文中采用区域生长技术对彩色图像进行了分割。 要分割一幅彩色图像，首先要选好合适的彩色空间。数据库中的图像是r g b 格 式的，但r ，g ，b 三分量之间常有很高的相关性，直接利用这些分量常常不能得到所 需的效果。为了降低彩色特征空间中各个特征分量之间的相关性，以及为了使所选 的特征空间更方便于彩色图像分割方法的具体应用，文中选择了比较接近人的视觉 感知特性的h s v 空间。 在h s v 空间中，h ，s ，v 三分量之间的相关性比r ，g ，b 三分量之间要小得多。由 于h s v 彩色