（计算机应用技术专业论文）基于颜色和形状特征的图像检索.pdf

南京邮电大学硕士研究生学位论文 中文摘要 摘要 随着多媒体和网络技术的迅速发展，图像数据的来源不断扩大，为了能够从大量的图 像数据中快速、准确地找到用户所需内容的图像，基于内容的图像检索( c b i r ) 技术正越来 越成为人们研究的焦点。目前，比较著名的c b i r 系统有：q b i c ( q u e r yb yi m a g ec o n t e n t ) ， v i s u a l s e e k ，p h o t o b o o k ，m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) 等。这些系统主要 使用图像的颜色、纹理、形状和空间关系等特征进行检索。由于图像内容的特征很难准确 地提取和描述，特征的相似度计算与人眼的感知存在一定的差异，因此c b i r 还有许多问 题需要解决。 本文提出一种利用彩色图像的颜色和形状特征进行检索的方法。在检索之前先利用5 ： 5 模板对图像平滑去除噪声，再用区域生长的方法先把图像分割，提取每幅图像面积最 大的前五个区域，如果实际区域不够五个，则取实际值。然后针对每个区域，提取出它们 的形状、颜色特征，其中形状参数包括形状的离心率、离散度和形状的大小，颜色特征都 在均匀颜色空间计算。最后利用隶属函数来计算两幅图像的相似性，隶属函数值越大图像 越相似。在文章的最后对一系列图像进行了颜色检索和形状检索，实验结果表明该方法的 运用较好地提高了检索效果。 关键词：基于内容的图像检索；隶属函数；相似度；均匀颜色空间 南京邮电大学硕士研究生学位论文 a b s t r a c t f o l l o w i n gt h ed e v e l o p m e n to fm u l t i m e d i aa n dn e t w o r k i n g , ，t h es o u r c eo fi m a g ei sb o c o m i n g b r o a d ，i no r d e rt of m dt h ei m a g ep e o p l en e e d e dq u i c k l ya n dc o r r e c t l y , t h et e c h n o l o g yo f c b i r ( c o n t e n t 一b a s e di m a g er e t r i e v a l ) i s b e c o m i n g t h ef o c u so fp e o p l e r e s e a r c h e d a p r e s e n t ，t h e r ea r es o m ef a m o u sc b i rs y s t e m s ：q b i c ( q u e r yb yi m a g ec o n t e n t ) ，v i s u a l s e e e ，m a r s ( m u l t i m e d i aa n a l y s i sa n dr e t r i e v a ls y s t e m ) , ，p h o t o b o o k , a n ds oo n t h e s es y s t e m sm a i n l ya d o p t t h ec o l o r 、t e x t u r e 、s h a p ea n ds p a c ea n ds oo no ft h ei m a g et or e t r i e v e b e c a u s et h ef e a t u r e so f i m a g ea r ed i f f i c u l tt op i c ku pa n dd e s c r i b e ，, t h es i m i l a r i t yo f t h ec h a r a c t e r sa r ed i f f e r e n tw i t ht h e a p p e r c e p t i o no fv i s i o n ，s ot h e r ea r es t i l lm a n yp r o b l e m st or e s o l v ea b o u t c b i r t h i sa r t i c l ea i m sa tc o l o ri m a g e ，i ta d o p t st h ec o l o ra n ds h a p eo fa ni m a g et or e t r i e v e i t f i r s t l yu s e s5 5t e m p l e tt os m o o t ht h ei m a g ei no r d e r t or e d u c en o i s eb e f o r er e t r i e v i n g ：t h e nu s e s t h ea r e ag r o w i n gm e t h o dt od i v i d ea ni m a g e ，a f t e rd i v i d i n g , , ，i tp i c k su pt h ef i r s tf i v ea r e ao fa n i m a g e ，i ft h ea c t u a la r e ai sl e s st h a nf i v e ，t h e nu s i n gt h ea c t u a la r e a s e c o n d l y , i tp i c k su pt h e f e a t u r e so fs h a p ea n dc o l o ro fa na r e a ，t h ef e a t u r eo fs h a p ei n c l u d e se c c e n t r i c i t y 、d i s p e r s i o na n d s i z e ，t h ef e a t u r eo fc o l o ra r ed e r i v e df r o ml ab + c o l o rm o d e l h n a l l y , i tu s e sm e m b e r s h i p f u n c t i o nt oc a l c u l a t et h es i m i l a r i t yo ft w oi m a g e ，t h eg r e a t e rv a l u eo fm e m b e r s h i pf u n c t i o n ，, t h e m o r es i m i l a ro ft h et w oi m a g e a tt h ee n do ft h i sa r t i c l e ，i tc o n d u c t ss o m ee x p e r i m e n t su s i n gt h e c o l o ra n ds h a p eo fm a n yi m a g e s ，t h er e s u l ts h o w st h a tt h e s em e t h o d si m p r o v et h ee f f e c to fi m a g e r e t r i e v a l k e y w o r d s ：c b i r ( c o n t e n t - b a s e di m a g er e t r i e v a l ) ；m e m b e r s h i pf u n c t i o n ；s i m i l a r i t y ； u n i f o 】r n lc o l o rs p a c e i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：丝劐蛆日期：塑：生 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：熊盘l 叁盈导师签名： 0 噼嗍 南京邮电大学硕士研究生学位论文 前言 从八十年代开始，计算机图形学得到了飞速的发展，计算机内存储的信息也从单调的 文字、数值变为丰富的图像、动画。到了九十年代，随着多媒体技术的广泛应用，发起了 计算机世界的又一次革命。本世纪初，计算机技术进一步发展，特别是计算机网络的飞速 发展，信息高速公路的建设，使各类信息在全球得以快速采集、共享和传播。人们已经进 入了一个瞬息万变的信息时代。 在众多被称之为“多媒体 的信息之中，视觉信息是最主要的一种。它包括通常意义 上的静止图像信息，也包括了视频及序列图像信息，以及计算机图形和动画信息等。在将 视觉信息有效的存储在计算机之后，人们碰到的一个问题就是如何快速从众多信息中查找 到自己所需的信息。基于内容的图像检索就在这种视觉信息的飞速膨胀的背景之下被提 出，进而受到广泛关注的。 在访问一个较为大型的图像库时，用户关心的是如何找到自己需要的一幅图像，然后 更进一步的由这幅给定的图像如何找到图像库中类似的其它图像。这需要对图像内容进行 有效的索引以及一种合适的检索排序方法。 传统的图像检索希望利用文字标志符的方式，把图像的检索转变成针对这些标签的检 索。通常的方法是对图像进行人工分析，对图像物理特征和内容特征进行文字著录或标引， 建立类似于文本文献的标引著录数据库，并通过检索这些数据库以获得图像编号，进而利 用这些编号索取实际图像。 这种方法虽然简单，却存在几个根本的问题，制约了对图像信息的有效使用。首先对 含义丰富的多媒体信息的有关特征进行简单的人工抽取，不能充分揭示和描述图像信息中 有代表性的特征；其次用人工提取的方式进行的特征描述容易掺杂个人主观性。如果评定 的标准改变了，容易得到错误的结论；再次人工处理速度慢，检索中不能充分利用各种特 征，包括实现人们没有注意到的特征将被完全忽略，不能快速提供检索结果的相关信息， 但是人工的最大好处是当要检索的内容确定时，可以得到最准确的检索结果。 由于传统的图像检索方法的种种弊端，使得它在很多情况下无法满足实际需求。而人 们也逐渐意识到对图像信息的检索，必须依赖于图像本身所包含的各种内容来进行。所以 基于内容的图像检索技术正在被越来越多的人研究。 图像信息以码流的形式，存在于计算机之中，但是，如果没有关于码流结构方面的知 识，码流并没有实际的作用。必须把码流转换成一种人的感觉可以理解的形式，才能获得 南京邮电大学硕士研究生学位论文 前言 码流上承载的信息。这种转化其实就是一个对信息抽象和结构化的过程，也就是对图像从 底层到高层进行处理、分析和理解的过程，而这一过程对利用图像信息是非常重要的。经 过研究，不断有新的解决方法被提出来，其中最具特色的就是基于内容的图像信息检索 ( c o n t e n t b a s e di m a g er e t r i e v a l ，c b i r ) 。基于内容的图像信息检索依赖于对图像特征进行标 注和索引。图像特征包括画面内容特征( 图像色彩分布、纹理、轮廓) ，图像的主题对象特 征( 人、车、建筑等) ，图像的著录特征( 拍摄作者、时间、地点等) ，以及图像移动和组合特 征( 影像场景等) 。基于内容的图像检索技术主要根据图像的画面内容和主题特征( 即基于图 像所包含的实际内容) 对图像进行检索。基于内容的图像检索技术首先分析图像内容，如颜 色、纹理、轮廓等，并建立特征数据库。用户查询时，也只要提供关于图像内容的大致描 述，就可以在大型图像库中找到所需图像。实际操作中，基于内容的图像检索方式更符合 实际应用需求，而且通过相关的反馈技术，可以把用户也纳入检索链之中，使检索系统具 有自身学习能力，迸一步提高检索精度。 根据图像特征的不同，基于内容的图像检索方法也有很多种，本文采用的是图像的颜 色和形状特征。首先，针对图像的颜色和形状特征，提取出它们各自的参数。其中，颜色 特征是在均匀颜色空间计算，形状特征包括形状的离心率、离散度和形状的大小；然后，： 根据这些参数计算两幅图像的相似度，具体在计算的时候利用模糊数学中的隶属函数来衡 量两幅图像的相似性。在本文的最后，利用颜色和形状特征做了一系列实验。实验结果表 明，该方法的运用提高了检索效果。 论文具体安排如下： 第一章介绍基于内容图像检索( c b i r ) 的背景知识以及研究现状，总结c b i r 的技术以 及各种技术的研究领域和代表方法，并说明本文所选择方法的出发点。 第二章详细介绍本文研究内容所涉及的理论和技术，对区域生长、均匀颜色空间、隶 属函数等方面一一阐述。 第三章提出本文所用方法的具体实现，以及本文实验系统的大致流程、系统几个主要 函数的实现。 第四章对系统进行测试，验证本文所提出的方法的可行性以及有效性。 第五章总结本文所做的工作，并指出了有待进一步研究的地方和今后工作努力的方 向。 2 南京邮电大学硕士研究生学位论文第一章基于内容的图像检索系统( c b i r ) 综述 第一章基于内容的图像检索系统( c b i r ) 综述 1 1 基于内容的图像检索的各种索引技术 基于内容的图像检索技术涉及到多种图像内容特征，根据特征的不同，具体的检索方 式也不一样。下面就介绍几种基于内容的图像检索方法。 1 1 1 基于颜色特征的图像检索 颜色特征是图像检索中所使用的最可靠的而且也是最重要的视觉特征，最早在基于内 容的图像检索中用到。颜色特征定义明确，抽取也相对容易，所以在图像检索中得到广泛 的重视和研究。目前，很多基于颜色特征进行检索的方法已经被提出。最常用的检索技术 是颜色直方图相交方法，该方法具有特征提取和相似度计算简便的优点，但也存在一些问 题。首先，颜色量化会丢失颜色信息。凡是被量化到一级的颜色均被视为无差别，而位于 量化分界处两边的颜色则其实际差别可能很小。同时，全局彩色直方图只记录了全局的颜 色统计信息，丢失了颜色的空间分布信息并混入了不感兴趣物体的颜色信息。因此，两个 颜色直方图相似的图像由于颜色的空间分布差别很大，图像的内容可能很不相同。改进颜 色直方图特征的方法包括：累加直方图方法【2 】，这种方法通过累加方式增加了直方图的鲁 棒性，但仍丢失了颜色空间分布信息：主颜色方法，该方法提取图像中的主要颜色，从而 有效去除了不重要物体带来的颜色干扰，但仍丢失了颜色的空间分布信息；为了增加颜色 特征的空间信息，又提出了颜色相关矢量c c v ( c o l o rc o h e r e n c ev e c t o r ) 3 和类似纹理共生矩 阵的c o l o rc o r r e l o g r a m s 4 方法，但仍没有准确地描述图像中物体的颜色、形状等特征。最 新的方法是基于颜色空间特征的检索【5 1 ，这种方法通过图像分割得到图像中的主要物体， 然后提取每个物体的颜色和位置特征，最后进行图像间相似度的计算【1 6 1 。 另外，基于颜色特征的检索还存在颜色模型的选择问题。颜色模型主要有以下三种【2 l j ： 1 、面向硬设备的颜色模型。代表的模型有r g b 模型、c m y 模型、归一化颜色模型 等。 2 、面向视觉感知的颜色模型。代表模型有m u n s e l l 模型、h i s 模型、h s b 模型。 3 、均匀颜色空间模型。代表的模型有m t m 模型、l u v 模型、l a b 模型。 色彩检索方法仅仅是基于内容的图像检索中的一种，在实际应用中和其它检索方法相 结合，效果可能会更好。 3 南京邮电大学硕士研究生学位论文第一章基于内容的图像检索系统( c b i r ) 综述 1 1 2 基于形状特征图像的检索 形状是描述图像内容的一个重要特征。基于形状的图像检索有广泛的应用，例如对于 极光图像的检索、对陶瓷工艺图像库的检索、对指纹图像的检索、对商标和徽标的检索、 对医学图像，如肺、瘤的检索等。目前的基于形状检索方法大多围绕着从形状的轮廓特征 和形状的区域特征建立图像索引。 关于对形状轮廓特征的描述主要有；直线段描述、样条拟合曲线、傅立叶描述子以及 高斯参数曲线等等。早在1 9 7 2 年，z a h n 就采用傅立叶描述子描述形状的边界信息，发现 傅立叶描述子具有良好的平移、旋转、伸缩等几何不变性，非常适合构造形状的边界信息 【刀o y o n g r u i 将这种方法用到了基于形状的检索方法中。o u n s e l 提出了基于特征形状的图 像检索方法1 7 1 2 2 ，其主要思想是对一个形状的边界控制点中的任意两个点之间的高斯加权 距离所形成的邻接矩阵计算其特征向量，将归一化后的特征向量叫做特征形状 ( e i g e n s h a p e ) 。这样两个形状之间的相似性就转变为对两个归一化的特征向量之间距离的计 算，该方法的一个优点是对形状的轮廓不是封闭曲线也同样可以处理。 对于形状的区域特征主要有形状的无关矩、区域的面积、形状的纵横比等。早在1 9 6 2 年，h u 提出了用形状的7 个无关矩来度量形状的特征，由于计算这7 个无关矩花费的时间 较长，有许多人提出了关于无关矩的快速计算方法f 2 3 】。f l i c k e r 等人在i b m 的q b i c 图像检 索系统中采用了形状面积、圆度、离心率、主轴惯量以及高阶无关矩，这些特征形成了形 状的特征矢量，形状之间的相似性使用加权欧几里德距离l 列。 利用形状特征进行图像检索有3 个问题值得注意【2 1 】： 首先，形状常与目标联系在一起，有一定的语义含义，因而形状特征可以看作是比颜 色或纹理要高层的一些特征。另外，对形状的表达比对颜色或纹理的表达从本质上要复杂 得多。要获得有关目标的形状参数，常要先对图像进行分割，所以形状特征的提取会受图 像分割效果的影响。 其次，目标形状的描述是一个非常复杂的问题，事实上，至今没有找到形状的确切数 学定义，包括几何的、统计的或形态学的测度使之能与人的感觉相一致。人对形状的感觉 不仅是一个视网膜的生理反映结果，而且是视网膜感受与人关于现实世界的知识这二者之 间综合的结果。 最后，从不同角度获取的图像中目标形状可能会有很大差别，为准确进行形状匹配， 需要解决平移、尺度、旋转变换不变性的问题，这在许多检索应用中起非常重要的作用。 4 南京邮电大学硕士研究生学位论文第一章基于内容的图像检索系统( c b i r ) 综述 1 1 3 基于纹理特征的图像检索 纹理是描述图像时常用的一个概念( 类似于颜色、也常取决于感知) 。纹理通常被看作 图像的某种局部特征，或者是对局部区域中像素之间关系的一种度量。另外，纹理特征也 可用来对图像中的空间信息进行一定程度的定量描述1 2 1 1 。 对纹理图像的描述常借助纹理的统计特征或结构特征进行，对基于空间域的性质也常 可转换变换到频域进行研究，所以常用的3 种纹理描述方法是：统计法、频谱法、结构法 2 1 l 。h a r a l i c k 纯粹从数学上研究了图像纹理中灰度级的空间依赖关系【7 】【2 4 1 ，根据图像中像 素之间的方位和距离关系构造了一个共生矩阵( c o m a t r i x ) ，然后从中提取有意义的统计特 征作为纹理特征的表达，使用的特征主要有能量、熵、相关性和惯量，该方法的最大缺陷 是这些统计特征没有和人在视觉上对纹理特征鉴别之间建立对应关系。关于人类视觉对纹 理特征的鉴别，j u l e s z 已作过大量的心理实验【7 】【2 5 1 ，目前已有不少人提出了纹理特征的度 量方法，其中t a m u r a 提出的纹理特征集很好地对应于人类视觉感知，这些特征包括：粗 糙度( c o a r s e n e s s ) 、对比度( e o n t r a s 0 、方向度( d i r e c t i o n a l i t y ) 、线像度( 1 i n e l i k e n e s s ) 、规整度 ( r e g u l a r i t y ) 和粗略度( r o u g h n e s s ) ，在这些特征中最重要的特征主要是纹理的粗糙度、对比度 和方向度；随后有不少人提出了纹理的特征集【7 】【2 6 1 。目前还没有一个统一的标准来精确地 表示纹理的特征，因为人对纹理的视觉特征的认识非常主观【7 j 。 随着小波变换在图像纹理分析中的广泛应用，一些人也采用小波变换后的系数作为图 像的索引。如s m i t h 和c h a n g 从小波子波段中提取统计特征作为图像的纹理表示，取得了 很好的检索效果。c h a n g 和k u o 探索了小波中波段的特征，采用树结构小波变换来进一步 提高图像分类能力的准确度。m a 和m a n j u n a t h 评价了各种小波变换形式，发现基于o a b o r 基小波变换的纹理检索方法的效果最好【7 】。 1 1 4 基于空间关系的图像检索 空间关系表达了图像内部各部分之间的联系，在图像中含有较多独立的部分( 目标) 以 及检索结果强调这些部分的位置关系时，尤其是当目标数目不止一个( 也不能太多) 且目标 的形状和大小相对于目标之间的相对位置而言可以忽略不计时，使用空间关系是比较适合 的 2 1 1 。 要根据空间关系进行图像查询和检索，首先要表达空间和关系。空间关系的表达可分 为两种【2 1 】：基于目标的表达；基于关系的表达。另外，要根据空间关系进行图像查询 5 壹室坚皇奎堂堡主堕塑竺堂垡笙茎 蔓二雯墨主塑窒箜望垡丝窭查竺! 堡! 坠堡堕 和检索，还要解决如何对空间关系进行度量的问题。基于空间关系的检索不仅要解决数学 上的建模、描述、搜索算法等问题，还要考虑到空间关系特征所具有的模糊性和不确定性， 以及对自然语言描述的依赖性。这些问题使得基于空间关系的检索具有较大的复杂性，因 而其发展不像基于颜色、纹理、形状特征的检索那样迅速。 在1 9 7 6 年，t a n i m o t o 就已经提出了用象元方法来表示图像中的实体，并提出用象元 来作为图像对象的索引。随后被c h a n g 2 7 1 采纳，c h a n g 提出了2 d 串作为反映图片内容空 间信息的空间关系表达。对于部分图像2 d 串直接重构它们的符号图。2 - d 串将每个符号 沿x 和y 轴投影，将结果沿x 轴从左向右排序，沿y 轴从下向上排序。因为2 - d 串保留 了图片中任何两个物体间的空间关系，所以其便于空间推理。该方法的问题是仅用对象的 质心表示空间位置是不够的；其次是对于一些图像来说不能根据其2 - d 串完全重构其符号 图：再则是上述的空间关系太简单，实际的空间关系远比它要复杂。 j u n g e r t t 2 8 1 对c h a n g 的方法进行改进，根据图像对象的最小包围盒分别在x 轴和y 轴上 的投影区间之间的交叠关系来表示对象之间的空间关系，虽然该方法能更精确地表示对象 之间的空间关系，但是不能将此关系很好地纳入2 d 串中。于是，c h a n g 和j u n g e r t 又将2 一串思想扩展到了2 d g 串，该方法介绍了许多新的空间操作，用来表达图片中物体间的 相对位置关系，其引入了更多物体间空间关系的信息，因此便于物体大小和相对位置的空 间推理，但是，此方法开销很大。 基于同样的想法，s yl e e 和h s u t 2 9 】等人提出了2 d 一串表达方法。此方法基于特殊 的切割机制，采用了a l i e n 提出的1 3 种时态间隔关系并应用到空间投影区间上来表达空间 关系。因为由这种切割机制产生的各部分数目明显减少，所以在仍旧保留物体间的空间关 系的同时，表达图片的串的长度明显缩短。此方法节约存储空间，且简化了空间推理的复 杂性。为了在空间关系中保留两个对象的相对距离和对象的大小，p w h u a n 。a 3 0 等人提出 了2 d c 串的方法提高符号图的重构精度，并使得对包含对象相对大小、距离的符号图的 推理成为可能。这类改进的方法都涉及到图像对象的划分，且用符号串重构对象的处理时 间开销很大。 其他改进方法，有s y l e e 等人提出了2 d b 串的方法；c h i n c h e n c h a n g 等人提了面 向相对坐标符号串表示( r c o s ) 方法，他们用对象最小外接包围盒的左下角坐标和右上角坐 标来表示对象之间的空间关系；e w h u a n g 等人提出了r s 串表示方法等等。 6 南京邮电大学硕士研究生学位论文第一章基于内容的图像检索系统( c b i r ) 综述 1 1 5 综合特征检索 仅基于一种特征的方法只能表达图像的部分属性，由于对图像内容的描述比较片面， 缺少足够的区分信息，在图像有较大变化( 如尺度或方向) 的场合常不能取得理想的检索效 果。为此人们研究了综合利用颜色、纹理、形状和空间关系等特征，全面描述图像内容的 检索方法，可称之为综合特征检索。综合特征检索既可将不同特征两两结合，也可将两个 以上特征结合。对不同特征的这种结合可在两个层次进行【2 1 1 。 在检索中同时使用几种特征，即综合考虑几种特征( 如取加权和) 共同进行检索。例 如为从皮肤癌数据库中检索相关图像以帮助诊断，可使用包括模糊直方图的颜色特征，基 于共生矩阵的1 4 个纹理描述特征，区域轮廓和骨架以及最大内切圆等形状特征。 综合考虑各特征的特点，设计新特征，实现更深层次的结合。例如结合颜色特征的 ： 特点和空间关系的特点可构成基于颜色布局的图像检索，而色彩相关直方图( c o l o r c o r r e l o g r a m ) 贝j j 可以看作是颜色特征与纹理特征结合构成的特征。 在实际应用中，综合利用颜色、纹理、形状和空间关系等不同特征进行检索有许多优 点，其中下面两点值得指出f 2 l 】： 可以达到不同特征的优势互补的效果。例如，在颜色特征的基础上加上纹理特征既 可弥补颜色特征缺乏空间分布信息的不足又能保留颜色特征计算简便的优点，在颜色特征 的基础上加上形状特征不仅能描述图像的整体色彩性质还可以描述目标局部的色彩性质， 而在颜色特征的基础上加上空间关系特征能较好地表达景物的结构而且相当直观。 可以提高检索的灵活性和系统的性能，满足实际应用的需求。例如，将颜色特征与 纹理特征结合可用于对彩色b 超图像的检索。在人体组织中蕴藏着丰富的纹理信息，而彩 色b 超图像的应用又借助了颜色信息。以肝脏组织彩色b 超为例，由于各种不同的肝脏组 织纤维不同，对超声脉冲的吸收、衰减、反射均有差异，反映在颜色和纹理上都会有可用 于检索的特色。又如，将形状特征与纹理特征结合可用于对x 光片像中具有特定纹理的区 域的检测以帮助发现可能的组织病变区域。最后，将空间关系特征与纹理特征结合则对纺 织品图案的检索提供了有力的工具。 1 1 6 本文选择的研究内容 由以上的讨论可以看出，c b i r 是一个非常庞大的研究领域，涉及的方面非常广，人 们已从不同的方面对其技术进行了大量的研究。本文选择目前比较常用的颜色、形状检索 7 堕塞些皇奎堂堡主婴塑竺堂笪丝茎 一一里二兰墨主堕查塑望堡竺墅蚕丝! 堡! 坠堡竺 进行研究，以及颜色和形状特征相结合来检索图片。与其它图像检索不同的是，本文所利 用的颜色空间和计算距离相似性的时候，提出了自己的方法，实验结果表明，检索效果比 较好。 为了验证本文所提方案的有效性，搭建了一个实验系统，接下来介绍一下本文所运用 到的技术的相关理论。 南京邮电大学硕士研究生学位论文第二章相关原理及技术介绍 第二章相关原理及技术介绍 2 1b m p 相关原理介绍 由于实验中用到了b m p 格式的图像，因此，首先介绍一些b m p 相关的原理。 2 1 1 图像和调色板p 2 】 普通的显示器是由许多的点构成的，这些点称为像素。显示时采用扫描的方式：电子 枪每次从左到右扫描一行，为每个像素着色，然后再像这样从上到下扫描整个屏幕，利用 人眼的视觉暂留效应就可以显示出一屏完整的图像。为了防止闪烁，每秒要重复上述扫描 过程几十次。我们常说的屏幕分辨率为1 0 2 4 7 6 8 ，刷新频率为8 5 h z ，意思是每行扫描1 0 2 4 个像素，一共要扫描7 6 8 行，每秒重复扫描屏幕8 5 次。一般刷新频率大于8 0 h z ，人眼感 受不到屏幕刷新而产生的闪烁，这种显示器被成为位映像设备。所谓位映像，就是指一个 二维的像素矩阵，而位图就是采用位映像方法显示和存储的图像。 自然界中所有颜色都可以看成由红绿蓝( r ，g ，b ) 三原色组合而成。有的颜色含有 红色成分多一些，其他成分少一些。针对含有红色成分的多少，可以人为地分成0 到2 5 5 共2 5 6 个等级，o 级表示不含有红色成分，2 5 5 级表示含有1 0 0 的红色成分。同理，绿色 和蓝色也可以被分成2 5 6 级。这样，根据红、绿、蓝各种不同的组合就能表示出2 5 6 2 5 6 2 5 6 ( 约1 6 0 0 万) 种颜色。 当一幅图中的每个像素被赋予不同的r g b 值时，就能呈现出五彩缤纷的颜色了，这 就形成了彩色图像。 如果一幅图像的每个像素都用其r g b 分量来表示，那么所有的图像文件都将变得非 常庞大，实际上的做法不完全是这样的，可以先来看看一个简单的计算。 一幅2 0 0 2 0 0 的1 6 色图像，它共有4 0 0 0 0 个像素，如果每一个像素都用( r 、g 、b ) 3 个分量表示，则一个像素需要3 个字节( 因为每个分量有2 5 6 个级别，要用8 位，即1 个字节来表示，所以3 个分量需要用3 个字节) 。这样保存整个图像要用2 0 0 2 0 0 3 ，即 1 2 0 0 0 0 字节! 但是如果采用下面的方法就能省很多字节。 对于1 6 色图像，图中最多只有1 6 种颜色，如果采用一个颜色表，表中的每一行记录 种颜色r 、g 、b 值，这样当表示一个像素的颜色时，只需要指出该颜色是在第几行， 9 堕室塑皇奎堂堡圭堕壅生堂垡丝壅塑三里塑茎堕望墨垫查坌塑 即该颜色在表中的索引值便可以。例如，如果表的第o 行为2 5 5 ，0 ，0 ( 红色) ，那么当某 个像素为红色时，只需要表明0 即可。，通过颜色索引表来表示图像，1 6 种状态可以用4 位 ( b i t ) 表示，所以一个像素要用半个字节。整个图像要用2 0 0 2 0 0 x 0 5 ，即2 0 0 0 0 字节， 再加上颜色表占用3 1 6 = 4 8 个字节，也不过2 0 0 4 8 字节。这样一幅图像整个占用的字节 数只是前面的1 6 。 这张r g b 表，就是通常所说的调色板( p a l e t t e ) ，它还有另外一种更确切的名称“颜 色查找表l u t ( l o o ku pt a b l e ) 。在w i n d o w s 位图中便用到了调色板技术，其实不仅仅 是w i n d o w s 位图，其他许多图像文件格式，例如 p o x ”、“t i f 、“g i f 等都用到了调色板。 2 1 2 设备无关位图( d i b ) d i b 是d e v i c e i n d e p e n d e n tb i t m a p ( 设备无关位图) 的缩写，它白带颜色信息；因此调色 板管理非常容易。任何运行w i n d o w s 的计算机都可以处理d i b ，它通常以b m p 文件的形 式被保存。 d i b 是标准的w i n d o w s 位图格式，b m p 文件中包含了一个d i b ，一个b m p 文件大体 上分成如图2 1 所示四个部分。 第一部分为位图文件头b i t m a p f i l e h e a d e r ，它是一个结构，该结构的长度是固定 的，为1 4 个字节。 第二部分为位图信息头b i t m a p i n f o h e a d e r ，它也是一个结构，长度也是固定的， 为4 0 个字节。 第三部分为调色板( p a l e t t e ) ，有些位图需要调色板，有些位图，如真彩色图，不需要 调色板，它们的b i t m a p i n f o h e a d e r 后面直接是位图数据。 调色板实际上是一个数组，共有b i c l r u s e d 个元素( 如果该值为0 ，则有2 的b i b i t c o u n t 次幂个元素) 。数组中每个元素的类型是一个r g b q u a d 结构，占4 个字节。 第四部分就是实际的图像数据。对于用到调色板的位图，图像数据就是该像素颜色在 调色板中的索引值，对于真彩色图，图像数据就是实际的r 、g 、b 值。 o 每一行的字节数必须是4 的整倍数，如果不是，则需要补齐。 o 一般来说，b m p 文件的数据是从下到上、从左到右的。即从文件中最先读到的是图 像最下面一行的左边第一个像素，然后是左边第二个像素接下来是倒数第二行左边第一 个像素，左边第二个像素依次类推，最后得到的是最上面一行的最右一个像素【2 8 1 。 1 0 南京邮电大学硕士研究生学位论文 第二章相关原理及技术介绍 b i t m a p f i l e h e a d e r 位图文件头 b i t m a p i l l 4 f o 髓a d e r 位图信息头 p a l e t t e ：调色板 d i bp i x e l s d i b 图像数据 2 2 噪声去除 b f t y d e = b m b f s i z e b f r e s t z v e d l b f r e s e r y e a 2 单色b i b 有2 个表项 i 6 色b i b 有1 6 个表项或更少 2 5 6 色b i b 有2 5 6 个表项或更少 真彩色 j i b 没有调色板 每个表项长度为4 字节( 3 2 位) 像索按照每行每列的顺序排列 每一行的字节数必须是4 的整倍数 图2 1b m p 文件结构示意图 一般情况下，图像中包含着多种未知噪声，所以在从图像提取各种特征之前，有必要 去除这样的噪声，当噪声的发生模型预先知道的时候，如果针对这种噪声模型设计滤波( 一 般为频率区域内的滤波) ，就能够有效地消除噪声，但是，通常噪声产生的机理往往是未知 的，因而可采用根据噪声所具有的一般性质进行噪声去除的平滑化( s m o o t h i n g ) 或滤波操作 ( f i l t e 血曲的方法【9 】o 2 2 1 常用去噪方法 一般滤波的目的有两个【9 】：一是突出对象的特征作为图像识别的特征模式；另一是为 适应计算机处理的要求，消除图像数字化时所混入的噪声。对滤波处理的要求是：一是不 能损坏图像的轮廓及边缘等重要信息【9 l ；二是在提取大的目标之前去除图像中一些琐碎的 细节、桥接直线或曲线的缝隙【6 】；图像平滑的主要目的是为了减少图像的噪声，其次也可 以去除一些细节，这些细节对检索主要对象不利。常用的图像噪声去除方法有：邻域平滑 妻塞些皇奎兰堡主婴壅竺堂垡丝苎蔓三兰塑叁堕矍垄垫查坌望 法、中值滤波法、保存边界平滑法、多图像平均法及基于数学形态学的二值图像噪声的去 除方法等，下面对各种方法【9 1 1 1 9 】进行简要介绍。 1 、邻域平滑法，主要是利用图像噪声的性质来达到去除的目的，图像噪声的灰度和 其周围的灰度之间存在急剧的灰度变化，邻域平滑法主要就是消除或减弱这种急剧的灰度 变化来使图像在外观上去噪。 2 、保存边界平滑法，是一种多模板处理的方法，该方法的主要思想是考虑一像素的 m * i 1 邻域，在此邻域中根据不同像素的组合选择不同的k 个模板( 每一个模板所包含的像素 个数要小于m 幸n ) ，然后求出各个模板对应的方差，计算方差最小的模板对应的像素平均值， 并将该值作为所处理像素的值。这种方法可以在去除噪声的同时保存边界，另外还起到锐 化边界的作用，但由于在处理一个像素需选择不同的模板进行处理，因此有计算量大、速 度慢的缺点。 3 、多图像平均法，该方法是通过对一副图像重复相加权后取其平均值来达到抑制噪 声的目的，其主要依据是将一副含有噪声的图像看作为无噪声的图像与噪声叠加而成的， 如噪声图像可以表示为：f ( x ，y ) = g ( x ，y ) + n ( x ，y ) ，f ( x ，y ) 为带噪声的图像，g ( x ，y ) 为原始不带 噪声的图像，n ( x ，y ) 为噪声。而m 次相加后平均输出的图像中噪声的方差为原来的1 m ， 则图像的噪声可得到抑制，但其要求多幅图像相互对准才能正确求其平均值来抑制噪声， 而要求图像的相互对准则是一个比较困难的事情。 4 、数学形态学( m a t h e m a t i c a lm o r p h o l o g y ) 是一门建立在严格数学理论上的形态学科， 主要用途是获取物体拓扑和结果信息，它通过物体和结构元素相互作用的某些运算得到物 体更本质的形态。可以利用其运算特性来做噪声去除【1 0 1 ，但此方法主要对于二值图像中椒 盐噪声去除有很好的效果。 以上去噪的方法都有其很大的局限性，考虑到本文所处理图片的实际情况，采用常用 的邻域平滑法来平滑彩色图像。 2 2 2 全彩色图像的平滑 在介绍图像的平滑之前，先介绍一下模板操作，它是数字图像处理中经常用到的一种 运算方式，图像平滑、锐化及细化等操作都用到模板操作【3 2 】。 一所谓模板就是一个系数矩阵。 一模板大小经常是奇数，如：3 3 、5 5 、7 7 。 一模板系数即是矩阵的元素。 1 2 南京邮电大学硕士研究生学位论文第二章相关原理及技术介绍 w 2 w 5 w 8 融刭 全彩色图像处理研究分为两大类【6 1 。第一类是分别处理每一分量图像，然后，从分别 c 锝圈 仁， 分量是坐标( x ，y ) 的函数，表示为： c ( x ，力= 萎蒌兰 = 主g 蒌( x 兰 q 固，y ) 2f 巴( z ，少) i = i ，少) i ( 2 2 ) 【- g ( x ，y ) j l b ( x ，少) j 为清楚起见，考虑式( 2 2 ) 描述的向量是很重要的，这些分量是x 和y 的空间变量。这 堕室坚皇奎堂堡主婴壅竺堂垡笙奎翌三兰塑茎堕翌墨茎查坌塑 加然后用邻域内像素总数去除。在图2 2 ( b ) 中，平均是把邻域内所有向量相加并用邻域内 向量总数去除每一个分量。但平均向量的每一个分量是对应其分量的图像像素和。这与在- 每个彩色分量基础上做平均，然后形成向量得到的结果是相同的。 图像的平滑是种使用的数字图像处理技术，主要目的是为了减少图像的噪声。灰度 级图像平滑可以看做是空间滤波处理。在这一处理中滤波模板的系数都是1 。当模板滑过 图像时，图像被平滑了，每一像素由模板定义的邻域中像素的平均值代替。正如图2 2 ( b ) 所见到的，这一概念很容易扩展到全彩色图像处理。主要差别是代替灰度标量值，必须处 理式( 2 2 ) 给出的分量向量。 7 ( a )( b ) 图2 2 对灰度图和r g b 彩色图像的空间掩模 令s x y 表示在r g b 彩色图像中定义一个中心在( x ，y ) 的邻域的坐标集，在该邻域中 r g b 分量的平均值为： 石( x ，y ) = c ( x ，y ) ( 2 3 ) ( 7 ( j ，y ) j 它仿效式( 2 2 ) ，向量的附加特征为： c ( x ，y ) = f 1 善一，r ( x ，y ) f 1 善，g ( x ，y ) f 1 善，召( x ，y ) ( 2 4 ) 可以看出，如标量图像那样，该向量分量可以用传统的灰度邻域处理单独地平滑r g b 图像的每一个平面得到【6 1 。 1 4 南京邮电大学硕士研究生学位论立 第二章相关原理厦技术舟绍 2 3 均匀色彩空间及颜色转换公式 一般认为r g b 颜色空间与人眼的感知差异很大，例如，距离为5 0 的( 0 ，0 ，0 ) 与( 5 0 ，o ，o ) 两种r g b 颜色认为是同一黑色，而距离为5 0 的( 2 0 0 。1 5 0 ，0 ) 和( 2 0 0 ，2 0 0 ，0 ) 则是差别很大的两 种颜色( 黄色和绿色) 。h s v 虽然能较好地符合人眼感知特性由于其不均匀性，在计算过 程中也可能将两种视觉上相差很大的颜色归结为一种颜色来做统计，或者有可能将视觉上 相差很小的颜色作为两种完全不同的颜色来进行计算。例如对于v = 2 5 5 ，取h 、s 的取 值范围为0 - 2 5 5 这样的一个颜色空间( r o b 空间在存在类似问题) ，若按h 、s 的坐标等刻 度分割，如图2 3 所示。如果刻度划分太小，则造成许多视觉上相同的颜色在特征提取时 当作不同颜色来计算例如图2 _ 3 中最下面一行的第5 、6 、7 个方格内的颜色从视觉上说 应该是比较小的( 都是绿色) ，在特征提取时，应该作为一种颜色来对待。如果刻度划分 太大，则会造成视觉上相差较大的颜色在特征提取时被当作同一种颜色来对待，例如图2 4 中最下面一行第二格中的颜色既有黄色又有绿色第五个和第七个方格中都有两种颜色， 而在同一个方格中的颜色在特征提取时认为是同一种颜色。 图25 是对于颜色h = 8 1 、s = 2 2 4 、v = 2 5 5 ，在图2 3 中基于l a b 颜色空间计算所找出 的相似颜色，相似距离小于1 0 ( 计算时采用标准照明体d 6 5 、