（生物医学工程专业论文）基于傅里叶变换的区域形状分析及其在cbir中的应用.pdf

论文题目 硕士姓名 导师姓名 学校名称 摘要 基于傅里叶变换的区域形状分析及其在c b i r 中的应用 卫羽佶 舒华忠教授，王斌副研究员 东南大学 近年来随着计算机技术和互联网技术的发展，多媒体数字图像的数量在飞速增长。 由此产生了如何高效存储、处理及在互联网上传输图像数据等诸多问题。同时，各种图 形应用领域和行业的发展也促使数字图像处理技术不断提高。这些领域和行业产生了巨 大的社会效应和不容忽视的商业利益，同时它们对图像视频技术的依赖日益增强，要求 更快速的处理方法，更优越的处理效果和更节省的存储空间。然而，由于缺少统一的索 引和处理数字图像的方法，面对不断增长的庞大图像数据库，如何有效的利用库中的资 源已成为一个世界性难题，因而出现了基于内容的图像检索技术( c o n t e n t - b a s e di m a g e r e t r i e v a l ，c b i r ) 。该技术较好的弥补了传统检索技术的缺点，成为多媒体数据库和图像 索引领域不可缺少的部分，具有巨大的潜在应用价值，成为了多媒体数据库系统研究领 域的热点之一。 本文提出了一个新的含有相位信息的二维傅里叶形状分析描述方法r p f d ，该方法 的特点是包含了傅里叶变换系数的相位信息。由于目前，几个主要的区域形状描述方法， 女l z e m i k e 矩和二维傅里叶变换，都是通过舍弃其变换系数的相位信息得到特征向量的旋 转不变性，导致损失了大量图像信息。因此，使用r p f d 方法提取的图像特征向量与上 述方法相比，包含了更多的图像内容信息，使其在m p e g 7c e 2 b 的部分图像测试集和 m p e g 7c e l b i 贝i 试集上的效果都优于m p e g 7 标准定义的区域形状描述方法z e m i k e 矩。 文中不仅给出了各个测试集上的测试结果，还进行了详细地分析，获得了对r p f d 方法 性能的更深入的认识。并对该方法在基于内容的医学图像检索上的应用做了研究，表明 r p f d 方是一种适用于医学图像检索的方法。 关键词：图像检索；c b i r ；区域形状分析；r p f d 区域相位信息傅里叶描述子；相位信 息；基于内容的医学图像检索， 摘要 a b s t r a c t t i t l e ：t h er e g i o ns h a p ea n a l y s i so nf o u r i e rt r a n s f o r m a t i o na n da p p l i c a t i o ni nc b i r a u t h o r ：w e iy u j i s u p e r v i s o r ：p r o f s h uh u a z h o n g ，a s s o c i a t er e s e a r c h e rw a n g b i n s c h o o l ：s o u t h e a s tu n i v e r s i t y w i t l lt h ei n c r e a s i n gp o w e ro fc o m p u t i n ga n dt h ef a s td e v e l o p m e n to fi n t e r n e t , t h eg r o w t h o fd i g i t a li m a g e si sr a p i di nr e c e n ty e a r s b e c a u s eo ft h i st r e m e n d o u si n c r e a s eo fd i g i t a l i m a g e s ，t h e r ei sa nu r g e n tn e e do fi m a g ec o n t e n td e s c r i p t i o nt of a c i l i t a t ea u t o m a t i cr e t r i e v a l a n e wm u l t i m e d i aa p p l i c a t i o n ，c a l l e dc o n t e n tb a s e di m a g er e t r i e v a l ( c b i r ) h a sc o m ei n t ob e i n g t oa d d r e s st h i su r g e n ti s s u e i nc b i i li m a g ei sd e s c r i b e db ys e v e r a ll o wl e v e li m a g ef e a t u r e s ， s u c ha sc o l o r ，t e x t u r e ，s h a p eo rt h ec o m b i n a t i o no ft h e s ef e a t u r e s t 1 l i st h e s i si n v e s t i g a t e s s h a p eb a s e di m a g er e t r i e v a lt e c h n i q u e s s h a p ei sa l li m p o r t a n tl o wl e v e li m a g ef e a t u r e i nt h i st h e s i s ，an e ws h a p ed e s c r i p t o r n a m e dr p f dh a sb e e nd e v e l o p e d t h en e ws h a p ed e s c r i p t o ri sd e s i r a b l ef o rg e n e r i cs h a p e d e s c r i p t i o na n dr e t r i e v a l i th a sa ni m p o r t a n t c h a r a c t e r i s t i cw h i c hd i s t i n g u i s hi tf r o m m o s to f t h es h a p em e t h o d si nl i t e r a t u r e ，w h i c hi st h ec h a r a c t e rv e c t o re x t r a c t e df r o mo r i g i n a li m a g eb y t h en e ws h a p ed e s c r i p t o ri n c l u d e st h ep h a s ei n f o r m a t i o no f2 df o u r i e r t r a n s f o r m a t i o n c o e f f i c i e n t s t w om a j o rr e g i o ns h a p ed e s c r i p t o r ，z e r n i k em o m e n ta n dg f d ，b o t ho ft h e mg o t r o t a t i o ni n v a r i a n tb yd i s c a r d i n gp h a s ei n f o r m a t i o n , a n dl o s tal o to fi m a g ei n f o r m a t i o nw h i c h c o n t a i n e di nt h ep h a s e t h en e wd e s c r i p t o r , r p f ds o l v e dp h a s ei n f o r m a t i o nr o t a t i o ni n v a r i a n t s u c c e s s f u l l y ，t h a tm e a n st h ec h a r a c t e r v e c t o rp r o d u c e db yr p f di n c l u d e sm u c hm d r ei m a g e i n f o r m a t i o nt h a na n yo t h e rf r e q u e n c yf i e l dr e g i o ns h a p ed e s c r i p t o r t h e nt h i st h e s i st o o kc o m p a r a t i v et e s to nm p e o - 7c e1bd a t a b a s ea n dp a r t i a l5 0 0 i m a g e sw h i c hi sd r a w o u tf r o mm p e g 7c e 2b r e t r i e v a lr e s u l t ss h o w t h a tt h en e w s h a p e d e s c r i p t o ro u t p e r f o r m si nt h er e g i o ns h a p ed e s c r i p t o ra d o p t e db ym p e g 一7 a n da na n a l y s i s o nc o m p a r a t i v er e s u l t si sa l s op r e s e n t e d a tl a s t , a na p p l i c a t i o no nm e d i c i n a li m a g er e t r i e v a lh a sb e e nd o n eo nc to r a lc a v i t y i m a g e sb y r p f d k e yw o r d ：i m a g er e t r i e v a l ；c b i r ；r e g i o ns h a p ea n a l y s i s ；r p f d ；p h a s ei n f o r m a t i o n ； m e d i c i n a li m a g er e t r i e v a l i i 目录 目录 摘要i a b s t r a c t i i 目录i i i 第一章绪论l 1 1 弓i 言1 1 2 本文的主要研究目标与意义2 1 3 本文的主要工作4 1 4 论文结构安排5 第二章基于内容的图像检索技术的研究现状和发展趋势6 2 1j ；i 言6 2 2 图像描述和特征提取方法介绍6 2 3 图像数据库索引技术9 2 4 数据库用户交互技术9 2 5 本章小结1 0 第三章基于区域的形状描述方法比较研究。l l 3 1 弓i 言ll 3 2 基于区域的图像形状描述方法介绍：l l 3 3 区域图像形状描述方法图像检索比较测试1 4 3 4 本章小结。1 8 第四章一种新的含相位信息的二维傅里叶区域形状描述方法( r p f d ) 2 0 4 11 ；i 言2 0 4 2g f d 算法存在问题分析2 0 4 _ 3 一种新的含相位信息的区域傅里叶描述子r p f d 2 1 4 4r p f d 方法与z e m i k e 矩的比较测试实验2 9 4 5r p f d 方法与g f d 方法的比较测试实验。3 2 4 6r p f d 方法的不变性测试3 6 4 7r p f d 方法的抗噪声性测试3 8 4 8 本章小结3 9 第五章新r p f d 方法在医学图像的c b i r 中的应用4 1 5 1 弓i 言4 l 5 2 医学图像特点和医学图像c b i r 技术的应用现状。4 l 5 3 医学图像特征提取关键技术4 3 5 4 新r p f d 形状分析描述方法在c t 图像c b i r 中的应用4 4 5 5 本章小结5 9 第六章总结与展望6 l 6 1 总结6l 6 2 本文的贡献6 l 6 3 今后的工作方向6 2 致谢t ；3 参考文献6 4 攻读硕士期间发表的论文6 9 1 1 j 录7 0 i i i 第一章前言 1 1 引言 第一章绪论 随着数字信息技术和大众传媒技术的发展，图像在人们日常交流、沟通中的作用日 益凸显。商家通过绚丽的图片吸引顾客，设计师用图纸阐述设计的理念，医生通过图片 分析判断疾病和存储病人资料，教师通过图片使抽象的概念形象易懂，民众通过各种传 媒图片了解世界。可见近十年来多媒体数字图像的数据量在飞速的增长，由此产生了如 何高效存储、处理和在互联网上传输图像数据等诸多问题。同时，各种图形应用领域和 行业的发展也促使数字图像处理技术不断提高，如数字化电影、在线视频聊天、在线图 书馆、电子图书、网上学校等。这些领域和行业产生了巨大的社会效应和不容忽视的商 业利益，同时它们对图像视频技术的依赖日益增强，要求也越来越高即更快速的处 理方法、更优越的处理效果和更节省的存储空间。然而，由于缺少统一的索引技术和数 字图像处理的方法，面对不断增长的庞大图像数据库，如何有效的利用库中的资源已成 为一个世界性难题。 传统的图像检索技术是基于关键字的匹配检索，即用文字对图像库中的图像定义一 个与其内容相符的标签或注释，检索的依据是用户提供的关键字与标签相匹配的程度。 这种方法是比较直接有效的，并且直到现在仍在被广泛使用。然而，随着多媒体数字图 像数据的飞速增长，该方法暴露出四大局限性：l 、由于手动产生文字标签需要大量人 力，该方法不适用于在大规模图像库上的检索：2 、对于包含较多内容的图像，仅用标 签无法全面表述其内容；3 、人为标记图像内容的方法有较大的主观性，不同的人对图 像的理解也不同，会导致定义的标签和图像实际内容存在偏差；4 、前面3 个缺点会导致 误检率提高，在浏览检索结果时，用户要剔除大量错误图像，极大耗费用户的检索时间。 为了克服基于关键字匹配的传统图像检索技术的缺陷，近十年来图像索引和图像数据库 技术致力于发展以下三个方面：l 、利用图像的内容，检索数据库中的图像；2 、提取的 内容特征，应满足图像在区域上的平移、缩放和旋转的不变性；3 、提取的内容特征， 应满足自动检索的要求。 这三个方面的发展逐渐形成了基于内容的图像检索技术( c o n t e n t - b a s e di m a g e r e t r i e v a l ，c b i r ) 。该技术较好的弥补了基于关键字的传统图像检索技术的缺点，成为多 媒体数据库和图像索引领域的不可缺少的部分。由于具有巨大的潜在应用价值，该技术 自提出以来，得到了国内外多媒体技术领域科技人员的广泛重视，成为了多媒体数据库 系统研究领域的热点之一【d1 】【2 】【1 5 】【1 6 】【1 7 1 。 基于内容的图像检索技术的关键是直接对图像的像素点矩阵进行处理，从这些原始 的数据中，提取出有限长度的特征值向量，根据这些特征向量来检索图像，就是根据图 像的内容来检索图像。同时，该技术还可以根据用户的需求，通过不同的图像原始特征 如颜色、纹理，形状( 轮廓线和区域) 等，来检索图像；或者更进一步，将几个特征结 东南大学硕士学位论文 合在一起检索图像。由于该方法不受人为因素的影响和限制，因此对于开发自动的图像 检索系统是极为有利的。 1 2 本文的主要研究目标与意义 1 2 1 相位信息区域形状分析描述方法的意义和挑战 图像的原始特征包括颜色、纹理，形状( 轮廓线和区域) 三个方面，其中图像的形 状是最能描述图像内容的原始特征。本文对c b i r 技术中基于形状特征的图像分析描述方 法进行了研究，图像的形状分析描述是指通过各种方法对图像的像素矩阵进行处理，抽 取图像的特征向量，这些特征向量可以直接用于基于内容的图像检索。 然而，图像形状分析描述是一个非常困难的问题【3 】。因为用二维图形来表示三维世 界的物体，本来就损失了一维的信息，因此抽取的图像特征只能部分的表达实物的特征。 此外，抽取的图像特征还要满足对图像噪音和图像失真的健壮性，以及对图像平移、缩 放和旋转的不变性。因此，目前虽然国内外学对该领域已做了大量研究，但仍然没有一 个被大家广泛认同的方法。图像的形状特征通常被分为轮廓特征和区域特征，图像的轮 廓特征是指提取物体的边界信息；图像的区域特征是指提取物体的边界与内部图形信 息。通常由于基于轮廓特征的方法的计算量要远远小于基于区域特征的方法，因此对于 简单的图形或轮廓清晰且易于提取的图像，常采用提取轮廓特征的方法获得特征向量。 但是并不是所有的被检索图像都具备轮廓清晰的特点，对于那些内容复杂，轮廓线不易 提取的图像，则需要采用提取区域特征的方法，才能达到比较好的检索效果。 常用的区域特征提取方法，如z e r n i k e 矩和二维傅里叶变换，均是通过舍弃特征向 量的相位信息来获得良好的特征向量旋转不变性。然而，图像的相位信息恰恰包含了许 多图像内容信息。下面的实验可以很好的说明这个问题，如图1 1 所示，图a 和图b 为两 幅不一样的图像，图c 为两幅图像做傅里叶变换后频域系数的幅度值序列比较图，d 图为 两幅图像频域系数的相位值序列比较图。 图图 ab ：l l i al a 二- l 属i ：； ：习 獾硒 i ： 一1穗 f 1 l矗工 ，lf 慨：匕：矗： 日 缒 l 起瓣：弧醚乏叛隘 氏 篷热j 一l 。：巍2 n 一杪v矿一y f r 节一r y 一芗y 一饼v v ca 图与b 图的幅度序列比较图 2 6 5 4 5 3 6 2 5 1 5 o篡：= 点：。 第一章前言 罐 f 一4 占咭- 了占礁r 弓 da 图与b 图的相位序列比较图 图1 1a 图与b 图的幅度和相位序列比较图 由图可见，a 图和b 图的幅度序列相似而相位序列有很大的不同，当图像的特征向量仅 含有a 图和b 图的幅度序列时，无法区分a 图和b 图；如果特征向量包含了图像的相 位序列则可以分辨a 、b 两图，因此相位信息对图像检索有着重要的意义。 然而，由于特征向量的旋转不变性是一个难以解决的问题，因此目前常用的区域特 征提取方法( z e r n i k e 矩、二维傅里叶变换) 都采用了舍弃特征向量相位信息的方式， 来获得具有较好旋转不变性的图像特征向量。因此，保存特征向量的相位信息和保持特 征向量的旋转不变性似乎成为了设计形状分析描述方法时的一对难以调和的矛盾。本文 的研究目的就是探讨解决这一矛盾的方法，并尝试提出了一种新的包含相位信息的二维 傅里叶形状描述方法r p f d ，以实现对图像相位信息应用的同时保持特征向量的旋转不变 性，改善区域图像检索的效果。 1 2 2 本课题研究工作在医学图像检索中的实际意义 众所周知，医学图像在医学临床诊断和治疗中具有举足轻重的作用，是现代医学研 究中不可缺少的工具。在发生形态学病变，特别是占位性病变的诊断中，医学图像起着 其它方法不可替代的作用。同时它还可以反映解剖结构和脏器功能，为临床诊断和医学 研究提供更多的信息，提高临床诊断和医学研究的水平。 在过去的几十年中，由于生物医学工程的发展，出现了许多在临床上广泛应用的医 学成像技术，如：超声、计算机x 线摄影技术( c r ) 、数字x 线摄影技术( d r ) 、x 射 线计算机断层摄影( c t ) 、磁共振( m 砒) 、数字血管剪影( d s a ) 、正电子断层摄影( p e t ) 等。随之而来的是在临床诊断和医学研究方面产生的大量医学图像数据，为了有效管理 这些图像数据，出现了目前广泛研究并部分应用的医学图像归档与通信系统( p a c s ) ， 该系统已成为放射信息系统( 砒s ) 和医学信息系统( m s ) 的核心部分。目前，p a c s 系统的主要功能集中在医学影像数据存档、传输、共享和压缩方面，而对影像数据的进 一步处理和分析方面还很少涉及，因此在p a c s 的基础上进行基于内容的图像检索 ( c b i r ) 的研究是p a c s 系统发展的必然方向。如：在对未确诊的临床图像进行诊断时， 如果可以通过c b i r 技术找出与未确诊图像内容基本一致的各种已经诊断过的图像，为 医生的判断提供参考，可大大提高临床诊断的可靠性。 一 一n=-；如譬一 丁中辫苹： 东南大学硕士学位论文 由于医学图像的特殊性，医学图像的检索与普通图像检索略有不同。首先，大部分 医学图像都是灰度图像，因此前面所述的3 个图像内容原始特征：颜色、纹理和形状中， 颜色特征便不能在医学图像检索中运用。其次，图像的纹理特征虽然是一个重要的视觉 特征，但其反映的是物体表面的信息，这些信息通常是由许多相互接近相互编织的元素 构成并富有周期性，如纺织品。而大部分的医学图像并不具备纹理特征的特点。由上可 得，在前述的3 个图像原始特征中只有图像的形状特征最适用于医学图像检索。因此， 形状分析描述方法是基于c b i r 的医学图像检索中的关键技术。本文对形状分析的方法 进行了大量研究，并尝试将在图像的特征向量中加入相位信息，来提高图像检索的效果。 因此本文的工作内容将对基于内容的医学检索有着重要的意义。 1 3 本文的主要工作 1 3 1 对目前主流的区域形状描述方法进行比较测试 目前，国内外学者提出的区域形状描述方法的主要思想为基于矩的方法和基于二维 傅里叶变换的方法。其中基于矩的主流方法有几何不变矩和z e r n i k e 矩。几何不变矩是 较早提出的一种时域不变矩，已有了广泛的应用：z e r n i k e 矩是m p e g - 7 标准中定义的区 域形状描述方法。而在基于二维傅里叶变换的方法中，g f d 方法【( 1 h 8 1 是一种优秀的基 于二维傅里叶变换的形状描述方法。本文将这三个方法在m p e g - 7 c e i b 轮廓测试集和5 0 0 幅m p e g 一7 c e 2 b 区域测试集图像组成的区域5 0 0 图像测试集上进行比较测试，得出 z e r n i k e 矩为综合检索效果最好的区域形状描述方法的结论。 1 3 2 提出了新的包含相位特征的区域二维傅里叶描述子r p f d 目前国内外学者对包含相位信息的形状分析方法的研究并不多见，其中b a r t o l i n i 等 人i ( d2 5 j 虽然提出了具有相位信息的一维傅里叶描述子，并在m p e g 7 轮廓图像测试集 c e l b 上取得了较好的结果，但是它只是基于轮廓线的描述方法，而图像形状分析描述 方法的趋势是基于区域的形状分析描述方。d sz h a n g 提出的g f d 方法f 4 8 】通过极坐标变 换的方法，取得了不错的检索效果，但是仍然采用舍弃相位信息的方法得到特征值的旋 转不变性。因此，上述两种方法各有不足之处。 本文受到上述两个方法的启发，提出了一个新的形状描述方法r p f d ，即含有相位信 息的区域傅里叶描述子，并对该方法进行了区域不变性测试和噪声测试，均获到了较好 的测试结果。同时，把r p f d 方法与m p e g - 7 标准中定义的z e r n i k e 矩的方法和g f d 方法进行 了比较测试和结果分析。 1 3 3 将新的r p f d 方法应用于医学图像的c b i r 本文将新的形状分析描述方法r p f d 在由江苏省口腔医院提供的c 1 图像集上进行了多 种与临床实际应用情况接近的测试，如：在一位病人的不同时间拍摄的医学图像集上的 4 第一章前言 交叉检索，在不同病人的医学图像集上的交叉检索等。r p f d 方法在上述测试中均取得了 较好的效果，表明该方法将在医学图像检索和医学辅助诊断中起到积极的作用。 1 4 论文结构安排 本文的工作内容安排如下： 第一章为绪论，阐明了本文的研究背景，指出了本文的研究价值。 第二章介绍基于内容的图像检索的研究现状和发展趋势，总结了图像视觉特征提取 和索引的方法，以及用户交互反馈技术。 第三章在m p e g 一7 c e i b 轮廓测试集和m p e g 一7 c e 2 b 区域5 0 0 幅图像测试集上对目前主 流的区域形状描述方法进行比较测试，得到z e r n i k e 矩的综合检索效果最好的结论。 第四章提出了一种新的含相位信息的区域形状描述方法r p f d ，阐述了该方法的思想 和实现过程，以及不变性测试和噪声测试的结果。并将r p f d 方法在在m p e g - 7 c e i b 轮廓 测试集和m p e g - 7 c e 2 b 区域5 0 0 幅图像测试集上与z e r n i k e 矩和g f d 方进行比较测，并 详细分析了测试结果。 第五章将提出新的r p f d 方法应用于医学图像的c b i r 中，并作了大量测试实验，得 到了较好的结果，表明新的r p f d 算法将在医学图像检索和医学辅助诊断中起到积极的 作用。 第六章对本文的工作做了总结，并对这一领域的未来工作方向提出了展望。 5 东南大学硕士学位论文 第二章基于内容的图像检索技术的研究现状和发展趋势 2 1 引言 基于内容的图像检索技术( c b r ) 的基本思想是通过对图像内容的视觉特征( 颜 色、纹理和形状等) 进行提取，获得图形的特征向量，再以这些特征向量作为索引实现 在图像数据库中检索目标图像或符合某些特征的图像集合的目的。目前已经开发出的比 较著名的c b i r 系统有i b m 的q b i c 系统【6 】，哥伦比亚大学开发的v i s u a l s e e k 系统【7 】，m i t 多媒体实验室开发的p h o t o b o o k 系统【8 】，ucb e r k e l e y 开发的c h a b o t 系统【9 】，加州大学设 计开发的r a g e 系统1 4 0 j 等。通常，一般的基于内容的图像特征检索系统包含三个方面的 关键技术：图像描述和图像特征提取技术、图像查询和索引技术和数据库用户交互技术。 c b i r 系统框图如图2 1 所示。本章将分别对这三个方面的关键技术做简单介绍。 图2 1c b i r 系统框图 2 2 图像描述和特征提取方法介绍 基于内容的图像检索技术通常是对图像的颜色、纹理、形状和空间结构进行特征提 取。国内外学者分别对图像的颜色、纹理、形状和空间结构等几个方面提出了多种特征 提取的方法，如k a n k a n h a l l i 等人在1 9 9 6 提出使用颜色特征的图像检索方法【1 0 1 ，孙兴 华等人在2 0 0 2 年t m u m u r a 的理论基础上提出基于纹理的图像检索的方法1 1 】，g a r y 和 m e h r o t r a 在1 9 9 2 提出使用形状特征的图像检索方法【1 2 1 ，郭丽、黄元元、杨静宇在2 0 0 5 6 第二章基于内容的图像检索的研究现状和发展趋势 年提出结合空间特征的图形检索方法等。 在上述的几个图像特征中，颜色和纹理是较早提出的图像特征，这两个图像特征包 含的图像内容信息比较片面，不能充分反映图像内容信息，因此本节对这两种图像特征 只做简单介绍。 2 2 1 颜色和纹理特征 颜色特征是基于内容的图像检索中最早应用的特征，因为颜色定义明确，且对图像 的尺寸、方向、视角等因素的依赖较小，而且人们会对特殊的颜色产生常识性的联系。 然而，单纯的以颜色为基础提取的图像特征会丢失大量图像空间和形状信息，不能够满 足检索的需求。同时它存在一些问题，如由于存在许多不同的颜色空间，在提取颜色特 征时要先确定合适的颜色空间。其次，由于要产生颜色特征向量，需要将颜色值量化， 同时在比较时还要定义不同颜色间的相似性。因此，图像的颜色特征只作为图像检索中 的辅助性特征。常用的颜色特征提取方法有基于全局特征的颜色直方图【3 4 1 、累积颜色直 方图和颜色矩p 引，和基于区域颜色特征的聚类颜色匹配方法【3 6 1 。 纹理特征是一个重要的视觉特征，其包含了物体的表面结构和背景的重要信息，这 些信息通常是由许多相互接近相互编织的元素构成并富有周期性。该特征的通用性不是 特别好，只在某些特殊图像的检索( 如纺织品图像检索) 上有较大的实用价值。一般来 说，纹理和图像频谱中的高频分量有密切联系，因此纹理特征的提取常用采用频域方法。 如利用小波带提取的均值和方差等统计数据表示纹理特征【3 刀；用g a b o r 变换【3 8 】提取纹理 特征，该方法的缺点是计算速度较慢，对旋转和尺度敏感，不过已有许多针对这些问题 的改进【3 卅。另外，对于纹理特征的提取还有其它的一些方法，如统计法和几何法。统计 类方法中的一个著名方法是t a m u r a 等人【4 1 】提出的6 个基于视觉心理学的纹理特征属性： 粗糙度、对比度、方向度、线性度、规则度和粗略度，其中前三个性质对基于内容的图 像检索有视觉上的意义，因此得到较多的应用。而几何法是把纹理划分为“纹理元素”， 假设其“纹理元素 以一定的规律重复排列组合，再提取这些“纹理元素的排列特征。 然而在实际中，大部分纹理都是无规则的，因此该方法受到很大限制。除此之外，还有 基于一些成熟的图像模型来描述纹理的方法，如马尔可夫随机场、子回归模型等。 2 2 2 形状特征 形状是较好的描述图像内容的视觉特征，因为人们在识别物体时，通常是通过物体 的形状做出最终判断，而许多物体虽然具有不同的颜色或者纹理，但它们的形状是类似 的。然而，图像形状分析是一个非常复杂的问题，因为用平面图形来表示三维物体损失 了一维的信息，因此抽取的特征只能部分的表达实物的特征，在加上噪音、图像失真的 干扰，增加了解决该问题的难度【4 2 】。 目前，有关图像形状的表示方法主要有两类：基于轮廓特征的表示方法和基于区域 特征的表示方法。基于轮廓特征的用方法主要是曲率尺度空间和傅里叶变换；基于区域 7 乐雨大学硕士学位论文 特征的常用方法主要是形状不变矩，如几何不变矩、z e r n i k e 矩。 基于轮廓的形状表示方法又可以分为基于结构特征的表示方法和基于全局特征的 表示方法。基于结构特的表示方法有链码和多边形等，但该类方法存在对噪声敏感和提 取的图像特征粗糙等问题。基于全局的特征表示方法主要有曲率尺度空间、傅里叶描述 符等，由于曲率尺度空间是目前m p e g 一7 标准中定义的轮廓线形状描述方法，所以下面将 对它做详细说明。 曲率尺度空间是1 9 9 6 年f l 了m o k h t a r i a n 提出的【4 3 1 1 4 4 1 ，其基本思想是以高斯函数的参数 盯作为尺度因子，在一个较高的尺度上计算轮廓曲线上任意点的曲率k ( u ，仃) ： 1，2 g ( u ，仃，) = 亍e x p ( 一三) ，j = 1 , 2 ， ( 2 1 ) 0 1 z 死 z o j 七( 叩) ：型堕监堕尘墨簟掣 ( 2 2 )7 ( x 。( “，仃) 2 + 匕( “，o r ) 2 ) 驯2 其中g ( u ，仃，) 为高斯函数在不同尺度盯，下的形式，k = x ( u ) o g 。( 甜，仃) ， x 删= x ( u ) og 。( 甜，仃) ，l = y ( u ) og 。( 甜，o - ) ，圪= y ( u ) og 。( ，盯) ，圆表示卷积，“为 弧长参数，邑( ，仃) 和g 。( 材，盯) 对应g ( u ，盯) 关于u 的一阶导数和二阶导数。然后，选取 曲率的过零点为特征点，再在较低尺度下定位这些点，剔除相隔较近的两个点中的一个， 得至u c s s 曲线，最后通过比较c s s 曲线之间的距离得到两幅图像的相似度。 傅里叶描述符和曲率尺度空间一样，也是基于全局的特征表示方法，它的基本思想 是对物体的轮廓或由轮廓信息得到的一组向量，做一维的傅里叶变换，由于傅里叶系数 的低频分量包含了图像轮廓的整体特征，而其高频分量在包含图像轮廓的细部特征的同 时还包含了部分噪声，因此通常采用傅里叶系数的低频分量表示图像特征。而且傅里叶 系数的幅度值具有天然的旋转不变性，对于产生具有平移、缩放和旋转不变性的特征向 量具有很大优势。常用的形状轮廓描述方法有：质心距离( c e n t r o i df u n c t i o n ) 、复 数坐标( c o m p l e xc o o r d i n a t e sf u n c t i o n ) 、弦长函数( c h o r d l e n g t hf u n c t i o n ) 、曲 率函数( c u r v a t u r ef u n c t i o n ) 、积累角函数( c u m u l a t i v ea n g u l a rf u n c t i o n ) 、最远 点距离标记函数( f a s tp o i n tf u n c t i o n ) 4 5 1 等。对于一个效率较高的傅立叶描述符有 两点是必需的：l 、有较好的连续性，因为具有较好连续性的描述符使得傅立叶级数的 收敛速度较快；2 、图形边界的变化对描述符的影响要小，这样可以保证傅里叶描述符 具有良好的抗噪性。 另外，在基于傅里叶变换的方法中，除了上述方法还有仿射傅里叶变换( a f d ) 【4 7 1 、 短时傅里叶变换( s f d ) 4 6 1 、小波变换，多尺度小波变换等方法，在基于轮廓的图像特 征提取中也有许多应用。 与基于轮廓线的形状表示方法相对应，基于区域特征的形状表示方法分为时域方法 和频域方法两类。时域上的基于区域的形状描述方法有面积、周长2 面积、偏心率、几 何不变矩等，其中前面的三个特征比较简单和粗糙，通常不会作为主要特征。而几何不 变矩方法是对图像的像素矩阵做一系列处理后，得到七个具有良好区域不变性的矩，并 8 第二苹基于内容的图像检索的研究现状和发展趋势 组成一个特征向量，该形状分析方法已经被广泛地用于图像检索系统中。在频域上的基 于区域的形状描述方法有z e r n i k e 矩和基于二维傅里叶变换的方法，如g f d t 4 引。 由于基于区域的特征表示方法包含了整幅图像的信息，体现了图像的总体特征，比 基于轮廓线的特征提取方法更具有实际意义。然而，该法必须要先通过图像分割技术提 取出图像中感兴趣的目标区域，再依靠目标区域中的像素点的数值计算图像特征。因此 该类方法对那些图形复杂，不能单纯的用轮廓线表示图像特征，而目标区域又十分明确 的图像能取得较好检索效果，这一性质使得该方法在类似徽标、商标等图像的检索中有 广泛应用。 2 3 图像数据库索引技术 由于各个图像特征提取方法提取的特征向量包含了不同角度的图像信息，因此会产 生多维的特征向量。如果图像数据库的容量很大，则会在检索匹配上花费大量时间，不 能满足用户需求。解决这一问题的方法是，先用维数压缩技术降低特征向量的维数，然 后用适当的多维索引技术组织这些特征向量。 多维检索技术的原理是将一个数据项映射到多维特征空间中的一个点，并用多维数 据结构索引这个空间，使得对数据库中的相似性检索转换成在该数据结构中检索。目前 图像数据库索引技术有两个主要方法：向量空间索引( s 砧峋和度量空间索弓 ( m a m ) e 4 9 。 基于向量空间的索引的主要思想是把高维数据映射到向量空间上的数据结构，将每 一维的数据看成一个坐标轴，以特征值定位数据，建立树型索引结构管理空间数据结构。 目前，很多基于内容的图像检索系统采用了基于向量的索引方法，如m m 公司开发的 q b i c 图像检索系统，美国加州大学设计开发的v l r a g e 系统。 基于度量空间的索引结构的基本思想是将查询图像与一个或多个参考图像对比，计 算相似度。而这些参考图像与图像数据库中的其它图像的相似度已经提前计算好，并存 储在数据库中。然后利用距离的三角不等性剔除非相关图像，从而减少了计算量，提高 了检索性能。由于基于度量空间的索引方法是以对象间的相对距离来搜索图像，而非基 于向量空间的索引方法那样使用特征向量，因此基于度量空间的索引方法具有更加普遍 的使用范围。 2 4 数据库用户交互技术 具有反馈功能的图像检索是指在图像检索的过程中，用户和检索系统有交流过程， 即检索系统允许用户对检索出来的结果进行标记，或对检索的结果进行评估。比如，当 检索结果出来后，用户对其认为正确的图像进行标记，使检索系统得知哪些是用户认为 的相关图像，而哪些是非相关图像。然后，将用户给定的信息作为训练样本反馈给检索 系统进行学习，指导下一轮检索，在几次重复后，使检索结果更符合用户的需求。 目前应用较为广泛的有基于支持向量机( s v m ) 的相关反馈方法，基于贝叶斯准则 的相关反馈方法和相关反馈决策树检索方法。基于支持向量机的相关反馈方法【5 0 】【5 i l 是在 9 查塑奎堂堡主堂篁丝奎 每次反馈过程中对用户标记的正面例和负面例进行学习，建立支持向量机分类器作为模 型，并根据该模型进行检索。该方法的主要缺点是必须在查询结果中的边界图像和最优 图像中折中选择出反馈图像。为了解决该问题，有人提出将用户反馈的类型分为相关、 有点相关和不相关三类，即基于多种类的相关反馈方法 5 4 1 ，取得的了比二分法更好的检 索性能。基于贝叶斯准则的相关反馈方法是把用户反馈信息进行统计分析，然而该方法 在实践中由于对应用假设的不准确性缺乏可靠的概率估计，从而导致其实际效果并没有 理论上的理想。后来c o x 等人1 5 2 】提出了用于贝叶斯相关反馈系统的优化交互策略，和熵 极小化显示算法，从有限的用户反馈中获取较多的信息。相关反馈决策树检索方法是由 d s e a n 等人提出的一种基于内容的交互的图像检索技术【5 3 1 。其方法是将任意一幅图像划 分为用户需要和不需要的两类。首先由用户提供一个查询图像，然后根据最邻近原则得 到k 幅图像。用户对这k 幅图像进行判断，标记出相关图像和不相关图像。系统得到反 馈后，每个标记过图像的特征向量被标记下来，用于训练一个决策树，并不断循环这一 过程。因而不断提高检索的精度，从而达到用户满意的效果。该方法的优点是对图像数 据库中的图像只检索一次，不重复标记。 基于反馈的图像检索系统通常都能够得到更精确的检索结果，因此具有较大的实用 价值，这些系统有几个主要的要求：1 、反馈图像的数目要适中；2 、循环次数不能太多； 3 、提取图像特征及系统进行各项分类、评估的时间不能太长。 由于出现了上述几种具有用户反馈的图像检索技术，图像检索系统的人机交互方式 也发生了与传统方式不同的改变。常用的有示例查询和草图查询这两种方式。示例查询 就像前面所述的，由用户给出查询的图像后，系统提取其特征向量，在特征向量库中检 索，给出检索结果后接受用户反馈，再进行训练，如此反复最终得到较好的检索结果。 而草图查询【5 5 1 则是在用户并没有具体的查询图像，而只有图形的简单概念或草稿的情况 下，系统会根据用户给出的图像草稿进行检索。 2 5 本章小结 本章介绍了基于内容的图像检索技术所包含的三个方面的关键技术：图像特征描述 方法，图像数据库检索技术和数据库用户交互技术。其中重点介绍了图像特征描述方法， 它是基于内容的图像检索技术得以实施的根本和关键。由上述介绍可以看到，在多种图 像特征描述方法中基于区域的形状分析描述方法更具有应用的价值和意义，因此成为了 本文研究的重点。 1 0 第三章含相位信息的一维傅里叶形状描述方法 3 1 引言 第三章基于区域的形状描述方法比较研究 在图像特征提取和图像检索的领域中，基于轮廓线的傅里叶形状描述子( f d ) 是 一个重要的手段，也取得了广泛应用，如利用f d 识别行人形状【5 ，将f d 与 d o u g l a s p e u c k e