（信号与信息处理专业论文）多尺度相位特征提取及其在图像检索中的应用.pdf

中国科学技术大学硕士学位论文摘要及关键词 摘要 在过去的十几年里，基于内容的图像检索( c b i r ，c o n t e n t b a s e di m a g e r e t r i e v a l ) 受到了广泛的关注，尤其是2 0 0 0 年之后，这个领域获得了极大的发 展。但是到目前为止，基于内容的图像检索中仍然存在着许多待解决的问题。 特征提取便是基于内容的图像检索研究中最为重要的一个方面。图像特征提取 结果的好坏直接影响图像检索的最终性能。有鉴于此，本文主要研究了多尺度 相位特征( m p f m u l t i s c a l ep h a s ef e a t u r e ) 提取的相关问题。本文主要工作如下： ( 一) 系统地研究了尺度空间理论，为图像特征的提取做了理论铺垫。尺 度空间理论作为一种强有力的数据分析工具，应用在图像上则可以提供对图像 从粗糙尺度到精细尺度的不同分辨率下的图像描述，亦即多尺度描述。通过对 图像进行多尺度分解，得到图像在尺度空间的多尺度描述，从而建立起符合人 眼视觉特性的图像特征模型。多尺度的图像特征模型是后续特征提取的基础。 ( 二) 引入复数可调滤波器( c o m p l e xs t e e r b a b i ef i t e r ) 的概念，提取出不 同于传统特征的多尺度相位特征。可调滤波器本身是一种经典的方向性滤波器， 在计算机视觉和图像处理有着广泛的应用，它可以非常便捷地计算出图像在任 意方向上的滤波结果。为获得图像的相位信息，本文对可调滤波器的形式进行 复数化处理，利用得到的复数可调滤波器组对图像的多尺度描述进行分解，随 后，对得到的多尺度相位信息再做进步的特征重组，即利用直方图投影的方 法得到该相位信息的统计直方图，最终计算出图像的多尺度相位特征。如此获 取的图像相位特征对于图像视觉内容有着很强的表述能力。 ( 三) 对多尺度相位特征在图像检索中的应用做了性能分析，并着重对其 联合传统的图像特征检索的结果进行了实验分析。多尺度相位特征是不同于传 统颜色、纹理和形状的新特征，因此利用它和传统特征进行联合，可以对传统 特征在对图像的视觉内容的描述上起到有力的补充，从而获得更大的性能提升。 从信息论的角度来看，也很容易理解。因为这样的联合增加了新的信息量，对 图像内容的表述更加的完备。实验结果也证实了使用联合之后的特征进行检索， 性能有了明显的提高，极大地提高了检索准确率。 关键词：特征提取多尺度相位特征基于内容的图像检索 i a b s t r a c t i nt h ep a s tm o r et h a nloy e a r s ，c o n t 弓n t b a s e di m a g er 弓t r 论v a ( c b j r ) h a s b e e nr e c e i v i n ge x t e n s i v ea t t e n t i o n t h i sf i e l dh a sa c h i e v e dg r e a tp r o g r e s s ，e s p e c i a i l y a n e rt h ey e a r2 0 0 0 h o w e v e r ，u n t 订n o w ，t h e r ea r es t i l lm a n yu n s o l v e dp r o b l e m si nt h e r e s e a r c hn e l do fc b i r o n et h em o s ti m p o r t a n ta s p e c ci nt h ec b i rs t u d yi sf e a c u r e x t r a c t i o n ，w h i c hd i r e c t l yl e a d st oag o o do rb a di m a g er e t r i e v a lr e s u l t t h e r e f o r e ，t h i s t h e s i sm a i n l yf o c u s e so nt h er e s e a r c ho fm u l t i s c a 】ep h a s ef e a t u r e ( m p f ) r e l a t e d p r o b i e m s t h em a i nc o n t r i b u t i o no ft h i st h e s i si sa sf o i l o w s ： f i r s t l y ，s c a l es p a c et h e o r yi ss y s t e m a t i c a l l ys t u d i e dt op r o v i d et h e o r e t i c a l a n a l y s i sf o ri m a g e 凫a t u r ee x t r a c i o n s c a i e 驴c et h e o av e i y p d w e r f u ld a t a a n a l y s i st o o l ，c a np r o v i d em u l t i r e s o l u t i o ni m a g ed e s c r i p t i o nf r o mc o a r s es c a l et o6 n e s c a l ew h e n 印p l i e dt oi m a g e m u l t i s c a l ed e s c r i p t i o ni se x t r a c t e dt h r o u 曲m u l t i s c a l e d e c o n l p o s i t i o n ，a | 1 dt h u sa 量l u m a nv i s i o na c c o f d a n i 溺a g e 凫a u r e 力1 0 d e ii sb u ；j 娃p m u l t i s c a l ei m a g ef e a t u r em o d e l i st h eb a s i sf o rs u b s e q u e n ti m a g ee x t r a c t i o n s e c o n d l y ，b yi n t r d d u c i n gc d m p l e xs t e e r a b l e6 l t e r ，m u l t i s c a l ep h a s ef e a t u r ei s e x t f a c e d s t e e r a b l ef i l t e ri sac l a s s i go f i e n t a ff i j t e r a n dh a se x 沁n s i v ea p p f i c a 矗o n si n c o m p u t e rv i s i o na n di m a g ep r o c e s s i n gf o rt h er e a s o nt h a ti t sv e r yc o n v e n i e n tt o c o m p u t ei m a g en l t e r i n gr e s u l ti na r b i t r a 拶d i r e c t i o n i no r d e rt oe x t r a c tp h a s e i n f o m l a t i o no fi m a g e ，c o m p i e xf o r mo fs t e e r a b i e 仃l t e ri si m p f e m e n t e dt od e c o m p 0 5 弓 t h em u l t i s c a l ed e s c r i p t i o na n dt h e naf h r t h e rs t e pi st a k e nt or e o r g a n i z et h e m u l t i s c a l ep h a s ei n f d r m a t i o na n dn n a l l ym u l t i s c a l ep h a s ef c a t u r ei se ) ( t r a c t e d t h e p h a s ef b a t u r ea g q u i r e di sq u i t ec a p a b l eo ff e p r e s e n t i n gi m a g ev i s u a lc o n t e n t s f i n a l l y ，m u l t i s c a l ep h a s ef e a t u r ei sa p p l i e dt oc b i r ，a n de s p e c i a l l yt h e e x p e f i m e n t a la n a l y s i so f 咒t r j e v a lr e s u k sb yi t sc d m b i n a t i o nw i t ht r a d i t i o n a li m a g e f e a t u r ei ss t u d i e d m u l t i ，s c a l ep h a s ef e a t u r ei san e wf e a t u r ed i f r e r e n tf r o mt r a d i t i o n a l c o l o r t e x t u r ea n ds h 印ef e a t u r e s ，s oi t sc o m b i n a t i o nw i t ht r a d i t i o n a lo n e ss t r o n g l y c o m p l e m e n t sh ed e s cr r i p i o nf o r ri m a g ev i s u 金ic o 玎白跚a n d幽u si m p r o v e sl h e p e 响咖a n c eal o t f r o mm ev i e w p o i n to fi n f o r m a t i o nm e o r y ，i t 7 sa l s ou n d e r s t a n d a b l e t h i gk i n do fc d m b i n a t i o np r o v i d e sm o r ei n f o r m a t i o na n dm o r ec o m p r e h e n s i v ei m a g e v i s u a le o n t e n 乏d e s c r i p i q n ，t h e x p e r i r n e n tf 譬s u 托sa f 5 0d e n l o f l s e f a 据h e 暑f c ；v 珏g s s o ft h ec o m b i n e df e a t u r e si nr e t r i e v a l k e y w o r d s ：佗a t u ee x 妇c i o mm n 磁一s c a l ep h a 鸵沁a u r e ，c 0 n l e n t b a s e di m a g er e l r j e v a l - i i 数据采集 文 对象信息 用户 互联网 件 分割 提交查询图象 jl 囊 ：相关反馈 数据库等 蓰 分块 i 概念学习等 ： ， 黼爹 加窦著l ，五 ， 田白熙赢 归一化等士一； 关系等 i 显示区域 查询示例、检索结果 索引结构j 鑫相! ； 等 数据结构 ：图象特征 似：i 0 一结台关键词 度； l选择区域 室。兰- _ n p e _ l 目 自 l 语义决策分类l ； 、荃皆i 特征耀瞒堋鹇 章：绪论 图1 1 ：c b l r 系统模型 f 适1 1 ：f l o w c h a r to ft h ec b i rs y s t e m s “基于内容”说明c b i r 技术是直接考虑图像的视觉信息的，而不囿于传 统的通过对图像进行语义注释的t b i r 技术。基于内容的图像检索是利用图像特 征的相似性匹配来进行检索，输入的为图像示例，输出的为与示例相同的或者 相似的图像。它所依据的是从图像中提取的客观的图像特征描述，而非主观的 人工标注，因此避免了因为关键词模糊的含义所带来的非预期的检索结果。 c b i r 技术作为一种新的图像检索技术，是以图像处理，模式识别，图像理 解和计算机视觉等传统的图像技术为基础的。主要研究的是图像特征描述方法， 图像特征提取和索引方法以及衡量图像内容相似程度的相似性度量算法等问 题。其中，图像特征提取对c b i r 而言显得尤其的关键。c b i r 系统性能的好坏， 在很大程度上都取决于所提取的图像特征是否很好地描述了图像的“内容”。 c b i r 技术目前已经应用在了许多方面，诸如：图像搜索引擎，数字图书馆， 商标检索系统，医学图像检索等等。可以预见，在不远的将来，对c b i r 技术的 需求还会进一步的扩大，因此，针对这一方向的深入研究具有很大的理论价值 和应用前景，这是一个颇有生命力的研究方向。而随着对c b i r 技术需求的不断 提高，该方向的研究定会获得空前的发展。 主里型堂垫垄丕兰塑主兰堡坠奎差= 皇! 堑堡 次，所提取的图像特征又可分为低层特征，中层特征和高层特征。 低层特征：这一方面的研究主要是以现有的计算机视觉及图像处理技术为 基础。其主要工作是直接从图像中提取诸如颜色、纹理和形状等图像基本特征。 用一组特征矢量来作为图像内容的描述。 低层特征主要指图像的可视特征，可分为通用特征与专用特征。通用特征 是指针对通用图像数据的一类图像特征，如颜色、纹理和形状等。专用特征则 针对特定应用领域的图像数据，如人脸、指纹和医疗图像等所设计出的特征。 目前，已见诸文献的低层特征有数百种之多【s m e u l d e r s2 0 0 0 】【d a l t a2 0 0 5 】【d a t i ：a 2 0 0 7 】，绝大部分都是基于颜色、纹理和形状特征的，或者多种特征混合的。 中层特征：由于传统的低层特征并未考虑任何图像的语义信息，因此在对 图像内容的描述上很可能是不完备的。以主色特征和颜色均值特征为例。在某 些情况下，这两种特征是非常类似的，但是在有些情况下，两者却有迥然不同 l i u2 0 0 7 】。如下图，第一幅图像的主色特征与颜色均值非常接近，第二幅图像就 相去甚远了。这也说明低层特征对于图像的描诔皋存存不一靳桦的 露鬃! 誉鬻- ； ：、鬻 。罗：一”孤争 2 ：、誊； 1 9 4 f ?i ：。絮 l i q ，l i 扣，“烈舢2 b 敏c 图1 2 ：图像内容特征不一致( a ) 原图( b ) 均色( c ) 主色 f i g 1 2 ：d i s a c c o r do fi m a g ec o n t e n ta n df e a t u r e s 为解决这个问题，中层特征主要考虑图像之中的对象，即具有语义含义的 区域及相互关系，但值得注意的是图像分割和目标识别是目前图像处理领域中 尚未解决的问题。虽然对区域分割算法及区域面积、区域间位置关系、两组多 区域间相似度等的研究取得了不小的进展，但在通用的图像分割和目标识别问 题上，仍然没有一个合适的解决方案。 高层特征：所谓高层，是指符合人类对图像内容理解的语义级的描述。亦 即图像内容的语义描述，包括各类底层特征之间的逻辑关系。图像的高层特征 中，一种最直观的就是：图像关键词标注。它通常和图像的低层特征相结合， 从而达到填补语义鸿沟( s e m a n t i cg a p ) 的目的。这方面的相关工作可参见 【f e r e c a t u2 0 0 8 】。 ( 2 ) 相似性度量：相似性度量是c b i r 中除了特征提取之外最重要的一个 里型兰塾垄盔堂婴圭兰笪笙塞 蔓= 至! 缝堡 研究内容。可以说，相似性度量方法在很大程度上决定了一个c b i r 算法性能的 优劣，因为它直接关系着最后呈现给用户的检索结果是否和用户的期望一致。 它主要研究如何设计相似性度量函数，使得根据所提取的图像特征计算出来的 图像之间的相似性和人眼视觉系统作出的判断一致【l i u2 0 0 7 】。为了达到这个目 的，研究者们引入了信息论，统计理论和最优规划等理论从多个角度来模拟和 逼近人眼的视觉特性。 首先，相似性度量计算的特征差异要与视觉差异一致。研究表明，人类的 感知系统对于不同类别的特征会采用不同的度量方式【s m e u l d e r s2 0 0 0 】 s t e n t i f o r d 2 0 0 7 】，所以必须根据所提取的图像特征的类型选择相适应的相似性度量。圊时， 图像特征的数值和视觉系统中对应特征的数值在幅度上也存在着差异，在设计 相似性度量函数时必须考虑这一点。另外，在提取的图像特征是混合多特征的 情况下，这时要使用归一化的方法对原始的各个特征进行归一化处理，并且要 考虑各个不同特征各自的加权系数。 其次，由于量化处理以及权重的设定等原因，图像的不同特征在有时会对 应相同的视觉内容，而一般的距离度量算法是认为特征独立不相关的，这样势 必造成检索效率的地下。为此，q b i c 在图像检索中引入了二次型的度量算法， 之后，其他科研工作者对此进行了进一步的研究。r u b n e r 根据最优化理论，提 出了e m d 算法，l i n g 等人则将其推广到e m d l l l i n g2 0 0 6 】。 最后，相似性度量的优化。通常，相似性度量的算法都比较复杂，耗时较 长。为了在线计算，就必须加以优化。b a y a r d o 等人给出了比较新的索引和优化 策略的相似性度量方法研究成果【b a y a r d o2 7 】。总之，寻找检索结果的正确性 和相似度量的简化性之间的平衡点，是c b i r 中的一个重要研究课题。 1 2 2c b i r 系统 c b i r 的研究除了涵盖前文所叙的诸多内容之外，在应用方面，也涌现了很 多有代表性的c b i r 系统。下面就比较有名的几个c b l r 系统简单地介绍他们的 工作原理。实际上目前而言，成熟的商用c b i r 系统比较少见，因此列表的系统 大多是早期较为知名的应用系统。 ( 1 ) q b i c ：i b m 的q b i c ( q u e d rb yi m a g ec o n t e n t ) 是第一个商品化的基 于内容的图像检索系统。系统框架与技术对后来的图像检索系统有深远的影响。 它支持基于例图、用户构造的草图、选择颜色、纹理等查询。采用纹理特征租 主里型兰垫查丕兰塑主兰垡堡奎蔓：二雯：塑堡 1 2 研究现状 在过去的十多年里，c b i r 一直是一个很重要的研究方向。由于该技术拥有 前文提及的众多的学科背景，加之应用前景又十分广阔，国内外大量的科研人 员先后投身于该研究领域。因此c b i r 在多个方面都取得了重大的进展，并产生 了大量的研究成果。 国际标准化组织( i s o i e c ) 于2 0 0 1 年底推出m p e g 7 标准，专门用于定 义一个标准的媒体内容接口。科研界也有诸多的会议和刊物涉及c b i r 研究领域 的内容，如知名的国际会议a c mm u l t i m e d i a 、c v p r 、i c i p 、i c p r 、i c m e 、i c a s s p 等。还有一些会议则是专门针对图像和视频检索问题的，如i n t e m a t i o n a l c o n f e r e n c eo ni m a g ea n dv i d e or e t r i e v a l ，s p i e s t o r a g ea n dr e t r i e v a lf o ri m a g ea n d d e od a t a b a s e s 等。另外，在重要的国际刊物上，如i e e et r a n s o np a m i ，i e e e t r a n s o ni m a g ep r o c e s s i n g ，i e e et r a n s 。o nm u l t i m e d i a ，i e e et r a n s o nc s v t ， c o m p u t e rv i s i o na n di m a g eu n d e r s t a n d i n g ，i n t e m a t i o n a lj o u m a lo fc o m p u t e rv i s i o n ， p a t t e mr e c o g n i t i o n ，i m a g ea n dv i s i o nc o m p u t i n g 等，也涌现很多优秀和高质量的 研究性文章与综述。根据从i e e e 数据上的检索结果看，2 0 0 5 年之前的图像检索 的文献就有高达2 2 9 8 篇，此后每年都至少有3 0 0 篇新的文章被发表。而在应用 方面，则出现了如i b m 公司研发的q b i c ，u c s b 大学研发的n e t r a 和m i t 大学 研发的p h o t o b o o k 等十数个c b i r 系统。同时，国内的一些研究单位如：清华大 学，中科院计算所，中科院自动化所，中国科学技术大学，上海交通大学等， 虽然起步较晚，但也积极投身于c b i r 领域的研究，发表了大量相关研究论文。 现在，c b i r 领域的研究还远未成熟。现有的c b i r 系统也存在一些实际应 用的问题。回顾过去十年间该领域的研究工作，其研究内容和应用系统可以具 体分述如下。 1 2 1c b i r 研究内容 从图1 1 可以看出，c b i r 系统主要包括6 个部分：数据采集、特征提取、 索引结构、相似性度量、用户界面和人机交互。其中，特征提取和相似性度量 作为c b i r 最重要的研究方向，论文将在下面加以重点介绍。 ( 1 ) 特征提取：基于内容的图像检索技术的基础就是对图像视觉内容 主里型兰堇垄丕堂堡主堂丝堡塞蔓二童：堕堡 的两个串行环节，特征提取和相似性度量又是彼此紧密联系的，不能完全作为 独立的单元来进行研究。因此，在论文的最后对相似性度量对特征提取的影响 做了一定的实验研究。全文的结构安排如下： 第一章：绪论部分主要介绍c b i r 产生的背景，研究现状以及主要的研究 内容。同时，着重阐述了特征提取在c b i r 研究中的地位和重要性。 第二章：系统地研究了尺度空间理论及其在人眼视觉感知方面的联系。 第三章：详细地阐述了可调滤波器的理论，并引入复数可调滤波器的概念。 第四章：在对传统特征广泛的研究和分析的基础上，提出了多尺度相位特 征，并着重研究了该新特征联合传统特征检索的性能。 第五章：对当前研究成果的总结及对将来研究内容的展望。 最后是参考文献及攻读硕士学位期间发表的论文情况。 1 3 2 论文创新点 本文的创新之处有如下几点： ( 1 ) 所提出的多尺度相位特征是基于人眼视觉特性的。依据人类视觉系 统h v s 对外界输入图像信息的感知是基于多尺度描述这一性质，在理论上得到 了合适的图像多尺度描述。 ( 2 ) 根据生理学的研究结果结合实际的实验结果，首次将图像的相位信 息引入到对图像视觉内容的描述之中。该特征不仅具有良好的性能，更重要的 是它对现有的传统颜色、形状和纹理特征提供了强有力的补充，使得进一步提 高c b i r 系统的性能变得相对容易。 ( 3 ) 定性地分析了特征重组对于特征相似性度量的意义，随后以投影矢 量为媒介，定量地分析了特征重组时，相关参数对于特征相似性的影响。为特 征提取之后的进一步处理提供了一定的借鉴意义。 中国科学技术大学硕士学位论文第二章：尺度空间理论 第2 章尺度空间理论 2 1 弓l畜 多尺度图像分析已经成为了计算机视觉，图像处理和生物视觉建模等领域 的基础分析方法。然而，务类分析的算法都有一个共同的特点，即涉及很多不 同的技术，而且其中有一些算法更是针对特定的情况特别设计的，通用性不够 好。尺度空间理论( s c a l es p a c et h e o r y ) 作为一种相对而言较新的领域，现在被 认为是一种具有良好的理论基础，通用性好且十分有前景的多尺度图像分析技 术。它被广泛地应用在图像结构分析方面，包括2 维图像，3 维图像和时间序列。 尺度空间理论，顾名思义，研究的核心内容是“尺度”的概念。从人眼视 觉对外界事物感知的角度来看，物体都是具有多尺度特性的。在数学上，当我 们谈及一个物体的时候，它并无尺度的概念。例如，我们常常会使用的一个概 念“点”，它就没有尺度，在理论上点是没有大小的，可以趋于无限小。但是在 真实的物理世界中，物体则存在一系列的尺度。考虑如下的场景，当我们借助 于某种设备( 我们的眼睛或者摄像机等) 对外界进行观察的时候，该设备能测 量的范围就是我们所说的“尺度”。而设备所能观察的尺度范围有上下限：下限 是最小孑l 径( 我们视觉杆细胞或者摄像机的c c d 最小单元) 所能观察到的物体 的细节；上限是宏观上物体的概况，亦即视野的大小。一个最直观的例子就是 “管中窥豹 的典故。在精细尺度( f l n e s c a i e ) 上观察豹子的时候，只能看到它 身上的一个斑点，这就属于小尺度，是细节；在粗糙尺度( c o a r s es c a l e ) 上观察 豹子的时候，才能看到它的全貌轮廓，这就属于大尺度，是概况。 如上所述，对于物体的描述很大程度上取决于所采用的尺度。因此，在图 像分析的领域里面，对于图像视觉内容的分析，尺度就显得非常重要了。为了 从图像中提取与人类对图像内容感知比较相吻合的特征，就需要对图像中的视 觉内容和结构在不同的尺度下进行分析，从而获得图像的多尺度描述。尺度空 间理论就是一个非常自然的选择了。它作为一种强有力的理论分析工具，可以 提供对各种数据包括图像的多尺度表示。 里型堂堇查丕堂堡主堂垡堡塞 蔓三童! 垦堡至塑堡堡 2 2 定义和基本思想 尺度空间的概念由来已久。起初，它主要是针对一些早期的简单视觉处理 的。后来，随着计算机视觉领域相关研究的进步，尺度空间理论也随之逐步发 展。现在它主要用来分析图像数据的多尺度特性【l i n d e b e 唱1 9 9 4 】【g u i g u e s2 0 0 6 】。 对图像数据采用多尺度表示的一个最主要的原因是：当对输入的图像数据 无先验知识而无法确定合适的尺度来进行描述时，唯一合理的方法即为在多个 尺度上来描述输入的图像数据。尺度空间理论的基本思想正是基于这一点考虑， 它通过把原图像嵌入到一簇由原图所得的单参数图像序列里，其中，精细尺度 图像的结构依次被抑制，从而构建出图像的多尺度表示。如下图所示：其中， 随着t 的增长，图像信号的尺度越来越大，其中蕴含的细节就越少。 钟曙凇ls i 勖n | 图2 1 ：图像多尺度表示示意图 f i g 2 1 ：s c h e m a t i cd i a g r a mo f t h em u l t i s c a l er e p r e s e n t a t i o no fa ni m a g e 在对图像的多尺度表示实际应用中，上述基本思想的一个很重要的限制条件是： 多尺度表示图像时，图像在粗糙尺度下的视觉内容或结构应该包含其在精细尺 度下相应的视觉内容或结构部分，只不过相对而言更简化一些。并且这一点必 须是多尺度表示本身的属性，而非随机产生的现象。这个限制条件事实上就要 求所采用的抑制函数或称平滑变换函数( s m o o t h i n gt r a n s f o r n lf u n c t i o n ) 满足线 性和空间平移不变性，同时，在对图像由精细尺度变换到粗糙尺度的过程中不 能产生一些本不存在的结构。l i n d e b e 唱等人认为，在对所采用的计算类型作一 些宽泛的限制条件下，高斯核函数( g a u s sk e m e lf u n c t i o n ) 及其各阶导数可以被 挑选出来作为适当的平滑变换函数。 一般而言，对于任意一个n 维的信号，：r jr ，它的尺度空间表示 ：r r 一酞定义如下： 中国科学技术大学硕士学位论文第二章：尺度空间理论 ( 工；f ) = 副厂( 工一孝) g ( f ) 蟛 式中，g ：r x 酞+ 一r 为卷积核函数，f 为尺度因子 如；f ) = 嘉p 。r i ，2 ， 公式2 1 f o r m u i a2 1 公式2 2 f o r m u i a2 2 同样的，尺度空间函数簇也司以由求解线性扩散方程得米： = 吉v 2 斯慧笔 初始条件为( ；f ) = 。因此，尺度空间在任意尺度f 下的各阶导数可定义为： 弘r ) _ a “；，f ) - ( a 埘；f ) f o r 慧z 从上式即可看出，原始图像多尺度表示的各阶导数等价于对高斯函数先求导再 和原始图像卷积的结果。 2 3 线性尺度空闻理论 2 3 1 观测的物理特性 当我们对人类观测外界物体的过程仔细地研究时，我们很可能会有如下的 一些疑问。到底什么是图像呢? 我们能观测到物体能有多准确呢? 视觉系统在 观测的时候是否使用的是最优化的度量呢? 这些疑问有助于我们理解在人类视 觉的过程中到底发生了什么。 任何一个物理的观测过程都是通过一个孔径( a p e r t u r e ) 进行的，并且这个 孔径还必须是有限大小的。这看起来是不言自明的。如果孔径为零，就看不到 任何东西了。当然，我们首先考虑没有约束的物理观测过程，亦即不涉及具体 的物理模型。这一点对本节而言比较重要，因为这个讨论的是线性的尺度空间 理论。在稍后的章节里会再讨论涉及具体物理模型的观测过程，即有关非线性 尺度空间理论的相关问题。 在线性尺度空间理论里，通常认为观测使用的孔径都是固定的，其孔径大 小为一个常数。在更广义的情况下，甚至并不给定一个事先确定的数值。另外 一个和直觉不符的是，在物理观测的过程中，噪声常常扮演了一个非常重要的 角色，并成为了观测的一部分。当且仅当我们对所观测的对象或者包括噪声有 确定的物理模型，真实的对象才有可能被提取出来。在大多数情况下，都是假 定我们观测的物体是理想的，不含噪声的。另外一个涉及待观测物体的问题是 澜 蓊 黼 瓣 主里型堂塾查盔堂堡主兰丝堡塞 一 蔓三雯! 垦星窒塑堡堡 何结构的函数。这种方法的基本思想大多是借鉴物理中流的概念。以2 维曲线 为例来讨论几何流尺度空间的相关概念。考虑图像中的曲线是等照度线的情形， 即曲线上的每个点的亮度是相同的。曲线可以完全由曲线弧长的函数，曲率来 表示： a c，、=公式2 2 l i 。g 【r ， f o r m u i a2 2 1 n 譬 r u i i u i 订二j 式中，r 即为曲线c 的曲率，丙为外法线矢量。注意，只有在法线方向上的变 化被考虑，因为在切线方向上的变化并不改变曲线。通过选定合适的坐标系( v w 规范坐标系) ，我们可以得到= 一k ，l ，因此扩散方程可以写作： 警= k斯慧毪d s ro r i n u l a 二 这个扩散方程可以理解为只沿着等照度线的方向进行扩散。 非线性尺度空间可以非常灵活方便地把实际的各种应用引入到对应的扩 散方程的概念里。例如，可以把沿着图像中的几何边缘的增强和针对图像中的 灰度的检测联合在一起： 尝圳，k附麓臻c 苕 r u r i n u l a 二j 式中，h 是图像梯度l 的衰减函数，所以在大对比度像素的领域其模糊效果就相 对较弱一些，从而增强了图像中的局部结构的边缘。 2 5 多尺度特征提取 在利用尺度空间来提取图像特征的过程中，仅仅使用线性的滤波结果是不 够的，常常也引入一些非线性的处理。有些情况下，更是将不同阶的高斯偏导 算子在不同尺度下的滤波结果联合起来获取对该图像的详细的尺度分析结果。 下面就图像多尺度特征的提取做一些简单的介绍。 2 5 1 边缘检测 在上面已经介绍过了，v w 规范坐标系是计算机视觉领域使用得较多的一 种坐标系。对于图像中的任意一点而言，该点的v 方向和它的梯度的方向是平 行的。即方向为：( c o s 口，s i n 口) = ( t ，) e + e ，则规范坐标系下的方向导数为： 丸= s ；n ，一c 。s ， = c 。s 功。+ s t n 酮， f 。r 竺慧；三： 然后，我们可以定义一个边缘点为在其梯度方向上有局部最大值的点，边缘的 室旦型兰垫垄盔兰塑主兰丝迨塞箜三童：垦廛窒旦墨堡 定义就可以记为： l 三。= o公式2 2 5 i 厶。 o f o r m u l a2 2 5 式中，l 和k 分别表示在v 方向上的2 阶和3 阶方向导数。根据上述公式即可 完成对图像中边缘的检测。 2 。6 本章小结 由于尺度空间理论涉及太多的数学问题，因此难于理解。本文对尺度空间 理论做介绍时，尽可能涵盖该领域的绝大部分范围同时又尽量保持直观。详细 地阐述了线性尺度空间和非线性尺度空间的相关问题。同时，主要关注尺度空 间理论在应用于图像特征提取方面的相关问题，对于尺度空间理论本身涉及的 比较晦涩的数学则相对而言介绍的较为简略。本为的主要目的也是借助于尺度 空间理论这一工具来为后续的图像多尺度特征提取作铺垫。 中国科学技术大学硕士学位论文第三章：可调滤波器理论 几加缸町川f o r 慧蠡 厂9 ( 训) = 七) 厂巴( 训) f 一竺芷封 现在我们的目标即为寻找可以满足上式的函数，( x ，j ，) ，并找到合适的m 值以及 插值函数丘，( p ) 。 将坐标系改为极坐标系，：万万：a r 甙工，y ) ，并令，( x ，y ) 为某任意函数， 将其对极坐标系的角度作f o u r i e r 级数展开有： m = 毫啪一斯慧篓 由上述两式即可得到插值函数意( 护) 所满足的条件。w t f r e e m a n 证明了当且仅 当插值函数七，( 口) 是如下方程的解时，公式3 2 中的可作f o u r i e r 展开的函数才能 使得公式3 1 成 l l p 。岛已峨 扩e 、扩e l l e 钆 ： 毋钆 毛( 护) 岛( 曰) ( p ) 公式3 ，3 f o r m u i a3 3 解决了插值函数的问题之后，我们再来考虑合适的m 值，即使函数( ，妒) 可调所需的基滤波器函数的数目。首先，令t 表示函数( ，矿) 的f o u r i e r 级数展 开式中的系数( ，) 不为零的数目。例如，c o s ( ) = ( p 一+ p “) 2 ，它的t 就等于2 ， 而c o s ( ) 十l = p o + ( p p + e 。) 2 的t 值则等于3 。可以证明，满足条件的最小的基滤 波器的数目m 必须使得如下的方程成立： 几舻铷吲喇)f o r 麓嚣 上式中，g ，矿) 可以是任意的函数集合。而满足条件的m 的最小值即为t 。 如公式3 1 所示，利用一组旋转后的函数作为基函数还需要选定t 个基函 数的旋转方向秒，使得公式3 3 中的矩阵的各列是线性独立的。在实际应用中，考 虑到对称性和对噪声的稳健性，旋转的角度是选择在0 和万之间等间隔采样。 至此，我们已经得到了函数可调的所有的条件。下面以一个例子来说明函 数可调的实现。在极坐标系下，高斯函数的一阶导是： g ? ( r 舻一2 彤。c 。s ( 舻w ，2 ( f o r 篙薹 根据前面的结论，高斯函数的一阶导对极坐标系下的角度作f o u r i e r 展开有两项 不为零，则t = 2 ，即两个基滤波器函数就足以线性合成该函数了。再来求其插值 函数的表达式。考虑到g ，( ，) 的展开式中常数项为0 ，去掉公式3 3 中对应的第 一行，则有： 中国科学技术大学硕士学位论文 第三章：可调滤波器理论 a d a i 醴；v e l v f i l t e r e di m 吾g e 图3 1 ：可调滤波器系统框图 f i g 3 1 ：s t e e ra ：b l e6 l t e rs y s t e mb l o c kd i a 莎a m 可调滤波器的另一个可能替代思路是，把各个方向上的滤波器投影到一组 正交的完备基函数上，例如h e r m i t e 函数。然后通过调整展开系数来达到可调滤 波的目的。这种方法也可以提供非常灵活的可调的自适应滤波，唯一的缺点就 在于，它很可能需要更多的基函数才能达到其目的。因此，前匾叙述的可调滤 波器方法是相对而言最佳的一种。 3 3 可调滤波器设计 如果可以使用足够多的基滤波器函数，角频率带限的所有函数都是可调 的。但在实际的应用中，往往希望使用尽可能少的基函数。毕竟，越多的基函 数就意味着越大的计算量。 下面以一个例子说明如何设计可调滤波器。基于二阶高斯导数g ，在频域的 响应，设计一个可调的正交对基滤波器。所谓的“正交对滤波器”是指两个滤 波器函数，它们的频率响应完全相同，而相位则有9 0 。的差异，亦即两者互为 生里型堂堇垄杰堂堡主兰垡丝奎茎三童! 里塑壅堡量堡丝 h i l b e r t 变换对。这样的滤波器对可以提供和相位无关的频谱分析，而且也可以 合成具有指定频率响应且有任意相位的滤波器。高斯函数的导数对于图像分析 而言是非常有用的一种工具，而可调的高斯函数，则可以应用在许多图像处理 的方面。本文在后续章节就利用了复数形式的可调滤波器来提取图像中的相位 信息。 二阶高斯导数可以记为厂( 五j ，) = 掣= ( 4 x ：一2 ) p 小，) 。它是一个偶对称的多项 式和径向对称的高斯窗函数的乘积。根据上面的定理，3 个基函数就足够使之可 调了。先计算其插值函数，七，( 目) ，： ( p ! ，) = ( p ，：b p 。：岛p ，：岛) ( 茎虽) 由上式的实部和虚部分别相等可得3 个方程， 岛= 1 2 0 。可得： 屯( 口) = 三”2 c o s ( 2 ( 曰一q ) ) 】 最后即可得到二阶高斯导数的可调滤波形式： 公式3 8 f o r m u l a3 8 联立求解，令只= g ，g = 甜韶 公式3 9 f o r n l u l 鑫3 9 q 咄( 印，州踟尹州印 融釜端 与6 ：正交的滤波器h ：则可以通过最小方差法拟合多项式和一个高斯窗函 数的乘积来近似，从而得到间接地得到。实验发现，一个三阶的奇对称的多项 式可以很好地拟合巩= ( 一2 2 d 5 x + o 9 7 驭3 ) p t ，“，同时它的可调滤波形式可以由四 个基函数来线性组合： 矗；砘( 伽；坻汀唯( 郴? i 邺 f 0 r 麓滞 这样，g 和4 共有7 个基函数，这组基就足以将求出g 在任意方向和任意相位 上的结果， 3 3 1 可分离的可调滤波器 对于大多数的可调滤波器而言，其基滤波器函数的形式并不是x y 可分离 的，这样就不能利用可分离计算的优越性能从而导致很大的计算量。尤其是在 图像处理领域，需要处理的数据量往往比较大，因此我 f 】器望可以设计出x y 可 分离的基滤波器函数。 首先我们注意到，所用的函数f ，只要它可以写作x 和y 的多项式，那 ! 里整兰堇垄莶兰堡主兰垡垒奎 星三兰! 里塑堕丝墨里堡 - _ i - _ _ _ _ _ - _ 。_ - _ _ _ - _ _ _ _ _ - _ _ _ _ - _ _ - _ - _ _ - 。_ _ _ _ _ - 。- 。_ _ _ _ l _ _ 。- _ _ _ _ - - _ 。1 。_ _ _ _ _ _ _ _ 。1 。- _ _ _ _ _ _ _ 。 么就存在一个x v 可分离的基函数。当然，在有些情况下，很可能需要很多大基 函数来表达该函数f 。对多项式中的每一个含x 秘y 的项旋转一个免度，最后得 到的仍然是x 和y 的幂次项，只不过该幂次项前的系数是所旋转角度的函数： 9 ( x ，y ) = 一，( 曰) x 。j ， 公式3 1 2 j 。了f o l i m 珏坛3 1 2 上述旋转后的多项式中每一项x 和y 的积都可以被视为x y 可分离的基函数，其 中。该项的系数姒秽) 即为基函数的插值函数。 在更一般的情况下，一些x y 可分离的基函数集合只包含最小数目的基函 数，同时它仍然可以涵盖函数旋转的所有方向。这样的基函数在应用的时候可 以极大地提高计算效率。 3 3 2 离散空间滤波器 前述的可调滤波理论都是建立在连续函数的基础上的，而在离散采样空间 处理问题的时候会遇到一些问题。当然，如果一个连续函数是可调的，那么对 它采样后的离散形式也应该是可调的，因为空域韵采样和可诵是可以互换鹄。 对空域采样后的基函数进行加权求和和对连续域的基函数的加权和进行空域采 样的结果是等价的。因此，可以对连续的基函数进行采样而得到离散的基函数。 滤波器也可以在频率域设计。这时就需要分离径向和角度两部分。传统的 滤波器设计技术能设计出有指定的径向响应的周期对称2 维滤波器。然后，对 该滤波器加上角度变换，然后在频域采样就可以得到可调的基滤波器了，对频 域采样后的响应进行逆变换就得到了滤波器核函数。 3 4 本蠢小结 可调滤波理论作为一种非常经典的图像分析工具，在今天仍然有着很强的 生命力。本章对可调滤波的理论做了比较详细的阐述。首先对可调滤波出现的 背景做了简介，并重点介绍了可调滤波器的强大方向滤波能力。同时针对二维 图像数据，讨论了二维的可调滤波器相关理论。并以二阶高斯函数的导数为例， 详细地分析了可调滤波器的设计方法，并讨论有关离散可调滤波器的相