（计算机应用技术专业论文）静态图像感兴趣区域提取关键技术研究.pdf

摘要 图像感兴趣区域提取技术是图像处理领域的研究热点之一，借助感兴趣区域 提取技术，可以对图像数据压缩进行指导，可以帮助观察者对图像进行理解，还 适用于在小屏幕上进行图像显示。本文在现有研究的基础上，对基于视觉特征的 感兴趣区域提取算法进行了研究和改进。 对于静态图像，利用颜色差异和利用熵进行感兴趣区域提取是两种简单而有 效的方法，但往往采用单一方法得到的效果不是很好。本文提出了在评价标准中 加入面积因素的方法，达到了图像压缩率和信息保留之间的平衡。同时，对于人 像图片，本文提出将人脸检测的因素加入到感兴趣区域提取中，提高了对人像图 片感兴趣区域提取的准确率。 针对结合颜色差异和熵两种因素的感兴趣区域提取，本文提出了两种解决方 法。一种是对两种方法得到的结果求交集和并集，交集的结果是图像中观察者最 感兴趣的部分，而并集的结果则可以降低误检率，提高准确率。另一种方法是将 两种因素的加权和作为感兴趣区域提取的评价标准，为了确定两种因素的权重参 数，本文提出了利用样本统计和图像特征提取的方法，根据样本实验结果对样本 进行分类，并对每一类图片的图像特征求均值，找出了图像特征与权重参数之间 的初步联系。实验结果表明，权重参数的选择与图像的颜色直方图、h u 形状不 变矩之间存在着一定的联系。 关键词：感兴趣区域颜色差异熵图像特征提取样本统计 a b s t r a c t i m a g er e g i o no fi n t e r e s t ( r o if o rs h o r t ) d e t e c t i o ni so n eo ft h eh o t s p o t si ni m a g e p r o c e s s i n gt e c h n o l o g y w i t ht h eh e l po fr e g i o no f i n t e r e s td e t e c t i o nt e c h n o l o g y , i m a g e d a t ac o m p r e s s i o nc a l lb eg u i d e d , o b s e r v e r sa r eh e l p e du n d e r s t a n dt h ei m a g e s ，i ta l s o a p p l i e st od i s p l a yi m a g eo ns m a l ls c r e e n b a s e do nt h ee x i s t i n gr e s e a r c h ，t h i sp a p e r s t u d i e sa n di m p r o v e st h er e g i o no fi n t e r e s td e t e c t i o na l g o r i t h mb a s e do nv i s u a l f e a t u r e s f o rs t a t i ci m a g e s ，t h er e g i o no fi n t e r e s td e t e c t i o nm e t h o du s i n gc o l o rd i f f e r e n c e a n de n t r o p yi ss i m p l ea n de f f e c t i v e ，b u tt h er e s u l ti sn o tv e r yg o o dw h e nu s i n gas i n g l e a p p r o a c h a ni d e at h a ta d d i n gt h ef a c t o ro fa r e ai n t ot h ec r i t e r i o ni sp r e s e n t e di nt h i s p a p e r , i no r d e rt o a c h i e v et h eb a l a n c eb e t w e e ni m a g ec o m p r e s s i o n r a t ea n d i n f o r m a t i o nr e s e r v a t i o n m e a n w h i l e ，f o rp o r t r a i tp h o t o g r a p h s ，t h ef a c ed e t e c t i o n t e c h n o l o g yi sp r o p o s e dt oh e l p i n c r e a s et h ea c c u r a c yo ft h er e g i o no fi n t e r e s t d e t e c t i o n f o rt h em e t h o do fc o m b i n i n gt w of a c t o r so fc o l o rd i f f e r e n c ea n de n t r o p yt od e t e c t r e g i o no fi n t e r e s t , t w os o l u t i o n sa r ep r e s e n t e di nt h i sp a p e r o n ei st og e ti n t e r s e c t i o n a n du n i o no ft h et w or e s u l t s t h ei n t e r s e c t i o nr e s u l ti st h em o s ti n t e r e s t e dr e g i o nf o r o b s e r v e r si nt h ei m a g e ，w h i l et h eu n i o nr e s u l tc a l lr e d u c et h er a t eo fi m p r o p e r d e t e c t i o na n di n c r e a s et h ea c c u r a c y a n o t h e rm e t h o di st ou s et h ew e i g h t i n gs u n lo f t w of a c t o r sa sc r i t e r i ao fr e g i o no fi n t e r e s td e t e c t i o n i no r d e rt od e t e r m i n et h e w e i g h t i n gp a r a m e t e r s ，t h eu s eo fs t a t i s t i c a ls a m p l ea n di m a g ef e a t u r e e x t r a c t i o n m e t h o di sp r e s e n t e di nt h i sp a p e r b a s e do nt h ee x p e r i m e n t a lr e s u l t so fs a m p l ei m a g e s ， p i c t u r e sc a nb ec l a s s i f i e di n t og r o u p s t h e nc a l c u l a t et h ea v e r a g ev a l u eo fi m a g e f e a t u r e sf o re a c hg r o u p ，i d e n t i f yt h ec o n t a c tb e t w e e nw e i g h t i n gp a r a m e t e r sa n di m a g e f e a t u r e s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e r ea r es o m ec o n t a c t sb e t w e e nw e i g h t i n g p a r a m e t e r sa n dt h ef e a t u r e so fc o l o rh i s t o g r a ma n dh u m o m e n ti n v a r i a n t s k e yw o r d s ：r e g i o no fi n t e r e s t ，c o l o rd i f f e r e n c e ，e n t r o p y , i m a g ef e a t u r e s e x t r a c t i o n ，s t a t i s t i c a ls a m p l e s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得基生盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名： 签字日期：2 0 d 7 年6 月i7e t 学位论文版权使用授权书 本学位论文作者完全了解鑫注叁鲎有关保留、使用学位论文的规定。 特授权墨壅叁堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：杏蕞堡 导师签名： 签字日期：洳7 年b 月，了日 答字日期：1 年6 月f7 日 f 7 第一章绪论 1 1 课题目的及意义 第一章绪论 随着信息化社会的发展，各种通信技术、多媒体技术越来越多的融入到人们 的生活中，人们也越来越多的要接触到图像信息。用图像来表达信息具有简明扼 要的特点，一幅好的图片所表达的信息量可以与一段文字相媲美，却大大节省了 人们阅读和理解所花费的时间，所以每天都会有大量的图像信息不断产生。据估 算，进入2 1 世纪之后，全世界每年新产生的图片将达到8 0 0 亿幅以上【1 】，并且 这个数字还在以惊人的速度增长。随之而来的便是“信息爆炸”的问题。 随着互联网技术的迅猛发展，信息的交换速度越来越快，包括图像在内的信 息交换量也越来越大。如何用最少的交换容量来表达最大的图像信息就成为了图 像处理技术中的一个重要课题。这就涉及到了图像数据压缩的方法。针对静态图 像，专家们提出了j p e g 和j p e g 2 0 0 0 等图像压缩标准【2 ，在基本保证图像质量 的情况下，使用j p e g 编码可以达到1 0 - 4 0 倍的压缩效果，而使用j p e g 2 0 0 0 编 码甚至可以达到上百倍的压缩效果。针对动态视频，同样有m p e g 1 、m p e g 2 、 m p e g - 4 和m p e g 7 等压缩标准 3 】。但是这些压缩编码标准都只是从纯粹的数 学算法角度对图像信息进行压缩，而事实上图像处理是以人为最终归宿的，图像 的质量也是与人眼的视觉相匹配的。所以如何结合人眼的视觉对图像数据进行压 缩处理就成为了一个新的课题。 根据科学家对人眼视觉模型的研究，当观察者在观察幅图片时，往往会首 先将感兴趣的对象从整幅图像的背景中剥离出来，然后将更多的对包含该对象的 区域进行集中观察。例如在一幅人像照片中，往往前景( 即人物) 更容易引起关注， 而背景则成为衬托，包含相对较少的信息。由此便引出了一个“感兴趣区域” ( r e g i o no f i n t e r e s t ) 的概念。感兴趣区域是图像中最能引起观察者兴趣、最能表现 图像内容的区域，它含有的信息量最大，用这些区域就足以描述整幅图像的内容。 基于感兴趣区域的图像表示方法是用部分来概括整体，突出了图像的主要部分， 从而消除了次要部分对观察者带来的干扰。 对于一幅静态图像，如果能够实现自动提取图像的感兴趣区域，并在此基础 上结合各种编码标准实现的图像压缩无疑会是效率最高的，而且可以保留原图像 的绝大部分有用信息，更符合人眼的视觉特性和实际的视觉需要。事实上在 j p e g 2 0 0 0 标准中已经使用了感兴趣区域的方法，对标注为感兴趣区域的部分使 第一章绪论 用相对较低的压缩比，其它部分使用相对较高的压缩比，从而达到高压缩比与图 像质量之间的一个平衡。 此外，感兴趣区域提取技术还适用于在小屏幕上观察图片。随着无线移动技 术的日益发展，手机承担起了越来越多的商务功能，会有更多的图片显示的任务 从p c 转移到手机上。而手机的屏幕相对较小，利用感兴趣区域提取技术，可以 从一幅分辨率较高的图片中提取出面积较小的一部分，这样既不会降低用户所见 图片的清晰度，又涵盖了图片中的大部分信息，保证了用户对图像信息的理解。 由此可以看出，对自动提取图像感兴趣区域的研究，对于图像数据压缩、显 示以及其它大规模图像处理工作具有重要的理论和实践意义。 1 2 感兴趣区域提取技术研究现状 由于感兴趣区域提取技术对于图像数据压缩的重大贡献，近年来已经成为研 究的一个热点。目前的r o i 提取算法主要从以下两个方面入手：一是利用图像 分割的相关技术来提取r o i ；另一个就是从人跟的视觉特征出发，通过对图像视 觉特征的分析来提取r o i 。利用图像分割的方法来提取r o i 虽然精度较高，但 算法相对复杂，效率较差，对于大规模图像数据处理往往会显得力不从心，所以 本文重点关注从人眼视觉特征出发的r o i 提取算法。 c l a u d i om 根据入眼的视觉特征提出了八种通过计算局部最大值来提取r o i 的图像处理算法。第一种是对称变换( s y m m e t r yt r a n s f o r m ) ，第二种是离散小波变 换( d i s c r e t ew a v e l e tt r a n s f o r m ) ，第三种是沿灰度级方向的差( d i f f e r e n c ei nt h e g r a y - l e v e lo r i e n t a t i o n ) ，第四种是每单位区域的边缘( e d g e sp e ru n i ta r e a ) ，第五种 是熵( e n t r o p y ) ，第六种是麦克尔逊对比度( m i c h a e l s o nc o n t r a s t ) ，第七种是离散余 弦变换( d c t d i s c r e t ec o s i n et r a n s f o r m ) ，第八种是高斯一拉普拉斯算子( t h e l a p l a c i a no f t h eg a u s s i a n ) 。根据以上八种方法，模拟人眼的视觉特征，并寻找图 像中人眼最敏感的视觉停留点，再通过聚类( c l u s t e r i n g ) 和排序( s e q u e n c i n g ) 实现感 兴趣区域的提取【4 【5 。 i t t i 等人提出了显著i 羽( s a l i e n c ym a p ) 模型。显著图是幅表面图像中各点的 显著性特征的二维图像，显著图可由输入图像经过拓扑变换得到，然后通过动态 神经网络选取显著值最大的点作为注视, 点, , 6 1 1 7 1 1 8 。r a o 等人提出把高斯微分函 数作为滤波器对图像的点在m 个方向k 个尺度上进行滤波，得到的响应可以组 成一个m k 维的特征向量，然后就可以基于这个向量来选取注视点【9 】。 以上的算法涵盖了空间域和频域，都是基于视觉特征的。 2 第一章绪论 1 3 本文研究工作及论文结果 1 3 1 本文研究工作 本文在分析和总结前人研究成果的基础上，针对两种简单而实用的感兴趣区 域提取方法利用颜色差异和利用熵进行感兴趣区域提取的算法进行细致分 析，并提出改进方案，提高了感兴趣区域提取的准确度，并对如何自动提取图像 的感兴趣区域进行了初步探索。 本文主要研究t 作和创新之处如下： ( 1 ) 利用颜色差异和利用熵进行感兴趣区域提取是两种简单而实用的感兴 趣区域提取方法，这两种方法只是感兴趣区域的理论基础，在实际提取过程中， 为了保证提取出的感兴趣区域能够包含图像的大部分信息，本文提出在提取过程 中加入面积因素，保证感兴趣区域的面积能占到图像整体面积的一定比例。对于 人像图片，人脸往往是观察者所注重的部分，所以本文提出将人脸检测加入到感 兴趣区域的提取中，要求提取出的感兴趣区域包含图像中的人脸所占区域，增加 了感兴趣区域提取的准确率。 ( 2 ) 对于利用颜色差异和利用熵的方法提取到的感兴趣区域结果都不是很 好的图像，本文提出了将两种方法结合起来的方法。第一种思路是对两种方法所 得到的结果进行结合，本文提出了对两种结果求交集和求并集的方法。求交集所 得到的结果通常是图像中观察者最感兴趣的部分，而求并集所得到的结果能够降 低误检率，包含图像中绝大部分有用的信息，不会影响观察者对图像的理解。另 一种思路就是在感兴趣区域评价标准中将颜色差异和熵两种因素以一定的比例 相加得到新的评价标准，但对于不同类型的图像，如何确定这一比例成为一个新 的问题。为解决比例参数的问题，本文利用样本统计的方法，通过样本实验对样 本中的图片进行分类，并分析每一类图像的特征均值，寻找比例参数与图像特征 的初步关系。本文对图像的颜色特征、形状特征和纹理特征进行了分析，从中选 择颜色直方图、h u 形状不变矩和基于灰度共生矩阵的纹理描述符，并通过样本 统计的方法寻找图像特征与比例参数之间的初步联系。 1 3 2 论文结构 第一章，介绍了本文的课题研究背景、目的和意义，概括叙述了本文所做的 主要工作。 第二章，介绍与论文研究工作相关的背景知识及一些现有的图像感兴趣区域 提取算法。 第一章绪论 第三章，介绍了利用颜色差异和熵进行感兴趣区域提取的方法，并提出了在 感兴趣区域提取中加入面积因素和人脸检测的改进策略。 第四章，针对采用单一方法的局限性，提出了将两种方法相结合的改进策略， 一种是对两种方法的结果求交集和并集；另一种是颜色差异与熵的加权和作为感 兴趣区域的评价标准进行提取，并进行了样本实验，对样本进行了分类。 第五章，介绍了图像特征提取的相关概念，选取了颜色特征、形状特征和纹 理特征中有代表性的特征描述符进行分析，结合第四章的样本实验研究了比例参 数与图像特征之间的联系。 第六章，对全文工作进行总结，并对未来的研究工作做出展望。 4 第二章感兴趣区域提取的基本理论 第二章感兴趣区域提取的基本理论 本章主要介绍了与论文研究工作相关的感兴趣区域提取的理论基础，并介绍 了几种现有的提取算法。其中第一节主要介绍了人类视觉系统的功能结构和相关 特性；第二节介绍了几种基于区域生成的感兴趣区域提取算法；第三节介绍了几 种基于灰度阈值补偿的感兴趣区域提取算法：第四节介绍了基于边缘分割技术的 感兴趣区域提取算法，其中重点讨论了几种边缘算子；第五节介绍了模仿人眼视 觉特征的感兴趣区域提取算法。 2 1 人类视觉系统的功能结构及认知特性 计算机视觉是指用计算机实现人的视觉功能，即对客观世界的三维场景的感 知、识别和理解。其主要研究目标可归纳为两个，它们之间是互补的。第一是建 成计算机视觉系统，完成各种视觉任务，即要使计算机能够借助各种视觉传感器 ( 如c c d 摄像器) 获得场景的图像，感知和恢复三维场景中物体的形状、结构、 运动和相互位置等信息，并对客观场景进行识别和结实。第二是将该研究与探索 人脑视觉的工作结合，进一步加深对人脑视觉过程的理解和掌握 1 0 。由此可以 看出，对人脑视觉的充分理解也将会促进计算机视觉的深入研究。因此，首先需 要认识人类视觉系统的功能结构和认知特性。 2 1 1 人类视觉系统的功能结构 人类视觉系统按照功能可以划分为成像子系统、图像传输子系统和图像处理 子系统，如图2 1 所示【1 1 。其中，成像子系统主要负责将客观世界中的可见光 信号通过人眼屈光系统进行适当的聚焦，成像在视网膜上，通过分布在视网膜表 面的感光细胞转换为电信号，并对其进行初步的编码处理，形成形状结构、颜色 亮度和空间运动等图像信息；图像传输子系统负责将上一步处理后的图像信号分 别送入由视神经纤维构成的三条视觉神经信息通道进行平行的传输；最后由大脑 皮层构成的图像处理子系统负责对图像信号进行解码、分析和理解工作，最终形 成视觉图像。 第二章感兴趣区域提取的基本理论 客j 蜕l ! ! 界 。lm “，m 自：；ml 一 ”“4l 大 i “；“女“ _ 。：* 脑 入服厢光系统人瞅视网膜 一i ”。”“ 皮 戚缘子蕞统 j 啦情i ；箦“p f l 锕 拧 层 工f u 恐圳1 口* 月l l 坦 l 竺竺兰! 一j | h 矍i 图2 1 人类视觉系统功能结构图 视觉感知的过程总体上来说是一个从客观三维世界到主观理解空问的一个 映射过程。如图2 - 2 所示。该过程大致可以分为两个阶段：第一阶段为人眼的视 网膜对客观世界的成像，这是一个三维空间到二维视网膜的映射；第二阶段在视 觉系统内部完成，这是一个从视网膜形成的表象二维空间到大脑皮层的理解空间 的映射。 成像 理群 客观世界人鼹视网膜大腩视皮层 三二维空问竺竺，- 二维袭象空问 竺篓- 理解空间 图2 2 视觉形成的过程 2 1 2 人类视觉系统的图像视觉特征 人类视觉系统的图像视觉特征主要包括亮度和颜色两种主观的视觉感知特 征，这也是人类视觉系统进行观察和理解的基础特征。 ( 1 ) 亮度感知 实验表明，人眼能够感知的主观亮度是进入眼睛的光强度的对数函数 z 2 】， 这就意味着人眼的视觉系统能够适应范围很宽的光强度。不过人眼是利用自身对 于亮度的适应性通过改变灵敏度来实现其对于光强度的大范围适应的，所以人眼 的视觉并不是能够同时分辨适应范围内的所有光强度级别，能同时分辨的光强度 级别范围相对较小。 ( 2 ) 颜色感知 人眼能够看到和感觉到的可见光其实是种特殊的电磁辐射，其彩色范围只 占电磁波谱的一小部分，大约在4 0 0 n m - - - 7 0 0 n m 的范围。人眼所感觉到的物体颜 6 第二章感兴趣区域提取的基本理论 色是由物体的反射光决定的。从人眼的生理结构可知，视锥细胞是主要的彩色视 觉传感器。人眼中的视锥细胞按其感受颜色的不同大致可以分为三类：大约6 5 的视锥细胞对红光较为敏感，3 3 对绿光较为敏感，只有2 对蓝光较为敏感。 人眼可感知的彩色可以看作是红、绿、蓝三种颜色的组合。与对亮度的感知类似， 人眼对颜色的感知同样存在自适应性，能够分辨超过2 0 0 万种不同的颜色【1 3 】， 但能同时分辨的颜色的数量却相对有限【1 4 。 人类视觉对亮度和颜色的感知特性表明：在同一个场景中，人类视觉系统对 亮度和颜色的分辨能力是相对有限的，只能分辨差异较大的亮度和颜色，面差异 较小的亮度和颜色则近似被认为是一致的。这为计算机视觉系统提供了相应的生 理学基础。 视觉注意( v i s t m la t t e n t i o n ) 是人类视觉( h u m a nv i s i o n ) 研究领域的一个重要课 题。简单来说，就是研究人眼在观察图像时对哪些部分更加注意，也就是图像中 的哪些部分更容易引起观察者的注意。从本质上说，视觉注意属于神经生物学的 研究范畴，它意味着观察者具有能够将观察能力集中于某一区域的能力 1 5 】。随 着图像处理的发展，近年来，已经有一些研究人员将视觉注意的概念引入到图像 处理的应用当中【1 6 】。 2 2 基于区域生成的r o i 提取方法 这是一种在图像分割把图像按特点标记成不同区域的基础上进行r o i 提取 的方法 1 7 1 。 2 2 1 直方图法 在一些简单的图像中，物体的灰度分布往往比较有规律，背景和前景的对象 物体在图像的灰度直方图上各自形成一个波峰，区域和波峰形成了一种对应关 系。如果选择两个波峰之间的波谷处的灰度值作为阈值r ，就可以将两个区域分 割开来，进一步就可以进行r o i 提取。 算法如下，i ( m ，刀) 表示原图像的像素，g ( m ，刀) 、g 咖，刀) 分别代表根据阈值 丁提取后的图像像素。 g ( 聊，刀) = 厂：，z ；2 ：；三；烈噼心力 依此类推，可以将图像分割成各个有意义的区域。 7 、， t l - 2 ，l r r 一 、l，、l， 疗 甩 ， ， m m ，-_、，ii ， 第二章感兴趣区域提取的基本理论 使用灰度直方图的方法比较简单，在通常情况下是一个常用的基于灰度阂值 的区域生成的r o i 提取算法。但是图像的灰度直方图随不同的对象条件会有较 大差别，当出现波谷比较平坦，各区域的灰度直方图波形重叠时，阈值会相对难 以确定，在提取感兴趣区域时也会出现背景被腐蚀的现象，而对背景区域也会出 现被误判为目标的情况。 2 2 2p 参数法 如果图像中的各个物体所占的区域面积可以估算，那么就可以用统计灰度面 积的方法来选取合适的阈值进行r o i 的提取。 如果r o i 区域在灰度的低端，且低端面积比为p ，则从灰度0 到 f ，( ，= o ，1 ，g 1 ) 计算累加的直方图函数值： c ，) = 薹等 ( 2 2 ) 当c 。眈) = p 时，选取此时的为阈值互，由此就可以提取处于低端的r o i 区域。 如果r o i 区域在灰度的高端，且高端的面积比为p ：，则从灰度n 到 e = g - 1 ，g - 2 ，) 计算累加的直方图函数值： c z ) = 羔。等 ( 2 3 ) 当c ：眈) = p ：时，选取此时的为阈值正，由此就可以提取处于高端的r o i 区域。 如果图像中的区域较多，则可以在分离灰度高端区和低端区后继续用上面的 方法进行分割。不同的是此时的起始灰度值不再是0 和g - 1 ，而是五和疋。 2 2 3 基于最大方差自动获取阈值 当图像灰度直方图的波峰、波谷不明显，而且两个区域的面积比也难以确定 时，可以采用基于最大方差自动获取阈值的方法进行r o i 提取。 先考虑图像只存在目标和背景两个区域的情况。设t 为分离两个区域的灰度 阈值，两个区域的面积比分别为p 。和p ：，整幅图像的平均灰度值为甜，两个区 域的平均灰度值分别为“。和“：，g 为图像的灰度级数。各个参数的计算公式如 8 第二章感兴趣区域提取的基本理论 下： 区域1 的面积比 p 。= 争丝n 区域，的而粳比d ：掣v - - i 丝 区域2 的面积比 p ：2 委，寺 面积比的关系p l + p 2 = 1 整幅图像的平均灰度 = 萎g - 1 乃等 区域1 的平均灰度 “。= 去吝乃等 区域2 的平均灰度甜：= 击荟g - i 。乃等 ( 2 4 ) ( 2 - 5 ) ( 2 - 6 ) ( 2 - 7 ) ( 2 8 ) ( 2 - 9 ) 甜2 u l pj + u 2 p 2 ( 2 1 0 ) 当被阈值f 分离的两个区域的灰度相差较大时，两个区域的平均灰度值材。和 u ：与整幅图像的平均灰度值u 的差也较大，此时就需要计算区域问的方差 j 耐( f ) 2 = pm 0 ，一z ，) 2 + p ：u ：一“) 2( 2 1 1 ) 公式中s 耐( f ) 2 表示了图像被阈值f 分割成两个区域的方差。由于“、“。、“：、 p l 、p ：都是关于t 的函数，因此上面的公式可以改写成 s 肼( f ) 2 = p l o 融，o ) 一“o ) 】2 + p 2 ( f 融：o ) 一甜( f ) 】2 ( 2 1 2 ) 当被分割的两个区域的方差达到最大时，可以认为是两区域的最佳分离状 态。由此可以确定阈值f 一。 基于最大方差获取阈值的方法是一种全自动的方法，不需要人为的设定其它 参数。经过推广，它也可以适用于多个区域的情况，只需用同样的算法继续迭代 即可。 2 2 4 基于临域像素的灰度差判别准则 区域生成的过程，可以是通过阈值法由大到小的分割区域而成，也可以是由 小到大的进行区域生长。区域生长法可以分为简单连接、混合连接和中心化连接 等。简单连接是指将每个像素作为一个节点，与其空间相邻的像素进行特性( 如 9 第二章感兴趣区域提取的基本理论 灰度) 比较，将特性相似的节点连接起来，从而进行区域的生长。该方法很简单， 但往往效果不好。通常采用混合连接的区域生长法。混合连接的过程与简单连接 很类似，不过对每个节点，选取周围的k k 邻域内的点的灰度值进行校验，相 对于简单连接，抗干扰性明显增强。 具体的灰度判别准则过程如下：设灰度差的阈值为丁，令( 肌，刀) 为基本小区 域的坐标，u ( m ，玎) 为该小区域的平均灰度值，f ( f ，) 为与m ，船) 小区域相邻的且 暂时不属于任何小区域的基本单元的灰度值。设 c = l f ( i ，- ，) 一甜，玎】 ( 2 1 3 ) 则灰度差判别准则的过程可以表示为 f 合并，并置为同一标记c t i不变 c t 当c t ，则表明基本单元( f ，j ) 与区域( 聊，刀) 的平均特性相似，应合并为同 一区域，并计算合并后的小区域的灰度平均值；当c t ，则表面两者不相似， ，( f ，) 保持不变，仍为不属于任何区域的基本单元。以上的过程是一个迭代的过 程，每一次迭代结束，则区域生长的过程随即结束。 阈值丁的选择随图像面积不同而不同，通常面积越大，则r 越大。同时种子 点的选择也很重要，会影响搜索的结果。 2 3 基于灰度阈值补偿算法的r o i 提取 基于区域生成的r o i 提取算法都是灰度图像的分割，且一般假设每个区域 内的图像灰度相近，相邻区域的图像特性不同，在区域的边界上变化比较剧烈。 而实际的图像很难满足这些要求，所以在应用基于区域生成的r o i 提取算法时， 往往会出现像素被腐蚀和有些像素被意外保留的情况。为了解决这些问题，又出 现了几种补偿的方法。 2 3 1 基于局部灰度均值的补偿算法 对于常见的简单图像，目标和背景区域会有两个明显的不同：背景的灰度均 值和目标区域的灰度均值不同，背景的灰度方差和目标区域的灰度方差不同。 当背景的灰度均值, 。大于目标区域的灰度均值“：时，可在基于最大方差决 定的阈值丁的基础上进行改进，作为r o i 区域的整体判断。设像素的区域灰度 均值为“。，图像的整体灰度均值为甜，。 1 0 第二章感兴趣区域提取的基本理论 删= 馏? 驴似，控) t 胃u o 殂掰。 材，) ( 2 - 1 4 ) f ( m ，力) “3 其中u 。的取值与区域大小的选择有关，通常选取3 3 和7 7 的临域。 当背景的灰度均值甜。小于目标区域的灰度均值u ：时，则采用如下方法进行 改进。 圳= 似0 力鸭咖戋茹潞黝? 一3 应用基于局部均值的补偿算法后，对一些图像会有明显的灰度补偿作用。 2 3 2 基于局部灰度方差的补偿算法 对于常见的简单图像，可以利用背景区域与目标区域的灰度方差不同进行补 偿。 当背景区域的灰度方差s 耐，大于目标区域的灰度方差s 耐：时，可以在已经选 定的阈值的基础上，应用如下方法对感兴趣区域判断进行改进。设像素的区域灰 度方差为s 耐。，图像的整体灰度方差为s 必，。 加) = 借m 似y 鬈蒜嚣黜砜邻训p 峋 其中s t d o 的取值与区域大小的选择有关，通常选取3 3 和7 7 的临域。 当背景区域的灰度方差s 耐。小于目标区域的灰度方差s 耐：时，则采用如下方 法对感兴趣区域判断进行改进。 加，= 弦似川卜冀握黜小咄) ( 2 _ 1 7 ， 应用基于局部灰度方差的补偿算法后，相对于基于最大方差的r o i 提取来 说，在图像的边缘处有了明显的加强作用。 2 3 3 基于局部灰度均值和方差的联合补偿算法 由于基于局部灰度均值和基于局部灰度方差的方法都有一定的局限性，所以 第二章感兴趣区域提取的基本理论 造成单独使用时的效果不够理想，特别是基于方差的补偿算法。于是可以把两种 补偿算法结合起来，在进行补偿时既考虑灰度均值条件，同时又考虑灰度方差的 条件。 当背景区域灰度均值“。大于目标区域灰度均值u ，且背景区域灰度方差s t d 大于目标区域的灰度方差s t d 2 时，可以在基于最大方差确定的阈值丁的基础上， 应用如下算法对感兴趣区域判断进行改进。设像素的区域灰度均值为u 。，图像 的整体灰度均值为u ，像素的区域灰度方差为s t d 。，图像的整体灰度方差为s t d 3 。 删= 掣 驴，疗) t _ r u o 3 且f 砜 r r u o “3 凰砜 s t d 3 ( 2 - 1 8 ) 当背景区域灰度均值“。小于目标区域灰度均值“：，且背景区域灰度方差s t d i 小于目标区域的灰度方差s t d ：时，则使用如下算法： 加，= 厂掣胁川b m p 嵩描竺警糯一3 眦溯 ( 2 1 9 ) 通常选择3 3 和7 7 的临域来计算“o 和s t d o 。 使用基于局部灰度均值和局部灰度方差的联合补偿算法，在大部分情况下可 以得到大致的目标物体，同时边缘处得到了加强，是一种不错的补偿算法。 2 4 基于边缘分割技术的r o i 提取 图像的边缘对于图像识别有着重要的意义。边缘能够勾划出目标物体的轮 廓，令观察者一目了然，同时又蕴涵了丰富的内在信息( 如方向、阶跃、形状等) ， 是图像识别中的重要特征之一。从本质上讲，图像边缘是灰度值不连续的结果， 它标志着一个区域的结束和另一个区域的开始。 边缘检测首先检测出图像中局部的特征不连续性，这种不连续性通常可由求 导数检测到，然后再将这些不连续的边缘像素连成连续的边界。沿边缘走向的像 素特性变化平缓，而垂直于边缘方向的像素特性变化剧烈。通常采用各种边缘算 子进行边缘提取。 1 2 第二章感兴趣区域提取的基本理论 2 4 1 基于边缘算子的图像边缘提取 常用的边缘提取算法有三类：第一是边缘算子法，最常用的是差分算子和拉 普拉斯算子；第二是曲面拟合法，主要用的是平面拟合的方法；第三是模板匹配 法，主要采用线性模板的匹配，即s o b e l 算子。提取出图像边缘以后，就可以通 过标记区域的方法来实现感兴趣区域的提取 1 8 】。 ( 1 ) 梯度算子 梯度对应一阶导数，梯度算子是一阶导数算子。对一个连续函数厂( x ，y ) ，它 在位置( 工，y ) 处的梯度可以表示为一个矢量： 夥( x ，y ) = 【g ， g ，】r = 匮 这个矢量的幅度( 也可简称为梯度) 和方向角分别为： ( 2 2 0 ) 警哆) = 吲2 孽_ 嘭r ( 2 2 。) 如，少) = a r c t a n ( g ，g ) 、7 其中幅度的计算是以2 为范数来计算的，对应的以l 为范数和以o o 为范数的 幅度分别为： l 吼，) i = 吲+ 川l 瓢。) l = n a x q i ，i g ，| ) ( 2 - 2 2 ) 在实际中常用小区域模板卷积来近似计算偏导数。对g ，和g ，各用一个模 板，所以需要两个模板组合起来以构成一个梯度算子。根据模板的大小和其中元 素值的不同，人们提出了许多种不同的算子。较为常用的有r o b e r t sc r o s s 算子、 p r e w i t t 算子和s o b e l 算子，如图2 3 所示 1 9 】，其中s o b e l 算子效果相对较好， 应用较为广泛。 第二章感兴趣区域提取的基本理论 田田园圈圆圈 妨p r e w 矗 ( c ) $ o b d 图2 3 几种常用梯度算子的模板 算子运算时是采用类似卷积的方式，将模板在图像上移动并在每个位置计算 对应中心像素的梯度值。在边缘灰度值过渡比较尖锐且图像噪声比较小时，梯度 算子的效果较好。 ( 2 ) 综合正交算子 边缘的存在是图像中灰度值不连续的表现，图像中的孤立点和直线段都可以 看作边缘。直线段可以看作是由两个相邻的边缘构成，所以也可以用经过特殊设 计的正交模板来进行检测。综合正交算子是由9 个模板组成的，如图2 4 所示， 既可以检测边缘，也可以检测直线段，可以看作是对前面梯度算子的推广。 边缘子空间基直线子空间基平均子空间 0101 - 21 ii1 圈圆圈圈幽 对称梯度被纹直线拉昔拉斯 图2 _ 4 综合正交算子的模板 第一组的4 个模板构成边缘子空间基，其中两个模板为各向同性的对称梯度 模板，另两个模板为波纹模板。第二组的4 个模板构成直线子空间基，其中两个 模板为直线检测模板，另两个为离散拉普拉斯模板。最后一个模板为平均模板， 加上它是为了空间的完整性 2 0 】。 将这些模板与原图像进行卷积，相当于将原图像向各个空间投影。根据投影 的数值可以确定原图像中边缘点、直线点和孤立点的多少。 ( 3 ) 方向微分算子 1 4 第二章感兴趣区域提取的基本理论 方向微分算子基于特定方向上的微分来检测边缘。它先辨认像素是否为可能 的边缘点，再给它赋予预先定义的若干个方向之一。在空域上，方向微分算子利 用一组模板与图像进行卷积来分别计算不同方向上的差分值，取其中最大的作为 边缘强度，并将与之对应的方向作为边缘的方向。实际上每个模板会对应两个相 反的方向，最后还需要根据卷积值的符号来选取其一。常用的八方向k i r s c h 模 板如图2 5 所示【2 1 】，各方向的夹角均为4 5 。 圈圈园圈 圈圈园圈 图2 5k i t s c h 算子的八方向模板 如果卷积值的最大值的绝对值为边缘强度，且用考虑最大值符号的方法来确 定相应的边缘方向，那么由于各模板的对称性只需要用前四个模板就可以了。 h ) 拉普拉斯算子 拉普拉斯( l a p l a c i a n ) 算子是一种常用的二阶导数算子，实际中可根据二阶导 数算子过零点的性质来确定边缘的位置。对一个连续函数厂b ，y ) ，它在位置b ，y ) 处的拉普拉斯值定义如下： v 2 = 睾+ 等c 卵一 ( 2 2 3 ) 在图像中，计算函数的拉普拉斯值也可以借助各种模板来实现。这里对模板 的基本要求是对应中心像素的系数应为正数，而对应中心像素邻近像素的系数应 为负数，且它们的和应为零。常用的两种拉普拉斯算子模板如图2 - 6 所示，它们 均满足上面的条件。 第二章感兴趣区域提取的基本理论 圈圜 图2 - 6 拉普拉斯算子的模板 拉普拉斯算子是一种二阶导数算子，所以对图像中的噪声相当敏感。另外它 常产生双像素宽的边缘，而且也不能提供边缘的方向信息。由于以上原因，拉普 拉斯算子很少直接应用在边缘检测上，而主要用于已知边缘像素后确定该像素是 在图像的暗区或明区的过程中。 ( 5 ) 马尔算子 马尔( m a r t ) 算子是在拉普拉斯算子的基础上实现的 2 2 】，它得益于对人的视 觉机理的研究，具有一定的生物学和生理学意义 2 3 1 。拉普拉斯算子对噪声比较 敏感，为了减少噪声的影响，可先对待检测图像进行平滑处理，然后再运用拉普 拉斯算子。由于在成像时，一个给定像素点所对应的场景点的周围点对该点的光 强贡献呈高斯分布，所以可采用高斯加权平滑函数来进行平滑操作。 马尔边缘检测的思路源于对哺乳动物视觉系统的生物学研究。这种方法对不 同分辨率的图像分别进行处理。在每个分辨率上，都通过二阶导数算子来计算过 零点以获得边缘图。这样在每个分辨率上的计算包括 2 4 】： 1 ) 用一个二维的高斯平滑模板与原图像进行卷积； 2 ) 计算卷积后图像的拉普拉斯值； 3 ) 检测拉普拉斯图像中的过零点作为边缘点。 高斯加权平滑函数定义如下： 酬一( 一等) ( 2 2 4 ) 其中，仃是高斯分布的均方差，与平滑程度是成正比的。这样对原图像厂g ，y ) 的平滑结果为： g ( x ，y ) = h ( x ，y ) 厂g ，y )( 2 2 5 ) 其中 代表卷积运算。对平滑后的图像再运用拉普拉斯算子，如果设厂是到 原点的径向距离，r 2 = 工2 + 夕2 ，对，求二阶导数计算拉普拉斯值可得： 1 6 第二章感兴趣区域提取的基本理论 v 印2 y ) 胞y ) 】= v 2 如y ) 圆几小( 等) e 文一导) q 瓜y ) ( 2 2 6 ) 其中 v 2 圳甜= ( 等h 丢) 亿2 7 ， 也称为高斯拉普拉斯( l a p l a c i a n o f - g a u s s i a n ) 滤波器或算子。它是一个轴对称 的函数。 数学上已经证明，马尔算子是按零交叉检测阶跃边缘的最佳算子。在实际图 像中，高斯滤波的零交叉点不一定全部是边缘点，还需要进一步对其真伪进行确 认。此外，用马尔算子得到的过零点并不一定能够给出封闭的轮廓。 ( 6 ) 坎尼算子 坎尼( c a n n y ) 把边缘检测问题转化为检测单位函数极大值的问题来考虑 2 5 。 他利用高斯模型，借助图像滤波的概念指出了一个好的边缘检测算子应具有的三 个指标：低失误概率、高位置精度和对每个边缘有唯一的响应。针对上述三个指 标，坎尼提出了判断边缘检测算子的三个准则：信噪比准则、定位精度准则和单 边缘响应准则。 1 ) 信噪比准则 信噪比s n r 定义如下： 册：咝 仃c 办2 b 胁 ( 2 - 2 8 ) 其中，g g ) 代表边缘函数，乃g ) 代表带宽为形的滤波器的脉冲响应，仃代 表高斯噪声的均方差。信噪比越大，提取边缘时的失误概率越低。 2 ) 定位精度准则 边缘定位精度三定义如下： 1 7 第二章感兴趣区域提取的基本理论 三：i 堡丝i 仃wt 2 g 皿 ( 2 2 9 ) 其中g g ) 和厅7 b ) 分别为g g ) 和j i z b ) 的一阶导数，三越大表明定位精度越 高，即检测出的边缘在其真正的位置上。 3 1 单边缘响应准则 单边缘响应与算子脉冲响应的导数的零交叉点平均距离( 厂7 ) 有关。 列门= 臀 v 2 ( 2 - 3 0 ) 其中，办。( 工) 代表h ( x ) 的二阶导数。如果满足上式，则对每个边缘可以有唯 一的响应，得到的边界为单像素宽度。 上述三个准则之间有一定的联系。如信噪比准则和定位精度准则之间就由非 确定性准则相连，如果提高了检测能