（信号与信息处理专业论文）基于手动模板的视频序列帧轮廓及线描提取系统.pdf

基于手动模板的视频序列帧轮廓及线描提取系统 摘要 轮廓提取是图像处理、计算机视觉、模式识别等领域中重要的前处理过程， 在视觉匹配、运动跟踪、3 d 目标重建、图像识别等方面有着广泛应用。而在轮 廓提取技术基础上发展起来的线描提取技术已经成为当今视频及电影后期特效 制作的重要手段，是计算机视觉领域中备受关注的研究方向之一。 本文结合边缘提取算法、形状匹配算法、及非线性变换算法和主动轮廓模 型实现一个基于模板的、有监督的、交互式的视频轮廓及线描提取系统。该系 统可以根据模板的不同，准确的在视频序列帧中提取目标物体的轮廓或线描。 本文主要研究内容如下： ( 1 ) 分析和比较了常用的图像边缘提取算法，详细讨论了简约图法，并通 过单幅图像以及序列帧的简约图提取实验对该算法的过程进行了分析。 ( 2 ) 实现了s h a p et r e e 匹配算法，并针对相邻帧间物体的形变和位移小的 特点，结合s h a p et r e e 匹配算法在形状匹配上的优势，设计了相邻帧间模板与 简约图的匹配算法，通过实验对算法进行了验证并对实验结果进行了分析。 ( 3 ) 研究了薄板样条的基本原理，设计了基于薄板样条的相邻帧模板变换 算法，通过相邻帧间的变换实验对该算法在应用中遇到的问题进行了分析。 ( 4 ) 针对主动轮廓模型对初始化位置比较敏感这一特点，在相邻帧间的薄 板样条变换算法基础上设计了基于主动轮廓模型的轮廓平滑算法。 关键词：简约图：形状匹配；薄板样条；主动轮廓模型 s y s t e mo fc o n t o u r a n ds k e t c he x t r a c t i o nf r o mv i d e o s e q u e n c ef r a m eb a s e do nm a n u a lt e m p l a t e a b s t r a c t c o n t o u re x t r a c t i o ni sa ni m p o r t a n tp r e p r o c e s s i n go fi m a g ep r o c e s s i n g ， c o m p u t e rv i s i o n ，p a t t e r nr e c o g n i t i o n ，a n di t h a sw i d ea p p l i c a t i o n si nv i s u a l m a t c h i n g ，m o t i o nt r a c k i n g ，3 dr e c o n s t r u c t i o n ，i m a g er e c o g n i t i o n ，e t c s k e t c h e x t r a c t i o nw h i c hi sd e v e l o p e do nt h eb a s i so ft h ec o n t o u re x t r a c t i o nt e c h n o l o g y h a sb e c o m ea ni m p o r t a n tm e t h o do fv i d e oa n df i l mp o s t - p r o d u c t i o ne f f e c t s ，a n di t i so n eo ft h em o s tp o p u l a ra r e a si nc o m p u t e rv i s i o n i n t h i st h e s i s ，w ei m p l e m e n ta ni n t e r a c t i v es k e t c ha n dc o n t o u re x t r a c t i o n f r a m e w o r ko fi n t e g r a t i n gb o u n d a r yd e t e c t i o n ，s h a p em a t c h i n g ，t h i n - p l a t es p l i n e a n ds n a k em o d e l g i v e na ni n p u tv i d e o ，t h i ss y s t e mc a ne x t r a c to b j e c t sc o n t o u r o rs k e t c hi n t e r a c t i v e l ya c c o r d i n gt ot h em o d e l o u rw o r ki sm a i n l ya b o u t ： ( 1 ) b a s e do na n a l y s e so fp r e s e n tr e s e a r c ho ne d g ed e t e c t i o n ，w ee x p l a i nt h e p r i m a l s k e t c ha l g o r i t h m ，a n dd i s c u s st h ea l g o r i t h m i cp r o c e s st h r o u g hs o m e s e q u e n c ef r a m ea n di m a g ee x p e r i m e n t s ( 2 ) c o n s i d e r i n gt h eo b j e c t sb e t w e e na d j a c e n tf r a m e sh a v es m a l ld e f o r m a t i o n ， t o g e t h e rw i t ht h ea d v a n t a g eo fs h a p et r e em a t c h i n ga l g o r i t h m ，w ed e s i g na m a t c h i n ga l g o r i t h mb e t w e e nt e m p l a t e s a n ds k e t c h s o m ee x p e r i m e n t sa r e p e r f o r m e da n dt h er e s u l t sa r ea n a l y z e d ( 3 ) w es t u d yt h et h i n p l a t es p l i n ea n dd e s i g nat e m p l a t et r a n s f o r ma l g o r i t h m b a s e do nt p s ，d i s c u s st h ep r o b l e m si na p p l i c a t i o nt h r o u g he x p e r i m e n t s ( 4 ) s i n c es n a k em o d e li ss e n s i t i v et oi t si n i t i a l i z ep o s i t i o n ，w ed e s i g nt h e c o n t o u rs m o o t h i n ga l g o r i t h mb a s e dt p sw i t ha c t i v ec o n t o u rm o d e l k e y w o r d s ：p r i m a ls k e t c h ，s h a p em a t c h i n g ，t h i n - p l a t es p l i n e ，s n a k em o d e l 图1 。1 图2 1 图2 2 图2 3 图2 4 图2 5 图2 - 6 图2 7 图2 8 图2 9 图2 1 0 图3 1 图3 2 图3 3 图3 4 图3 5 图3 - 6 图3 7 图3 8 图3 - 9 图4 1 图4 2 图4 3 图4 4 图4 5 图4 6 图5 1 图5 2 图5 3 图5 4 插图清单 系统工作流程示意图2 基于稀疏编码的图像重建9 基于稀疏编码的图像边缘重建9 部分图像视觉基元字典1 1 图像边缘中边与脊的结构1 1 简约图提取过程1 2 单幅图像的简约图提取结果一1 4 s h r e k 视频第3 0 帧简约图提取过程1 5 s h r e k 视频序列帧的简约图提取结果一1 5 真实人物视频第8 0 帧简约图提取过程1 6 真实人物视频序列帧简约图提取结果1 6 曲线匹配示意图2 0 物体的局域与整体相似性2 l 曲线的满二叉树表示2 2 曲线的树型结构存储形式2 4 第一层匹配代价表的建立过程2 5 第二层匹配代价表的建立过程一2 5 s h a p et r e e 算法在m p e g 7 图形集上的匹配实验结果2 7 s h r e k 视频相邻帧局部匹配过程一2 8 真人视频相邻帧局部匹配过程2 9 t p s 变换例子3 5 直线的线性变换3 6 直线的非线性变换3 6 曲线的t p s 变换3 7 s h r e k 视频头部轮廓的相邻帧t p s 变换3 7 真实人物视频整体轮廓的相邻帧t p s 变换一3 7 s h r e k 轮廓t p s 变换与s n a k e 结果一4 2 真实人物轮廓t p s 变换与s n a k e 结果4 3 s h r e k 视频轮廓提取最终结果一4 4 真实人物序列帧轮廓提取最终结果4 5 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标志和致谢的地方外，论 文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得金胆 王些太堂或其他教育机构的学位或证书而使用过的材料。与我一同工 作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意。 学位论文作者擗凼晰签字日期必房年午且2 竽日 学位论文版权使用授权书 本学位论文作者完全了解金理王些太堂有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允 许论文被查阅或借阅。本人授权金胆王些太堂可以将学位论文的全部 或部分论文内容编入有关数据库进行检索，可以采用影印、缩印或扫描等 复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文者龆战荧桶 菩字日挚：驴匆年年月矸日 月日 学位论文作者毕业后去向： 工作单位： 通讯地址： 导师签名：懈 签字日期：乃后年午、2 午 电话： 邮编： 致谢 时光荏苒，转眼间研究生生活即将结束，这两年多的时间，留下了我成 长的足迹和许多值得珍惜的回忆，而今我即将告别母校，告别老师同学走向 人生新的征程，在此首先衷心感谢我的导师胡良梅老师给了我一个继续求学 的机会，感谢胡老师在学术上及论文撰写期间对我的悉心帮助和指导，我的 每一点进步都与胡老师的帮助分不开。胡老师用她勤奋踏实的工作作风、严 谨的治学态度教会了如何做人、如何做事，感谢胡老师对我的教育和培养。 感谢图像信息处理研究室的高隽教授提供了实验室这样一个优秀的平 台，实验室竞争协作的学习环境，互帮互助，力争进取的学习氛围，这让我 在实验室中能够迅速地成长。感谢实验室的吴田富师兄，研二期间难忘的实 习经历让我受益匪浅，感谢吴师兄在此期间在学习和生活上的帮助，吴师兄 在学术上严谨执着的精神一直激励着我，让我知道在工作中态度决定一切的 道理，祝远在美国求学的吴师兄早日毕业，前程似锦。 感谢程晨、崔帅、黄帅、林金金、李洋、石伟玉、苏菱、潘登凯、万姝 伊、吴良海、周琼、张骏。感谢你们在学习和生活上的帮助，与你们一起学 习生活的点点滴滴都是愉快而难忘。 另外感谢实验室的所有老师、同学、师兄师姐、师弟师妹，与大家相处 这两年多的时间里，我感受到了温暖、快乐和团结，衷心的祝愿实验室蒸蒸 日上。 最后，感谢我的父母，感谢他们这么多年来一如既往的无私关怀，鼓舞 我战胜困难、不断前行。没有他们，就没有我的全部。 作者：曲贺楠 2 0 1 0 年4 月 第一章绪论 1 1 课题研究意义与背景 轮廓提取被认为是图像处理、计算机视觉等领域中的低层任务，精确的图 像轮廓提取信息在图像识别、视频跟踪、视觉匹配等方面都有着重要的意义。 在计算机视觉的研究中，线段与边缘包含了丰富的图像信息，是图像的重要特 征。图像中物体的轮廓不等同于边缘，物体的边缘信息包含所有的轮廓信息， 而轮廓包含着比位置更多的内容，是图像最显著、最基本的特征，它通常指的 是图像中目标物体周围像素轮廓有“阶跃 变化或“屋顶 变化的像素集合， 包含着阶跃性、方向、形状等信息，它准确地勾划出了目标物体的主体外观信 息，因此仅仅通过目标的轮廓，人们即可识别大量的物体。传统的轮廓提取方 法主要是利用边缘检测算子对图像进行边缘的提取，然后根据目标物体的轮廓 特点去除杂散的冗余边缘并进行边缘的修补，随着研究的深入和技术的发展， 传统的无监督式轮廓提取技术根本无法得到人所需要的结果，从2 0 0 1 年以来， 交互式的图像轮廓提取技术逐渐成为科学家研究的热点。 线描能体现图像中信息量最大、特征最为突出的部分，是视频特效及后期处 理的特殊效果，对真实人物视频的线描提取具有非真实化和风格化的特点。电 影“指环王 、“黑暗扫描”、“星际大战 等众多影片的部分特效就是对真 实人物进行线描提取后结合视频渲染技术制作而成的。生成图像线描的过程一 般是先通过边缘检测方法得到图像的边缘，然后利用边缘连接技术生成线描和 轮廓，从而突出目标物体的细节。目前主流的视频处理软件中均提供线描提取 功能，但由于目前的边缘检测算子得到的边缘图像不能体现图像的上下文信息， 依然存在前景物体和背景纹理无法区分等问题导在提取过程中存在人工交互较 多等问题。 本文结合边缘提取算法、形状匹配算法、及薄板样条和主动轮廓模型实现 了一个基于手动模板的、交互式的、半自动的视频轮廓及线描提取系统。该系 统根据给定的模板自适应的在序列帧中提取目标物体的线描或轮廓。其工作流 程示意图如图1 1 所示，对于给定的视频序列首先对各帧进行简约图提取，并 在起始帧上参照简约图提取效果及要提取的轮廓或线描手动给出模板，然后系 统将模板与相邻帧的简约图进行匹配，根据匹配关系利用薄板样条将模板变换 到相邻帧上，最后通过迭代主动轮廓模型( s n a k e 模型) 使变换后的模板更平 滑的“贴在图像轮廓边缘上。 本文的研究工作主要基于国家高技术研究发展计划( 8 6 3 ) ( 2 0 0 7 a a 0 1 2 3 4 0 ) ：“基于动漫数据库的计算机辅助动漫创作关键技术与系统 。 该项目旨在研究统一的层次化动漫元素表达与分解的计算机模型和数据标准、 研究基于智能化动漫库的自动解析技术。在现实生活中具有个性化的、艺术特 色的动漫素材普遍存在于各种影视、录像、和已有动画素材中。这些鬃材通过 提炼和分解，可以有效的为动漫创作人员使用。因此如何从影视、录像和动画 序剁帧 幽l i 系统工作流程示意图 片中抽取提炼动画元素成为动漫创作系统的关键技术。而提取目标物体的轮廓 则成为提取动漫元素的一个重要分支。虽然目前技术能够从单帧图像中快速有 效进行感兴趣目标的分割、分层处理。但是依然存在分割不够准确、边缘不够 整齐、受背景影响较大等问题，同时在一段几百帧的视频中一帧一帧把目标 物体的轮廓提取出来还是一个比较费时费力的工作，为了进一步简化操作，提 高视频素材的提取性能，通过在初始帧上手动给定模板的方法在相邻帧问进行 基于模板的形状匹配，再利用匹配关系完成多帧之叫的目标提取达到准确的 视频轮廓提取的目的。该系统可以方便地应用到视频中，用户从视频中挑选出 感趣帧，手动给出要提取的目标轮廓或线描模板该系统能够自动准确的在后 续帧中提取目标的轮廓或线描并更新模板。由于该系统的提取属于一个向后匹 配的过程，在相邻帧问的非线性变换和轮廓平滑过程存在一定的误差累积所以 在效果不满意的帧我们允许一定的交互操作。 1 2 轮廓及线描提取技术国内外研究现状 经典的轮廓提取方法主要通过定义有关图像梯度值的参量，运用图像的局 部特征信息，逐步确定轮廓而线描提取主要是在轮廓提取的基础上对目标物 体的内部边缘轮廓加以连接和修补从而使边缘更加完整，各种具体方法不具有 普遍适用性。 ( 1 ) 基于先验知识的方法 目前常用的轮廓提取的方法主要是通过边缘段的连接：即从少数己知的控 制点开始结合一定的概率关系或先验知识对图像中的边缘进行连接8j 。樊鑫 等【”用动态概率模型描述边缘连接过程，把物体轮廓线的平滑性与形状的统计 先验信息结合到轮廓组合的似然估计中，将物体形状的统计先验构造采样概率 引入到边缘连接过程中，以此生成目标轮廓。用低维空间的样本来表示在高维 空间的形状似然概率分布，结合先验概率以及似然概率，用序列蒙特卡罗方法， 得到目标物体的轮廓线。先验知识法一般以模型作为提取的模板，对于初始状 态依赖性较高且易于陷入局部极值的问题。p e r e z 4 】等提出一种基于先验知识的 边缘连接方法，该方法提取的结果具有较好的轮廓平滑性，但不适用于提取具 有角点和拐点的物体轮廓。 ( 2 ) 基于数学形态学的方法 形态学的观点认为：图像经过特定变换后，其边缘灰度值的变化比其他部 分要显著得多。而数学形态学其实是一种基于非线性滤波的方法，其基本运算 包括腐蚀、膨胀、开运算和闭运算，这些运算的实质是表达结构元素与图像之 间的作用关系。在y a n g 等1 5 j 的基于方向轮廓提取方法中，首先设定阈值对图像 进行二值化，然后通过膨胀运算对二值化图像的边缘进行处理，利用方向目标 函数来确定结构元素的移动方向，以此获得轮廓信息。该方法的最终提取结果 主要取决于前期图像二值化的效果，抗噪性能较差，在边缘提取效果不佳的情 况下极易陷入局部的轮廓提取。吴风和【6 j 为了实现目标轮廓提取的边缘单像素 化，首先采用二值化法对图像进行分割，然后运用数学形态学的基本运算对分 割结果进行修善，最后用链码存储轮廓信息。数学形态学方法的特点是，几个 基本运算是所有运算的基础，计算简单、能实现快速算法，另外适合并行运算。 ( 3 ) 基于梯度的方法 在常规的轮廓提取算法中，一般通过设定阈值，根据梯度的幅值变化将边 缘点与其他部分分开【7 1 。在c h a r t 等【8 j 的基于模型的水平集方法中，利用梯度变 化定义具有全局性的边缘信息，该方法不依赖于图像中的边界信息，对模糊边 缘也能得到较理想的分割结果。张小虎等【9 】定义一种梯度方信息向直方图，并 利用梯度方向直方图来确定图像边缘的方向，以此来确定图像中直线边缘的位 置，梯度的幅值和方向信息可以保证该方法无需阈值，从而实现自动地提取直 线边缘，该方法仅适用于直线轮廓的提取。黄福珍等【lo 】对此算法进行了改进， 采用全局优化算法进行轮廓提取，其特点是结果独立于前阶段中对运动区域检 测的结果，进一步提高稳定性和抗噪声性。 ( 4 ) 基于主动轮廓模型的方法 m k a s s 1 l 】等人提出主动轮廓模型( 即“蛇 模型或s n a k e 模型) ，该模型 把图像中感兴趣的物体轮廓看作一条连续的链条结构，为它设计一类能量函数， 以迭代方式求取能量的最小值，从而获得最优轮廓。从而使轮廓提取过程不需 要先验知识或更多的高层处理结果的指导而独立进行， 参数化模型和几何模型【1 2 】成为对传统主动轮廓模型的主要改进方法。在参 数模型中，一般通过对轮廓曲线的参数化来改善模型的性能，其中由拉格朗日 表达式建立一条参数盐线，在一定程度上克服了模型的一些不足。“气球”法 u 列在“外力 中增加“膨胀力 ，从而扩展了外部能量的搜索范围，解决了当 初始模型处于目标轮廓内部时，可以通过膨胀并稳定地收敛于图像的边缘，并 能跨越图像中的伪边缘点，在一定程度上降低了初始轮廓位置的敏感度。针对 传统s n a k e 模型无法收敛到轮廓的深度凹陷区域这一缺陷，x u 等提出g v f 模 型【l4 1 ，通过定义新的外力( g v f 力) 将模型曲线拖向物体的深度凹陷区域从而 改善了模型的性能。 几何主动轮廓模型与传统的模型相比具有很多优点，该模型不需要重复参 数化，在一定程度上与轮廓的参数特性无关，初始化模型在几何特性的作用下 向着图像中的边缘靠近。通过增加附加项v c a s e l l e s 等【l5 j 对模型通过图像边缘 时进行修正，从而改善了传统模型对不突出的边缘处理效果不佳的缺点：c h a n 等【8 】通过引入水平集方法，允许模型在拓扑结构上的变化，同时增加与轮廓内 外的区域特性相关的项，改善了处理效果。 主动轮廓模型把初始估计及基于先验知识的约束统一于一个特征提取过程 中结合图像数据模型在经过适当的初始化后，通过迭代能自动地收敛于能量最 小值状态。主动轮廓模型的意义在于对于一系列计算机视觉问题给出了统一的 解决办法，在不需要更多高层信息的指导下能够对图像进行分割，其不足之处 是需要依赖其他方法将模型初始化曲线放置在感兴趣的图像目标附近，对初始 位置敏感问题一直是人们改进的方向。本文以模板在相邻帧之间的薄板样条变 换后的位置作为主动轮廓模型的初始化位置，该初始化位置非常接近图像物体 的轮廓从而有效的避免了上述问题。 ( 5 ) 边缘连接 目前的边缘检测算法中，漏检和虚检现象仍然普遍存在，冯子亮等【l6 】提出 一种基于主动生长的边缘连接算法，该算法先检测边缘在图中端点的位置和方 向，再在端点处进行主动边缘生长并通过退化操作实现边缘的正确连接；通过 退化和约束生长实现对边缘图的去噪处理。由p u r d u e 大学的e d w a r dj d e l p 等 人提出s e l l l 7 】算法把图像描述为一个随机模型，通过概率分布的计算能得到较 好的图像边缘序列。但在信噪比较低或光照不均匀等因素影响下，图像局部边 缘弱化而使得该算法得到的边缘序列出现断裂和假边缘。段鹏等【l8 】在此方法上 提出了一种阈值化顺序边缘连接( t h r e s h o l ds e q u e n t i a le d g el i n k i n g ，t s e l ) 的图像轮廓提取算法。该算法针对s e l 算法在信噪比较低的情况下会出现边缘 断裂和伪边缘的问题，通过滤波去噪和阈值分割增强图像前景与背景之间的差 异，再对预处理后的图像运用s e l 算法，从而得到连续、准确的边缘轮廓。 1 3 论文内容安排 本文章节安排如下： 4 第一章，阐明了课题的研究意义和背景，概述了课题的国内外研究现状并 介绍了本文中实现的“基于手动模板的序列帧轮廓及线描提取系统的工作流 程。 第二章，首先对目前国内外常用的边缘提取算法进行了分析与比较，然后 详细介绍了简约图法，接着结合其在文中实现的系统的功能分别设计了单幅图 像以及视频序列帧的简约图提取实验，并对实验结果进行了分析、总结。 第三章，分析比较了常用的形状匹配算法，详细研究了s h a p et r e em a t c h i n g 匹配算法，设计了基于模板的相邻帧间模板与简约图的匹配算法并对算法原理 及流程进行了详细的阐述，最后通过m p e g 7 及不同视频的相邻帧匹配实验对 算法进行了测试。 第四章，研究了薄板样条算法，设计了相邻帧间模板与简约图的变换实验， 并对实验结果进行了分析。 第五章，介绍了主动轮廓模型的原理，在相邻帧间变换算法的基础上并结 合其在文中系统的功能设计了基于主动轮廓模型的轮廓“平滑实验。 第六章，在对论文的工作进行总结的基础上，提出下一步改进工作的方向。 5 第二章序列帧的简约图提取 2 1 图像边缘提取基本方法 图像的边缘一般为特征的不连续性所致，简单的说在图像中检测不同灰度、 色彩区域的交界处就可以得到图像的边缘。通常将边缘划分为“边”和“脊” 两种类型【l9 1 。“边 的两边的灰度值变化明显，而“脊边缘位于灰度值增加 与减少的交界处，对“边 和“脊 边缘分别求取一阶、二阶微分就可以得到 边缘点的变化。对于一个“边结构边缘点，其灰度变化曲线的一阶导数在该 点达到极大值，二阶导数在该点与零交叉；对于一个“脊 结构边缘点，其灰 度变化曲线的一阶导数在该点与零交叉；二阶导数在该点达到极大值【2 们。 常用的边缘检测算法有基于微分、基于数学形态学和基于小波与分形理论、 基于神经网络、基于模糊学、基于遗传算法等多种图像边缘检测方法。这些方 法都有各自的优点，但同时也存在一定的局限性。 ( 1 ) 基于微分的边缘检测技术口。许多边缘检测操作都是基于亮度的一阶 导数，这样就得到了原始数据亮度的梯度。使用这个信息我们能够在图像的亮 度梯度中搜寻峰值。在这一方法中微分运算是边缘检测与提取的基本手段。根 据图像边缘的特点人们最初提出了一些一阶微分边缘算子来提取图像的边缘， 这些一阶微分算子包括s o b e l 算子、r o b e r t 算子、k i r s h 算子和p r e w i t t 算子， 然而这些一阶的微分算子对图像边缘的提取效果并不理想，其基本原理是设定 梯度阈值来确定边缘，但是由于在图像边缘附近的产生的响应较宽，所以用一 阶算子做图像边缘检测时需作细化处理，这也将不可避免的影响边缘的精确定 位。 为了解决定位精度问题后来人们把图像局部的最大值看作是边缘，用基于 零交叉的方法找到由图像得到的二阶导数的零交叉点来定位边缘，通常用拉普 拉斯算子或非线性微分方程的零交叉点，这实际上是一个求二阶倒数问题，而 用二阶微分所提取的边缘为一个像素，这样就解决了边缘的精确定位问题。我 们知道拉普拉斯算子在实际中并不太常用，因为相对于一阶导数的算子，二阶 导数的算子更容易受到噪声的影响，有时候一阶算子中很小的局部峰值也能导 致二阶导数的过零点。采用滤波的方法可以去除一阶倒数中很小的局部峰值， 从而降低噪声的影响。l o g 算法通过高斯滤波器进行卷积的方法对图像进行了 平滑，并且去除了孤立噪声点，达到了降噪的目的。目前常用的边缘检测方法 均包含二阶微分形式的边缘检测算子。从频域的角度看，图像中的边缘和噪声 均处在高频部分，而微分运算恰恰会增加图像中的高频分量，所以解决的办法 是在微分运算之前采取适当的平滑滤波以降低高频分量的影响。c a n n y 算子是 目前比较理想的边缘检测方法，它由四个指数函数线性组合而形成，其基本方 6 法是先对图像进行平滑，然后确定一阶微分导数的最大值，因此c a n n y 属于具 有平滑功能的一阶微分算子。 c a n n y 算法使用4 个m a s k 检测水平、垂直以及对角线方向的边缘。原始图 像与每个m a s k 所作的卷积都存储起来。对于每个点都标识在这个点上的最大 值以及生成的边缘的方向。这样就从原始图像生成了图像中每个点亮度梯度图 以及亮度梯度的方向。较高的亮度梯度比较有可能是边缘，但是没有一个确切 的值来限定多大的亮度梯度是边缘多大又不是，所以c a n n y 使用了滞后阈值。 滞后阈值需要两个阈值一一高阈值与低阈值。假设图像中的重要边缘都是连续 的曲线，这样就可以跟踪给定曲线中模糊的部分，并且避免将没有组成曲线的 噪声像素当成边缘。所以从一个较大的阈值开始，这将标识出比较确信的真实 边缘，使用前面导出的方向信息，从这些真正的边缘开始在图像中跟踪整个的 边缘。在跟踪的时候，使用一个较小的阈值，这样就可以跟踪曲线的模糊部分 直到回到起点。一旦这个过程完成，就得到了一个二值图像，每点表示是否是 一个边缘点。 ( 2 ) 数学形态学边缘检测技术【2 2 1 。数学形态学是由德国的m a t h e r o n 和法 国科学家s e r r a 在2 0 世纪6 0 年代提出的，后人对其进行了理论论证。不同于 其他的图像处理理论( 如频率域、空间域的变换方法) ，这是一种图像处理的 新方法。基于形态学方法所得到的边缘检测结果，在边缘的连续性及各面都优 于传统方法，同时该方法对边缘定位和图像细节方面也有不错的效果，所使用 的结构元素形状和大小与所检测出的边缘宽度密切相关，数学形态学方法利用 一个称作结构元素的“探针搜索图像的信息，当探针在图像中不断移动时， 便可考察图像各个部分之间的相互关系，从而了解图像的结构特征。检测出的 边缘宽度是与结构元素的尺寸相关联的，即当结构元素的尺寸减小时，边缘宽 度也随之减小。所以为了很好地保护细节并有效地去除噪声，应根据实际情况 适当地调节结构元素的尺寸。其本质上是在格论和拓扑学基础上研究几何形状 和结构的数学方法，其中几何结构是用集合论方法定量描述的。数学形态学中 定义了一系列形态学的代数运算子，分别是开、闭、膨胀、腐蚀、薄化、厚化 等。腐蚀和膨胀是两种最基本的算子，这两种算子的组合可以产生其他变换。 用上述算子可以进行特征抽取、图像分割、边缘检测等图像形状和结构的分析 方面的工作。迄今为止，还没有一种方法能像数学形态学那样既有坚实的理论 基础，又具有简洁、朴素、统一的基本思想，同时具备广泛的实用价值。有人 称数学形态学在理论上是严谨的，在基本观念上却是简单和优美的。 ( 3 ) 小波与分形理论边缘检测技术【2 引。小波理论和分形理论是随着应用数 学的发展而发展起来的，随着人们对边缘检测效果要求的提高和边缘检测技术 研究的深入，各种高效的基于小波与分形理论边缘检测技术也相继出现。小波 理论因其频域分析的优越性使其优于一般的传统图像边缘检测方法，主要表现 7 为可检测出图像在不同尺度下的边缘特征。为了实现聚焦到对像的任意细节上， 小波变换能将图像或信号分解成交织在一起的多种尺度成分，同时在时域或频 域取样上对不同的尺度成分区别对待，也就是说对低频信号进行粗处理，而对 高频信号进行细处理。从信号处理的角度看，检测边缘也就是找出信号突变部 分的位置，而这些突变的地方也可以理解为孤立点或断点等。在图像信号上， 这些突变的位置对应的是图像的边缘点。实际中图像的频率空间成分往往十分 复杂，想从这样复杂的频域空间中提取边缘是比较困难的，而通过小波变换对 图像在频域上进行分解，然后再从这些不同频率成分的小波分量中找出信号本 身的特征则能更有效地提取目标物体的边缘。虽然小波正交基用途广泛，但小 波正交基的结构复杂性仍然是个问题。 ( 4 ) 基于神经网络的边缘检测技术【2 4 1 。近年来，在模式识别与人工智能、 信号与图像处理及自动控制等领域，人工神经网络都得到了广泛的应用。图像 边缘检测在本质上可以看成模式识别问题，而神经网络则已经被证明能较好地 解决模式识别问题。网络数据的准备问题、网络权值的准备及确定问题、输入 与输出层的设计问题、网络的训练问题、隐层数及结点等被认为是神经网络的 主要问题。用神经网络进行边缘提取时首先需要用样本图像对神经网络进行训 练，然后将训练后的网络对待检测图像进行边缘检测。在训练时所提取的特征 要充分考虑图像中噪声点产生的虚假边和实际边缘的差异性问题，对于虚假边 应予以去除。使用神经网络进行边缘提取和检测的方法得到的边界封闭性好， 且边界连续性较好，其对灰度图的检测效果较好。 本章介绍一种新的边缘提取方案一简约图法【25 1 ，该方法是在原始图像上利 用g a b o r 和l o g 进行滤波得到强度图，然后将视觉基元字典中的基元按照定义 好的可逆算子沿着强度图“生长 出物体的边缘。该方法以c a n n y 检测结果作 为先验信息，能较完整的提取物体的边缘且提取的边缘比较平滑，其结果便于 后续的轮廓提取。 2 2 原始简约图( p r i m a ls k e t c h ) 2 2 1 稀疏编码 现代图像编码理论可以追溯到傅里叶和谐波分析，设i 是定义在区域人上 的图像( 这里我们特指图像边缘) ，图像编码理论假设i 是一系列的图像基元境 的加权和，其中k 可以表示基元的位置、尺度、方向等。由此我们得到一个产 生式模型如式( 2 1 ) 所示： k i - c k 反竹，毋8 ，c = q p ( c ) ( 2 1 ) k = l 式( 2 1 ) 中最是从视觉基元字典占中选出的，c k 是系数，占是高斯白噪声下的 视觉残留误差。当r 是由正交正弦波组成的时候，这个模型退化成傅里叶分析。 8 通常人们会选取一个在空间和频率上都很完各的基元集合。( i a 剧a i ) ，实际上 图像i 可以近似的看成由其中一小部分元素构成k a l 。对于一个完备的视觉 字典a 。，系数c = “，c 。) 已经不是内积了，它们可通过匹配寻找算法和要素 寻找算法柬计算出来。 在稀疏编码领域一个很重要的工作是在自然图像上学习一个完备的视觉基 元字典。而获得一个好的字典的至关重要的因素是系数矗的先验模型，这个 模型必须服从一个好的高斯概率分布，例如式( 22 ) 所示： p ( c ) = 兀p ( q ) ，p ( q ) 虻p 一“ ( 22 ) ( a ) d i c t i o n a r y 日 ( b ) i n p u ti m a g e ( c ) r e c o r m t r u c t e dk = 3 0 0 图2 - 1基于稀疏编码的图像重建 图2 1 中显示了一个基于稀疏编码的图像重建例子，2 - 1 ( a ) 足一个由g a b o r 和l o g 滤波得到的视觉基元字典。，2 1 ( b ) 为一幅1 2 8 1 2 8 的原始图像，2 1 ( c ) 是由k = 3 0 0 即从字典中选出的3 0 0 个基元重构的图像。图2 2 的例子中， 增加了柄和圆作为视觉基元来重构图像。2 - 2 ( a ) 为输入图像，2 2 ( b ) 为k = 3 0 0 的重建图像，图2 2 ( c ) 为物体的线描。 ( 8 ) i n p u tl r n 8 9 e( b ) r e c o r m t r u t t e dk = 3 0 0( c ) s y m b o l i cs k e t c h 图2 - 2 基于稀疏编码的图像边缘重建 从图2 - 1 和图2 2 的实验结果可以看出，视觉基元在强度对比大的地方很 好的捕捉了机构信息，但同时也存在3 个明显的问题： ( 1 ) 物体的边缘是模糊而混乱的，这说明我们需要找到一个更好的字典； ( 2 ) 纹理并没有很好的表现出来： ( 3 ) 在图2 2 ( c ) 中，物体的线描并没有很好的连接起来。 针对上述存在的问题下面我们详细介绍简约图法，该方法将图像想的边缘 结构和纹理分开处理能准确的提取出物体的线描轮廓。 2 2 2 简约图表示法 对于图像的结构和纹理，我们可以将其分为可描画部分和不可描画部分： 人= 人s i 【u a n s k ，人s i 【n 人。s l 【= a ( 2 3 ) 式( 2 3 ) 中人出表示图像中可描画部分，人n s l 【表示不可描画部分。可描画部分又 可以进一步认为是由一些细小的碎片组成，而这些碎片彼此结合在一起构成图 像的基元。 人虫= u | = 1 人。女毒，a 政，毛n 人。k 岛= o ，颤如 ( 2 4 ) 图像的基元如图2 3 所示。这些图像的基元沿着它们的控制点排列从而构成一 个线描表。我们将这些选出的基元用k = 1 ，k 表示。 k = ( 鼠叩蚓c a l ，疵，一鲥。) ( 2 5 ) 式( 2 5 ) 中0 t o p o l o g 浏表示基元的种类( 点，终点，角，连接点) ，。表 示基元控制点的位置，“。表示基元手臂的强度。线描的图表是一个由图像 得到的抽象表达式： = ( k ，( 人s i 【1 ，色，a k ) ，k = 1 ，2 ，k ) ( 2 6 ) 式( 2 6 ) 中用来判决图像中的可描画部分，反对应图像基元k ，是 一个表中指向邻接定点的地址变量。对于可描画部分a 矗我们定义如下模型如式 ( 2 7 ) 所示： k = 最+ 刀，k = 1 ，2 ，k ( 2 7 ) 2 2 3 图像基元字典 图2 3 所示是一个为线描图表& 设计的图像基元字典，这个字典依据基元 的连通性定义了八个种类的基元：点，终结点，边脊多重边，角，交叉点等。 这些基元都有一个中心控制点和o 一4 个与其它基元相连的手臂，它们都是由参 数唿蚵。和一酬。来表示。其中点是没有手臂的，终结点只有一个手臂，而边 脊多重边，角都有两个手臂。这里我们用轮廓的边缘强度来表示手臂。 我们用参数化的( u i , “：，嵋，w 2 ，w 3 ) 方式分别对这两种线描结构建模。对于边 结构如图2 4 ( a ) ，我们用5 个参数次表示左侧强度、右侧强度、左侧强度的 宽度、模糊尺度和右侧强度的宽度，所以此结构的边的宽度为w = w l + m ：+ 。 而对于岭结构如图2 4 ( b ) ，我们则用8 个参数( u l ，u 2 ，u a ，w z ，2 ，w 2 3 ，w 3 ) 来描 述它。 l o 0 ， = l _ 。i i _ 一_ ：ji _l 黜e 1 习习囹弭i 一= = = = = 一i _ = = 一一 目温目目_ _ 目_ _ 目目一目 圈髑图i _ r = k 蟹口! 嗣 园j 囵 - 10 舔厂盔墨豳醢 十h 墨匪匣圆 圈2 - 3部分图像视觉基元字典 ( a ) e d g ep r o f i l e( b ) r i d g ep r o f i l e 图2 - 4| 鳘i 像边缘中边与脊的结构 2 2 4 边缘追踪计算 结合整个系统这里我们将简约图算法分为两个部分： ( 1 ) 边缘追踪阶段1 ：类似于匹配追踪原理( m a t c h i n g p u r s u i t l 的线描图表追 踪p ”过程。我们在边缘强度图( e d g ep r o p o s a lm a p ) 中所示的边缘处添加线基元， 直到它们能够连成一条线为止，从而获得物体的线描。这个结果实际上是通过 最小化公式( 28 ) 所示的能量函数得来的。我们定义增加一个图像基元的编码 陵露卜蕊即 j 1 1 一 日 留 1 蘩 ， 中昼、 酲 k 豳 k 1 【 臣区臣 增益如式( 28 ) ，其中( “，v ) 为像素( 虬v ) 周围的平均强度。首先通过一系列滤 波器如( l o g 、g a b o r ) 在不同尺度、不同方向对图像进行滤波，对于每个像素 计算他们的累积响应强度得到边缘强度图如图2 - 5 ( b ) ，然后利用c a n n y 边缘 检测算子对图像进行边缘检测( 此处要求检测出全部的边) 图像的先验模型如 图2 5 ( d ) 。从c a n n y 的检测结果上能够找到其在边缘强度图上的最强响应点 ( ，) ，从这点开始我们沿着c a n n y 的检测结果不断从视觉基元中挑选图像基 元添加上来，每添加一个图像基元都要以图像编码增益f 作为衡量的标准，设 定门限e 来决定是否接受该基元。最后得到图2 - 5 ( e ) 的简约图提取结果。 a r = i ( ，恤，v ) 一一( 虬) 2 一( ，o ，v ) 一且川l ( 虬v 2 ( 28 ) u 0 ( 口m 一l ( 2 ) 边缘追踪阶段2 ：通过一系列定义好的可逆的算子来修善整个线描图 表r 以达到一个整体的最优结构，这实际上是一个最小化后验概率的过程。这 一阶段我们定义图像编码增益a r 2 如公式( 29 ) ，其中e ( 瓦。) 为图像的先验模 型。 11k a t 2 “专e x p 一i ( ( ( 虬v ) 毋( “，) 2 + 6 ”o k i ( 。”x “t j ( 2 9 ) ( m ，v ) 一u ( u ，v ) ) 2 ) 一e ( & ) 口黧 ( b ) i 目t( b ) n 4 ( c ) n t 女自 图2 - 5 简约图提取过程 经过边缘追踪阶段1 我们得到一个初始化的图表，在这一阶段我们将通过 一系列的算子【3 3 】如表2 1 来完善我们的“图表 。首先我们定义一个算子a ， 通过添加一条新的基元线来连接表中的两个顶点，这样我们便找到了表中一系 列临近的顶点，可逆算子d 用来断开顶点。算子q 用来检查所有可能的连接， 可逆算子d 通过删除一条基元线来撤销一个连接。算子q 和d 4 用来延伸一条已 经存在的基元线并检查该基元是否与其他基元重叠或相交。算子q 和q 将两个 添加的基元线合并。算子0 7 将表中两个临近的节点合并。算子q 用来合并“图 表中的两个临近顶点。算子d o 、a 。用来创建单独的“点 。 表2 1 可逆算子 o p e r a t o r s g r a p hc h a n g e n l u s t r a t i o n ( ) l 。嘿 c r e a t e r e i n o v e & s t r o k e 辔赫h d 2 。 g r o w s h r i n kas t r o k e= 夸一 侥诺c o n n e c t d i s c o n n e c t 饨r t i c e s 一一 ii i e x t e n do