（控制科学与工程专业论文）基于对象基元的topdown图像对象分割方法的研究.pdf

闲防瓣学技术大学研究生巯学缀论文 摘要 图像分割是图像工程中的一项基本技术，在计算机视觉、黼向对象的多媒体技术等重 大领域孛具有基穑搜缝像。霆缘分裁技零足乎出瑗在所有与灏豫穗关嚣锈域，其鸯广泛的 疯鬻需求。扶一穗带鸯复杂曹景翡图像申撵取宙鼹察者感兴趣戆辩象，簿图像对缎分警， 怒图像分割的最高目标，也是其发展的黧蒋趋势。因此，对躅像对象分割理论及其相关技 术进行研究具有十分麓黉的意义。 本文瞄准图像对敷分割这一目标，深入研究了图像分割的理论和方法。通过对图像分 割涵义的割析，对图像分割的目标进行了鼹次划分。在广泛研究图像分割的依据芹h 方法的 熬戳上，发褒剥期对象豹走验翘识，爰弼 o p _ d o 弹n 方法是疆豫砖象分裁鹃鸯效手没。 在这一愚慈指嚣下，本文深入建磅究了一耱基于霹象蒸元懿l o p d 瓣n 图像瓣象分鬣 方法e s f s e g 方法。该方法将含有对象区域的子图作为对象基元，类似予拼图游戏一 样利用对象基元在图像中拼接覆盖出对象区域，进而实现对缘分割。由于c s 卜s e g 方法存 谯提取的子图可用性藏、匹配位置误差大、计算复杂性高等问题，通过深入分析和研究， 本文提出了一种新的掇敬予图的方法，提黼了产生的子图的肖效性；在深入研究甄配方法 鹣麓破上，提塞了一秘精弱结台对象边缘霸区域戆形状莲配方法 e r 方法，邋道实验 添爨了该方法懿谯麓豫；最螽，结合文申鼹趱懿方法设诗劳襄魏了一个羊o p d 渊n 豹图像 对象分割原型系统i 争s e g 。 关键词：图像分割图像对象分割图像特征予圈不变矩淑缘特征 形状匹配 第，v 1 荧 里堕型堂垫查奎茎竺茎竺堕堂堡丝苎 表目录 表2 1 图像分割分级框架7 表2 2b o t t o 一u p 和t o p d o w n 两类分割方法的比较1 3 表4 1 本文提出的基于不变矩的特征量的可区分性度量3 4 表4 2 对h e r 形状匹配方法的评价4 0 第一v 一页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含 其他人已经发表和撰写过的研究成果，也不包含为获得国防科学技术大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均己在论文中作了明确的说明并表示谢意。 学位论文题目：基远盘錾基丞盟! ! p 二d ! 婴圈焦盘基金割虚洼盥盟窒 学位论文作者签名：圣墨函 日期： 。婢f 月冯日 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定。本人授权 国防科学技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子 文档，允许论文被查阕和借阅；可以将学位论文的全部或部分内容编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。 ( 保密学位论文在解密后适用本授权书。) 学位论文题目：基丞盟丞基丞鲍! ! e 二i ! 些图像盘基佥塑| 左洼的叠蕉 学位论文作者签名： 作者指导教师签名： 垂至函 塞嘘 日期：挪d 弭j 1 月上弓日 日期：扣j 年f f 月2 3 日 塑堕銎兰茎查杰兰至茎兰羔兰篷燕塞 第一章绪论 鋈像分蘩 拶| ，耀) 搿 ( 3 4 ) i i n c 。 其中，鼽，；。表示在j ，是n c 类图像时，满足鼢哆，) 目的概率( 用频率计算) 。 在镣选出懿c s f 中，遥密与e 幸鹃整像蕺旋度最大靛鬈辐 中务幅图对应的前景背景标记 图。为了单独测试形状变化对各阶不变矩的影响首先利用i ：b ) 中各幅黑白图计算各阶不 变矩，其波动情况如图4 8 所示。为了测试本文提出的基于不变矩的特征向量，本文在( a ) 中各幅各幅彩色图像中的对象区域内对本文构造的特征向鬣进行了计算，结果如图4 9 所示。 图4 7 具有多态性和变化性的非刚性物体 图4 8 图4 7 中对象的各阶不变矩 从图4 8 ( b ) 中可以酋出，非刚性物体的各阶不变矩的波动郄比较剧烈，其低二阶不变 缒虽然相对于高阶矩 鞍稳定，但从鳗4 ，8 ( a ) 中露瑷看出仍然其有较大驰波动摊，瞧藏是 莓痨辩举技术大学第纛描研究生学术落镌节论文襄 说，低阶不变矩特征对于非刚性物体来说并不鲁棒。 图4 9 图4 7 中对象的彩色低二阶不变矩“ 从图4 9 中可以麓出，对于具有多态憔和变化性的非刚性对象而言，本文提出的基于 彩稳毽豫熬低二除不变矩捣造静特征熬波渤槛也+ 分裂烈，邈藏是说，本文提趱豹特征砖 予臻剐性霹蒙静善终攘也不理惩。 4 2 5 结论 通过分析剐性物体和非刚性物体两类对象的不变矩的稳定性，可以得出下列结论： 1 对于刚性物体瓤言，毫除不变矩对于对象豹细微变化托较敏感，在理察条仔发生 变稳熬涛嚣下波动秘熬，瑟低除矩黧摇瓣稳定。羁强低除矩稳逡瓣毅羲特征量羲爨骞一定 酶w 区分性，同时又熙有一定的稳定性，跷够一定程度上表镊对象的形状特征。 2 对于非刚性物体而言，无论是商阶不变矩还是低阶不变矩，或者是文中擞出的特 镊，都不够稳定，不能袁征对象的形状特征本质。 从本文的实际任务出发，研究的对象极其多态性和变化蚀，而由于不变矩对于非刚性 对蒙酌形状的接述不尽入意，因此本文不袋用不变矩作为对熬鏊元豹形状特征进行涎配。 然 嚣，我翻毒以番鬟，辩于影竣据对稳定戆嚣l 瞧耱诲，虽然蠢狯不变篷载滚豪缀大，然瑟 本文中利用彩色图像三个通道上斡低二阶矩构造出的特征鬣艇脊良好的鲁棒性，霞戴可以 用于刚性对象的分割提取。 4 3 边缘特征 爨么突竟强舞熬够受宠分蘧囊弱对象豹影获售怠程? 露予瓣蒙豹逮缘二毽麴像竞全 消除对象区域靛灰度僚怠，只傈整了对象的遍缘信惑，霞两边缘是对象形状最蠢嫒、最校 本的特征。因此本小节对边缘特征进行分析。 边缘总是以强度突变的形式出现 8 1 】，可以定义为图像局部特性的不连续性，如灰度 的突变、纹理结构的突变等。边缘常常意咪着一个区域的终结和另一个区域的开始。图像 的边缘包含了物体形状的重要信息，它不仅在分析图像时大幅度遗减少了要她理的信息 ”实鞒卜是h o 辐e b o 牯盯瓣彩色豫二蹬不叠筵熬盘饨倍躐，的转e s 静受住磬 照，誉链子盔臻一嚆蚕孛表蕊。 3 6 国防科学技术大学第五届研究生学术活动节论文集 量，而且还保护了目标的边界结构。因此，边缘检测可以看作是处理许多复杂问题的关键， 但目前仍是“瓶颈”问题。 显然，边缘提取算法的结果对于图像分割具有直接的影响。但由于本文的目的不在于 研究具体的边缘提取的算法，而意在研究边缘提取算法对于整个分割方法的效用，因此本 文只对边缘的提取和匹配方法做简单介绍。 4 3 1 边缘探测方法 对于边缘的检测常常借助于空域微分算子进行，通过将其模板与图像卷积完成。微分 算子具有突出灰度变化的作用，对图像运用微分算子，灰度变化较大的点处算得值高，因 此可将这些导数作为相应点的边界强度，通过设置门限的方法，提取边界点集。 在现存的边缘检测方法中，常用的边缘检测算子有s o b c l 算子、r o b e r t s 算子等、拉 普拉斯算子( l o g ) 、c a n n y 算子等。其中，s o b e l 和r o b c r t s 为一次微分算子，l o g 为二 次微分算子。在文献【8 2 】对上述几种常用的边缘检测算子进行了测试分析，并得出结论： r 0 b e r t s 算子提取边缘的结果边缘较粗，边缘定位不很准确，s o b c l 算子和p r e w m 算子对 边缘的定位就准确了一些，而采用l o g 算子进行边缘提取的结果要明显优于前三种算子， 特别是边缘比较完整，位置比较准确。相比而言，c a n n y 算子提取的边缘最为完整，而且 边缘的连续性很好，效果优于以上其他算子，主要是因为它进行了“非极大值抑止”和形 态学连接操作的结果。 除了采用微分算子外，还有一些其他方法。如松弛法、神经网络法，利用小波变换提 取边缘的方法等。 4 3 2 边缘的表示方法 1 黑白图法：即将边缘像素点标记为白色，其余像素点标记为黑色。这种方法是边 缘提取的直接结果。 4 67 图4 1 0 边界链表示意图 2 边界链表法：对于边缘提取后的二值连通图像，可以采用边界链表来表示其边界。 这种方法采用8 邻接的概念，一个像素有8 个邻接点，如图4 1 0 所示：( a ) 由0 7 对应的 8 个相对坐标为( 1 ，o ) ，( 1 ，- 1 ) ，( 0 ，- 1 ) ，( - l ，一1 ) ，( - l ，0 ) ，( 一1 ，1 ) ，( o ，1 ) ，( 1 ，1 ) 。( b ) 的边界链表 可表示为7 ，o ，0 ，l ，0 ，2 ，2 ，3 ，3 ，5 ，5 ，3 。可以证明，对于平移、比例、旋转变化边界链表几乎具有 相同的变换。 墨防辩学技术丈学第蠢耩研究生拳术滔穑节论交集 4 3 3 本文采用的方法 通过对现有的边缘提取方法的分析b b 较，本文采用传统的缀典图像边缘提取算法一 徽分箕子提取法。缀然这耱方法妁效果不一定最努，毽霞冀舞法楚单、成熟，计箨量小， 遁合零文瓣瘦爱。褰选爰彀分篓子上，零文鬏搀【驻】孛夔褥瓣瓣结论，采矮攥取逑缘撩鼹 比较准确、简单易行的s o b e l 算子遗 予攫l 试。 在边缘的描述方法上，虽然边界链褒寝示法具有更好的描述形状的特性，然而它是以 熊够提取闭合边界为前提的，对于本文采用s o b e l 算子进行的边缘检测方法所撮舣出的边 界并不具有良好的闭合性，所以本文仍然胤接采用黑自二值图表示边界。随着边界提取方 法静改进，可以尝试袋蠲边界链表表示法。 在采爱上述露边缘特薤挺彀霸攒述方滚的墓毯上，热餐实瑷边缘嚣甏辊? 慰予速缘莲 酝方法的研究同榉院较多，在文献f 8 3 ，8 4 ，8 5 】中提出了不同鹩边缘匹配方法，然蕊这些方 法对于整个系统丽言，计算量稍加复杂。实际上，对于已提取出边界的两幅图像埘和z 1 ， 如果两幅图像的边界宛全重合，则可知两幅图像中位置对应的点的取值相同。因此，可以 采用两幅图中同时为媳界的点的个数作为粗略匹配的结果，即图像m 与丁进行边缘的匹 醚结果s ( 掰，丁) 定义如下： 图4 1 l单独进行边缘匹配的熙配结果 这种边缘特征的删用方法，只能非常粗略的匹配边缘。由于在提取边缘的过程中，不 糍徽至l 精确，完整，麟越s ( 掰，d 取提最大的位置，未必是游骥圈像之闻形状遥熬的最佳 彼黉，麴餮4 。l l 繇示，其中是煮筵分麓黪稔a 塑像，) 怒鬟愆s o 醅l 霎子壹犊获疆) 孛 国防科学技术大学第五届研究生学术活动节论文集 提取出的边缘图像，( c ) 是匹配模板，( d ) 是从( c ) 对应的f f g l 中提取出的边缘i 蛩像，则按 照公式( 4 9 ) 中的匹配方法，将和( d ) 进行边缘匹配，得到匹配位置最佳的6 个位置如 图( e ) 所示。图4 1 1 ( e ) 中，从上到下，从左到右边缘匹配度依次减小，其中左上角的图像 是边缘匹配度最高的图像，但显然不是最佳的匹配位置。而在图( c ) 中的最佳的6 个匹配 位置中，存在一个比较理想的匹配位置( 左下) 。 由此可见，单纯的利用边缘进行形状匹配，在现有的技术下并不能满足本文的需要。 然而通过本节对边缘研究的探索，可以得到如下启示，即边缘匹配的结果一定程度上确定 了形状匹配的候选位置。那么如何对这些候选位置进行进一步筛选，以达到匹配效果最佳 呢? 本文在边缘匹配得到一些匹配的候选位置的基础上，再利用区域相关匹配，如公式 ( 4 1 0 ) 中所定义的，最终确定匹配位置。 s ( z ，) = 品r ( z ，) l o b 。c t ( 4 1 0 ) i i 矗l s 其中，( z ，) 表示模板l 与图像在图像的位置p 处的区域匹配度， ，( i ，) l o b i 。c t 的下表示模板7 ；与图像在图像的位置p 处对模板和图像中的前景区 r e i s 域进行归一化相关运算的结果。 这样，利用边缘匹配产生m 个匹配候选位置，在这m 个位置上进行区域相关匹配计 算，选择最佳的一个最为最终的匹配结果。下一节中将对这种匹配方法进行具体的介绍。 4 4h e r ：一种基于对象边缘和区域特征的混合匹配方法 4 4 1 方法概述 图4 1 2 对象基元与输入图像之间的h e r 形状匹配方法流程 根据前文的分析结果，本文采用结合边缘匹配和区域匹配的形状匹配方法h e r ( h y 嘶de d g ea 1 1 dr e g i o n ) 。匹配流程如图4 1 2 所示，先利用s o b e l 算子对目标图像和子 图像块提取边缘，然后利用公式( 4 9 ) 中定义的边缘匹配方法进行边缘匹配。选取边缘 国防科学技术大学第五届研究生学术活动节论文集 匹配的结果最佳的m 个候选位置，进行公式( 4 1 0 ) 中定义的区域相关匹配。 4 4 2 匹配质量的评价指标 为了进一步量化匹配结果的优劣，本文提出了下述的评价指标 匹配位置p = ( x ，y ) 上的匹配打分朋a m ( r ，。) 定义如下： z 卯t ( 7 1 ，。) = h _ 6 厅 其中： 。前景一致性象素的个数 2 覆丽丽琵秀囊丽丽 即模板r 在图像，的 ( 4 1 1 ) ( 4 1 2 ) 肌姜垂冀望黧 ( 4 - 1 3 ) 模板中背景象素的总个数 。 可见，两个公式中的分子表示模板与图像之间一致性像素的个数，分母表示最大可能 的一致性的像素的个数。理想情况下，这两个分式的取值均为1 ，则评价指标 拖r t ( 丁，。) = 1 ，匹配效果最佳。最糟糕的情况下，模板与图像之间一致性的像素个数为 0 ，及不论前景一致性还是背景一致性，只要有存在一致性的像素个数为o 的情况，则就 会发生评价指标心矶( 7 1 ，。) = 0 的情况。这样就使得模板命中背景区域，或命中对象内部 的错误匹配情况的评价结果最低，符合实际的要求。 4 4 3 结果比较 按照这一量化指标，将结合边缘匹配的匹配方法和不使用边缘匹配直接利用区域相关 计算得到的匹配结果进行实验比较，结果如表4 2 所示： 表4 2 对h e r 形状匹配方法的评价 m a r k0o 加30 3 0 6o 6 l 区域相关匹配 4 6 一堡 3 9 l 三 h e r 形状匹配 2 08 04 71 3 本文选用4 0 个含有对象边缘的子图( 子图提取方法如图3 1 5 所示) ，其中子图的分 辨率平均水平为4 0 4 0 左右，在4 0 幅分辨率平均水平为3 0 0 2 5 0 左右的图像( 最大分 辨率为5 6 0 5 0 8 ) 上进行匹配运算。表4 2 是采用本文提出的匹配评价指标进行实验分 析的结果，从中可以看到，h e r 匹配方法的匹配结果相比于单纯利用区域相关的匹配结 果，平均匹配得分明显提高。 h e r 形状匹配方法的优越性体现在下面两个方面：首先，这种方法先进行边缘匹配， 由于边缘更多地涵盖了对象的形状信息，因而增加了形状信息的匹配力度。另一方面，该 方法增加了效率。单独的区域相关匹配需要在图像的每一个位置上计算相关度。而这种方 法利用边缘匹配对要计算相关的位置进行了筛选，由于只需要在选出的m 个位置上计算 相关度，因此大大提高了算法效率。本文是以w i n d o w s 为实验环境( c p u 主频为2 4 g ) ， 采用v c 6 0 作为丌发工具，进行实验分析。经过统计，对于上述4 0 个子图在每个图像上 4 n