（计算机应用技术专业论文）面向深度图像的遮挡物体部件化建模与分割.pdf

摘要 部件化物体分割是面向深度图像建模与识别的关键步骤。在多物 体场景中，物体之间因相互遮挡而产生采样数据部分缺失的现象。本 文研究并设计了超二次曲面边缘对缺失部分数据的物体建模，以及基 于边缘增长的深度图像区域分割方法，实现了遮挡物体的部件化建模 与分割。 本文首先采用超二次曲面投影边缘对缺失部分数据物体建模，通 过分析超二次曲面边缘拟合的原理，建立了超二次曲面边缘拟合的初 始目标函数，同时利用曲线等距取样和边缘投影等策略，优化了目标 函数，设计并实现了超二次曲面边缘拟合算法，得到了物体的超二次 曲面模型参数，成功恢复了缺失部分数据物体的原始模型。然后针对 多个物体间存在相互遮挡的情况，用基于边缘和区域约束的区域增长 方法进行部件化物体建模与分割，通过分析区域增长方法的基本原理 和深度图像分割的基本过程，并研究和设计了基于边缘和区域约束的 区域增长策略，将深度图像的区域信息和边界信息互相融合，改进了 区域增长规则。最后设计并实现了面向深度图像的部件化物体建模与 分割算法，成功得到了分割后各部件的超二次曲面模型参数。实验结 果表明，超二次曲面边缘拟合实现了对缺失部分数据物体的建模，而 基于边缘和区域约束的区域增长方法实现了遮挡物体的建模与分割， 为部件化物体识别奠定了基础。 关键词深度图像，部件分割，超二次曲面，投影边缘，区域增长 a bs t r a c t m o d e l b a s e do b j e c t ss e g m e n t a t i o ni sav e r yc r u c i a ls t e pi nt h e p r o c e s s i n go fr a n g ei m a g em o d e l i n ga n dr e c o g n i t i o n i nam u l t i o b j e c t s c e n e ，b e c a u s et h eo b j e c t sa r ec o v e r e de a c ho t h e r , s a m p l i n gd a t ai sl o s t p a r t l y t h i sp a p e rr e s e a r c h e d a n dd e s i g n e dt h em e t h o do fm o d e l i n g o b j e c t sw i t hd a t al o s tp a r t l yu s i n gs u p e r q u a d r i cr i ma n dt h em e t h o do f r a n g ei m a g e sr e g i o ns e g m e n t a t i o nb a s e d o nt h e e d g eg r o w i n g ，a n d i m p l e m e n t e dt h em o d e l b a s e dm o d e l i n ga n ds e g m e n t a t i o no fc o v e r e d o b j e c t s f i r s to fa l l ，t h i sp a p e ru s e ds u p e r q u a d r i cp r o j e c t i n gr i mt om o d e l o b j e c t sw i t hd a t al o s tp a r t l y t h r o u g ha n a l y z i n gt h er i mf i t t i n gp r i n c i p l e o fs u p e r q u a d r i c ，a ni n i t i a lo b je c t i v ef u n c t i o nf o rs u p e r q u a d r i cr i mf i t t i n g w a ss e tu p s i m u l t a n e o u s l y ，t h ef u n c t i o nw a so p t i m i z e db yu s i n g e q u a l d i s t a n c es a m p l i n g a n d p r o je c t i n gr i m b yd e s i g n i n g a n d i m p l e m e n t i n gt h er i mf i t t i n ga l g o r i t h mo fs u p e r q u a d r i c ，t h es u p e r q u a d r i c p a r a m e t e r sc o r r e s p o n d i n gt ot h eo b j e c tw e r eo b t a i n e d ，a n dt h eo r i g i n a l m o d e lw i t hd a t al o s tp a r t l yw a sr e c o v e r e ds u c c e s s f u l l y s e c o n d l y ，f o rt h e c a s ew h i c ht h eo b j e c t sa r ec o v e r e de a c ho t h e r , t h eo b j e c t sa r em o d e l e d a n ds e g m e n t e db yu s i n gt h er e g i o ng r o w i n gm e t h o db a s e do ne d g ea n d r e g i o nr e s t r i c t i n g u n d e ra n a l y z i n gt h ef u n d a m e n t a lp r i n c i p l e o ft h e r e g i o ng r o w i n ga n dt h eb a s i cp r o c e s so fr a n g ei m a g e ss e g m e n t a t i o n ， r e s e a r c h i n ga n dd e s i g n i n gt h er e g i o ng r o w i n gm e t h o db a s e do ne d g ea n d r e g i o nr e s t r i c t i n g ，t h er e g i o ni n f o r m a t i o na n dt h ee d g ei n f o r m a t i o ni nt h e r a n g ei m a g e sw e r em e r g e de a c ho t h e r ，t h e n t h eg r o w i n gr u l ew a s i m p r o v e d f i n a l l y ，b yd e s i g n i n ga n di m p l e m e n t i n gt h em o d e l i n ga n d s e g m e n t a t i o na l g o r i t h mo fm o d e l b a s e do b j e c tf o rt h er a n g ei m a g e s ，w e g o tt h es u p e r q u a d r i cp a r a m e t e r so fm o d e l b a s e do b j e c t sw h i c hh a db e e n s e g m e n t e d t h es i m u l a t i o nr e s u l t ss h o w e dt h a tt h er i mf i t t i n gm e t h o do f s u p e r q u a d r i ci m p l e m e n t e dm o d e l i n go b j e c tw i t hd a t al o s tp a r t l y ，a n dt h e r e g i o ng r o w i n g m e t h o db a s e do n e d g e a n d r e g i o nr e s t r i c t i n g i m p l e m e n t e dm o d e l i n ga n ds e g m e n t a t i o no fc o v e r e do b j e c t s t h e s e i l m e t h o d sl a i daf o u n d a t i o nf o rm o d e l b a s e do b je c tr e c o g n i t i o n k e yw o r d s r a n g ei m a g e ，m o d e l - b a s e ds e g m e n t a t i o n ，s u p e r q u a d r i c ， p r o je c t i n gr i m ，r e g i o ng r o w i n g i i i 原创性声明 本人声明，所呈交的学位论文是本人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了论文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得中南大学或其他单 位的学位或证书而使用过的材料。与我共同工作的同志对本研究所作的贡献均 己在论文中作了明确的说明。 作者签名： 三垒，胜 日期：皇= l 年 月丝日 学位论文版权使用授权书 本人了解中南大学有关保留、使用学位论文的规定，即：学校有权保留学 位论文并根据国家或湖南省有关部门规定送交学位论文，允许学位论文被查阅 和借阅；学校可以公布学位论文的全部或部分内容，可以采用复印、缩印或其 它手段保存学位论文。同时授权中国科学技术信息研究所将本学位论文收录到 中国学位论文全文数据库，并通过网络向社会公众提供信息服务。 作者签名：丝痤导师签名笠蕴日期：4 年上月丝日 硕士学位论文 第一章绪论 第一章绪论弟一早硒记 感觉是人的大脑与周围视觉联系的窗口，它的任务是识别周围的物体，并告 诉这些物体之间的关系。本文的思维获得是以人对客观视觉与环境的认识为基础 的，而感觉则是客观视觉与人对环境的认识之间的桥梁，使人的思维与周围世界 建立某种对应关系世界则是人最重要的感觉，它是人的主要感觉来源，人类认识 外界信息的8 0 来自视觉。随着计算机技术和信号处理理论的发展，人们开始尝 试利用摄像机拍摄环境图像并将其存储到计算机中，然后让计算机完成视觉信息 处理的全过程，由此就产生了一门新兴的学科，即计算机视觉。 计算机视觉的研究目标是使计算机具有通过二维图像认知三维环境信息的 能力，这种能力将不仅使计算机能感知三维环境中的几何信息，包括它的形状、 位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。计算机视觉 正在被广泛地应用于许多方面，可以说需要人类视觉的场合几乎都有计算机视觉 的应用，特别是在许多人类视觉无法感知的场合，如在精确定量感知、危险场景 感知和不可见物体感知等场合，计算机视觉更能显示其无可比拟的优越性。目前， 计算机视觉应用较多的主要有：工业自动化生产，航空宇航，医学图像分析，机 器人视觉和自动导航装置，交通监察和安全鉴别，国防系统等领域。 1 1 课题的提出 在计算机视觉、机器人视觉导航、自动检测与装配和医学图像分析等领域中 f 1 1 ，三维物体的建模与识别起着至关重要的作用。一般来说，一个不规则物体可 以分解成多个基本的几何体，这些几何体按照它们之间特有的拓扑关系组合成物 体，这种拓扑关系是在复杂环境中识别物体的重要依据。在实际应用中，通过传 感器采集到的物体图像数据是一组离散的数据点，不具有认知的特性。通过这些 数据点进行三维建模与分割，可以确定物体的几何特征和拓扑关系，从而达到识 别物体的目的。本课题将对深度图像部件化物体的三维分割和建模进行研究，以 得到物体的几何特征和拓扑关系。 本课题来源于湖南省科技计划项目，项目名称为“面向深度图像的三维建模 与识别软件平台研制”，编号为2 0 0 7 f j 3 0 6 9 。该平台包括建模和识别两个主要 功能。建模的过程，首先是对物体的深度图像进行部件化分割，然后进行建模， 得到物体的几何特征和部件化物体之间的拓扑关系；识别的过程则是利用建模所 得到的拓扑关系与标准库中模型的拓扑关系进行匹配，从而达到识别物体的目 硕士学位论文第一章绪论 的。本课题完成的工作是平台中的建模功能，具体来说，即是对基于深度图像的 物体进行部件化物体分割，并对分割后的各部件化物体用超二次曲面建模，得到 各物体的超二次曲面参数，进而获得它们的拓扑关系。由于，物体的超二次曲面 参数和它们的拓扑关系是物体识别的必要前提条件，而且，拓扑关系的准确性也 直接影响识别的结果，因此，在整个平台中起着非常关键的作用。 1 2 面向深度图像的物体建模与分割的研究现状 1 2 1 深度图像的应用 在很长一段时间里，图像方面的问题都是由三维物体的二维光学图像恢复物 体的三维几何信息，这其中存在两个困难i 2 】：一是图像灰度虽然反映了三维物体 的几何信息，但它与物体材料、光源等其他许多性质有关，因此，由图像灰度恢 复物体几何形状问题的解不是唯一的，需要其他许多附加知识和约束条件；二是 如果用多幅图像( 如立体视觉或运动视觉方法) 重建物体三维信息，或由模型知 识及假设检验方法来获取物体几何信息，不可避免地会碰到“对应”问题，即必 须首先确定多幅图像特征点之间或图像特征点与模型特征点的对应，而对应问题 一般需要逐点去做，计算复杂性高，在约束条件不够的情况下，答案也不唯一。 为了克服上述困难，近年来，随着技术的发展，人们制造出了新型的传感器， 以直接得到三维物体的信息。这些传感器得到的图像称为深度图像( r a n g e i m a g e ) 。与一般光学图像不同，深度图像中每一个点的值不再表示物体表面各 点反射关的强度，而是它们离传感器的距离。再经过简单的处理，即可获得空间 各点的三维坐标。因此与从灰度图像中提取三维物体集合特征的方法相比，深度 图像可以直接利用三维信息，这就大大简化了三维物体的建模和识别的处理过 程，在很大程度上克服了上述的困难。因此，深度图像得到了广泛的应用，主要 用于自动检测、零件抓取、自动装配、自动导航和医学诊断等领域。 利用传感器获得物体的三维坐标点后，接下来的任务就是利用这些离散的数 据点对物体进行建模，以确定物体的几何特征和拓扑关系。 1 2 2 图像分割方法 图像分割是图像处理中的一项关键技术，自2 0 世纪7 0 年代起一直受到人们 的高度重视，很多研究人员做了大量的工作，提出了很多实用的分割算法【3 4 1 ， 随着统计学理论、模糊集理论、神经网络、形态学理论、小波理论等在图像分割 中的应用日渐广泛，遗传算法、尺度空间、多分辨率方法、非线性扩散方程等近 期涌现的新方法和新思想也不断被用于解决分割问题，国内外学者提出了不少针 2 硕士学位论文第一章绪论 对一些具体应用的好的分割方法。现对这些分割方法的研究现状做一些简单的介 绍。 l 、阂值法 阈值分割是最常见的并行的直接检测区域的分割方法，它就是简单地用一个 或几个阈值将图像的灰度直方图分成几个类，如果只需选取一个阈值称为单阈值 分割，它将图像分为目标和背景两大类；如果选取多个阈值分割称为多阂值方法， 图像将被分割为多个目标区域和背景；为区分目标，还需要对各个区域进行标记。 阈值分割方法基于对灰度图像的一种假设，目标或背景内的相邻像素间的灰度值 是相似的，但不同目标或背景的像素在灰度上有差异，反映在图像直方图上，不 同目标和背景则对应不同的峰。选取的阈值应位于两个峰之间的谷。 阈值分割的优点是实现简单，对于不同类的物体灰度值或其他特征值相差很 大时，它能很有效地对图像进行分割。 阂值分割的缺点是：对于图像中不存在明显灰度差异或灰度值范围有较大重 叠的图像分割问题难以得到准确的结果；由于它仅仅考虑了图像的灰度信息而不 考虑图像的空间信息，阈值分割对噪声和灰度不均匀很敏感。 针对阈值分割方法的缺点，不少学者提出了许多改进的方法，如基于过渡区 翻的方法等。但是对于多目标的图像来讲，如何选取合适的阈值仍是基于阂值分 割方法的困难所在。至今仍有不少学者针对该问题进行深入的研究，提出了许多 新方法。在近年来的自动选取阈值方法中，基于最大熵原则选择阂值是最重要的 方法之一【6 】。这种方法的目的在于将图像的灰度直方图分成两个或多个独立的 类，使得各类熵的总值最大，从信息论角度来说就是使这样选择阈值获得的信息 量最大，后来一些人进一步发展了这种方法。 2 、区域增长和分裂合并法 区域增长和分裂合并是两种典型的串行区域分割方法，其特点是将分割过程 分解为顺序的多个步骤，其中后续步骤要根据前面步骤的结果进行判断而确定。 区域增长的基本思想是将具有相似性质的像素集合起来构成区域，该方法需 要先选取一个种子点，然后依次将种子像素周围的像素合并到种子像素所在的区 域中。区域增长算法的研究重点是：特征度量和区域增长规则的设计以及算法的 高效性和准确性。 区域增长方式的有点是计算简单。缺点是：它需要人工交互以获得种子点， 这样使用者必须在每个需要抽取出的区域中植入一个种子点；区域增长方式也对 噪声敏感，导致抽取出的区域有空洞或在局部体效应的情况下将分开的区域连接 起来。 为解决这些问题，发展了很多方法，文献【7 】中，m a n g i n jf 等人提出了一种 硕士学位论文第一章绪论 同伦( h o m o t o p i e ) 的区域增长方法，以保证初始区域和最终抽取的区域的拓扑结 构相同。 在区域合并方法中，输入图像往往先被分为多个相似的区域，然后类似的相 邻区域根据某种判断准则迭代地进行合并。在区域分裂技术中，整个图像先被看 出一个区域，然后区域不断被分裂为四个矩形区域，直到每个区域内部都是相似 的。在分裂合并方法中，区域先从整幅图像开始分裂，然后将相邻的区域进行合 并。合并分裂方法不需要预先指定种子点，它的研究重点是分裂和合并规则的设 计。 3 、并行微分算子法 并行微分算子法对图像中灰度的变化进行检测，通过求一阶导数极值点或二 阶倒数过零点来检测边缘。常用的一阶导数算子有梯度算子、p r e w i t t 算子和s o b e l 算子，二阶导数算子有l a p l a c i a n 算子，还有k i r s c h 算子和w a l k s 算子等非线性 算子。梯度算子不仅对边缘信息敏感，而且对图像噪声也很敏感。 为减少噪声对图像的影响，通常在求导之前对图像进行滤波。常用的滤波器 主要是高斯( g a u s s i a n ) 函数的一阶和二阶导数，c a n n yj 认为高斯函数的一阶导数 是他求得的最优滤波器的较好近似【8 】。计算机视觉的创始人m a r r 首先提出，采 样l a p l a c i a n 算子求高斯函数的二阶导数得到l o g ( l a p l a c i a no fg a u s s i a n ) 滤波算 子。今年来研究的滤波器还有可控滤波器，b 一样条滤波器等。 4 、基于曲面拟合的方法 这种方法的基本思想是将灰度堪称高度，用一个曲面来拟合一个小窗口内的 数据，然后根据该曲面来决定边缘点。 n a l w avs 等人提出一种用二维曲面来拟合局部窗口中数据的方法，先估计 该窗口中的边缘方向，再用该方向上的二维曲面来拟合数据，决定边缘点1 9 j 。 r a r a l i c krm 提出一种用二维三次多项式来拟合小窗口内的图像数据的方法，为 得到该多项式的系数，他先用离散正交多项式的线性组合来拟合数据，求得线性 组合的系数后再据以得到三次多项式的系数，然后，求该多项式的二阶方向导数， 以其过零点来决定边缘点【l 。m a t a l a sl 等人采用h a r a l i c k 的这种方法作为他们 提出的图像分割算法的第一步，先这样得到初始边缘点，然后再在此基础上用松 弛标号法对找出的边缘点进行进一步的判断，去伪存真】。 5 、基于边界曲线拟合的方法 这种方法用平面曲线来表示不同区域之间的图像边界线，试图根据图像梯度 等信息找出能正确表示边界的曲线从而得到图像分割的目的，而且由于它直接给 出的是边界曲线而不像一般的方法找出的是离散的、不相关的边缘点，因而对图 像分割的后继处理如物体识别等高层处理有很大帮助。即使是用一般的方法找出 4 硕士学位论文 第一章绪论 的边缘点，用曲线来描述它们以便于高层处理也是经常被采样的一种有效的方 式。 s t a i blh 等人给出了一种用f o u r i e r 参数模型来描述的方法，根据b a y e s 定 理，按极大后验概率原则给出了一个目标函数，通过极大化目标函数来决定 f o u r i e r 系数。实际应用中，先根据对同类图像的分割经验，给出一条初始曲线， 再在具体分割例子中根据图像数据优化目标函数来改变初始曲线的参数，拟合图 像数据，得到由图像数据决定的具体曲线，这种方法比较适合于医学图像的分割 【1 2 】。除了用f o u r i e r 模型来描述曲线外，近年来研究了一些其他的曲线描述方法， 如g o s h t a s b ya 详细介绍了用有理g a u s s i a n 曲线和曲面来设计和拟合二维及三维 形状的方法i j 。 6 、基于模糊集理论的方法 图像分割问题是典型的结构不良问题，而模糊集理论具有描述不良问题的能 力，所以有研究者将模糊理论引入到图像处理与分析领域，其中包括用模糊理论 来解决分割问题，基于模糊理论的图像分割方法包括模糊阈值分割方法、模糊聚 类分割方法和模糊连接度分割方法等。 模糊阈值技术利用不同的s 型隶属函数来定义模糊目标，通过优化过程最后 选择一个具有最小不确定性的s 函数，用该函数表示目标以及属于该目标像素之 间的关系。这样得到的s 型函数的交叉点为阈值分割需要的阈值，这种方法的困 难在于隶属函数的选择。c h e n ghd 等人将模糊测度函数的概念引入最大熵原 则，提出了模糊c 一分类最大熵原则【i 4 1 。 模糊c 均值聚类( f c m ，f u z z yc m e a n s ) 方法通过优化表示图像像素点与c 个 类中心之间的相似性的目标函数来获得局部极大值，从而得到最优聚类。这种计 算量大，不具备实时性。模糊c 均值聚类方法常被用于医学图像分割。 u d u p ajk 等人明确地阐述了如何更加有效地利用模糊理论来解决实际问 题，提出了几点建议，从而提出用模糊连接度的概念刻画对象，认为目标是以某 种凝聚力在一起而形成物体的i l5 。他们提出的方法在医学图像的分割问题中得 到了较好的结果，但此方法需要选择阈值和初始种子点，并且模糊连接度中参数 的选择问题，都值得进一步研究。 7 、基于区域与边界技术的方法 基于区域的分割方法往往会造成过度分割，即将图像分割成过多的区域。单 纯的基于区域的分割方法没有在决策阶段包括判断边界的措施，可能导致噪声边 界和对象内部出现空洞。人们往往将基于区域信息的方法与别的方法，主要是边 缘检测方法结合起来，研究结合区域与边界技术的方法。采样什么方式结合，怎 样结合才能充分发挥各自的优势，获得好的分割结果是研究的重点。j o n e stn 硕士学位论文第一章绪论 等人提出了一种结合区域和边界技术的方法，用于医学图像中器官的分割【1 6 1 。 用户在被分割对象中选择一个种子点，再使用一个a 佑n i t y 算子估计图像中最有 可能位于对象边界上的像素，最后采样一个形态模型，使模型边界与对象边界一 致。通过结合基于边界和基于区域的技术得到的方法较各个单独的方法的鲁棒性 更强，但是，大多数方法仍需要好的初值避免局部最小，此外，大多数结合基于 边界和基于区域的技术方法将先验模型用于基于区域的统计，然而在无法获得先 验知识的情况下，这些方法的可用性较差。 8 、基于数学形态学的方法 数学形态学在图像处理中的应用近年来日渐受到重视，更多的系统都采用形 态学算子来对图像进行预处理或后处理。形态学图像处理以在图像中移动一个结 构元素并进行卷积的方式进行，结构元素可以具有任意大小。基本的形态学操作 是腐蚀和膨胀，他们的一些基本运算相互结合可以产生复杂的效果，他们适合于 用相应的硬件构造查找表实现。 形态学理论在图像分割中的应用比较有代表性的是v i n c e n gl 等人提出的分 水岭算法( w a t e r s h e d ) t f ”，随着在这个领域的发展，研究人员至今已提出了多种基 于w a t e r s h e d 的形态学分割方法。虽然这些方法己成功用于图像分类，但他们需 要用户的交互或准确的关于图像结构的先验知识。 1 2 3 深度图像物体分割技术 最近，由于深度图像的广泛应用，针对深度图像的分割算法也得到很大的发 展。 分割是深度图像理解中的第一步，也是很重要的一步。分割的目的是将深度 图像分割成部分以便进一步分析或者就是改变物体图像的表示方法。深度图像分 割技术主要可以分为三种：一种是基于边缘检测的方法1 1 8 , 1 9 】；一种是基于区域增 长的方法【2 0 2 1 】；第三种就是前两种方法的结合【2 2 , 2 3 1 。基于边缘检测的方法主要检 测图像中深度的非连续性和表面法相的非连续性f 2 4 】，着重于边缘检测，这些基 于边缘的检测技术主要集中在与多面体或圆柱体相匹配的直线或圆周边界检测 瞄5 。基于区域的分割技术把深度图像分割为独立的几个区域，具有同一性质的 点被逐步合并成为一致性区域( 即区域增长) ，最终整个图像被分割成一组满足 一致性条件的区域，在相同区域内的点具有相似的表面特性，大部分基于区域的 分割方法都是基于曲面拟合或体元的【2 6 1 。这种方法可以把图像分割成任意形状 的区域，但算法的实现和控制非常复杂【2 7 】。所有这些区域生长的算法，生长的 结果成功与否很大程度上以来于初始种子的产生，同时技术复杂及效率低也是一 个问题。 l e o n a r d i s 等提出用一组超二次曲面对离散数据点进行三维建模与分割的方 6 硕士学位论文 第一章绪论 法【2 8 1 ，该方法基于区域增长的基本原理，分为初始化播种、种子增长和种子选 择3 个步骤。但该方法存在2 个问题【2 9 j ：( 1 ) 初始化种子的分布状态严重影响 分割效果，它采用的随机初始化播种不能保证初始种子分布到物体的每一个部 分；在增长与选择过程中，也不能确保每一个重要的种子不落选。( 2 ) 该方法 的种子增长过程是基于一个n xn 的矩阵窗，只适用于有序排列的数据点( 如像 素图像) ，并不适用于无规则的数据点建模。c h e v a l i e r 等提出了基于超二次曲 面分解与合并的三维建模与分割方法。该方法的基本原理是以物体的惯性轴正交 的垂直平面将离散数据点划分成2 个部分，且该平面必须通过这组数据点的质 心，而物体的惯性轴用超二次曲面对这组数据点的粗略拟合模型的长轴来确定。 这种分解迭代地进行，最终将这组数据分解成若干子集，这些子集组成了物体的 各部分，这种分解实际上产生了分割的效果。 但是，如果这组数据点所包围的 物体是一个不规则物体，则这种粗略模型拟合参数通常是局部极值，并且它的解 具有较大的不确定性，所以这种粗略模型的惯性轴并不一定能代表物体的惯性 轴，使得分割具有一定的盲目性，造成许多不必要或不恰当的分割。c h e v a l i e r 等用了一个合并的回归过程对分割进行优化。在分解与合并的方法中，分解是为 了分割，合并才是真正的建模，即先分割再建模；在区域增长法中，分割与建模 是同步进行的。所以分解与合并的方法比区域增长法效率低，但它适用于不规则 数据点的三维建模与分割【3 。因此，如果能获得优化的初始种子，再结合该方 法，可能会得到比较好的建模效果。随着遗传算法1 3 i j 的快速发展，它在计算机 视觉领域里也得到了运用 3 2 j ，它的一些方法对三维物体的建模和分割也将起着 重要的作用。 1 3 部件化物体建模的研究现状 1 3 1 三维重构 三维重构是计算机视觉领域中一个至关重要的经典问题，也是用计算机模拟 人眼视觉功能所需要完成的最后一步，即恢复物体的三维信息。三维重构的用途 很广，可以应用在机器人导航，视觉监控，建筑制造等行业。同时在最近几年兴 起的计算机虚拟现实，基于图像的绘制( i b r ) ，三维动画等技术中都有广泛的应 用。在未来几年中它仍然是计算机视觉的重要研究方向之一。 目前文献中的三维重构方法大致分为以下两类：一类是利用精密的硬件设 备，如激光探测仪、结构光、r a n g es c a n n e r 等，直接测量出物体表面点的三维 坐标。这一类系统能得到物体精确的三维结构，但成本高昂，操作复杂，应用场 合有限，另一类三维重构系统对硬件设备的依赖较少，仅利用图像信息，从摄像 7 硕士学位论文第一章绪论 机成像模型入手，计算出物体的三维结构。概括而言，三维重构系统主要有以下 几种： 第一个基于图像的三维重构系统是c m u 大学的t o m a s i 和k a n a d e 等人【3 3 】 在假定摄像机为正交投影模型的前提下，利用放射分解( a f f i n ef a c t o r i z a t i o n ) 的方 法同时解出了三维结构和摄像机运动。该系统在解决点的匹配问题上使用了基于 光流的跟踪器技术( p o i n tt r a c k e r ) 。该系统的缺点在于采用的摄像机模型是正交投 影模型，这种模型只有在物体的深度远大于物体的尺寸时才合理。由于只有少数 关键点被用于生成三维模型，所以模型的整体质量不高。 i n r i ab o u g n o u x 等人【3 4 , 3 5 1 创建了一个提升型( e n h a n c e d ) - - - 维建模系统，包括 未标定的s f m 和摄像机自标定等算法。但是三维模型中三维点的对应关系必须 由人工选定，所以这个系统的主要应用范围是场景中包括具有一定数量平面信息 的场合。 b e r k e l e y 大学的d e b e v o c 、t a y l o r 、m a l i k 等【3 6 j 完成了著名的建筑物重构系统 f a q a d e ，该系统要求首先得到建筑物的粗略几何模型和摄像机运动参数，然后将 该模型反投到图像上与实际图像作比较，通过减小反投影误差最终计算出建筑物 的精确三维结构。为增强视觉效果，该系统还使用了基于视点的贴纹理技术( v i e w d e p e n d e n tt e x t u r i n g ) 。该系统的不足之处在于需要预先得到建筑物的几何模型， 而且建筑物的几何结构不能太复杂。 沈向阳等人【37 】提出的人机交互式重构系统可以从一组全景图( p a n o r a m i c m o s a i c ) 中恢复出三维结构，或者将场景表示成一系列按深度划分的分层( s p r i t e ) 的集合。该系统不需要做图像间的匹配，但要求用户在重构过程中交互式地确定 场景中的一些几何约束，如共面、平行、垂直等。 f a u g e r a s 等1 3 8 】利用分层重构、自标定等经典方法从图像序列中重构出建筑 物。该系统考虑了建筑物的特殊性，利用建筑物上的三维坐标己知点( a n c h o r p o i n t s ) 、己知角度或平行线等物理信息标定摄像机，并将待重构场景用多面体表 示。该系统主要用于为c a d c a m 等提供原始的几何模型。 k a t h o l i e k e 大学的p o l l e f e y s 等【3 w 提出的物体表面自动生成系统运用了可变参 数下的摄像机自标定技术。该系统仅要求手持摄像机围绕物体拍摄一系列图像， 即可自动实现自标定的分层重构。p o l l e f e y s 等将该系统应用到了考古学、文物保 护等领域并取得了良好的效果。 1 3 2 部件化物体建模技术 要达到准确识别物体的目标，首先必须明确该物体的几何特征和拓扑关系， 最好的方法就是得到物体的模型。因此，模型表达是计算机视觉中很重要的一部 分，也是最困难的问题之一。但目前尚无很好的、适用范围很广的模式表达方法， 8 硕士学位论文 第一章绪论 主要有以下三个方面的原因【4 0 】：( 1 ) 模型一般应包含物体的完整信息，对一些 简单物体( 如多面体) 这一点比较容易做到：但对复杂物体，模型会很复杂而不 易应用。( 2 ) 模型应有从具体到抽象的各种不同层次的表达方式，即不但要准 确的表达一个物体，还要尽可能的表达一类物体。( 3 ) 视觉系统应能识别图像 中出现的物体，识别结果应与摄取图像时摄像机的角度无关。当从不同角度观察 同一物体时，只能观察到物体的部分特征( 物体的一部分被其他部分或其他物体 遮挡) ，这样给物体的识别带来更大的不便。因此，要想得到物体的准确模型， 就需要从这三个方面着手。以下将分别介绍这几个方面的已有成果。 首先，对于复杂物体的建模。由于复杂物体的不规则性，普通的模型都不适 合对其建模。通常的方法都是先对物体进行分割，然后再对分割后的各个部件进 行建模以及求出各相邻部件之间的拓扑关系。这个方法能很好的表达一些复杂的 物体，也得到了比较广泛的应用。此操作的关键在于准确的将物体分割，因此， 选择合适的分割算法将直接决定是否能表达出该物体的特征。 其次，准确的表达物体或部件的参数模型。通常表示三维物体的模型有：三 次曲面【4 l 】、广义圆柱面【4 2 】、超二次曲面【4 3 】等。在三维物体的建模与分割的过程 中，物体在计算机内部的有效的表示是系统对环境的正确理解与识别的关键。特 别是在实时交互系统中，一个有效的物体表示模型是三维重构既快速又准确的必 要条件。这就要求物体的三维模型稳定，并且是高度压缩的，也就是说要用最少 的数据来描绘物体的主要特征而不失其准确性。由于超二次曲面的数学描述很稳 定，所以模型重构方法也很稳定，超二次曲面能用高度压缩的数据来表示三维物 体，即用少量的参数来描述形状各异的三维物体，通常也叫做参数模型。所以三 维建模的过程实际上是对超二次曲面进行参数拟合的过程，这类问题的常规方法 是把它转化成非线性最小二乘问题，通常用l - m ( l e v e n b e r gm a r q u a r d t ) 方法来求 解f 4 4 】。文献【4 5 】针对变形超二次曲面拟合，给出了一种基于给定点到拟合几何模 型的正交距离作为误差度量，采用这种基于几何距离的拟合曲线具有对几何刚体 变换不变性的特点。文献【4 6 】针对在三维重构过程中用l m 方法求解超二次曲面 参数拟合问题的不足，提出了用粒子群优化算法p s o ( p a r t i c l es w a r m o p t i m i z a t i o n ) 来进行超二次曲面参数拟合的新方法。该文详细阐述了超二次曲面 的三维表示特性，l m 算法拟合超二次曲面参数模型的分析，以及用粒子群优化 算法拟合超二次曲面参数模型的原理、实现方法和实验结果。用粒子群优化算法 对超二次曲面进行参数拟合，克服了l m 方法的缺陷，取了满意的效果。文献 4 7 】 针对用传统方法难以求解的扩展的超二次曲面三维模型参数拟合问题，提出了用 协同演化的并行粒子群优化算法求解的新方法。通过对扩展的超二次曲面三维表 示特性的研究，设计和实现了基于岛屿群体模型的并行粒子群优化算法，并用协 9 硕士学位论文第一章绪论 同演化的思想，将约束非线性优化转化为极小极大问题进行求解。 再次，针对存在遮挡、阴影等特殊场景中的多物体建模与识别。在以上的一 些研究中，未对有遮挡、重叠等情况存在进行讨论，还有待继续研究。 1 4 研究意义和目的 在计算机视觉导航、机器人避障、自动装配等视觉识别系统中，系统要识别 出目标物体，先需要对物体的几何特征有所认识。因此，对目标物体进行相对准 确的建模就显得尤为重要。而对于一般的物体来说，都是比较复杂的，且很不规 则，这样对建模带来了难度。深度图像的部件化物体的建模就为此提供了一个非 常好的方法，它不但能够得到每个部件的超二次曲面模型，而且能得到部件之间 的联系。尤其在多物体场景中，对物体的分割是个必不可少的过程，采用建模与 分割同步进行的机制，能够使得建模和分割所产生的误差达到最佳，这样不至于 产生其中一个很优而另一个很差的结果，保证了物体的实时性。目前人们己大量 采用深度传感器获取物体或场景深度图像来进行人机交互，所以面向深度图像的 三维建模与识别技术与方法研究在国外己成为热点，而国内在这方面的研究较 少，尚未形成成熟的技术和相应的软件平台。 本课题的研究目的在于研制面向深度图像的三维建模与识别软件平台，它完 全针对当今三维建模与识别系统中研究与应用的热点问题，其研究成果将为计算 机视觉导航的应用提供一种高效稳定实用的解决方案。 1 5 本文的内容组织安排 本论文在对国内外部件化物体三维重构和深度图像分割技术作了充分调研 的基础上，提出了用超二次曲面边缘对物体进行建模的方法，并且将边缘运用到 深度图像分割的过程中，解决多物体之间存在相互重叠、遮挡等情况的建模。本 文深入的讨论了超二次曲面边缘的性质，及其建模和分割的原理，全文共分为五 个章节。 第一章绪论，主要包括课题提出的研究背景、研究意义和目的，着重讨论了 国内外部件化物体三维建模技术以及深度图像分割技术的研究现状与水平。 第二章三维建模与分割的基本原理，全面地介绍了深度图像的概念、获取和 表示，超二次曲面的描述和特征，超二次曲面边缘的定义和特性，系统的阐述了 超二次曲面三维建模的基本原理，三维建模过程的基本模型和最d - 乘问题的实 现方法，全面的分析了基于区域增长方法的物体分割技术和物体分割的基本过 程。 1 0 硕士学位论文第一章绪论 第三章部分数据缺失时物体的三维建模，本章的主要思想是用超二次曲面边 缘恢复物体模型的参数。首先初步建立了边缘拟合方法的建模模型，然后分别采 用等距取样方法和边缘投影的方法对模型进行优化，重点介绍了曲线采样方法的 实现，最后设计并实现了边缘拟合算法。此外，还做了曲面拟合和边缘拟合的对 比实验，给出了对比实验结果。 第四章基于区域增长的存在相互遮挡的多物体分割与建模，本章在基于深度 图像之上，采用边界信息和区域信息相融合的方法对物体进行分割和建模。详细 阐述了边界探测、种子生成以及区域增长等过程，最后设计实现了该分割算法， 并展示了分割和建模的实验结果。 第五章结束语，总结和分析了本论文的研究意义和主要工作，对本论文的进 一步研究提出了一些看法，最后展望了三维建模和分割的各种方法在计算机视觉 领域的作用及研究意义。 硕士学位论文 第二章三维建模与分割的基本原理 第二章三维建模与分割的基本原理 在计算机视觉领域中，物体的三维建模与分割是一个十分关键的步骤，它利 用图像的信息获得物体的三维特征，达到识别的目的。建模与分割的好坏直接影 响着识别的结果。本文研究的是基于深度图像的三维建模与分割，在本章中，主 要介绍三维建模与分割的一些基本原理。 首先介绍了深度图像、超二次曲面和超二次曲面边缘等概念及其特征，然后 分别讲述了超二次曲丽建模的基本过程和实现方法，以及基于区域增长方法的物 体分割算法的基本原理。 2 1 深度图像 深度图像不同于以往的灰度图像，在本节中，详细介绍了本文研究工作的主 要对象：深度图像，其中包括深度图像的概念、深度图像的获取及其表示。 2 1 1 深度图像的概念 深度图像( r a n g ei m a g e ) ，或被称为距离图像，是一类特殊形式的图像。由于 它是图像的一种，因而也遵从图像的基本格式，即是由一组按照矩阵形式逐行逐 列进行组织的像素构成。 那么，它与最为常见的灰度图像的不同之处就在于两者的像素所表示的内容 不同。对于灰度图像，其像素值表示的是该点感光的强度或灰度；而对于距离图 像而言，像素值则表示了扫描点的距离信息，当然表示距离信息的方式也可以有 多种形式，比如可以直接记录一个距离值的标量，也可以记录下该点的三维坐标 值，这取决于获取深度图像的激光扫描仪。在此次项目中，激光扫描仪获取深度 图像的像素属于后者的情况，即记录了扫描点的三维坐标值。 2 1 2 深度图像的获取和表示 前面提到了由激光扫描仪获取的数据称为深度数据，因为这些数据包含了被 扫描物的距离等几何信息。实际上，目前不少激光扫描仪的扫描过程都是逐行逐 列进行的，就像光栅扫描显示器一样，因此扫描得到的数据也会自然的表现为一 种矩阵的形式，即深度图像。 在扫描过程中，会得到从当前视点看到的场景的一幅彩色图像，在此图像中 选定一个矩形区域，然后激光就会先从上到下( 逐行) ，再从左到右( 逐列) 的扫描 1 2 硕士学位论文第二章三维建模与分割的基本原理 投影在此矩形区域的实际场景点。最后得到一幅深度图像。 那么，从数学上，扫描后获得的深度图像可以表示为如下的形式： r = p ( f ，) ，f = 0 ，l ，2 ，n - i ，= 0 ，l ，2 ，m 一1 )( 2 1 ) 式( 2 1 ) 中，n 和m 分别表示扫描的行数和列数，而具体到每一个深度图像 的像素，获得的是一个四维向量，即： p ( i ，) = ( x ，y ，z ，厂) 其中，( x ，y ，z ) 表示实际扫描点在当前扫描仪位姿定义的坐标系下的三维坐 标，r 则表示该扫描点反射后返回的激光的强度。 在扫描过程中，c y r ah d s 3 0 0 0 的扫描原理是利用发射和接收到激光的时间差 ( t i m e f - f l i g h t ) 来计算距离并最终计算出扫描点的三维坐标的。但由于在实际扫 描中激光束可能会遇到反射极低的点或超过扫描最远射程的点等情况，这时获得 到该点的像素值是一个o 向量，即( 0 ，o ，o ，o ) ，将这种点称为无效扫描点。 激光扫描数据有如下几个特点： 1 ) 数据量大，所使用的激光扫描仪水平扫描1 8 0 0 之后，保存的数据点达二 百多万，实际有效的点个数可能略少于这个数。因为有些点可能由于某些原因造 成无效。这些原因可能是测量的距离过近或过远，即不在