（控制理论与控制工程专业论文）基于激光扫描数据的物体表面重建及轮廓显示.pdf

哈尔滨上程火学硕士学位论文 摘要 随着计算机科学的发展，将激光扫描和计算机结合起来的技术 已在社会的发展中起着越来越重要的作用。在很多情况下，很容易 获得三维物体表面的图像等信息，非常需要一种有效的方法来完成 对这些物体进行表面实时重建和显示。 本课题正是根据实际需要，通过实验采集到的三维模型的图片 信息，进而通过各种预处理算法和距离成像关系，得到表面重建需 要的模型表面点的深度数据。再利用改进的最短对角线法，完成了 三维模型表面的重建工作并实现了其实时旋转显示。考虑到实际中 对三维模型进行观测与定性分析的需要，通过基于二次误差度量的 网格简化算法，进一步实现了对表面网格的简化。用v i s u a lc + + 和o p e n g l 仿真说明，在精度允许的情况下，网格简化到了原始网 格的1 2 ，而大大的提高了重建的速度，而且便于重建结果在网络 中传输。文中给出了详细的简化算法。最后还给出了边缘检测的结 果。 关键词：深度坐标；最短对角线法：实时显示；o p e n g l ：表面重 建；网格简化；边缘 哈尔滨工程大装硕士学位论文 i i i i a b s t r a e t w i t ht h ed e v e l o p m e n to fc o m p u t e rs c i e n c e ，l a s e rs c a n n i n ga n d c o m p u t e rt e c h n o l o g yh a v eb e e nc o m b i n e dt o g e t h e ra n dp l a y e dam o r e a n dm o r ei m p o r t a n tr o l ei nt i r es o c i e t y u n d e rm a n yc i r c u m s t a n c e s ，i t i sv e r ye a s yt og e tt h ep i c t u r ei n f o r m a t i o n s oak i n do fe f f e c t i v e m e t h o disn e e d e dt of i n i s hr e b u i l d i n ga n ds h o w i n gt h e s es u r f a c e so f o b j e c t si nr e a lt i m ef r o mt h ei n f o r m a t i o n t h i ss u b j e c ti sj u s ta c c o r d i n gt ot h en e e d so fr e a l i t y w eg a t h e r p i c t u r ei n f o r m a t i o no ft h r e e d i m e ns i o n a lm o d e l t h e p a p e ru s e d v a r i o u sk i n d so fp r e t r e a t m e n ta l g or i t h m sa n df r o mt h er e l a t i o no ft h e f o r m a t i o no fi m a g et h ed e p t hc o o r d i n a t e0 fm o d e l ss u r f a c ec a nb e g e t a n dt h e nu t i l i z i n gt h ei m p r o v e ds h o r t e s td i a g o n a ll a wi tf i n is h e d t h er e b u i l d i n go ft h et h r e e d i m e n s i o n a lm o d e ls u r f a c ea n dr e a l i z e d s h o w i n g i nr e a l t i m e ，c o n s i d e r i n gt h en e e d0 fo b s e r v i n ga n d q u a l i t a t i v ea n a l ys is t ot h et h r e ed i m e n s i o n a lm o d e li n r e a l i t y ，i t u t i l i z e ss i m p l i f y i n ga l g o r i t h mo ft h eb a s e do nt o l e r a n c eo fe r r o rt w o t i m e s ，t h e o n et h a t t h a t c a n s i m p l i f y s u r f a c en e tf u r t h e r t h e e m u l a t i o nr e s u l t p r o v e s ，i fp r e c i s i o np e r m i t t i n g ，t h a tt h en e ti s s i m p l i f i e dt o 12 o ft h ep r i m i t i v en e t a n dt h es p e e do fr e b u i l d i n g g e tg r e a ti m p r o v e m e n t i tp r o v i d e d t h ed e t a i l e d a l g o r i t h m o f s i m p l i f y i n gi nt h ea r t i c l e f i n a l l y ，a c c o r d i n gt ot h en e e df o rs h o w i n g t h eo b j e c te d g e ，t h er es u l tp r o v i d e dt h ee d g e k e yw o r d s ：d e p t hd a t a ；t h es h o r t e s td i a g o n a ll a w ；s h o wi nr e a lt i m e ； o p e n g l ；s u r f a c er e b u i l d i n g ；s i m p l i r y ；e d g e 哈尔滨工程大学 学位论文原创性声明 本人郑重声明：本论文的所有工作，是在导师的指导 下，由作者本人独立完成的。有关观点、方法、数据和文 献的引用已在文中指出，并与参考文献相对应。除文中已 注明引用的内容外，本论文不包含任何其他个人或集体已 经公开发表的作品成果。对本文的研究做出重要贡献的个 人和集体，均已在文中以明确方式标明。本人完全意识到 本声明的法律结果由本人承担。 作者( 签字) ： 日期：年月日 哈尔滨工程大学硕士学位论文 第1 章绪论 1 1 引言 三维重建是计算机视觉，模式识别及可视化技术等领域中的 经典研究问题。通过各种传感器，计算机可以获取外部世界中物体 的某种信息，称之为采样数据。重建的任务就是要从获取的采样数 据中恢复物体的三维外形，即物体的原型。 在不同的领域中，所用的传感器不同，所得到的数据种类也不 同，重建的目标也不一样，因此造成重建方法的多样化。在立体视 觉中，通过摄像机可以获取周围环境的光强信号。因此重建的含义 是要从不同角度拍摄的图像重构三维物体描述，而重建的关键在 于解决好图像匹配问题i2 1 。而激光扫描测距仪【3 5 1 获取的是物体的 深度信息，从距离图像来重建三维物体的重点在于确定三维点之间 的拓扑关系，然后选择适当的数学描述工具去拟合这组点。尽管上 述的两种方法重建的目标和实现方法都不相同，但它们仍然具有 些共性： 1 ) 原始数据是连续信号的离散采样； 2 ) 原始数据都受到噪声的影响，采样值是原来连续值近似值； 3 ) 三维重建是个逆问题，因为它试图从有限个离散采样中恢复完 整连续的物体模型； 4 ) 三维熏建是从定量描述到定性描述的转换过程。 只有通过重建出现实世界中物体的三维几何模型，才能有效地 对它们进行定性的或者定量的分析，也才能识别和区别原始数据中 的各种物体。因此，三维重建在计算机视觉、模式识别、可视化的 研究中占有重要的地位。从各种数据中重建三维物体的方法有很多 种，但考虑到我们所获得的实验数据是通过激光扫描图像得到的深 度数据，所以选择了切片级轮廓重建三维表面的方法，也就是说， 我们重建的仅仅是物体的三维表面。所谓的切片级轮廓重建方法是 从一组平行轮廓线重构三维物体的表面。由于切片级轮廓重建的方 哈尔滨工程人学硕士学位论文 法可以实现大幅度的数据压缩，但对轮廓对应存在着多义性。因此， 在我们的实际应用中，我们根据对实验所得的数据进行处理，选择 适合于已知数据的重建方法，可以实现对大量数据的快速处理，重 建速度快，而且克服了轮廓对应多样性的问题。 我们主要研究的是对深度数据的可视化及其物体轮廓显示。所 谓深度数据，即我们根据激光扫描实验得到的图像进行处理后，所 得到的所测物体表面的规则采样点的深度坐标值。而且由于实验采 用的是等间距平行移动的方法，因此相当于的得到的是一个序列的 二维轮廓线。丽在三维数掘场的可视化中，由一个序列的二维轮廓 线重构三维形体有着广泛的应用前景。例如，在医学数据的可视化 中，如果c t 或m r i 图像两层切片之间的距离远远大于图像的分 辨率，也就是z 方向的采样十分稀疏，那么，一般的体绘制方法 将难以应用，这时就需要在每层图像上就感兴趣的区域勾画出轮廓 线，并由一个序列的二维轮廓线重构出由面模型表示的三维形体。 又如在人体断层解剖图像的可视化中，需要有一个序列的二维轮廓 线重构三维形体，如血管、神经等。再如，在地形数据可视化中， 输入的数据往往是一系列的二维等高线，由二维等高线重构出具有 光照效果的三维地形图像更是十分常见的应用【6 】。在我们的实验 中，对所得到的实验数据需要有直观且客观的理解和分析，因此， 开展这方面的研究和应用，对后续工作的进行和对整个可视化技术 的学习都有着重要的意义。 1 2 由激光扫描图像获得物体表面深度数据 我们实验中经激光扫描得到的是激光扫在物体上时的一系列 图片，通过对这些图像进行预处理，得到后面进行表面重建需要的 物体表面深度数据。在进行图像增强方面，考虑到中值滤波在一定 条件下可以克服线性滤波器如最小均方滤波，均值滤波等带来的图 像细节模糊，而且对滤除脉冲干扰及图像扫描噪声最为有效。我们 选用了中值滤波并得到了仿真图像。还尝试了图像锐化的方法，也 在中值滤波的基础上，得到了锐化后的结果。在图像分割方面，主 啥尔滨工程大学硕士学位论文 要采取迭代阈值分割法。最后采用了形态学处理方法，保留了我们 后续处理中感兴趣的骨骼部分图像，即进行了细化处理。最后，通 过距离成像原理利用公式转换得到了扫描物体的摄像机坐标，即包 含了我们后面进行表面重建所需要的物体表面深度数据。 1 3 基于物体表面深度数据的重建与显示 1 3 1 三维数据的来源与分类 对于三维物体形态特征的采集，主要有两种方法。一种是通过 c t 、核磁共振等设备获得三维物体的体数据；另一种是通过激光扫 描、双目视觉等技术获得三维物体表面的深度数据。 由于体数据具有描述物体内部特征的详细信息，而且体视化技 术已经有了相对成熟的发展，所以体重建结果视觉效果十分细腻， 而且可以方便的对物体进行定量的分析、处理和显示。但是其数据 量大，而且每个体素都对显示图像产生一定的影响，因此它在没有 特殊硬件的支持下，显示处理速度非常慢，不能满足实时交互的要 求。而且其采集设备过于庞大复杂，必须采用被动式的测量方式， 不便于野外、水下等特殊环境下使用。 深度数据仅仅采集被测物体到观察点的距离信息，所以采集的 数据量少，计算迅速。而且可以进行主动测量，便于在水下等特殊 条件下使用。但是这种方法无法表示物体内部的细节特征，而且目 前对于分叉的情况没有很可靠的解决方法，轮廓对应的随意性很 大，容易生成错误的重建结果。但基于我们的实际要求，我们的实 验数据就是物体的深度数据，可实现重建的实时性。 1 3 2 深度数据可视化的基本流程 深度数据可视化的基本流程可以由图1 1 表示： 哈尔滨工程大学硕士学位论文 数据生成 l l 兰捏翌堡兰竺竺j t 一 【! 些婴 j 绘制 | _ 品| _ 五习 图1 1 深度数据可视化的基本流程图 其中，第一步是数据生成。即可由计算机数值模拟或测量仪器 产生数据。计算机数值模拟的结果形成数据文件。文件格式由科学 计算工作者来定义，因而它是已知的，可以比较方便的输入计算机。 但是，有些测量仪器输出数据的文件格式却是不公开的，必须得到 仪器制造厂家的配合才能弄清数据文件格式，将其输入计算机。 流程的第二步是数据的精炼与处理。因为应用对象的不同，这 一步的功能也会各不相同。对于数据量过大的原始数据，需要加以 精炼和选择，以适当减少数据量。当需要对原始数据加以精炼和选 择时，既要减少数据量，又要最大限度的减少有用信息的丢失。相 反的，当数据分布过分稀疏而有可能影响可视化的效果时，需要进 行有效的插值处理。这一步中最常见的处理方法是消除噪声、参数 域变换以及法向计算等。因为原始数据中一般不会包括数据点所在 处的法向，而这又是在后续步骤中需要用到的，因而需要预先计算 出来。 流程的第三步是可视化映射。这是整个流程的核心。其含义是， 将经过处理的原始数据转换为可供绘制的几何图素和属性。这里， “映射”的含义包括可视化方案的设计，即需要决定在最后的图像 中看到什么，又如何将其表现出来。也就是说，如何用形状、光亮 度、颜色以及其他属性表示出原始数据中人们感兴趣的性质和特 4 哈尔滨工程大学硕士学位论文 点。这时，往往有多种实现方案，可以给科学计算工作者提供自主 选择的方便。 在流程的第四步中，将第三步产生的几何图素和属性转换为可 供显示的图像，所用的方法是计算机图形学中的基本技术，包括视 觉变换、光照计算、隐藏面消除以及扫描变换等。 流程的最后一步是图像变换和显示。包括图像的几何变换、图 像压缩、颜色量化、图像格式转换以及图像的动态输出等6 q 】。 1 3 3 数据建模技术综述 1 3 3 1 三维几何模型 几何模型按其描述和存储几何信息的特征，可分为线框几何模 型、表面几何模型和实体几何模型三种。线框几何模型只存储物体 外轮廓的框架线段信息，但所包含的三维几何信息太少，其表达可 能产生二义性：表面几何模型除了存储线框几何模型的线框线段 外，还存储各个外表面的几何描述信息，可以满足曲面外形显示， 但它仍然没有对物体构建起完整的三维几何模型，仍然缺乏三维智 能，例如不能自动进行体积、重量、重心干涉检测等的计算。 三维实体几何模型存储物体的完整三维几何信息，可以完整的 无二义性表示三维几何实体，可以区别物体的内部和外部，可以提 取各部分几何位置和相互关系的信息，是计算机进行几何三维分析 处理的基础。三维实体模型典型应用如下：支持绘制真实感强的自 动消隐透视图浓淡图及光照效果图；可以生成指定位置方向的剖面 视图；自动计算体积重量重心；支持三维有限元网格自动划分和计 算分析等。 表面三维实体的几何模型主要有构建性实体几何模型和边界 表面表示法模型。前者是建立在一组基本形体之上的方法，这些基 本形体包括立方体圆柱体圆锥体和球体等，也可以包括平面图形经 平移或旋转扫描所形成的形体。这些基本形体经刚性平移或旋转之 后，通过布尔集合运算( 并、交、差运算) 来组成更复杂的实体。 哈尔滨工程人学硕士学位论文 基本形体可以用半空间的形式或边界表示的形式来表达。模型的数 据结构是二叉树结构，般叫树，数的叶子结点为基本形体，记录 它的种类尺寸和位置等参数，树的中间结点为复合实体，记录由左 右两分支实体构建该实体的布尔集合运算类型。边界表面表示法模 型用实体的外表面来表达实体。对于曲面实体，为了实现上的简单， 常常近似用多面体来取代曲面实体，即用多面体的面边点等几何元 素以及它们的拓扑关系来近似的表达实体。此外，还有实体空间分 解枚举模型等【9 ，1 0j 。我们的重建就是重建三维表面实体模型。 1 3 3 2 基于三维数据的建模方法 基于三维数据建模就是根据离散的数据来构建物体或对象的 几何表达，是数据场可视化的重要研究内容。数据建模的方法分为 表面重建和体素重建两大类，其中表面重建主要是根据已知的表面 数据点，然后利用不同的算法找到每个点相应的连接点，绘制出三 维实体模型的表面。表面重建方法主要有：基于断层轮廓线的表面 重建、基于体素的等值面重建、几何变形法。因为我们的重建是己 知深度数据的表面重建，也可以算作基于断层轮廓线的表面重建， 所以下面仅介绍这种表面重建。 基于断层轮廓的表面重建 断层扫描数据广泛存在于医学生物地质无损伤等应用领域，是 一种最简单的三维标量场。一般各断层间是互相平行的，每断层 与实体的交线就是实体在该断层上的轮廓线，即是二维平面上一条 封闭的无自交的等值线。断层数据的表面重构是从一系列断层面上 的轮廓线中推导出相应实体的空间几何结构。整个表面重构的过程 分为两步：拓扑重构和几何重构【】。 拓扑重构获得实体的拓扑表示，是对三维断层数据集中每一断 层上的轮廓线进行分类，确定各轮廓线所属实体及同一实体不同断 层上轮廓线的对应关系。几何重构是在拓扑重构的基础上建立对象 的几何表示。几何重构可分为面向曲面的重构和面向体的重构。面 向曲面的重构中常用的六面体空闻网格重构。 哈尔滨工程火学硕士学位论文 一、三角片表面几何重构 三角片表面重构是面向曲面的表面重构中使用最广泛的一种 方法，要求每一轮廓线是一封闭的多边形链上的顶点构造三角片， 但有时需引入附加点来构造，如在独立分叉插值中引入中间马鞍 点。在进行三角片构造前，需进行点约化，其目的是在允许的误差 范围内，尽量减少多边形链的顶点数【s l 。 常见的对应轮廓线三角片剖分优化规则主要有： 1 ) 体积最大法 1 2 1 ，该算法以重建表面所包围的体积最大为目标函 数求取最佳逼近。 2 ) 表面积最小法1 13 1 ，以重建表面的表面积最小作为目标函数求取 最佳逼近。 3 ) 最短对角线法【1 4 ，以最短对角线为优化目标的局部优化方法。 4 ) 相邻轮廓线同步前进法1 5 1 ，构造三角面片时，使得点操作在两条 轮廓线上尽可能同步进行。 5 ) c o o k 方法【l6 1 ，利用轮廓采样点中一t l , 方向角度相近的程度来构造 三角片的局部优化方法。 在我的论文中，后续将详细讲解前三种方法。( 见第3 章) 二、面向体的重构 面向曲面的重构是通过构造实体表面的几何形状来重构实体， 面向体的重构方法是由空间单元重组原实体【44 1 。这种方法可以免去 许多曲面重构方法中遇到的约束。从面向体的重构中也可获得表面 重构，在所有的单元面中选择出非两单元共用面就构成了实体表面。 面向体的重构方法中常用的是空间d e l a u n a y 四面体重构。它是 在两连续的断层之间进行三角化，生成三维情况下的d e l a u n a y 四面 体。 1 4 物体表面重建与网格表示简化 创建物体模型有两种方法，一种是计算机生成方法，利用平面 二次曲面或更复杂的几何基元在满足一定边界连接条件下，构成物 体模型，比如，计算机辅助建模或计算机几何造型；另一种方法是 7 对实际的物体进行三维测量，比如，利用激光扫描测距、计算机立 体视觉等成像手段获取物体表面三维数据或深度图，然后将三维信 息进行整合，形成物体或场景的完整三维模型。物体模型通常用多 边形网面( p o l y g o n m e s h ) 进行表示，其中，最简单也是最常用的多 边形网面是三角形网面( t r i a n g l em e s h ) 。 为了更精确更详细的表示物体，获取的深度图常常是非常稠密 的，由此整合出来的三维物体模型，其数据量十分庞大。如果用三 角形网面进行表示，则需要十几万甚至上百万的三角面片。这么大 的数据量给存储传输显示和交互操作带来很大的困难，也不便于重 建结果在网络上传输。因此，如何在满足给定条件下，用尽可能少 的三角面片来表示物体模型，即所谓的网面简化( m e s h s i m p l i f i c a t i o n ) ，成为计算机图形学和计算机视觉领域研究人员近 十年来十分关注的问题。在计算机图形学中，网面简化的准则是形 状保持和拓扑关系保持，或两者皆保持，使得物体在保持形状或拓 扑关系的条件下能尽快地在计算机上进行绘制( r e n d i n g ) 。显然形 状或拓扑关系保持和三角面片数量的减少是一对突出的矛盾。计算 机图形学中的网格简化方法可以推广到计算机视觉物体建模和识 别中，但计算机图形学和计算机视觉进行网格简化的目的不同。计 算机图形学中的网面简化注重视觉效果、可操作性和实时性，主要 用于计算机动画、虚拟现实、人机交互和可视化方面；而在计算机 视觉领域中，更关注用于物体识别的特征保持，以便实现物体和场 景表示描述识别和理解。用于计算机视觉领域的网面简化除了物体 形状和拓扑关系保持外，还有物体表面法线纹理颜色和边缘等保 持，比如，通过三维模型从灰度图像中识别或定位物体时所用到的 最有效的信息是物体轮廓和物体区域中的边缘信息。从网格表示的 角度来考虑，网面顶点均匀分布也可作为网面简化的准则，这一点 在来自一个物体不同视角的两个不完全网面配准运算十分有用。 在得到物体表面图像后，可以对该物体进行表面重建。完成物 体表面重建一般分为两步：数据处理、图像显示。数据处理是指将 得到的原始图像经过中值滤波、锐化、二值化、细化等图像处理方 哈尔滨工程大学硕士学位论文 法后，使每幅图像上只有一条轮廓线，且每条轮廓线上只有一个像 素点。这样再通过成像公式就可以换算出该轮廓线上每点的深度坐 标值。为了使重建更具有实用性，我们把这些深度坐标值放入一个 正方形矩阵里，通过具体的重建算法选择各个连接点，加入 o p e n g l 中的光照模型、镜面反射等确定表面法向量，再编程实现 了对整个物体表面的重建显示。这样可以使我们的重建算法不依赖 于深度数据的具体格式，更加具有通用性。 1 5 论文背景及主要工作 1 5 1 论文背景及研究意义 随着计算机科学的发展，将激光扫描和计算机结合起来的技术 已在社会的发展中起着越来越重要的作用1 。将客观世界在计算 机中真实的再现，是计算机视觉和计算机图形学研究的一个热门领 域。近年来，激光扫描仪技术得到了很大的发展和商业化，使用它 们可以得到真实场景的高精度的3 d 数据，因此利用这些3 d 数据 来进行真实世界的三维建模得到了很多关注。其中，我们是要通过 激光扫描物体，摄像机采集待测物体的图像，处理后得到三维表面 深度数据，来构建出待测物体的三维表面，从而帮助研究人员进一 步的直观地了解物体的三维形态和特征。 基于激光扫描数据的三维表面重建及可视化是实施计算机辅 助工业探测的基础，是计算机图形学和图像处理在工业探测研究领 域的应用，涉及数字图像处理、计算机图形学以及光学等各个领域 的相关知识。 1 5 2 本文的主要工作 一般的，通过激光扫描仪进行一组扫描得到的是一组二维有序 的点阵，其中每一点包含了相应的场景上被扫描点的距离信息，这 个点阵被称为深度图像。为了获得完整的场景，往往需要从几个不 同的位置对目标场景进行扫描。 9 哈尔滨工程大学硕士学位论文 i j ；i i ；i ；i i ；i i i i 自；i i ；i i i ；i i 罱i i i i ；i i i i i i ；i i ；i ；i i i | 日；i ；i i i i ；i ；j ；i i ；i i i i ；j ；i 赢 本课题主要是利用由激光扫描得来的待测物体图像序列来构 建该物体的三维表面几何模型的技术。论文主要工作包括如下物体 三维表面重建的关键技术：图像的输入与预处理，三维几何模型的 构建与实时显示，模型的网格简化，三维物体轮廓显示。论文各章 的内容简述如下： 第二章主要论述对已经获得的实验物体图像进行预处理过程。 主要包括一些预处理算法。在图像增强方面，尝试了中值滤波和图 像锐化的方法。在图像分割方面，主要采取迭代阈值分割法。最后 采用了形态学处理方法，即进行了图像细化处理进而获得了物体表 面的深度数据。 第三章详细介绍了对深度数据重建成三维物体表面的过程，也 是全文的重点。先概述了我们的表面重建算法，再讨论了构建三角 面片时的不同方法，并且根据我们的实验数据的具体特点选用了适 合的算法来重建三维物体。介绍显示三维物体使用到的光照模型以 及旋转矩阵使物体能实现实时旋转。详细论述了o p e n g l 的颜色模 型、光照模型，最后显示了用该算法所得的重建结果。 第四章先简要介绍了几种常见的三维模型网格简化算法，然后 详细讨论了我们所用的基于二次误差的度量的网格简化算法，算法 流程等。这是全文的难点所在。最后用v i s u a lc + + 编程实现了对简 化算法的仿真，显示结果如章节中所示。 第五章先概述了轮廓显示( 即某种意义上的边缘) 的基本概念 及其在数字图像处理中的作用，从而引出边缘算子，介绍了几种常 用的边缘检测算子：r o b e r t 算子、s o b e l 算子、p r e w i t t 算子、k r i s c h 算子以及高斯一拉普拉斯算子的原理和处理过程以及各自的适合条 件等。根据我们的实验数据情况分析出了高斯拉普拉斯算子的优 点，并在后面的实验仿真结果图中体现了出来。 第2 章三维物体的激光扫描图像的处理 2 1 引言 三维物体图像的获取由各种影像设备生成，经图像传输预处理 即可用于三维表面重建及后续的轮廓显示。 预处理是图像处理的低级阶段，其根本目的是最大限度的消除 各类噪声和畸变对图像中目标区域的影响。因此，从根本上说，评 价一种预处理算法的基本原则就是看其对当前图像中主要干扰的 去除能力。一般来说，预处理阶段是不需要任何先验知识的。但是， 在对某些干扰情况复杂和原始图像数据量较大的情况下，能够获取 一定的先验知识将十分有助于算法应用效率的提高。 常见的数字图像处理的方法有：图像的点运算、图像的几何变 换、图像的增强、图像的腐蚀、膨胀和细化、图像复原等。各种图 像处理算法都有成熟的算法，简洁且便于实现，因而在我们的图像 预处理中得到广泛应用。 由于本阶段的主要任务就是对由图像采集卡采集来的图像进 行预处理，便于后续的表面重建。本章研究了这些必要的图像预处 理技术。这些技术包括图像增强、图像细化、图像的阈值变换等i l “。 2 2 图像增强 在一般情况下。各类图像系统中图像的传送和转换总要造成图 像的某些降质。例如：在摄像时，光学系统的失真相对运动大气流 动等都会使图像模糊；在传输过程中，由于噪声污染，图像质量会 有所下降。必须对这些降质的图像进行改善处理。我们采用的方法 是不去考虑图像降质的原因，只将图像中感兴趣的特征有选择的突 出，而衰减其次要信息。这样可以提高图像的可读性，改善后的图 像不定逼近原始图像，但可以突出目标的轮廓，衰减各种噪声。 这类方法通常称为图像增强技术。 图像的增强技术通常有两类方法：空间域法和频率域法。空间 哈尔滨工程大学硕士学位论文 域法主要是在空间域中对图像灰度值直接进行运算处理。空间域法 的图像增强技术可以用下式来描述 1 9 】： g ( x ，y ) = f ( x ，y ) h ( x ，y ) 其中f ( x ，y ) 是处理前的图像；g ( x ，y ) 表示处理后的图像；h ( x ，y ) 为空间运算函数。所以空间域增强可表示为如下图2 i f ( x ，y ) g ( x ，y ) l 增强函数h ( x ，y ) l 图2 1 图像空间域增强模型 图像增强的频率域法就是在图像的某种变换域中( 通常是频率 域中) 对图像的变换值进行某种运算处理，然后变换回空间域。它 是一种间接处理方法，我们可以用图2 2 来描述该过程【1 引。 图2 2 图像频率域增强模型 2 2 1 图像平滑 图像平滑处理技术及图像的去噪声处理，主要是为了去除实际 成像过程中，因成像设备和环境所造成的图像失真，提取有用信息。 因为实际获取的图像在形成传输接收和处理的过程中，不可避免地 存在着外部干扰和内部干扰。因此，去除噪声，对恢复原始图像是 图像处理中的一个重要内容。 图像平滑技术可分为两类，一类是全局处理，即对噪声图像的 整体或大的块进行校正以得到平滑的图像，但这种方法计算很费时 间，不适于实时性要求比较高的场合；另一类平滑技术是对噪声图 像使用局部小邻域内的像素加以运算，计算效率高。 平滑的目的可分为两类。一类是模糊，目的是在提取较大的目 哈尔滨工程大学硕士学位论文 标前去除太小的细节或将目标内的小间断连接起来。另一类是消除 噪声1 1 8j 。 对于我们实验得到的三维图像，我们用中值滤波进行图像平 滑，在平滑效果和处理时间上都有较好的性能。 中值滤波是一种非线性的信号处理方法，与其对应的中值滤波 器也就是一种非线性的滤波器。中值滤波器在1 9 7 1 年由j w j u k e y 首先提出并应用在一维信号处理技术( 时问序列分析) 中，后来被 二维图像信号处理技术所引用。中值滤波在一定条件下可以克服线 性滤波器如最小均方滤波，均值滤波等带来的图像细节模糊，而且 对滤除脉冲干扰及图像扫描噪声最为有效。 中值滤波一般采用一个含有奇数个点的滑动窗口，将窗口中各 点灰度值的中值来替代指定点( 一般是窗口的中心点) 的灰度值。 对于奇数个元素，中值是指按大小排序后，中间的数值：对于偶数 个元素，中值是指排序后中问两个元素狄度值的平均值。 对于二维情况，中值滤波的窗口形状和尺寸对滤波器效果影响 很大。不同图像内容和不同应用要求往往选用不同的窗口形状和尺 寸。常用的二维中值滤波窗1 ：3 形状有线状、方形、圆形、十字形等 f 18 1 。如下图2 3 所示 o oooo o o o o o o o o ooo o o o o o o 0 0 o o o o oo o 0o0 o ooo o o0oo 5 5 方形 5 5 十字形3 3 方形 图2 3 常用中值滤波窗口形状 窗e l 尺寸一般先用3 ，再取5 ，逐渐增大，直到其滤波效果满 意为止。就一般经验而言，对于有缓变的较长轮廓线物体的图像， 采用方形或圆形窗口为宜：对于包含有尖顶角物体的图像，适宜采 用十字形窗口。在我们的实验中，采用的是方形的中值滤波，取得 了较好的效果。 原始灰度图像如图2 4 a ) 所示，经过中值滤波后的图像如图 2 4 b ) 所示。 a )b ) 图2 4 原始中值滤波前后的图像 2 2 2 图像锐化 图像锐化处理的目的是使模糊的图像变得更加清晰起来。图像 的模糊实质就是图像受到平均或积分运算造成的，因此可以对图像 进行逆运算如微分运算来使图像清晰化。从频谱角度来分析，图像 模糊的实质是其高频分量被衰减，因而可以通过高通滤波操作来清 晰图像。 图像锐化一般有两种方法：微分法和高通滤波器法。因为微分 法原理简单，效果很好，所以我1 f 使用的是微分法中的梯度锐化。 设图像为f ( x ，y ) ，定义f ( x ，y ) 在点( x ，y ) 处的梯度矢量g f ( x ，y ) 】 为： g f ( x ，y ) _ a ， _ _ 良 可 毋 并且梯度有两个重要的性质：一是梯度的方向在函数f ( x ，y ) 最大变 化率方向上；二是梯度的幅度用g f f ( x ，_ y ) 】表示，其值为： g 【，( t y ) = 瓣。也就是说，梯度的数值就是，( x ，在其最 大变化率方向上的单位距离所增加的量。 对于离散的数字图像，上式可改写成： g f ( i ，_ ，) 】= 4 t s ( ；，) 一厂( f + 1 ，) 】2 + 【- 厂( f ，- ，) 一f ( i ，+ 1 ) 】2 但为了计算方便，也可以采用下面的近似计算公式1 9 】： g f ( i ，) 兰l f ( i ，j ) 一f ( i + l ，j ) l + l f ( i ，) 一厂( f ，+ 1 ) l 经过图像锐化前后的图像如图2 5 a ) 芹f lb ) 所示。 a )b ) 图2 5 经过锐化前后的图像 2 3 图像阈值变换 为了后续的重建的数据更便于处理，我们需要提取出我们感兴 趣的部分，因此需要进行三维图像二值化。即我们利用阈值丁对三 维图像进行二值化处理。灰度二值化是一种将连续色调的灰度图像 变成二值图像的方法。所谓二值图像，就是指图像上的所有点的灰 度值只有两种可能，不为“o ”就为“1 ”，也就是说整幅图像呈现 出明显的黑白效果。为了得到理想的二值图像，一般采用阈值分割 技术，其基本思想是灰度值大于或等于阈值的像素被判决为属于物 体，用“1 ”表示，否则这些像素点被排除在物体区域以外，表示 为“0 ”，表示背景。从而物体的边界就成为这样一些内部的点的集 哈尔滨工程大学硕士学位论文 合，这些点至少有个邻点不属于该物体，即： 、1 1 ，f ( i ，歹) t g ) 5 1 0 ，f ( i ，) 丁 式中g ( i ，j ) 表示阈值处理后的像素值，f ( i ，) 表示原图像数据值，r 表示阈值，其取值多少直接关系到阂值处理后的效果。 闽值分割法分为全局阈值法和局部阈值法。所谓局部闽值法是 将原始图像分成较小的图像，并对每个子图像选取相应的阈值。在 闽值分割后，在相邻子图像之间的边界处可能产生灰度级的不连续 性，因此需要平滑技术进行排除。局部阈值常用的方法有灰度差直 方图法、微分直方图法。全局闽值法在图像处理中应用的比较多， 它在整幅图像内采用固定的阈值分割图像。经典的阈值选取以灰度 直方图为处理对象。根据闽值选择方法的不同，可以分为模态方法、 迭代式阈值选择等方法。这些方法都是以图像的直方图为研究对象 来确定分割的阈值的。另外还有类间方差阈值分割法、二维最大熵 分割法、模糊闯值分割法、共生矩阵分割法、区域生长法等等。 本文采用的是迭代阈值分割法，因为这种方法可以使物体分割 成两部分，便于后面的图像的判断与处理。 迭代式闽值选择算法，它首先选择一个近似阈值r ，将图像分 割成两部分墨和r ，计算区域置和扇的均值“和鸬，选择新的分 割阈值t = ( 1 l l + 鸬) 2 ，重复上述步骤直到“和鸬不再变化为止。具 体算法的实现步骤如下： 1 首先求出图像中的最小和最大灰度值。和矗。，另近似阈值为 丁*to x m ir l + x m a x 2 2 再根据阈值将图像分割成目标和背景两部分，求出两部分的平均 灰度值“和版。 x ( f ，- ，) n ( i ，j ) “2 1 甄历一 坤表7 -k = o ，1 “2 一，” 1 6 哈尔滨二l = 程大学硕士学位论文 2 = x ( i ，) n ( i ，) x ( t ，j ) ) r 疗( f ，) 州：第一k = 0 , 1 ，2 ，h 式中x ( f ，) 是图像上( f ，j ) 点的灰度值，h 0 ，) 是( i ，j ) 点的权重系数， 一般n ( f ，j ) = 1 0 。 3 求出新的阈值 r “= 半 七= o ，1 ，2 ，一 1r = ijl ，- 4 如果r ：“，则结束，否则丘_ k + l ，继续执行第二步计算【1 8 1 。 根据实验，r 为15 8 ，得到处理前后的效果如图2 6 a ) 和b ) 所示。 a )b ) 图2 6 阈值化前后的效果图 2 4 图像细化 我们所获得的二值化后的图像中通常有孤立点单线及孔，因此 需要进行清除和填充等修正工作，从而提高测量的精确性，使之更 适合于图像测量与重建。经常采用的是形态学上的方法进行解决。 2 4 1 数学形态学简介 数学形态学( m a t h e m a t i c a lm o r p h o l o g y ) 诞生于19 6 4 年，当 时主要用于对矿石图像进行分析和处理。数学形态学是一门建立在 严格数学理论基础上的学科，其基本思想和方法对图像处理的理论 和技术产生了重大的影响。许多非常成功的理论模型和视觉检测系 统都采用数学形态学算法作为其理论基础或组成部分。事实上，数 学形态学已经构成一种新型的图像处理方法和理论，形态学图像处 理已经成为计算机数字图像处理的一个主要研究领域。数学形态学 是分析几何形状和结构的数学方法，是建立在集合代数基础上，用 集合论方法定量描述几何结构的科学。我们用到的是细化，它属于 数学形态学范畴内的运算【1 8 l 。 2 4 2 细化 一个图像的“骨架”，是指图像中央的骨骼部分。是描述图像 几何及拓扑性质的重要特征之一。求一个图像骨架的过程通常称为 对图像“细化”的过程。在文字识别地质构造识别工业零件形状识 别或图像理解中，先对被处理的图像进行有助于突出形状特点和减 少冗余的信息量。 具体的细化算法：幅图像中目标点标记为1 ，背景点标记为 0 。定义边界点：本身标记为1 而其8 一连通邻域中至少有1 个点标 记为0 的点。算法对边界点进行如下操作：考虑以边界点为中心的 8 一邻域，对各点按顺时针标记为尸1 ，p 2 ，尸8 ，其中尸1 位于中心，p 2 在 p 1 的上方。如果p 1 = l ( 即黑点) ，下面四个条件如果同时满足，则 删除p l ( p 1 ：0 ) 4 5 l 。 1 ) 2 n z ( p 1 ) 6 ； 2 ) z o ( p 1 ) = l ； 3 ) p 2 + p 4 + p 6 = o ： 4 ) p 4 + p 6 4 p 8 = o ： n z ( p 1 ) 是p 1 的非零邻点的个数，z o ( p 1 ) 是以罡，b ，b 为序时这 些点的值从0 一l 变化的次数。当对所有边界点都检验完毕后，将所 有标记了的点去除。对图像中的每一个点重复这一步骤，真到所有 的点都不可删除为止。细化后的每幅图像上只有一条线，每条线上 只有一个像素点。图2 7 a ) 和b ) 所示分别为细化前后的图像。我们 由此可以得到图像上点的物理坐标( 即该点相对于图像中心点 即 哈尔滨工程大学硕士学位论文 定义的原点 的距离) 。 a )b ) 图2 7 细化处理前后的图像 2 5 深度数据的获取 得到物理坐标后，再经过距离成像原理，找到物理坐标和摄像 机坐标之间的关系，通过换算得到了扫描物体的摄像机坐标。距离 图像成像原理图如图2 8 所示【20 1 。转换公式为： ，a x e s m 歹 f p a p e r j e c 曲n m g 吖 ，e 、 ( o ，o ，0 ) f o c a l j b | 。 。 l e n g t h 薹y = 施y i f 眦，：志y i ，力 。 乙 ( 瓦，雎，z c ) = 了= * ( 薯， ，力 【z 。= 留砸+ z 。) 弘叭护薯 图2 8 距离图像成像原理图 1 9 哈尔滨工程大学硕士学位论文 2 6 本章小结 本章主要论述对已经获得的实验物体图像进行预处理过程。主 要包括一些处理算法。在图像增强方面，尝试了图像锐化的方法。 在图像平滑方面，比较了中值滤波、均值滤波和高斯滤波三种方法， 并对中值滤波的方法进行了仿真。在图像分割方面，主要采取迭代 阈值分割法。最后采用了形态学处理方法，保留了我们后续处理中 感兴趣的骨骼部分图像，即进行了细化处理。最后，通过公式转换 得到了扫描物体的摄像机坐标，其中包含了我们后面进行表面重建 所需要的物体表面深度数据。 2 0 第3 章基于深度数据的物体表面重建 3 1 引言 对经过第2 章处理得到的数据，我们的处理方法是把每个表面 数据点的深度坐标放入一个正方形矩阵中，通过具体的重建算法选 择各个连接点，加入o p e n g l 中的光照模型、镜面反射等确定表 面法向量，再编程实现了对整个物体表面的重建显示。因为实验扫 描的得到的都是平行线，因此待重建的数据都是平行线上的点，所 以此时的问题就转化为由已知平行轮廓线上的点来重构三维形体 了。 在数据场可视化中，由一个序列的二维轮廓线重构三维物体有 着广泛的应用前景。如在医学数据的可视化，人体断层解剖图像的 可视化以及地形数据的可视化中，都遇到了由一个序列的二维轮廓 线重建三维物体的问题。我们现在的深度数据重建也属于这一类。 基于物体二维轮廓线的重构技术是指对规则数据点进行处理， 使其能够在计算机中还原为其原始的几何形状。该重构技术在机械 加工、反演工程、虚拟现实等众多领域都有广泛的应用。在三维表 面的构型方法中，三角形剖分拟合是构造立体物体最基本的实现方 法，算法实现是对数据点进行处理，将其归整为能够满足三角形剖 分算法的要求。而我们研究的是基于平行截面的二维轮廓线来重构 三维形体的问题，因此，我们给出以下前提： 首先将注意力集中在由相邻两层的轮廓线重构三维物体的问 题上。 其次相邻两层的轮廓线位于相互平行的两个平面上，这也是符 合大多数应用的实际情况的【6 】。 再则因为已知的轮廓线都是通过激光扫描的图片经过处理得 到的，因此本文里讨论的相邻的两层截面上各自只有一条轮廓线。 ( 如图3 1 所示) 哈尔滨1 二程人学硕士学位论文 图3 1 单轮廓线重构问题示意图 3 2 三维重建算法综述 1 基本原理： 假设两个相邻的平行截面上各有一个轮廓线( 如图3 1 所示) 。 上轮廓线上的点列为晶，曰，己一。：下轮廓线上的点列为口。，q l ，一，q 。 点列均按相同的方向排列。如果将上述点列分别依次用直线连接起 来，则得到这两条轮廓线的多边形近似表示。每一个直线段只只+ 或 q ，q 。称为轮廓线线段。如图3 1 所示，连接上轮廓线上一点与下 轮廓线上一点的线段称为跨距。显然，一条轮廓线线段，以及将该 线段两个端点与相邻轮廓线上的一点相连的两段跨距构成了一个 三角面片，称为基本三角面。而我们称两跨距则分别被称为左跨距 和右跨距。 我们实现两条凸轮廓线之间的三维面模型熏构就是要用一系 列相互连接的三角面片将上、下两条轮廓线连接起来。连接上、下 两条轮廓线上个点所形成的众多基本三角面，应该构成相互连接的 三维表面，而且相互之间不能在三角面片的内