（检测技术与自动化装置专业论文）三维物体检测与重构中图像处理的应用和研究.pdf

摘要 摘要 三维物体检测与重构技术是计算机图像处理技术的一个分支，是计算机视觉和计算机图像图形 处理相结合的一个研究方向，它在生产自动化、机器人视觉、c a d 、工业制造、虚拟现实和医学等领 域都有着广泛的应用前景。如何快速而准确地获取被测物体表面的三维物体形状信息，并根据这些 信息怎样运用数字图像处理的方法进行处理，从而获得较好的被测物体形状检测与重构的效果，仍 然是一项重要而有难度的研究课题。 本论文探讨了一种非接触式快速获取三维物体外形的检测方法一面结构光投影三角测量法。 当向被测物体表面投射条纹光栅时，从与投影光轴成一定角度的方向观测到由于物体表面凹凸变化 而在其表面产生的畸变条纹，这些畸变条纹就包含了物体表面形状的三维信息。畸变条纹图像由c c d 摄像头拍摄并传送至计算机，对这些图像进行预处理( 剪切、滤波等) 、分形图像编码、阈值分割、 形态学处理( 腐蚀、膨胀、细化等) 等一系列处理后，根据相应的数学模型和数字图像处理算法对 畸变条纹进行分析，得到被测物体表面的三维外形数据信息。并在此基础上进行三维重构点云处理， 读入坐标数据，再在屏幕上显示，同时也进行了旋转、平移、缩放、采样、稀释等一系列点云处理 操作。在本文的最后讨论和分析了课题进一步的理论研究方向。 关键词：三维物体检测 面结构光投影法 畸变条纹数字图像处理三维重构点云处理 些塑壁 一一 a b s t r a c t t h r e e - d i m e n s i o n a la c q u i s i t i o na n dr e c o n s t r u c t i o ni sab r a n c ho fc o m p u t e ri m a g ep r o c e s s i n ga n da r e s e a r c hd i r e c t i o nt h a ti n t e g r a t a sc o m p u t e rv i s i o nw i t hc o m p u t e ri m a g ea n dg r a p hp r o c e s s i n g i th a saw i d e a p p l i c a t i o ni nt h ef i e l d so fa u t o m a t i o np r o c e s s ，m a c h i n ev i s i o n , c a d ，m a n u f a c t u r i n g , v i r t u a lr e a l i t y , m e d i c i n ea n ds ou r l i ti sa ni m p o r t a n tb u td i 伍c u l tp r o b l e mt h a th o w w ec 锄o b t a i nt h et h r e e - d i m e n s i o n a l s u r f a c ei n f o r m a t i o no f a no b j e c ta c c u r a t e l ya n dr a p i d l ya n da c c o r d i n gt ot h e s ei n f o r m a t i o nh o wt oa p p l yt h e m e t h o d so f d i g i t a li m a g ep r o c e s sa n dt h e no b t a i nt h eb e t t e rr e s u l t so f a c q u i s i t i o na n dr e c o 咖t i o n i tp r e s e n t sam e t h o dn a m e ds u r f a c es t r u c t u r e dl i g h tp r o j e c t i o nt r i a n g l em e a s u r e m e n t ，b yw h i c hw e c a nc a p t u r et h es u r f a c et o p o g r a p h yo fat h r e e - d i m e n s i o n a lo b j e c tw i t h o u ta n yc o n t a c t t h ed e f o r m e d g r a t i n gp a t t e ma p p e a r sw h e nt h es t a n d a r dg r a t i n gp a t t e r ni sp r o j e c t e do n t ot h es p e c i m e na n do b s e r v e df r o m t h ed i r e c t i o nt h a th a sa na n g l ef r o mt h ep r o j e c t i o na x i s t h ed e f o r m e dg r a t i n gp a t t e r ni m a g ec o n t a i n s i n f o r m a t i o na b o u tt h es u r f a c et o p o g r a p h yo ft h r e e - d i m e n s i o n a lo b j e c t t h ed e f o r m e dg r a t i n g p a t t e r ni s i n p u ti n t oac o m p u t e rb yc c dc a m e r aa n dp r o c e s s e db yas e r i e so f p r o c e d u r e ：i m a g ep r e t r e a t m e n t ( c u t t i n g a n df i l t e r i n g ) ，f r a c t a li m a g ec o d i n g , t h r e s h o l d i n ga n dm o r p h o l o g yp r o c e s s ( e r o d i n g ，e x p a n d i n ga n dt h i n n i n g ) a n dt h e na c c o r d i n gt ot h ec o r r e s p o n d i n gm a t h e m a t i c sm o d e la n da r i t h m e t i co fd i g i t a li m a g ep r o c e s s a n a l y z et oo b t a i nt h et h r e e - d i m e n s i o n a lc o o r d i n a t i o no f t h es u p e r f i c i a lo f t h em e a s u r e do b j e c t o nt h eb a s i s o ff o r m e rs y s t e m 。w er e a l i z et h r e e - d i m e n s i o n a lp o i n tc l o u d sr e c o n s t r u c t i o n t h ep o i m c l o u d s ( t h r o e - d i m e n s i o n a lc o o r d i n a t i o no f t h es u p e r f i c i a lo f t h em e a s u r e do b j e c oi sr e a da n ds h o w e do nt h es c r e e n w ec a ne a s i l ya n dr a p i d l yr e a l i z es o n i cc o m p l i c a t e dp o i n tc l o u d sd i s p o s i n gf u n c t i o n ss u c ha sr o t a t i n g , t r a n s f e r r i n g , z o o m i n g , s a m p l i n ga n dd i l u t i n g f i n a l l y , a na m e n d a t o r yt h e o r y o fm e a s u r e m e n ta n d r e c o n s t r u c t i o ni si n t r o d u c e d k e y w o r d s ：t h r e e - d i m e n s i o n a la c q u i s i t i o n s u r f a c es t r u c t u r e dl i g h tp r o j e c t i o n d e f o r m e dg r a t i n gp a t t e r n d i g i t a li m a g ep r o c e s s t h r e e - d i m e n s i o n a lp o i n tc l c i u d sr e c o n s t r u c t i o n 东南大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并 表示了谢意。 研究生签名：互! 塑监 日期：巫够 东南大学学位论文使用授权声明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的 复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内 容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可 以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权东南大学研 究生院办理。 研究生签名：翌! 盟监导师签名： 哔舡日期：刎毕 东南大学硕士学位论文 第一章绪论 三维物体检测和重构技术是计算机图像处理的一个分支，随着工业化大生产的不断深入，在生 产自动化、c a d ( c o m p u t e r a i d e dd e s i g n ) 、机器人视觉及医学领域等方面此技术得到了越来越广泛的 运用和发展。检测技术着重于三维物体数据的处理和提取，而重构技术则着重于三维实体的虚拟实 现。随着计算机技术的快速发展，数字图像处理获得了飞跃的发展，数字图像处理的各种技术也日 趋完善。数字图像处理的各种新兴技术在三维物体的检测和重构中不断得到应用和发展，其在提高 检测精度和改善图像处理质量方面效果显著。 1 1 三维检测技术概述 三维物体检测技术是现代学术研究比较活跃的领域之一。由于其在机器视觉、图像辨识、计算 机图形、快速模型建立、机器人导航等不同学科中都有涉及，所以不同学科的研究人员基于自身的 知识背景和设计要求，提出了许多不同解决方案，并在各自领域独立发展。近年来，随着对三维物 体检测技术的研究深入，人们逐渐重视不同解决方案之间的内在关联，研究多种三维物体检测技术 的通用模式，并朝着复合检测技术方向深入。本文主要研究基于信息学背景的、以几何原理为基础 的检测方法中研究最多、应用面最广的三角检测法。 物体形状三维信息的快速检测技术( 简称三维检测技术) 是利用快速的、非接触的检测手段， 对于实际空间中的物体进行数字化建模，并在虚拟环境中再现的一种现代检测技术。三维检测技术 以近现代物理、控制论、信息论和系统论为理论基础，以现代光学技术、电子技术和计算机技术为 技术背景，为空间模式判断、机器人视觉等学科提供技术支持，又为工业自动化、虚拟现实等提供 模型资源供应，是一门跨学科领域、多应用层次的关键技术。 1 2 三维检测技术的发展现状 三维物体检测技术是近十年来蓬勃发展起来的新兴研究领域，目前在该领域的研究工作方兴未 艾。三维物体形状检测技术的实现方法有很多，这里着重探讨利用数字图像分析技术的方法，即三 维场景分析方法。下面简要介绍三维检测图像技术中具有代表性的几种方法的技术特点和发展现状。 1 、雷达检测技术 雷达检测技术属于点检测法，主要用于航空管理和船航及国防等方面，其三维检测原理是向物 体发射光、电波或声波，经物体表面反射后再接收，通过测定光、电波或声波的传播时间来确定观 测点到物体上某点的距离。具体来说雷达检测技术有以下两种检测方法： ( 1 ) 时间差检测法 其方法是向物体表面发射检测信号( 光、电波或声波等) ，根据测量信号返回的时间来确定物体 外形坐标参数。例如，光以每秒3 1 0 8 m 】的速度传播，对于目标物上的某一点，若从信号发射到返 回的时间差l ，则该点与信号发射点的距离为：r = 3 1 0 5 ，2 【m 】 显然，这种方法的检测精度依赖于时间检测的精度，这就带来以下问题：由于光速太快，f 很 小( 小于0 1 n s ) ，即使使用目前的高速集成电路，o 1 n s 以下的时间也很难测量( 1 c m 的测量时间为 0 0 6 7 n s ) ；而且物体表面的发射特性对反射光的强度也有一定影响，因此这种方法在提高检测精度上 面临很大困难，代价也很高。 ( 2 ) 相位差检测法 为解决以上方法存在的问题，美国斯坦福大学在时间差检测法基础上提出了相位差检测法：以 光强为正弦波调制方式向物体发射激光束，当接受到经物体表面发射回来的光束时，光束相位与发 l 东南大学硕士学位论文 射时相位之间存在相位差妒，从p 可分析出光束的传播时间差r 。这种检测方法与时间差检测 法相比具有较高的检测精度。但是该检测方法也有一定局限性，例如，相位差应限制在2 石范围内， 该技术可以得到精度为o 5 m 】深度数据。 利用雷达检测技术测距获得物体的三维外形数据，具有以下一些优点：对物体表面性质不加限 制，可测得绝对距离，不需要取得图像以及对图像进行分析。不足之处是成本高，且对检测环境的 要求比较高。 2 、摩尔检测技术 摩尔检测技术是通过光学系统将高密度光栅投影到物体上，通过与成像系统中相同光栅干涉生 成摩尔条纹，从条纹的位置或相位变化来求得物体的形状尺寸。光栅投影轴可与摄像机光轴平行， 也可与摄像机光轴相交。用摩尔检测技术可得到较高精度的数据，应用白色光源的摩尔检测技术， 可得到误差小于o 1 【m m 】的深度数据，因此摩尔检测技术常被用来检测曲面物体的表面形状。但是， 摩尔干涉光纹强度分布范围大、噪声多，阈值选取有一定困难，噪声抑制要求高，而且被检测的物 体表面斜率不能超过某一常数。 3 、数字照相系统 许多三维非接触测量工作都涉及到被动式三角测量方法，主要应用领域是航空测量、卫星遥感、 机器人视觉等，因为这些场合下采用主动式测量是不现实的。典型的被动法是立体视差( s t e r e o d i s p a r i t y ) 法，所谓视差就是物体表面同一个点在左右图像中成像点的位置差异，根据左右图像成 像点位置就可解算出物体上对应点的空间坐标。由于近年来在半导体光电器件方面有较大突破，在 高分辨率的数字照相系统中目前已能生产出4 5 0 万像素的数码像机，如禄来6 0 0 8 型等，高分辨率数 码相机已被用于三维测量中。这种测量方法的主要问题是多幅图像上同名点的搜索及自动匹配比较 困难，通常求取同名点的方法有：依据被测物体上的人工的或固有的特征点( 角点，局部灰度极 值点等) 在各个视角方向的图像中形态的相似性进行匹配；利用窗口或模板求对应点。 4 、计算机断层扫描( c t ) 技术 计算机断层扫描( c t ) 技术最具代表的是基于x 射线的c t 扫描机，它是以测量物体对x 射线 的衰减系数为基础，用数学方法经过计算机处理而重建断层图像，这种方法最早应用于医疗领域， 目前已经开始用于工业领域( 即所谓“工业c t ”) ，特别针对中空物体的无损三维测量。这种方法是 目前最先进的非接触式的检测方法之一，它可对物体的内部形状、壁厚，尤其是内部构造进行测量， 但它存在空间分辨率较低，获得数据需要较长的积分时间，重建图像计算量大、造价高，只能获得 一定厚度截面的平均轮廓等缺点。 5 、双目检测技术 双目检测法( s t e r e o ) 是最早研究的一种检测方法。其基本思想双目图像匹配算法在计算机 视觉领域已经有了非常深入研究，并且已经有比较有效的算法”j 。 传统的双目检测方法是对空间中两个视点图像进行特征匹配，找到匹配的区域，然后根据视点 与实际物体的几何关系得到物体的深度信息。由于参与匹配的对象是空间中不同视点处采集的图像， 故该方法也称为空间双目检测技术( s p a t i a ls t e r e o ) 。图i - i 为该匹配方法的示意图。式( 1 1 ) 为空 间双目检测方法的匹配原理公式。 i p 。( 一 。) ) 一l ( _ o ：) ) 1 1 2 式中x 是图像中某个像素点，矿是该像素点临域的描述向量，j 是对该向量的评估函数。求解 式( 1 1 ) 的最小值，得到与而相匹配的点x 2 + 。该方法的主要技术难题是如何选取匹配区域的大小： 2 东南大学硕士学位论文 匹配区域过小，会出现匹配结果不唯一；匹配区域过大，则会得不到匹配结果。目前现有的匹配方 法只适用于特定条件的检测图像场景，所以该检测方法的鲁棒性差，常得不到有效的检测值，这限 制了该技术在工程实践中的应用。 图l l 空间双目模型的匹配示意图 时间双目检测技术( t e m p o r a ls t e r e o ) 是在研究运动物体的检测课题中提出的双目检测方法。与 空间双目检测不同的是，时间双目检测技术的匹配是在不同视点的多帧图像中的运动矢量即在 时间方向变化特性相同的区域。图1 - 2 为时间双目模型匹配方法的示意图。式( 1 2 ) 为时间双目检 测方法的匹配原理公式。 图l - 2 时间双目模型的匹配示意图 3 东南大学硕士学位论文 i t z , ( e ( x 。，岛) ) 一l ( k ：，t o ) ) 1 1 2 ( 1 2 ) 式中x 是图像中某个像素点，气是某个帧时刻，矿是该像素点i 临域的描述向量，i 是对该向量 的评估函数。求解式( 1 2 ) 的最小值，得到与x l 相匹配的点石2 。该方法虽然为运动物体的检测提 出方案，弱化了空间双目检测的应用条件，但其运动矢量长度选取等问题则阻碍该方法检测效果的 提高，而且多视点间图像帧同步问题常导致检测失败。 除上述两种基本双目检测方法还有许多其它类型的双目检测方法，如基于光源运动的 p h o t o - m e t r i cs t e r e o 【2 l 、向被测物体投影的a c t i v es t e r e o ”，以及综合方法如m u l t i p e r s p c c t i v es t e r e o 4 1 等。 双目检测方法的理论贡献是对于图像匹配技术进行了深入的研究，其中许多结论与算法成为其 它方法的理论基础。并且人们发现匹配原则是三维检测技术的通用数学模型的基本元素，并在很大 程度上决定了检测性能( 速度与精度) 。 6 、激光检测技术 在三角检测法中，激光条纹检测技术( l a s e rs t r i p e ) 是最成熟的，也是目前唯一能在工程测绘 中应用的技术。传统的激光条纹检测技术是在空间域( s p a t i a ld o m a i n ) ，通过向被测物体投射一个 激光平面，在物体表面形成畸变条纹，根据条纹的畸变特性与几何关系得到物体表面信息。其实人 们很早就开始研究时间域( t e m p o r a ld o m a i n ) 的激光条纹检测技术 5 1 1 6 】。近来，人们又将结构光技 术引入激光条纹检测技术，并在多摄像头系统等方面进行了广泛的研究1 7 1 。 由于激光具有较高的抗干涉性，可以在复杂环境下进行检测，而且三维检测方法存在内在的联 系性，所以许多只能在实验室中使用的检测方法可以通过移植用到激光检测仪器上，便于在工程实 践中应用。 7 、结构光投影法 目前，结构光投影检测技术是最为关注的检测技术。主要有以下原因： 从发展角度上看，在不同的学科对于各自检测技术研究中，针对各自问题独立提出了各自的检 测方法，比如在快速建模研究中，将传统的莫尔法用结构光投影来代替；在计算机视觉研究过程中， 对于物体特征进行人为标定以利于图像匹配削。随着研究的深入，人们发现在不同的检测技术中都 存在结构光投影的基本思想，并且采用结构光投影模式有助于检测技术的理论分析，有利于建立更 通用的数学模型。 从理论角度上看，结构光投影以信息论为基础，可以方便地利用信号编码等学科的既有知识， 研究基础宽广深厚。 从实现角度上看，结构光投影设备简单，利于构建不同形式的实验平台，并且投影模式操控方 便，易于进行多方位探索和综合性研究。国外结构光投影模式已经从空间域编码向时间域编码、时 空复合编码等多形态编码方式发展，并且已经开始进行对移动物体的实时检测的研究 9 1 。 结构光投影法是8 0 年代发展起来的直接获取三维图像的方法，其基本思想是利用结构光投影的 几何信息来求得物体的三维信息，通过向物体投射各种结构光( 如点、线、空间符号结构光等) ，在 不同于投影光轴的方向观察，利用投影点、观察点及物体的三角关系获取物体的三维信息。 点结构光投影法是最早发展起来的，通过分别向物体不同位置的点投影单束光，计算出物体上 所有检测点的三维坐标，获取物体的整体三维图像。由于点结构光投影法属于点检测方法，测量时 间长，数据空间分辨率低，现在已很少把其作为一种实用方法。 线结构光投影法是结构光投影法中具有代表性的一种方法，其基本原理如图t - 3 所示。在室内 条件下，穿过狭缝的一个光平面，投影到物体的步进旋转，光平面依次扫描过物体的表面，摄像机 拍摄到的一系列物体的结构光图像，从而获取物体表面形状的三维信息。有关文献指出【1 ”，目前日本 4 东南大学硕士学位论文 已有线结构光投影的专用图像存储处理器，可以在很 大程度上缩减测量的时间。 在线结构光投影法基础上，井口征士等人提出了 一种新的结构光投影法，郎面结构光投影法：向物体 投影各种模式的面结构光，当基准结构光投影到目标 物时，若从不同于投影光轴方向的观测点来看，基准 结构光条纹随着物体表面形状的凹凸变化而发生畸 变，由于这种畸变是投影的基准结构光条纹受物体表 面形状的调制所致，因此包含了物体表面形状的三维 信息。由于面结构光投影法是一次性瞬间投影获取被 测物体表面形状的三维信息，因此与线结构光投影法 相比具有准确、快捷、数据空间分辨率高等特点。 1 3 三维重构技术发展 旋转体 摄像机 图1 - 3 线结构光投影法组成原理图 在三维重构系统中，一般通过结构光投影法、三坐标测量机( c m m ) 、激光测量机、光栅扫描 仪或工业c t 等先进的快速测量系统获取海量散乱外形坐标数据( 点云) ，经过对这些点云数据的预 处理，由点构造曲线或者直接在点的基础上构造曲面，实现三维重构。 相对于三维检测技术的发展而言，三维重构技术的重构手段也在不断的研究之中，主要是着重 于算法上的实现，以算法的不断改进来提升重构的速度和精度，从而实现重构技术在生产中的实用 性。三维重构的主要步骤是：点曲线曲面一三维实体，难点在于如何构成曲面，因为现 实中的物体的表面并非都是由规则曲面所构成，因此曲面的构成效果在很大程度上影响着实体重构 的质量。目前对于曲面的重构，一般有以下几种主要方案。 1 、基于三边域曲面的重构方案 其基本思路是将待处理的原始数据作为一个整体考虑。首先根据数据的局部微分几何特征提取 出其特征线( 如尖角、曲率极值等) ，并以这些特征线为基础构成初始的三角网格，然后将测量得到的 型值点按曲率的变化情况插到三角网格中实现网格的细分，这样最终得到的三角细分网格在曲率变 化平缓的地方比较稀疏，而在曲率变化剧烈的地方密集的特点，最后运用三角b e z i 目曲面在网格的 基础上构造光滑曲面】。另外还有一种不同的思路是首先将所有的型值点都考虑到三角网格中去， 建立一个密集的初始三角网格，由于太多的数据点将造成过大的计算开销，因此必须对网格进行精 简，精简的算法往往也是基于对曲面型值点的曲率估计。精简过后的网格成为多边形网格，必须重 新进行三角化。 2 、基于四边域参数曲面的重构方案 这类方法的应用对象是汽车、飞机，轮船等曲面零件，其曲面特点既不像单独的二次曲面那样 简单，也不像人面模型那样毫无规律。由于采用了通用的c a d 软件的曲面表示方法，它成为到目前 为止研究得最多的一类曲面重构方法，其中又以b 样条和n u r b s 曲面最多。在反求工程中，型值 点数据具有大规模、散乱的特点1 1 ”，其b 样条曲面的拟合有其自身特点。因而，在b 样条曲面拟合 中，需研究的首要问题是单一矩形域内曲面的散乱数据点的曲面拟合问题。在众多的研究中，w e i y i n m a 和jpk r u t h 的工作较具代表性。他们首先根据边界构造一个初始曲厩，然后将型值点投影到这 个初始曲面上，接着根据投影位置算出其参数分布，从而解决散乱数据的参数分配问题。根据这一 型值点参数分配拟合出一张新的n u r b s 曲面，然后再对型值点参数进行优化，使所拟合曲面离给 定型值点误差最小。 针对n l r r b s 曲面重构不适合于大规模散乱数据点的特点，cb r a d l e y 和gwv i c k e r 等提出一种 先压缩后拟合的两步方案，首先用函数方法，如s h e p a r d 插值法等构造插值于测量点的曲面的数学 5 奎塑查兰堡主兰垡丝塞 模型，然后在曲面上构造拓扑矩形网格，再采用n u r b s 方法拟合成最终重构曲面a1 9 9 6 年，他们 又提出另外一种称为o c s ( o r t h o g o n a lc r o s ss e c t i o n ) 的方法，首先对每块测量数据进行三角剖分，得 到几张插值于测量点的基于三角平面片的曲面模型，然后用三组正交的等间隔的平行平面与上述曲 面求交，在各个截面线内去除各曲面块内交线的重叠部分，求出各条交线的交点，即得到所谓o c s 模型，然后根据曲面网格建立曲面的方法构造曲面。 3 、以多面体方式来描述曲面物体 1 9 9 4 年，华盛顿大学的h u g u e sh o p p e 通过研究大规模散乱测量数据的曲面重构问题完成其学 位论文，并在许多刊物上发表其研究成果。他的方法分为三个主要步骤： ( 1 ) 初始曲面估计( i n i t i a ls u r f a c ee s t i m a t i o n ) 利用函数方法构造一张插值于测量点的曲面，接着确定一个函数来估计测量点到此曲面的距离， 然后采用一种轮廓线抽取算法( m a r c hc u b ) 来提取曲面。 ( 2 ) 网格优化( m e s ho p t i m i z a t i o n ) 以第一步的初始网格为起点，该步的目的在于减少三角形数目，并提高曲面的逼近精度。他采 用能量法来完成这项工作，首先定义一个能量函数以表示逼近精度与网格中所含节点数目的关系， 然后优化这一函数，使得在满足精度条件下节点数最少( 优化的变量为网格中的点数、点之间的联接 关系及位置) 。 ( 3 ) 分段光滑曲面片( p i e c e w i s es m o o t hs u r f a c eo p t i m i z a t i o n ) 通过一种分段细分的方法来将曲面的尖角特征构造出来，以提高曲面的逼近精度。其曲面的表 达形式为以三角平面片为基础的多面体。由于整个过程是自动进行，因此使用十分简单、方便。但 其表达形式不为大多数c a d 软件支持，必须在此基础上，生成n u r b s 表面，才能进行后续处理。 另外，这种方法不能精确地表示二次规则曲线曲面( 如球体、圆柱等) 。 由于三维重构属于广义计算机c a d 技术的范畴，大多数的c a d 软件中的曲面构造方法均基于 此。目前，国际市场上最有影响的c a d 软件有：c a t i a 、p r o e n g i n e e r 、u g 、e u c l i d 等，这些 国外的软件占据了c a d 软件市场的7 0 以上的份额。经过各种检测手段获得的点云数据通常都是 散乱海量数据，上述的c a d 软件都无法对海量杂乱数据直接进行处理。因此，必须首先对散乱海量 数据进行预处理得到有序点云后，才能使用上述软件实现三维重构，这已成为重构技术的瓶颈问题， 制约了逆向工程及机械制造业的发展。 1 4 本课题采用的方法 由于结构光投影法具有检测过程完全非接触、数据空间分辨率高、一次性瞬间投影即可获取三 维被测物体表面信息等特点，且成本低，便于实际应用，从而具有较高研究价值和发展前景。因此， 本论文在前期研究的基础上主要运用数字图像处理的新兴技术对三维物体形状检测和重构中的数据 进行分析和处理，以改善检测和重构的效果，并采用了数字图像处理中的形态处理学及算法对拍摄 到的畸变图像改善其图像质量，以及利用获得的点云数据进行三维重构。 1 5 本课题的研究目的与意义 结构光投影检测技术是目前国内外研究的重点技术，有着重要的研究价值，三维重构技术与计 算机图形、数字图像处理技术紧密结合，其成果可直接用于生产自动化、机器人视觉、c a d 、医学 等应用领域，在自动控制研究领域也是必不可少的一个方面。本课题为三维物体检测和重构中图像 处理的应用和研究，其研究目的是运用图像处理的方法对检测和重构中获得的畸变图像进行处理， 通过图像处理算法上的改进以实现对该系统检测精度的提高和改善图像重构的质量。希望通过本课 题的研究，能够获得更好的三维物体表面形状检测与重构的效果，为三维空间物体形状检测与重构 技术的进一步发展和其它相关课题的研究提供依据。 6 东南大学硕士学位论文 2 1 基本原理 第二章基本原理与系统的总体设计 结构光投影检测法( s t r u c t u r e dl i g h ts c a n n i n g ) 是一种三维物体检测技术。其基本原理是向被测 物体投射一个人为设定的、具有某种特定物理或几何特性的光，然后对该物体反射畸变图像进行处 理和分析从而获得物体形状三维信息。 在面结构光投影法检测系统中，可以投射多种模式的结构光，如水平光栅条纹、垂直光栅条纹、 符号条纹等。为了可以直接利用结构光投影法的几何原理，方便地找出畸变光栅条纹的特征，在本 课题中，我们既可以采用水平光栅条纹也可以采用垂直光栅条纹作为投影结构光。 面结构光投影法原理如图2 - 1 所示，由于被测物体、投影点和观测点在空间上成三角关系，故 称为面结构光投影三角测量法。 投影光栅 图2 1 面结构光投影三角测量法原理图 当用基准光栅条纹投影到被测物体上时，从观察点来看，由于物体表面形状凹凸不平，光栅条 纹发生了畸变，这是由于向物体投射的光栅条纹信号受被测物体表面形状调制所致。因此，从观察 点处所获得的畸变光栅条纹图像包含了物体表面形状的三维信息，只要建立反映畸变光栅条纹和被 测物体表面形状之间对应关系的数学模型，便可以从畸变光栅条纹图像信息中推断出被测物体表面 形状。 在本课题研究中，我们将计算机图形、数字图像处理技术应用到三维物体形状检测与重构系统 中。检测时，由摄像头拍摄被测物体表面形状调制后的光栅条纹图像，再通过图像采集卡将其以数 字化的形式送入计算机中，经过预处理( 剪切、平滑或锐化) 、分形图像编码、图像改善处理( 腐蚀、 膨胀、开运算或闭运算) 、阀值分割( - - 值化) 、细化等图像处理环节，提取出i 虱像中有用的三维物 体的位置信息，最后再根据观测面( 摄像头成像面) 与被测物体间的三维空间关系，进一步得到物 体表面形状的三维坐标数据( 点云数据) 。重构时，读入点云数据，并实现点云旋转、平移、缩放、 稀释、分组、排序、重新采样、坐标修改等一系列三维重构点云处理功能。在此利用计算机图形、 数字图像处理技术大大加快图像数据的采集和处理速度，实现快速三维检测与重构 2 2 数学模型的建立与分析 1 、c c d 摄像头成像原理分析 7 东南大学硕士学位论文 在分析面结构光投影三角测量法的数学模型之前，首先简单介绍一下c c d 摄像头的成像原理。 为了消除色差等影响，c c d 摄像头是由许多片薄凸透镜组成的。根据光学理论可知，凸透镜组可以 等效为一个独立的凸透镜，所以摄像头可以看作无色差的凸透镜。 如果用，表示凸透镜( 或等效凸透镜) 的焦距 的放大倍数，则有： s ， 埘= l s 和 s l 、s 2 分别表示物距和像距，肌表示凸透镜 ( 2 1 ) 三+ 三：一1 ( 2 2 ) s ls 2f 在一阶近似的条件下，摄像头所成的像可以看作三维物体在成像平面上的透视投影。景物、焦 距与成像平面的关系如图2 2 所示。 2 ，投影光线路简图 像平面 图2 - 2c c d 摄像头的成像关系图 0 j fi 观翱 图2 - 3 投影光线调制前后位置变化简图 投影光线经三维物体表面形状调制后位置会发生变化，图2 - 3 反映了投影光线调制前后的位置 变化关系。 假设与y 轴夹角为p 的第f 次条纹( 中心条纹两侧的条纹分别为1 、2 、胛次条纹) 3 东南大学硕士学位论文 投向被测物体，在无畸变的情况下在】，轴上的投影位置为墨，但由于受被测物体形状的调制，落在 被测物体表面的r 点处。从z 轴方向观测，可得r 点的位置信息l r 观测，】= ：观篱为t 点向y 轴的投影 坐标。由图2 - 3 可以得出丁点的高度z r 与其在l ，轴上投影坐标，r 观铡的关系为： y 删- - s , ：z r ( 2 3 ) 百一 恤刈 3 ，数学模型的建立 面结构光投影三角测量法三维检测系统的几何原理如图2 4 所示。其中，三维空间坐标系代表 整个系统所处的空间位置，二维观测坐标系则代表c c d 摄像头的成像平面。 图2 - 4 几何原理图 假设在靠近光轴的附近，可以把成像系统看成线性移不变的，基于这种假设，我们将对系统进 行详细分析，找出三维空间坐标系( z ，y ，z ) 与二维观测坐标系( x ，y ) 之间的对应关系，建 立系统的数学模型。 如图2 4 所示，假设被测目标物体置于以空间坐标系原点0 ( 0 ，0 ，0 ) 为中心处；c c d 摄 像机头的光轴与空间三维坐标系( x ，y ，z ) 的z 轴重合，摄像头的光心位于空间三维坐标系 ( x ，y ，z ) 的召点( 0 ，0 ，) 处，成像平面和摄像头的光轴垂直，与摄像头光心的距离为v ， 且摄像头成像平面的x 、y 轴分别与空间三维坐标系( x ，y ，z ) 的x 、】，轴平行，0 点( 0 ， o ，+ v ) 为成像中心点，也是二维观测坐标系( x ，y ) 的原点；投影仪的投影光轴在空间三维坐标 系( x ，y ，z ) 的y z 平面内，且通过空间三维坐标系( x ，y ，z ) 的原点，与z 轴成口 角，投影仪的光心到z 轴的距离为d ，到】，轴的距离为三。 从摄像头透镜成像原理和系统空间位置关系，可以建立三维空间坐标系和二维观测坐标系( 摄 像头成像面上约定的坐标系) 之间的联系，从而建立系统的数学模型。设第f 次投影光栅条纹光平面 9 东南大学硕士学位论文 与参考平面所成夹角为q ，且在y 轴上截距为最。空间物体表面上一点在空间坐标系中表示为t ( x r ，耳，乙) ，在成像平面上对应观测坐标系的点f ( x 。，y ，) ，则点丁与，l ，d ，只， 最，x ，y ，必然存在某种函数关系，即 rr = ，( x ，j ，t ，工，d ，v ，口，s ，) 乃= g ( 工，三，d ，1 ，口。，s ，) z r = h ( x ，) ，f ，工，z ，d ，1 ，0 f ，s ，) 其中参数，d 可以由直接测量获得，幺，s 可以经间接测量或根据已知数据计算出 来，所以只要找出函数关系，g ，h ，就可以由已知参数求得被测曲面的三维坐标。 下面我们将进一步定量分析它们的函数关系： ( 1 ) 首先分析直线b t ： 设点f 点在观测坐标系中的坐标为( x ，y ，) ，在空间坐标系中的坐标为( 石，z ，互) ，因为x 轴 x 轴、y 轴y 轴，且d 点位于空间坐标系中( 0 ，0 ，+ 1 ，) ，所以可得： jx f = x f t = ) ，f( 2 4 ) 【z f = ，+ v 所以在空间坐标系中，r 点坐标为( 石，y ，z + v ) ，b 点坐标为( 0 ，0 ，) ，于是可得直线b t 方程 为： 墨：羔：互兰 x fy f v 直线b t 上任意一点均满足上式，故对r 点有： 生：星：z r - i x ty t v ( 2 ) 分析第i 次投影光栅条纹光平面： 已知第f 次投影光栅条纹光平面与参考平面所成夹角为目 光平面方程为： z = t g o , ( r 一墨) ( 2 5 ) ( 2 6 ) 且交参考平面】，轴于墨点，可得该 ( 2 7 ) 故对物体上点t ( x r ，耳，z r ) 有： 乙= 留只( 耳一置) ( 2 8 ) 由于， j ，口较小，使用高精度投影设备时可以近似认为投影到参考平面上的光栅条纹是均 匀等间距的。将条纹间距记为h ，则可得第i 次条纹在】，轴上截距墨为： 量= f h ( 2 9 ) 1 0 东南大学硕士学位论文 对图2 - 4 中的光路进行几何分析不难得出： t g o ，= 击 眨1 0 ) ( 3 ) 寻找光路交点： 被测物体表面上任意一点r ( z r ，耳，z j ) 为该点所在的第f 次条纹投影光平面与直线历的 交点，因此，联立式( 2 6 ) 、式( 2 8 ) 可得： 耳：墨片 x t 乙：墨1 + ，( 2 1 1 ) 玉 l 矧一互= | 5 ；碉 将式( 2 9 ) 、式( 2 1 0 ) 代入式( 2 1 1 ) 可得到丁点坐标： x ，：塑塑! 墨二生x 1 i h v v d + y 三。 耳=ld+而ih(l-1)ihv ，乃。 一v d + y 三。 z ，：型型墨二坠v + 1 1 三m = 一y 十 。 i h v v d + y , l 进一步简化司得： f x r = w t 耳= w y ， 【z r = w i ，+ ， 其中： 形： 墨 h t + y t l k 。= l d + i h ( l 一，) h i = 砌一v d ( 2 1 2 ) ( 2 1 3 ) 方程组( 2 1 2 ) 即为被测曲面上任意一点t ( x r ，耳，z r ) 与其在观测坐标系中对应点t ( x ， ) ，。) 之间的对应函数关系。 由方程组( 2 1 2 ) 可见，通过测量或计算已知变量、z 、d 、h 、1 ，、和只等，就可以求 得被测物体表面的三维数据。对这些数据，运用计算机图形学和数字图像处理的方法，经过一系列 处理后即可实现三维检测和重构。 2 3 三维物体形状检测与重构系统的总体设计 东南大学硕士学位论文 l 、系统功能流程 由系统原理与数学模型分析可知，系统必须包括以下功能： ( 1 ) 向被测物体投射结构光栅条纹； ( 2 ) 采集由被测物体外形调制的畸变光栅条纹图像数据； ( 3 ) 运用计算机图形学、数字图像处理的方法对采集的畸变图像进行分析和处理，并结合有关测量 参数，计算出三维物体的外形尺寸； ( 4 ) 利用经过处理后获得的三维坐标数据，构造被测物体的外形曲面，从而实现三维重构点云处理。 系统功能流程如图2 - 5 所示。 图2 5 系统实现功能流程分析 2 、系统总体实现方案 ( 1 ) 系统构成： 结构光投影法的系统构成图如图2 - 6 所示，通过投影仪向被测物体投射基准结构光栅条纹，位 于投影仪下方的c c d 摄像头将拍摄到的畸变光栅条纹图像经过图像采集卡a d 转换，灰度化、比 例压缩等处理后，传送到计算机，计算机接收到图像数据后，首先对图像进行一些预处理，然后再 利用数字图像处理算法从图像中提取出有用的参数信息，最后根据上一节中所推导的数学模型，计 算出被测物体表面的外形数据，并以一定的方式显示在屏幕上，经过点云预处理，实现三维重构点 云处理。在本课题的前期研究工作申f 1 3 】【1 4 j 【“，这一方案已经被证明是可行的，能够基本实现对三维 物体形状的检测与重构。 图2 - 6 结构光投影法的系统构成图 ( 2 ) 系统硬件配置： 由系统构成可知，硬件部分主要包括控制计算机、结构光投影设备、图像采集设备等。 控制计算机：为满足系统对数字图像快速处理、实时显示的要求，系统控制计算机选用只1 s g i - i z 的c p u 、1 2 8 m 内存、m 蜘xg 5 5 0 型3 2 m b 缓存双头( d u a lh e a d ) 显卡( 这样能够同时进行光栅 1 2 东南大学硕士学位论文 输出、图像输入。实现在线检测) 。 结构光投影设备：结构光投影设备包括液晶投影仪和光栅。由于投影的结构光的质量直接影响 到图像处理和三维重构的结果，因此选用e p s o n e m p 7 1 0 7 0 0 5 0 0 高精度液晶投影仪作为结构光投 影设备，它具有真彩色、高分辨率、投影光线均匀性好、便于利用计算机软件控制不同投射模式的 结构光等优点。 水平基准光栅的形状如图2 - 7 所示。 7 d l ”业l 图2 7 水平基准光栅 第4 次条纹 第3 次条纹 第2 次条纹 第1 次条纹 第0 次条纹 第一1 次条纹 第一2 次条纹 第一3 次条纹 第一4 次条纹 光栅尺寸的合理选择很重要，这是因为进行三维坐标转换的点就是在光栅条纹上。如果基准光 栅条纹太宽，则三维坐标转换的点减少，测量精度下降；相反，如果基准光栅条纹过于密集，由于 投影仪镜头的分辨率有限，加上物体表面凹凸的变化，造成条纹次数难以识别，检测精度