（大地测量学与测量工程专业论文）基于结构光的近景摄影测量系统的研究与开发.pdf

摘要近几年随着近景摄影测量的发展，物体的三维模型重建的应用越来越广泛，尤其在工业制造、文物考古、生物医学和虚拟现实等领域中。用摄影测量的方法进行物体的三维重建，关键的难点在于纹理特征的提取匹配和模型构网，特别是需要三维重建的对象往往缺乏纹理，使自动化的乃至人工的影像匹配存在极大的困难。针对这一特点，构建一套基于结构光的摄影测量系统数码相机一投影器系统。投影仪投射结构光到物体的表面制造“人工”纹理，数码相机拍摄有投影纹理的物体图像。控制点利用人工标志，采用子像素定位方法提取标志点中心；对投影到物体表面的结构光，进行边缘检测、边缘跟踪，提取结构光特征。三维坐标的计算利用无需内方位元素的直接线性变换( d l t ) 方法完成；最后用v b n e t 开发计算机近景摄影测量系统，辅助完成三维重建。关键词近景摄影测量，投影仪，c c d 相机，结构光，d l t 算法，子像素提取，三维重建a b s t r a c tw i t ht h ed e v e l o p m e n to ft h ec l o s e - r a n g ep h o t o g r a m m e t r yi nt h er e c e n ty e a r s ，t h ea p p l i c a t i o no ft h et h r e e d i m e n s i o n a lo b j e c tr e c o n s t r u c t i o nh a sd r a m a t i c a l l yi n c r e a s e di nm a n yf i e l d s ，s u c ha si n d u s t r i a lm a n u f a c t u r i n g ，a r c h a e o l o g y ，b i o l o g i cm e d i c i n ea n dv i r t u a lr e a l i z a t i o n t h ek e yd i f f i c u k i e sl i ei nt h et e x t u r ef e a t u r ee x t r a c t i o na n dt h em o d e la c q u i s i t i o nb yt h ep h o t o g r a m m e t r i cm e a s u r e m e n t s ，e s p e c i a l l yt h er e c o n s t r u c t e do b j e c th a v i n gt h eu n c l e a rt e x t u r eo rl a c k i n gi nt e x t u r e b e c a u s eo f t h ep r o b l e m sa b o v e ，t h ep a p e rp r o p o s e sa na p p r o a c hb yw h i c ht h ea c c u r a t e3 do b j e c tr e c o n s t r u c t i o ni sa c c o m p l i s h e db a s e do nt h ec a m e r a - p r o j e c t o rs y s t e m 1 1 1 ep 删e c t o rp r o j e c t st h es t m c t u r e dl i g h to n t ot h es u r f a c eo ft h et a r g e to b j e c ta n dt h ec a m e r at a k e st h ei m a g e so ft h et a r g e to b j e c tw i t ht h ep r o j e c t e dt e x t u r e t h ea u t h o rc h o o s e st h es u i t a b l em e t h o dt os u b p i x e la u t o m a t i ci d e n t i f i c a t eo ft h es i g n sa n du s e se d g ed e t e c t i o na n de d g et r a c k i n gt oa c q u i r et h et e x t u r e o nt h eo t h e rh a n d ，t h ea u t h o ri n t r o d u c e sd i r e c tl i n e a rt r a n s f o r m a t i o nt oc a l c u l a t e3 dc o o r d i h a t e ，f i n a l l yd e v e l o p e st h ev i s i o ns y s t e mb a s e do nc o m p u t e ru s i n gv b n e ta n df m i s h e s3 dr e c o n s t r u c t i o n 。k e yw o r d sc l o s e - r a n g ep h o t o g r a m m e t r y ，p r o j e c t o r ，c c dc a m e r a ，d i r e c tl i n e a rt r a n s f o r m a t i o n ，s t r u c t u r e di l l u m i n a t i o n ，s u b p i x e li d e n t i f i c a t i o n ，3 dr e c o n s t r u c t i o ni i中南大学硕士论文第一章绪论。第一章绪论图像图形是人类相互交流和认识客观世界的主要媒体，是人类获得知识的主要来源之一，人类感知外界信息，8 0 9 6 以上是由视觉系统获取的，而图像图形则给了我们视觉世界中的所有信息。人们通过获取目标对象的图像，可以对物体进行三维重建，本论文的近景摄影测量系统正是这样的系统。1 1 引言近年来，随着全球市场一体化的形成，制造业的竞争十分激烈，产品的开发速度日益成为竞争的主要矛盾，因此，出现了逆向工程制造业的最新模式。在工业领域中，逆向工程( r e v e r s ee n g i n e e r i n g ) 是在没有设计图纸或者设计图纸不完整以及没有c a d 模型的情况下，按照现有零件的模型( 称为零件原形) ，利用各种数字化技术及c a d 技术重新构造原形c a d 模型的过程。其大体上可分为接触式与非接触式两类，接触式主要包括：坐标测量机( c o o r d i n a t em e a s u r i n gm a c h i n e ，c 姗) 和层析法：非接触式主要包括：光学测量、超声波测量、电磁测量等方法。c m m 一般采用触发式接触测量头，其测量效率低，且对一些软质表面无法进行测量。层析法是一种破坏性的测量方式。基于光学三角型原理的激光扫描法( 光学测量) 是以激光作为光源，此方法不适用于表面无纹理的光滑的工业钣金件，因为当激光束投射到钣金件表面时，其表面的一些地方会产生反光，导致此部分数据无法获取。基于工业c t 断层扫描图像法( 超声波测景) 造价高，测量系统的空间分辨率低，获取数据时间长，设备体积大。在当今的信息时代，无破坏性的、非接触式、高精度、高效率的量测将是逆向工程的一大趋势。近景摄影测量作为快速采集各种信息、且无破坏性、非接触式的一种最有效的手段，为信息系统提供必要的基础数据。在零件制造、结构物变形测量、建筑物立面测量、汽车制造、地质、考古、医学整形、交通事故快速处理等领域有着广泛的应用i i 景。针对工业测量对象自身及其测量环境常具有的这些特点，如使用常规工程测量方法或摄影测量方法，则难度大、投入大而效率低，代之使用的则是结构光工业测量方法。一定意义上讲，人们的双眼立体视觉，摄影测量以及基于测角仪器的工业测量均立足于双眼前方交会。相比较而占，结构光工业测量中双眼的组成，一支眼用于生成结构光，另一支眼用于记录结构光的成像( 如测角设备或成像设备) 。结构光工业测量系统特别适用于缺乏纹理或无纹理的工业目标；中南大学硕七论文第一章绪论在适应工业测量对象自身及其测量环境特点的同时，又具有仅使用单台测角仪器或单架摄像设备，以实施空间前方交会或其他算法的特点。各种结构光工业测量系统具有相当高的自动化能力或自动化潜力【2 l 。1 2 近景摄影测量技术的发展及应用近年来，近景摄影测量在零件制造、结构物变形测量、建筑物立面测量、汽车制造、地质、考古、医学整形、交通事故快速处理等领域有着广泛的应用i ； 景。除了近景摄影测量方法以外，对物体进行三维测量的方法主要有：基于测距测角的工程测量，大型三维坐标测量，光干涉原理的测量。基于测距测角的工程测量技术，在理论、设备和应用诸方面部己相当成熟，具有精度高、性能好、操作方便等优点，但是经纬仪、全站仪工业测量系统对大批量目标点测量时，观测时间长、工作效率低，受外界环境和具体操作人员的影响较大。三坐标测量机是最近3 0 年发展起来的一种高效的新型精密仪器。该系统具有通用性强、精度高、效率高、性能好等优点，但是由于该系统的精密导轨长度有限，工作平台范围有限，因而测量范围有限。再者，三坐标测量机测量属于接触式测量模式，在测量时要与被测量工件接触，这也是该模式的局限性之一。光干涉原理的测量是一种利用光干涉测距原理，进行极 坚标测量的系统，该系统具有速度快、操作方便、精度高等优点，缺点是测量范围较小、成本高。近景摄影作为快速采集各种信息、且无破坏性、非接触式的一种最有效的手段，可提供相当高的精度与可靠性，成为三维测量研究中的热点。1 3 论文研究的背景和内容1 3 1 论文研究的背景和意义首先，工业部门对检测要求进一步提高，而以往的测量手段，三坐杯测量系统、经纬仪全站仪工业测鼍系统等，难以满足要求，这是研究近景摄影测鼍系统的直接原因。近景摄影测鼍系统的开发可以弥补以往检测技术的不足，进一步解决工业部门的实际问题。其次，虽然国外视觉测量技术已经达到了实用阶段，但是目前国内在测量方面计算机视觉测量还处在发展阶段，并且国外的近景摄影测量系统价位也较高，因此有必要自主开发出性能价格比高、操作方便的实用化系统。另外，计算机技术、数码技术和图形图像技术的发展，使开发近景摄影测量系统的条件已经成熟。总之，通过系统的开发，可以扩大工业测最系统的应用2中南大学硕十论文第一章绪论组成，为国家经济建设已经国防建设提供给是保障p l 。然而，工业洳量对象自身及其测量环境常具有的特点阱是：施测对象缺乏纹理或无纹理，待测点上不易置镜；一般无自然光光照，施测空间狭窄；因缺少瞄测点，常用贴附人工标志的方法捕缺：施测对象可能有设计图纸，甚至有数学模型描述；可能需要较高的测量精测量度；可能需要现场提供甚至高速实时地提供成果：测量环境可能恶劣，有烟尘、毒物、有害气体：存在人员或机械的干扰，甚至不能靠近；测量对象大小不一( 数毫米至数米) ；测量对象测量精度要求不一( 数微米至数毫米) 。针对工业测量对象自身及其测量环境常具有的这些特点，采用近景摄影测量方法，则难度大、投入大而效率低，所以采用结构光工业测量方法，所以论文中将采用结构光“双目”测量系统。这种系统除了可以应用在工业制造中，还可以广泛应用于文物考古、生物医学和虚拟现实等领域中。1 3 2 论文研究的内容本文作者采用投影仪一数码相机系统来完成物体的三维重建。投影仪可以给物体提供清晰、稳定的纹理特征，这种纹理特征的提取和匹配相对容易实现。数码相机主要用于采集二维图像数据和物体的真实纹理。具体方法如下：把物体放入控制场，建立坐标系；设计所投的纹理，用投影仪把这些纹理投影到物体的表面，形成纹理特征；用数码相机拍摄有投影纹理的物体图像，作为数据源；从不同角度，重复投影和拍摄过程，使所投纹理可以覆盖整个物体的表面。对于每一个在物体表面的所投的纹理特征来说，都存在两个像。一个是投影仪所投的纹理的设计值，一个是从数码相机拍摄的图像的提取值。因此，当投影仪和数码相机分别进行标定后，整个投影仪一数码相机系统就相当于一种双目视觉系统。通过直接线性变换法( d l t ) ，可以算出每个所投纹理特征的空间坐标。把这些空间特征相连，进行构网建模，从而完成物体的三维重建。根据不同的物体，投影仪和数码相机的位置可以调整远近，所投纹理的设计也可以不同，增加了该方法的灵活性和适用性。由于该方法几乎不受时b j 和空间的影响，增加了其实用性和稳定性。同时，投影仪和数码相机的使用是非接触性的，该方法可以对高危物体进行三维重建。最后实验的数据结果验证了该方法的可行性和正确性。通过以上讨论，确定论文研究的主要过程有：i 构造“双目”测量系统：数码相机+ 投影仪：2 设计人工标志，研究多种子像素提取算法，结合实验的图标特征，采用算法提取标志点中心；3 给对象投影纹理，设计结构光，对已有的边缘检测、边缘跟踪算法进行比中南大学硕十论文第一章绪论较分析，确定对本系统运用的最优方法提取结构光：4 采用无需内方位元素的直接线性变换( d l t ) 方法，解算三维坐标；5 开发计算机近景摄影测量系统，辅助完成三维重建。4中南大学硕十论文第二章近景最影测量系统的摹奉配置第二章近景摄影测量系统的基本配置2 1 近景摄影测量系统的组成在建立系统时，我们本着立足现有设备，同时借鉴国外先进技术的原则，提出了自己的近景摄影测量系统的设计方案。该系统由数码相机、投影仪、全站仪、p c 机、软件等组成。其系统结构如图2 - 1 所示。投影仪c c d 相机ijl 投影结构光( 左影像)拍摄照片( 右影像) lild l t 法解算大量的坐标点ip 磁书图2 一l 系统结构投影器一数码相机系统是由一部数码相机、一架投影器组成的。投影器可以给物体提供清晰、稳定的纹理特征，这种纹理特征的提取和匹配相对容易实现。数码相机主要用于采集二维图像数据和物体的真实纹理。具体方法如下：把物体放入控制场，建立坐标系；设计所投的纹理，用投影器把这些纹理投影到物体的表面，形成纹理特征；用数码相机拍摄有投影纹理的物体图像，作为数据源；从不同角度，重复投影和拍摄过程，使所投纹理可以覆盖整个物体的表面。对于每一个在物体表面的所投的纹理特征来说，都存在两个像。一个是投影器所投的纹理的设计值，一个是从数码相机拍摄的图像的提取值1 6 1 。因此，整个投影器一数码相机系统就相当于一种双目视觉系统，它的影像获取系统布局图，如图2 2所示。中南大学硕十论文第二章近景摄影测量系统的摹本配置2 2 系统的基本配置2 3 1 数码相机图2 - 2 影像获取系统的布局图采用下图的c a n o ne o s5 d 相机，相机的参数如表2 - 1 所示。图2 - 3c a n o ne o s 5 d表2 1 数码相机的硬件参数型号c a n o ne o s 5 dc c d c h o s ：3 5 8x2 3 9mc m o s1 2 8 0 万有效象素1 o x ，无裁切图像分辨率：43 6 8x2 9 1 2自动对焦：9 个自动对焦点6 个隐藏的自动辅助对焦点对焦范围e v 一0 5 1 8 ( 2 0 1 c 6 8 。f ，i s o1 0 0 )测光模式：评价测光( 可与任意一个自动对焦点联动)局部测光( 覆盖取景器中央约8 面积的区域)点测光( 覆盖取景器中央约3 5 面积的区域)中央重点平均测光测量范围：1 0t o2 0e v ( 2 0 6 8 。f ，i s o1 0 0 )6中南大学硕士论文第二章近景摄影测量系统的摹本配置2 3 2 投影仪及其结构光的设计使用a u t o c a d 设计相应的等距条纹( 如图2 5 ) ，投影仪投于无纹理的塑像上，使无纹理的塑像变得有纹理。投影仪如图2 5 ，参数如表2 - 2 所示。图2 - 4 投射的奈纹图2 - 5s o n y 投影仪表2 - 2 投影仪的硬件参数型号s o n y 、r p l c s 5投影系统3 块液晶显示板，1 个透镜投影系统液晶显示板超高孔径的0 7 英寸s v g a 显示板，1 4 4 0 0 0 0 像素( 4 8 0 0 0 0像素x3 )光学特性透镜1 2 倍变焦镜头( 手动xf2 8 2 至3 3 8 m m f1 8 至2 1 5投影灯1 6 5 wu h p投影图像尺寸范围：4 0 至1 5 0 美寸投影距离1 5 7 2 m电气特性分辨率最大分辨率( d p i ) 1 0 2 4x7 6 82 3 3 全站仪系统中采用尼康d t m - 3 5 2 免棱镜全站仪( 如图2 - 6 ) ，测量已知点坐标，求得d l t 的系数。同时，可以观测一些的塑像纹理上的点的三维坐标，比较实验结果的精度。图2 - 6n i k o nd t m - 3 5 27中南大学硕卜论文第二章近景摄影测量系统的基本配置2 3 4 计算机在试验中，采用m m 笔记本，设计和投射纹理；在计算机处理数据阶段，我们采用实验室提供的台式机，主频2 4 g h z ，内存2 5 6 m ，硬盘8 0 g b ，操作系统为w i n d o w s2 0 0 0 专业版。2 3 5 软件系统软件系统为本文作者歼发的基于结构光的近景摄影测量系统软件，该软件包括控制点的子像素定位、d l t 系数的解算以及三维坐标的计算等功能。8中南大学硕十论文第三章标志点子像素定位第三章标志点子像素定位本章设计人工标志，对子像素提取方法进行研究，采用适合标志特征提取的子像素定位方法，提取标志中心。3 1 子像素定位方法3 1 1 子像素定位原理利用计算机视觉进行精密测量时，数码相机的物理分辨率和图像中像点的定位精度对精度起到关键的影响。提高精度的最直接方法是提高数码相机的分辨率，但是其代价是相当昂贵的。在此情况下，我们通过提高图像中目标的点位提取精度，也就是相当于提高了数码相机的分辨率，假如点位提取精度为0 1 像素，就相当于提高了l o 倍的数码相机分辨率。基于以上原因，对图像中目标进行子像素定位就成为提高系统测量精度的最重要的环节之一。子像素定位技术需要两个基本条件：第一，目标是由多个点组成的，并具有一定的几何和灰度分布特性。如果目标是一个孤立的像素，则其位置就是此像素的坐标位置，无法细分；第二，对此具有一定特征的目标，必须明确目杯定位基准点在目标的具体位置。目标子像素定位技术实质上是对图像进行分析目标点的特征，得到目标中最亮或最暗点，还是灰度变化最大的点，作为目标中心。在本论文中，像素是从o 开始计数的，取第一个像素的中心为0 5 ，第一个像素和第二个像素之间的位置为i ，如图3 - 1 所示。一般常用的子像素算法的精度为0 1 o 5 个像素。3 1 2 图像预处理o 5i图3 - 1 像素的计数在视觉测量技术中，很重要的部分是对获得图像的处理技术。在图像采集的过程中，由于被测物体表面光照条件以及采集转换的条件不稳定，导致所获图像9中南大学硕十论文第三章标志点于像素定位会有灰度变化不明显，甚至会淹没图像中的特征，最终会影响像素的定位，因此，必须首先对图像进行预处理，使图像更易于提取特征。对每个图标进行局部的亮度和对比度调整，边缘更明显，灰度对比更大。图3 - 2 中是预处理前的原始图像，图4 3 是对标志周围进行处理之后的图像。图像预处理有多种方法川，可根据图像图3 - 2 原始图像的标志图3 3 预处理后的图特征选用对应的方法。在我们开发的近景摄影测量系统软件中，根据不同图像，选择不同方法进行处理。3 1 3 子像素提取的常用方法近二十年来，在数字图像处理领域，许多研究者对图像中目标的高精度定位做了大量的研究，提出了多种算法，较简单有形心法和灰度重心法，但易受噪声影响、精度较低。根据图像目标的几何或灰度特性，灰度矩边缘定位法、拟合算法和特征提取法等几种方法精度比较高，以下分别作介绍。3 1 3 1 灰度矩边缘定位法灰度矩边缘定位法嘲的基本原理是假定实际图像中的实际边缘分布与理想边缘模型的灰度矩保持一致，即矩不变。通过此关系来确定实际边缘的位置。一维理想阶跃边缘模型可以认为足由一系列具有灰度h l 与一系列具有灰度h 2 的像素相接而构成的。这个一维理想边缘由3 个参数决定：边缘位置k 、边缘两侧的灰度矩值h 1 和h 2 。如图3 - 4 所示，其中离散点表示实际边缘点，粗折线表示理想边缘。i o中南大学硕十论文第- 三章标怎点子像素定位图3 - 4 一维理想边缘模型设u ( x ) 为理想阶跃函数，则一维理想边缘函数可表示为：e - ( x ) = ( h 2 - h 1 ) u ( x - k ) + h l( 3 - 1 )设p l 和p 2 分别表示灰度值为h lh 2 的像素点所占的比例，两者满足如下的关系式：p 1 + p 产l( 3 - 2 )设单调序列gj ( j = l 2 ，n ) 为实际边缘点的灰度值，则该序列的前三阶灰度矩满足下式：一i2 喜p j h ：2 三喜g ：i _ l 2 3 ( 3 - 3 )j - l一卜i其中，n 为实际边缘点的总个数，p l = k n 。上式3 个方程中包含3 个未知数p l 、h 1 和h 2 ，求解可得：h 。- - 一m - 一孑厮h ：- - 一m p , 4 7 7 7 , , 石、圈( 3 4 )( 3 - 5 )( 3 6 )- ，_ 一仃= m 2 一m i( 3 7 )；= 丢喜孚= 丁m 3 + 2 m ；- 3 m , m zm s ，由式( 4 - 2 0 ) 得到边缘位置：脚。一暑压+ 孚c ，剐这哩设序列g ，中第一个像素的位置取为0 ，所以k 加0 5 才是实际的边缘位置一s+一一l 一2=p，中其中南大学硕十论文第三章标志点子像素定位3 3 1 2 拟合算法使用拟合法的前提是目标的特性，如图像的灰度分布、阴影模式的噪声和测量物体等，满足已知或假定的函数形式。通过对离散图像中的目标的灰度或坐标进行拟合，可以得到目标的连续函数形式，从而确定描述物体各个参数值对目标进行子像素定位。基于最小二乘准则的函数拟合足一种有效的数学工具，可以滤除图像中的噪声，或者对图像中特征形状已知的物体进行建模等。常用的拟合方法有椭圆拟合和直线拟合【l o l 等。1 椭圆拟合当目标特征是圆和椭圆时，对提取的目标边界的一组点进行椭圆最小二乘拟合，从而确定目标点的中心位置和主轴方向。二次曲线拟合的一般方程为x 2 + 2 b x y + c y 2 + 2 d x + 2 e y + f = 0( 3 1 0 )如果满足舷( 1 + c 艮) ( c f 。+ 2 b d e - d ：c - b ：f - e k0( 3 【222 ) 式( 3 1 1 ) 就代表一个椭圆，其均方差和为ne 2 - - e ( x ；+ 2 b x 。y ，+ c y ；+ 2 d x 。+ 2 e y + f 2 ) 2( 3 1 2 )1 1 1分别对上式关于b ，c ，d ，f 取偏导数，令每个式子为零，可以得到一个包含5 个方程和5 个未知数的方程组。利用矩阵求逆或高斯消去法可以求得椭圆方程的参数。接下来可以利用下列式子确定椭圆的参数：中心点坐标( x o , y o ) 、长轴与x 轴的夹角。b e c d。o2 i 可y o ：一b d - e(313)y2 丽3 。目：丢锄一- ( 黑)2、l c 为了抑制图像噪声的影响提高定位精度，可对边界进行多次拟合。即第一次拟合后，将每个边界点代入上式，计算残差。然后将残差较大的一部分点去掉，1 2中南大学硕十论文第三章标志点子像素定位再对剩余的点进行二次椭圆拟合。该过程可以重复若干次，直至均方差和小于某个阈值。2 直线拟合当目标具有直线边缘的特征时，对提取的目标边界的一组点进行直线最小二乘拟合，从而确定目标点的直线方程，以及直线交点中心，例如二维直线边缘，如图3 5 所示。图3 - 5 二维直线边缘直线拟合的一般方程为一y + b x + c = 0( 3 - 1 4 )其均方差和为ne 2 = ( y + b x 。+ c ) 2( 3 - 1 5 )i = 1分别对上式关于b ，c 取偏导数，令每个式子为零，可以得到一个包含2 个方程和2 个未知数的方程组，最小二乘法平差可以求得直线的系数。3 3 1 3 高精度角点定位高精度角点定位法【”】可以用来提取具有直线特征的标志，而且精度较高。1 h o u g h 变换提取直线特征h o u g h 变换【1 2 1 其基本原理是将影像空间中的曲线( 包括直线) 变换到参数空间中，通过检测参数空间中的极值点，确定出该曲线的描述参数，从而提取影像中规则曲线。p = x c o s o + y s i n o( 3 1 6 )其中p 是从原点引到直线的垂线长度；口是垂线与x 轴正向的夹角( 图4 6 ) 。由于影像空间内的一条直线由一对参数( 吼，风) 唯一地确定，因而该直线上的各点变换到参数空间的各正弦曲线必然都经过点( 岛，风) ，在参数平面( 或空间) 中的这个点的坐标就代表了影像空间这条直线的参数。这样，检测影像中直线的问题就转换为检测参数空间中的共线点的问题。中南大学硕卜睑文第三章标志点子像素定位2 高精度定位直线通过h o u g h 变换能够提取出组成角的两条边缘直线，但不够精确，采用刀刃模型进一步定位直线。众所周知，一个理想的一维边缘的成像为一刀刃曲线，g ( x ) = is ( x ) d x( 3 - 1 7 )其中s ( x ) 是系统的线扩展函数。由此求得影像的梯度：v g ( x ) = d g ( x ) = 昙s ( x ) d x = s ( x ) ( 3 - 1 8 )考虑到幅度之差异，可得如下结论：一个理想边缘经成像系统输出，其影像梯度与系统的线扩散函数成正比。理想的线扩散函数服从高斯分布：s c x 渤= 击e d 一专c 一妇+ y s i n 弘 。9 ，v g ( x ，y ) = a - e x p - k ( x c o s 0 + y s i n 0 一一p ) 2 】其线性化误差方程为：v ( x ，y ) = c o d a + c l d k + c 2 a p + c 3 d o + q( 3 2 0 )对误差方程式进行最小二乘迭代求解可精确地解求直线参数p ，0 。3 角点定位当求出组成角点的两条直线的方程，分别为：三一x c o s q 0 冀嘲 z ) 2y s i n 0 2岛=+被确定后，角点( ) 【c ，y c ) 也就是它们的交点：3 2 人工标志人工标志在近景摄影测量中广泛使用，是由于人工标志可以保证或提高测量精度和可靠性，另一方面，与航空摄影测量相比较，大量人工标志的布设并不足一件困难的事。人工标志的质地、形状和大小与测量方法、测量对象的要求以及环境有关。作为控制点使用的人工标志，其几何外形设计需同时考虑两项最基本的要1 4一一一一一中南大学硕士论文第三章标志点子像素定位求：一是要以适宜的尺寸成像，二是必须为控制测量测定其坐标是，标示精细而明确的目标。人工标志多种多样，如图3 - 6 所示：o ，( a ) 圆形标志( b ) 方形对顶角标志图3 - 6 人工标志人工标志的特征基本可以分为两类：带圆形或椭圆形的特征的，如图3 - 6 中的( a ) ；带直线特征的，如图3 - 6 中的( b ) 。标志本身为黑色，这样的标志基本就透明，观测效果好。由于采用1 2 0 0 万像素的相机采集影像数据，如果标志太大，边界线在像片中的灰度变化不明显，不宜提取特征，所以标志的大小对特征的提取结果有较大影响，经过反复实验，设计长宽不超过2 c m 的图标效果较好。3 3 标志点子像素定位圆形标志易于拟合，直线特征标志利于提取直线，本文作者针对不同特征的图像采用不同的予像素定位方法。3 3 1 圆形标志中心子像素定位圆形标志边界线十分规则，可以采用边缘检测和拟合方法相结合，提取中心0 4 , ”l 。对于圆形标志，例如图3 - 6 ( a ) 中的标志，可以采用边缘检测方法【3 0 3 ”，提取边界信息，然后对边缘点进行椭圆拟合；对于直线型标志，也必须提取出边界的直线信息，才能进行计算中心。边缘检测主要采用拉普拉斯算子，常用的比较简单的有4 邻近点拉普拉斯算子和8 邻近点拉普拉斯算子。4 邻近点拉普拉斯算子有公式：l 0 _ l0 h = 二l - 14 一l l( 3 2 3 )4 lo一1oj中南大学硕t 论文第三帝标志点于像素定位8 邻近点拉普拉斯算子有公式：r 一2l一2 1h ：! i141i( 3 2 4 )8 i 212i边缘检测的步骤：( 1 ) 采用适合的拉普拉斯算子或其他算子进行计算。( 2 ) 将计算的拉普拉斯算子的值进行二值化。可以采用：值大于0 的取1 ，小于0 的取0 。如图3 7 所示，圆形标志采用4 邻近点拉普拉斯算子计算的结果。图3 7 圆形标志拉普拉斯算子计算处理结果( 3 ) 提取边界。采用8 邻域判断法：若一个像元值为l ，它的8 邻域中，有2 个以上的值为0 的，即为边缘点。对提取出的边界点进行椭圆拟合，根据公式( 3 1 2 ) 联立误差方程，通过公式( 3 1 3 ) 解算圆形标志的中心( x o ，y o ) 。3 3 2 直线特征标志中心子像素定位本文中实验主要采用直线特征标志，如图3 1 0 所示，先进行检测边缘，然后提取标志中心。本文中作者分别采用灰度矩边缘定位方法结合直线拟合方法，或采用商精度角点定位法【1 6 i 精细定位标志中心，详细步骤如下：( 1 ) 粗定位和影像分割：获得控制点像点坐标的初始值，针对图像上标志的范围特征，开一个适当的n x n 正方形窗口，如图3 - 8 ( a ) 所示。( 2 ) 图像预处理：对分割后的窗口进行二值化处理( 如图3 8 ( b ) ) ，然后对小区域的每个像素进行拉普拉斯算子4 邻域或8 - 邻域的判断，当某一像元4 邻域或8 邻域中，所有像素值为0 时，说明这个像元是区域内部点，则去掉该点，剩下的即是标志的轮廓线，如图3 8 ( c ) 所示。( 3 ) h o u g h 变换提取直线：对于预处理之后的轮廓线上的每一个点( x o ，1 6中南大学硕十论文第三章标志点子像素定位y o ) ，根据公式( 4 3 2 ) 计算出通过该点所有口为整数的直线的p 。对p 进行取整，按。整数p 值= 行号”找到相应的矩阵( 以p 值为行，以护为列，初始值为o ) 单元，单元值加l 。在同一条直线上的点，会得到相同的 ，p ) 值，所以相应的p 行o 列累计的值较大。取出矩阵中值最大的两对( 曰，p ) 值，即得到图3 8 ( b ) 中最长的两条直线的两对( 只p ) 。直线提取结果如图3 8 ( d ) 所示。( 4 ) 像点坐标的精确提取：i ) 采用3 3 1 2 的高精度角点定位方法，进行精确提取。经过多次实验，结果表明：在精细定位时，对于每一条直线的解算，取点要进行选择：记录第( 3 ) 步中提取出的直线像点位置，在原始图像中对每一个像点开一个1 3 的窗口( 如图3 9 ) ，即取点除了像点外，还包括左右相邻像点。一条直线解算总共取1 0 左右的像点，迭代1 2 次后，效果不错。m 采用灰度矩边缘定位方法结合直线拟合方法，进行精确定位直线。首先，在h o u g h 变换中提取出的每一条线中，选择l o 个左右的点，在选择的每个点的附近取左右相邻点，求得实际灰度变化边缘位置；然后利用已经确认的l o 个左右的确切边缘位置，最小二乘法拟合直线方程c o + c l x + c 2 y = 0 ，分别提取出两条直线，最后计算两条直线的交点，即：标志的中心点。_ _l i一+( a ) 原始图像( b ) 二值化图像( c ) 边缘跟踪图像( d ) h o u g h 变换后的图像图3 - 8统茏，h 3 窗口图3 - 9 精细定位窗口对图3 1 0 中的1 2 个标志点进行两种方法的中心提取，可以得出以下的精度对比表( 表3 1 ) 。其中，标志如图3 1 0 依次编号。中南大学硕士论文第三章标志点子像素定位图3 - 1 0 标志分布图表3 - 11 2 个线特征标志的中心提取的两种方法对比表( 单位：像素)灰度矩边缘定位高精度角点定位点号xy点号譬y11 7 6 5 1 931 2 7 7 9 6117 6 5 5 0 01 2 8 0 1 221 0 0 1 0 0 24 4 3 9 0 121 0 0 0 7 9 54 4 3 9 4 431 5 3 6 8 4 l7 2 4 8 8 031 5 3 6 8 8 77 2 5 0 6 941 0 4 1 9 8 21 1 5 9 2 3 741 0 4 1 9 0 81 1 5 9 4 5 051 4 1 7 8 4 61 6 8 6 6 0 651 4 1 7 3 6 01 6 8 6 6 0 562 6 7 9 3 8 73 3 1 7 8 662 6 8 0 1 4 l3 3 1 8 8 173 0 1 0 7 2 48 5 7 0 0 073 0 1 0 9 4 98 5 7 4 6 082 9 4 8 0 1 81 4 8 0 9 1 982 9 4 8 4 9 11 4 8 1 6 5 392 3 0 4 1 1 42 1 9 9 7 5 792 3 0 3 1 0 82 1 9 9 8 8 1 02 7 9 9 0 4 02 1 5 7 4 0 41 02 7 9 9 0 5 22 1 5 7 5 4 1l l2 2 1 5 2 1 82 6 8 3 0 1 61 12 2 1 4 8 3 22 6 8 3 1 5 31 23 7 4 7 1 5 12 5 9 8 6 0 51 23 7 4 7 1 3 82 5 9 8 7 1 31 8中南大学硕士论文第四章结构光设计及特征提取第四章结构光设计及特征提取设计一定特征的结构光，结构光的特征提取是本系统三维重建的一个重要环节。通过对边缘检测和边缘跟踪方法的研究，选择适宜的边缘特征的提取方法，提取出塑像上条纹状的结构光。4 1 结构光的设计4 1 1 结构光工业测量系统的类型结构光是有光源的已知空间数学模型的投影光线、投影平面、投影曲面乃至投影光束。所以，可将结构光分类为直线结构光、平面结构光、曲面结构光以及光束结构光，光束结构光如图4 - 1 所示。图4 - 1 等距结构光栅某种结构光与结构光的记录设备的结合则构成一定的结构光工业测量系统。结构光工业测量可分作两类，一类是基于角度记录设备的结构光工业测量系统，一类是基于摄像设备的结构光工业测量系鲥17 ，i 卅。1 基于角度记录设备的结构光工业测量系统基于角度记录设备的结构光工业测量系统，主要由结构光生成设备和角度记录设备构成，数据的采集，传输和处理设备和相应软件是重要组成。结构光是已知空间数学表达的直线、平面、曲面或光束。所以，只需一台角度记录设备即可与之构成基于角度记录设备的结构工业测量系统。我国在基于角度记录的结构光工业测量系统的理论与应用上已有较多成功的报道，包括各种扫描模型的推演、系统的建立及其高效率的多种成果。各种扫描模型的推出，使之可应用于多种场合，例如，应用于直接测绘任意方位目标的面、直接应用于放样、直接应用于量测仪器下方的目标等。利用此类系统，可以较高的效率测定飞行体和船体的外形，测定船舱的容积以及用以测定自然的和人工的“封闭”物体的形状。2 基于影像记录设备的结构光工业测量系统基于影像记录设备的结构光工业测量系统，主要由结构光生成设备和影像记1 9 j i 呲；兰中南大学硕十论丈第四章结构光设计及特行提取录设备构成，数据的采集，传输和处理设备和相应软件是其必要组成。基于各类固态传感器( c c d ，c i d ，p s d ) 的多种型号的摄像仪器，应用于此类结构光工业测量系统。以c c d 固态传感器应用最为广泛。基于影像记录设备的结构光工业测量系统，除适应一般工业目标自身特点及其环境特点外，还具有品种多，适于待定点众多，适于小型目标，适于运动目标等特点。4 1 2 本测量系统采用的结构光使无纹理的白色石膏塑像上生成人工纹理，使其能用于匹配，达到获取其表面空间信息的目的，首先要选择合适的“纹理”，也就是结构光的设定。比较上述三种不同的结构光，综合本系统的特点，其中基于光栅结构光，最符合本系统的要求，既结构简单，又便于提取与解算；同时采用投影仪和数码相机分别作为结构光生成和影像记录设备。由于塑像表面缺少纹理，且其表面光滑，通过投影器对塑像表面投射等距条带状的结构光( 如图4 - 2 ) ，用c c d 相机摄取此影像，即给塑像人为地“加”上可用于匹配的纹理，如图4 _ 3 所示。图4 - 2 结构光图4 - 3 塑像人工纹理图由于塑像表面有多处不连续的凹凸起伏，且起伏程度大，如果选用不当的结构光，将会造成信息的不准确或是丢失。例如，结构光太稀疏则不足以反映塑像表面真实的凹凸起伏情况，而太密又将造成数据过于庞杂，难以统计和运算，甚至还能导致光条之日j 产生严重的衍射情况，影响数据的采集。经过多次试验和比较，采用间隔适中的条纹。4 2 结构光特征提取4 2 1 线的检测线的检测“唧1 主要是对边缘的一种检测，边缘检测技术在计算机视觉领域中2 0中南大学硕士论文第四章结构光设计及特征提取是- f l 相对比较成熟的技术，现有的边缘检测方法可分为三大类：一类是利用微分边缘算子。比较著名的边缘检测算子有：r o b e r t 算子、s o b e l 算子和p r e w i t t算子、k i r s c h 算子、拉普拉斯算子、c a n n y 算子、l o g 算子以及在这些算子的基础上进行改进的些算子【2 1 2 2 1 。其中，二阶微分形式的边缘检测算子是目前边缘检测的主要手段之一。另一类是基于小波与分形理论的边缘检测方法。基于小波理论的边缘检测方法可检测出图像在不同尺度下的边缘特征。而基于分形特征的边缘检测方法由于选取的模板不能太小( 太小就不足以反映其分形特征) ，因而检测出的边缘较粗，需进一步的细化处理，定位精度不高。还有一类是基于形态学的边缘检测方法。用形态学方法进行图像边缘检测，算法简单同时能较好地保持图像的细节特征，较好地解决边缘检测精度与抗噪声性能的协调问题。结构元选取灵活，可针对不同的图像及要检测的目的不同选取不同形式的结构元，不过这也是形态边缘检铡算法的缺点所在，算法的适应性较差。总之，在图像边缘检测领域尽管研究了微分方法、基于小波与分形理论的方法和基于形态学的方法等多种检测手段，但它们都不是一种具有绝对优势的方法，有的方法边缘检测精度高，但是抗噪声性能较差；有的方法解决了抗噪声性能差的问题，而检测精度又不够。还有一些算法尽管在一定程度上较好地解决了上述两者的协调问题，但算法复杂，运算时间长。可见，无论哪一种边缘检测算法在解决一定问题的同时也存在不同类型的缺陷。4 2 2 边缘跟踪概括的说，传统的边缘检出方法分为检测梯度值与后整形处理两个方面 3 7 3 引。检测梯度值是根据局部操作求出构成边缘的点，后整形处理就是在检测出梯度值的基础上进行滤波，增强其梯度值或者进行梯度值结合，从而得到长而圆滑的边缘线。对于给定的图像点阵，对每一点( 边界部分除外) 都要进行这样的微分处理，从而得到所有的要素点。传统的边缘检出方法虽然适用面广，但实际计算起来非常费时。本节将介绍另外一种图像处理方法一边缘跟踪法删。边缘跟踪法的基本原理是先根据图像特征，大步距的寻找边缘的起始点，然后再从起始点开始，小步距递进式的寻找出各个要素点，最后再将这些要素点连成平滑的曲线。边缘跟踪法可分两步进行，寻找起始点和搜索邻近边缘点。1 寻找起始点起始点指的是第一个可检出的边缘点的位置，但不一定为边缘的端点，它拥有明显的图形特征。大步距寻找起始点是边缘跟踪法的主要特色之一。与传统的图像处理方法不同，边缘跟踪法对每个像素都要进行处理，更多的着眼于局部。2 l中南大学硕士论文第四章结构光设计及特征提取如果我们的搜索方向为从上至下，从左至右，搜索步距为1 0 个像素，即取相隔1 0 个像素的两点之间的灰度差，则显然线段a b 的起始点在顶点a 附近，我们可以用顶点a 的局部放大图来说明，如图4 - 4 所示。adl234簟c( a ) 原始图像( b ) 顶点a 的局部放大图4 - 4 起始点寻找示意图从图4 - 4 中，我们可以分析出线段a b 的起始点在b 2 、c 2 之间，这取决于我2 5 5灰霍olii ii 像素图4 - 5 起始点s 附近的灰度值变化们搜索时的判断条件。我们的判断条件是：如果找到一个搜索点，它与上一个判断点( 间隔为1 0 个像素点) 的灰度差a g 。= ge g 大于某一个阈值t l ，而与下一个判断点( 间隔为l o 个像素) 的灰度差9 2 = g g 下小于某一个阈值t 2 ，则起始点在这一点与上一个判断点之间。显然c 2 是第一个满足此要求的搜索点，而起始点就在b 2 、c 2 之间，如图4 5 中的s 点。在找到起始点s 的范围后，我们就可以在此范围内找出边缘的第一个起始点s 。对于b 2 一c 2 所在列而占，在起始点s 附近的灰度值变化如图4 - 5 所示。在b 2 - d 2 所在列的a 点以上以及d 点以下，像点的灰度值波动较小，而灰度值从a 点到d 点则变化剧烈，其中c 点与b 点的灰度差达到最大，即g 一= g 。一g 。，所以c 点即为起始点s 。这种寻找边缘要素点的方法其实与传统的微分方法在理论基础上是一致的，都是利用相邻像素点之间的灰度差值来判断。2 搜索邻近边缘点在上述寻找起始点的过程中，我们采用了以1 0 像素为间隔，根据起始点特征大步距搜索的方法。在找到起始点s 后，为了搜索其它的边缘点，我们采用的是小步距递进的方法，其含义可以用图4 - 6 说明。中南大学硕士论文第四奄结构光设计及特征提取图4 - 6 小步距搜索边缘点示意图起始点s 对应的坐标为( x s ，y s ) ，为了搜索其它的边缘点，我们以s 为基点，保持y s 坐标不变，向右递进小间隔a t ，得到点a 。再以a 为中心，在( x s d ，x s + d )的范围内搜索第二个边缘点s 1 ，搜索的方法与搜索起始点的方法基本一致。然后再以s 1 为基点，搜索s 2 ，直到将所有边缘点找到。上面所用方法的依据是，在t 很小( 一般为卜5 ) 、d 取得适当( d 的取值主要受边缘斜率的影响) 的情况下，只要边缘不发生跳跃或不连续，在以上一个边缘点的y 坐标为中心的d 的范围内一定包含边缘。小步距递进的方法不能无限制进行下去，它必须有一定的结束条件，普通的结束条件为：如果在d 的范围内不包含边缘，则边缘搜索终止。边缘检测与边缘跟踪法异曲同工，可以说边