（检测技术与自动化装置专业论文）基于编码结构光测量系统的标定技术研究.pdf

摘要 三维物体形貌测量是获取物体形态特征的一种重要手段，其中结构光三维测 量由于其具有量程大、视场大、精度较高、光学条纹或结构光特征图像信息提 取简单、实时性强及主动受控等特点，在工业中得到了愈来愈广泛的应用。因 此开展本课题研究具有重要的理论意义和实用价值。 本文在研究了大量相关技术和文献的基础上，采用理论分析和实验研究相 结合的方法，对基于二迸制编码结构光的三维形貌测量系统展开了深入研究。 论文首先分析了基于二进制编码结构光测量系统的测量原理，在此基础上 构建了投影条纹图案，并分析了所述二进制编码的原理和特点。 根据系统的测量原理，设计了该测量系统的标定方法，分别包括摄像机参 数的标定和结构光平面方程的标定两部分内容。摄像机的标定采用线性透视投 影模型，完成了对摄像机矩阵m 的求解；结构光平面的方程的标定是基于透视 投影的交比不变性质，利用特殊设计的标定靶标上的已知信息，完成对光平面 方程的求解。 针对上述标定方法的特点，论文提出了一种大视场测量范围下的光平面方程 的标定方法。通过移动标定靶标，改变世界坐标系，并葡时保证摄像机和投影 仪位置不变。基于m 矩阵的求解方法，对m 矩阵进行分解得到摄像机坐标系与 世界坐标系的转换矩阵，建立摄像机坐标系与移动前后世界坐标系的位置关系， 由此推导出光平面方程的换算公式。 论文最后结合实验对该系统进行了重复性和精度的分析，并分析了系统中 影响精度的因素，指明了进一步研究工作的方向。 关键词：三维形貌测量；二进制编码；结构光；光平面标定 a b s t r a c t 3 ds h a p em 翻翮崩n ti sa ni l i i p o r t a mm e a o fa c c st ot l l eo b j e c ts b a p e c h a m c 矧s t i c a m 衄ga l lm em 翩s l 咖锄tt e c h n i q u 嚣，3 dm s e n tb a s e do n 蛐：t i l 】矧l i g h th 鹊i n c r e a s i n 舀y 谢d 髂p 嘲di n d l l s 缸a la p p l i 硎o n so 丽i l gt oi t sb i g 珊娜m 埘n e n t 瑚g e ，h i g l l e c i s i o n ，s i i i l p i ec h 啪脓耐s t i ci n l a g ei i l f - o m a t i e x 仃a c t i o fo p t i c a l 矧p e 盯s t r u d i l r 耐l i g 虬s 们n g 删一d m ec ：h 锄碰耐s t i ca i l d 枷v ec o n t r o i l e d t h e r e 觚，m ed e v e l o p m e n to ft 1 1 i sr 器e 鲫6 h h 勰i l l l p o n a n t t l l c o r e t i c a l 龇dp f a c t i c a l 砌u e b 勰c d t l l e 锄a l y s i so fl l l ef e l a 蜘r 豁e 疵hw o f k s 柚dl i t 盯a n 腮，( h c3 ds h a p e m e a 娜蜘朗ts y s t e mb 勰e do nt l l eb i n a f ) 卜c o d cs 仃u c m r 。dl i 曲ti st l l e o r d i c a l l y 锄d 麟p 嘶m 饥t a l l ys 砌i c di l lt l l i sp a p 筑 f i r s y ，t l l em 翩s 晡n gp r i n d p l eb 雒e d t 1 1 eb i n a 妒c o d e 蚰m c t u r e dl i g h t m s u r e m e ms y s t 锄i s 锄a l y z c di l lt l l i sp a p e r t h e nt h e 删e c 6 蛐s 缸p e p a t t e r i l sa r c d 鼯i 弘e d 强dt h ee l 锄e m sa n d r o f t l l eb i n a r ) k c o d ea d 韶c r i b e d a c c o r d i n gt ot l l em e a s u r i n gp r i n c i p l e ，t h ec a l i b m t i o nt 洲q u eo ft l l es y s t 锄i s d e s i 弘c d ，c o m 砸s i n gm ec a l i b a t i o n o ft h cc 栅e f ap a r 锄骶邪雒dm es t m c t 删 l i g h t p l 锄ee q u a 虹o np a r a m e t e r s c a m e mc a l i b 洲o na d o p t st l l el i i l e 盯p e f s p e c t i v e p r o j c c t i o nm o d e lt og c tt l l ec 锄e mm m 删x t h ec a l i b 枷o no ft h es 伽】c n l r o d l i g h t - p l a n ec q u a t i o ni sb 硒e do nc m s sm t i oi 1 1 v a r i a b i l i t yo ft l i ep e r s p e c c i v ep i 叫e c t i o n m o d e l ，蛐dl l s em el l o w ni n f o i m a t i o no nt l i es p c c i a l l yd 路i 印e dc a l i b m t i o n 孵t t o g e tt l i e1 i g h tp 1 强ee q u a t i o n a i ma tm e 吐咖埘e f i s t i co ft t l es a i dc a l i b 均t i o nm e 吐d ，t 1 1 i sp 印盯p r e s 铷临a c a l i b r a t i o nm e df o r m p u t i n gt l l el i 曲tp l 拍ee q u a t i i na l a f g em e 捆m n g 瑚g e e n s u r et l l ec a i n e r a 柚dm ep r o j e 曲o fi nt l l es a m el o n o n 锄dm o v et h ec a l i b r a t i o n t a r g e tt oc h a l l g ct l l ew o d dc o o r d i n a t e 舶m e b a s e d0 nt l l es o l 谢o ft l l em m a t r i x ， d e 0 0 m p o s el l l em m a 埘x 幻g e 如et r a n s 如n n 8 t i o nm 撕xb 或w e e nt h ec a r i l e 豫 c o o r d i n a t e 舶m e 锄dt h ew o d dc o o r d i n a t e 舶m e 觚dt l l e nb u i l dt h el o c a t i o n i e l a t i o n s h i p sb e t w e 曲t l l ec a n l e mc o o r d i n a t e 丘狮e 锄dm ew o r l dc o o r d i n a t e 丘锄e i i b e f b 坞m o v i n g 锄da f t c rm o “n 辱t t 嘧r e f o r 岛t h ec o n v e 幅i o n 南n n u i ab e t w 咖l i g h t p l 柚ee q u a t i o 地i sd e r i v c d f i i l a l l y ，m ep a p 盯a n a l y z e st l l ef e p r o d u c i b i l i 哆a n d 瓠蝴盯a c yo fm es y s t e m ，锄d a n a l y z 嚣t l l ef h 曲d 糟a f f 缸i n gt l l ea c c i 】r a c yo ft h es y s t 锄t h 吼s p e d 匆t l l ed i r 。c t i o n o f t l l ef b n l i e rr e s e a r c i l k e yw o r d s ：3 - ds h a p em 船s u r e m e m ；b i n a r y - c o d c ；s 缸l c t 珊e dl i g h t ；l i 曲t p l a c a l i b 枷 n i 学位论文版权使用授权书 本人完全了解北京机械工业学院关于收集、保存、使用学位论文 的规定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影印、 缩印、扫描、数字化或其它手段保存论文；学校有权提供目录检索以 及提供本学位论文全文或者部分的阅览服务；学校有权按有关规定向 国家有关部门或者机构送交论文的复印件和电子版；在不以赢利为目 的的前提下，学校可以适当复制论文的部分或全部内容用于学术活 动。 学位论文作者签名：辱菲 如7 年多月j 日 经指导教师同意，本学位论文属于保密，在年解密后适用 本授权书。 指导教师签名：屯v f2 钥必一学位论文作者签名： r 2 缈刁年多月 日年 月 日 硕士学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行 研究工作所取得的成果。除文中已经注明引用的内容外，本学位论文 的研究成果不包含任何他人创作的、已公开发表或者没有公开发表的 作品的内容。对本论文所涉及的研究工作做出贡献的其他个人和集 体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任 由本人承担。 签名：豕菲 砷弓月f 日 第l 章引言 第l 章引言 1 1 三维形貌测量技术概述 近年来，随着计算机技术、电子技术、光学技术、图像处理等学科的迅速发 展，光学三维形貌测量技术也得到了长足的发展。光学三维形貌测量在工业测 量、机器视觉、逆向工程、生物医学等领域具有重要意义和广阔的应用前景。 三维形貌测量方法分为接触式测量和非接触式测量两种。其中接触式测量主 要是依靠探针和被测物体的表面接触，此探针固定在机械手臂上。机械手臂的 角度和长度时刻记录着探针的位置。通过把探针和物体的表面相接触，物体表 面的相对位置就被记录下来，从而可以得到物体表面的形状。接触探针测量有 着很高的精度，但设备昂贵，速度慢，特别是物体形状复杂时，测头路径规划 控制复杂，以致在相当长一段时间内，采用该技术实现复杂物体三维测量与数 字化建模是一件非常困难的事。三坐标测量机( c 删) 是其中典型的例子，目前， 它仍是典型的标准三维测量设备。 最具特色和发展前景的非接触式测量技术是基于光学与计算机视觉理论的 三维测量技术【”。在非接触式测量技术中，按照照明形式的不同，又分成主动光 法和被动光法两大类 2 】。被动光法是在自然光照的条件下进行的。采用被动照明 方式从一个测量系统获取的二维图像中得到物体的三维形貌数据时，人们必须 依赖于物体的形态、光照条件等先验知识。从多个测量系统中获取的不同视觉 方向的二维图像中通过相关或匹配运算可以重建物体的三维形貌，这种方法不 仅仅需要进行大量的数据运算，而且被测物体的各个点的反射率没有明显差异 时，这将使正确计算变得更加困难，因此被动光法常常只能用于对三维物体的 识别、位置形状分析等。相对来说，主动光法是目前研究最广泛的一类方法。 主动光法在实现时，往往将不同的空间结构光投影到被测物体表面。由于被测 物体表面不同高度对这一空间结构光的调制过程使得空间结构光产生了不同程 度的变形，从而在这一变形的空间结构光中携带了物体表面的高度信息，通过 正确的解调过程就可以恢复出物体的形貌。由于这种方法具有较高的精度而得 到广泛的研究和应用。主动光法又可分为数学译码法和三角法两类。数学译码 第l 章引言 法是指：首先把光强按正弦分布的二维图案投影到被测物体上，然后记录这个 图案被物体调制后的图像，最后用数学方法调出图像中含有的高度信息目前 算法较为成熟的数学译码方法有傅立叶变换解调法、相移法、正余弦解调法和 相位还原法等等。这类方法存在着一个共同的问题一一含有不连续点的图像引 起误差；同时为其测量精度付出的代价是，它在非构造的环境中很脆弱。基于 三角法的激光扫描法能成功地解决不连续图像问题，它是目前可靠性最高的工 程方法。然而，激光点线扫描法存在明显的缺点：相对较低的测量精度，较长 的图像获取时间，扫描电机带来的精度问题，严格的安全要求。 1 2 基于主动视觉的三维形貌测量技术嘲 主动视觉测量技术大多数使用的三维形貌测量仪器采用主动照明技术。投影 器发出结构光光束，接收器接收由被测三维表面返回的光信号，由于三维形貌 对结构光照明光束产生的空间或时间调制，因此解调接收到的光信号就可以得 到三维形貌数据。 1 2 1 飞行时问法1 4 | 【5 1 1 6 j 飞行时间法的原理如图1 1 所示。这一方法的原理很简单，就是利用光速或 者是光速的某种其他形态表述距离的长短。当一个激光脉冲信号从发射器发出， 经物体表面漫反射后，沿几乎完全相同的路径反向传回到接收器，检测光脉冲 从发出到接收之间的时间延迟，就可以计算出距离z 。在增加了相应的二维或三 维扫描装置使光束扫描物面就可以形成三维面形数据。为了提高测量精度，实 际的飞行时间法往往采用多种调制，例如采用线性调频技术，即在发射期间频 率线性变化的信号作为载波信号对激光脉冲进行调制，这一方法不仅提高了信 噪比，同时也是一种方便的获取距离信息的方法。 图1 1 飞行时间法原理图 2 第l 章引言 另外一种比较常用的方法是相位检测技术，通过对发射信号的位相进行调 制，检测发射前和发射后的位相变化，即可转化为光程差 飞行时间法原理简单，又可以避免三角测量法中阴影和遮挡等“盲点”问题， 是一种很有前景的测量技术。但由于光波的传输速度很快，要得到较高的距离 测量精度，特别是早期的单脉冲技术，对信号处理系统的时间分辨率有极高的 要求。近年来随着其他相应技术的快速发展，使得这一方法也得到了快速发展。 1 2 2f o u r i e r 变换轮廓术 傅立叶变化在信息光学中的作用和地位是大家所熟悉的，傅立叶变换方法成 功的用于干涉条纹的处理，用来检测光学元件的质量，在主动光学测量术中， 结构照明型条纹与干涉条纹具有类似的特征。1 9 8 3 年，m t a k e d a 和k m u l o h 【刀 将傅立叶变换用于三维物体形貌测量，提出了傅立叶变换轮廓术( f o u r i e r t r a n s f o 瑚p r o f i l o m e t r y ，简称f t p ) 【s l f 9 】，这种方法以罗奇光栅产生的结构光 场投影到待测的三维物体表面，得到被三维物体形貌调制的变形光场，成像系 统将此变形条纹光场成像于面阵探测器上，然后用计算机对象的强度分步进行 傅立叶分析、滤波和处理，得到物体的三维形貌分布。这种方法获取速度快， 具有较高精度。 f t p 变换轮廓术的典型原理光路如图所示，投影光束通过投影光栅的调制， 形成了一个具有空间周期结构的投影光场，一般可以选择罗奇光栅或者是正弦 光栅。投影光场投射到物体表面或者是参考平面，c c d 摄像机即可采集到不同的 光场分布。由于物体表面的高度变化，引起了空间周期结构的光场发生变化， 当从c c d 采集到这些变化的光场和原始光场后进行分析，即可解调出因为高度 变化引起的位相值的变化，即可进一步获得高度值的变化。 如图l2 中，暑只是投影系统的光轴， 厶是成像系统的光轴。投影光栅的 栅线垂直于厶昱d 平面。e 为c c d 成像面。只日是投影光线，如是成像光线，c 点、d 点分别是投影光线和成像光线与参考平面的交点。0 点是投影光轴与成像 光轴的交点。参考平面是过o 点并且与厶只d 平面垂直的平面。 第1 章引言 氮考蕾羹 ，w 。 、，f j 钧体衰鞭 图1 2 结构光轮廓术结构图 设投影光栅是罗奇光栅。由于物体面形的调制，观察系统得到变形的光栅像， 由成像系统得到的变形光栅像可以记为： g ( x ，y ) = ，( j ，) ，) 以e x p u ( 2 矾工+ n 妒“) ，) ) ) n o 式中五是光栅像的基频，r ( 工，j ，) 是物体表面非均匀的反射率， 高度分布引起的位相调制，即 妒y ) = 2 矾肋 妒y ) 是物体 ( 1 2 ) 当 ( x ，y ) = o 时，即对参考平面r 测量时，变形光栅像为 g ( 石，) ，) = r ( x ，y ) 芝：以e x p ，( 2 刀：x + 以丸( 工，y ) ) ) ( 1 3 ) 式中丸( 工，y ) = 2 矾b c 。 对式( 1 3 ) 的变形光栅像进行一维傅立叶变换，对于某一固定坐标y ，滤掉 作为背景和缓变分量的零频分量以及作为噪声的2 次及其以上的高频分量，这 样，只剩下作为调制信号的基频分量，然后作逆傅立叶变换后光场分布变为 g ( 五j ，) = 4 r ( 五) ，) e x p ，( 2 矾x + 妒( 五y ) ) ( 1 4 ) 针对式( 1 4 ) 进行同样的运算后得到 9 0 ( 薯y ) = 4e x p u ( 2 矾工+ 唬( 五y ) ) ) ( 1 5 ) 4 第1 章引言 九) ，) 是由于投影系统的出瞳最在有限远处引入的附加位相调制，这时结构 光场的照明是发散的。当投影系统的出瞳在无限远时，在参考平面上的相位分 布是线性的，这对的附加位相调制等于零。对于发散照明情况，单纯由高度引 起的位相调制矿( x ，j ，) 为 矿( 五j ，) = 矿( j b ，) 一九( 工，j ，) = 2 矾i j d ( 1 6 ) 利用三角形月c d 和厶最h 的相似关系，可以得到所有的三维面形 ( 工，y ) 为 仅力= 蒜警勃 姐7 ， 1 2 3 激光三角法 激光三角法( 1 a s e rt r i a n g u l a t i o n ) 以传统的三角测量为基础，由于三维 形貌对结构光照聪光束产生了空闻调制，改变了成像光束的角度，即改变了成 像光点在检测器阵列上的位置，通过对成像光点位真的确定和系统光路的几何 参数，计算出距离。事实上，大多数三维形貌测量仪器都派生于三角测量原理。 激光三角法的典型原理结构图如图1 3 所示。 图l3 三角法原理图 o 图1 4 三角法光路图 5 碱 第l 章引言 三角测量系统一般采用如图1 4 所示的光路结构。探测器基线与成像光轴成 一倾角，当满足s c h e i m p f l u g 条件，即满足f g 护= j 魄汐时，投影光轴与探测器 之间为物像共轭关系，从而保证了测量的精度。上式中，k 是成像系统的放大倍 率。记成像系统的焦距为f ，z 和缸之间的关系为： ： ! 垡= 2 竺! 堡望 ( l8 ) ，s i i l 口+ 善c o s 目s i n 1 2 4 条纹结构光测量法川1 1 l 条纹结构光测量采用光学投射器将光条投影在被测物体表面，在其上形成 由被测物体表面形状所调制的条纹。该条纹由处于另一位置的摄像机拍摄，从 而获得二维变形条纹图像。条纹的变形程度取决于光学投射器和摄像机之间的 相对位置和物体表面形廓。在直观上，条纹在法线方向上的位移与物体表面深 度成正比，扭结变形表示了型面的变化，不连续显示了表面的物理突变间隙。 当光学投射器与摄像机之间的相对位置一定时，由变形的条纹图像便可以重现 物体表面形廓，即可以进行三维表面形貌测量。结构光三维测量具有量程大、 视场大、精度较高、光学条纹或结构光特征图像信息提取简单、实时性强及主 动受控等特点。近年来在工业中得到了愈来愈广泛的应用。同时由于使用高能 量光源照明，可以在自然环境下工作，抗杂光干扰能力强，因此具有广阔的应 用前景。 目前国内外有许多条纹结构光测量法的研究成果【1 2 h 1 6 1 。如h u 粕g 在文献f 1 7 】 中详细介绍了基于数字条纹投影的三维形貌测量技术的最新进展；s 枷o i l i 在9 0 年代初研究了用液晶投影仪数字化投影光条来实现自适应形貌测量【1 8 1 ；h u 提出 了一种d l p 数字条纹投影三维测量新方法【1 9 】；k o w a r s c h i k 研究了从三个不同角 度投影条纹结构光的自适应三维测量系统闭；f 删1 k o w s k i 提出了微镜 ( m i c r o m i 鲫d e “c c ，d m d ) 数字条纹投影的实时三维测量技术【2 1 】；k d l 口研究了 高速数字投影条纹结构光的实时深度信息获取方法阱】；s a t o 研制了一种多频谱 条纹投影测量仪田l ；h o n m g 提出了多波长相移条纹d m d 投影薄板成形测量方 法【卅；p a w l o w s k i 提出了运动物体的条纹投影监测方法f 2 5 】；刘维一等研究了彩色 组合编码条纹光栅轮廓测量技术【2 6 】【2 _ 7 】等。 6 第l 章引言 1 3 选题意义与主要研究内容 1 3 1 课题来源 本课题是由北京市重点实验室( 机电系统测控) 开放课题资助。 1 3 2 研究目的和意义 三维物体表面轮廓测量是获取物体形态特征的一种重要手段，在机器视觉、 自动加工、工业检测、产品质量控制等领域有重要意义和广阔的应用前景。结 构光测量法由于其高分辨率，无破坏、数据获取速度快等优点而被认为是很有 前途的三维形貌测量方法，其理论体系还不完备，新理论、新算法、新应用还 在不断涌现，而且研究这一课题涉及到视觉计算、图像处理以及光学等方面理 论和计算机、信息、光电器件与测量等方面技术。所以该课题的研究既具有重 要的理论意义，又具有重大的实用价值，应用前景非常广阔，并能创造可观的 经济效益。 1 3 3 主要研究内容 本文主要研究了基于二迸制编码结构光的三维形貌测量系统，分析了该测量 系统的测量原理，构建了结构光投影条纹，分析了测量系统的标定方法，并提 出了一种大视场范围标定光平面的方法，使得系统的标定范围扩大，最后针对 该系统进行实验和精度分析。具体内容共分六章，安排如下：第一章概述了三 维形貌测量技术的情况、主要的测量方法，分析了本课题研究的目的和意义， 介绍了课题的主要研究内容。第二章分析测量系统得基本原理，构建结构光投 影条纹并生成编码条纹。第三章分析了该测量系统的标定方法，采用线性透视 投影模型标定摄像机参数，利用交比不变性质和标定靶标上的已知信息标定投 影条纹光平面方程。第四章为了克服原标定方法不能标定全部光平面方程的缺 点，提出一种大视场范围标定光平面的方法。第五章对该系统进行标定实验和 测量实验，得到实验结果，并对结果进行重复性和精度分析。第六章对该系统 影响精度的因素进行分析。第七章是结论与展望，介绍了进一步的研究方向。 7 第2 章基于二进制编码结构光的三维形貌测量系统 第2 章基于二进制编码结构光的三维形貌测量系统 2 1 测量系统模型 本系统采用基于二进制编码结构光的测量方法。采用主动投影式原理，向被 测物投影结构光，利用摄像机采集反射光，然后从包含被测物信息的二维图像 中提取出物体的三维轮廓信息。该系统主要由一台l c d 投影仪，一台c c d 摄像 机和一台p c 机组成。如图2 1 所示。投影仪投出的结构光条纹图案和被测物体 表面相交，产生一个能反映被测物表面信息的截面曲线，投影条纹和截面曲线 构成条纹光平面，曲线上的点p 就是被测点。根据光平面上点和摄像机平面上 点的投影对应关系，可以计算出被测点的坐标值。本文构造了九幅栅状的由黑 白条纹组成的图案，把这九幅图案依次投影到被测物表面，由c c d 记录下每一 幅投影图案在物面空间形成的图像，将这些图案在被测物表面投影所形成的条 纹图像进行组合，即由计算机对这些图像进行处理和编码，由此把被测物空间 的区域分割成一系列条状、狭窄的子区域。因为编码的位数等于投影图案的个 数，这样被测空间被分割成若干个子区域，每个子区域都对应一个独一无二的 码字，我们用这个码字来标识该子区域的中心光平面。 s 瓣l l 图2 1 系统结构图 第2 章基于二进制编码结构光的三维形貌测量系统 2 2 编码图案的生成 2 2 1 二进制编码的原理【圳 本系统所使用的编码图案为一系列明暗相问的黑白条纹图，在计算机的控 制下由投影仪依次投影到被测物体上，再由c c d 摄像机依次拍摄条纹图像。将 所得的条纹图像进行二值化处理，图像中自色条纹区域的像素标记为“l ”，黑 色条纹区域的像素标记为“o ”，这样每经过一次投影，图像中的每一个像素就 获得一个二进制数“o ”或“l ”。待投影图案全部投影完成后，将像素所获得的 二迸制数顺序组合起来，具有相同编码的像素就构成了一个窄的条状区域，这 样被测物空问就相应的被分割成一系列由二进制编码唯一确定的窄的条状区 域。 理论上，被测物空间区域被分割的子区域的数目与投影图案的幅数与编码 方案有关。因为后一幅条纹图案的条纹密度是前一幅的2 倍，所以分割区域的 数目与投影图案的幅数之前的关系是2 ”( n 为投影条纹图案的幅数) 。本文中投 影仪依次向被测物空间投影了九幅编码图案，通过空间二进制编码，被测物空 间在图像上被分成了由“o o o o o o o o o ”到“l l l l l l l l l ”一共5 1 2 个二进制编码标 识的区域。 以3 幅投影图案为例，二进制编码原理如图2 2 所示。 _ - 2 帕 髑值 口丑互卫薹豳 i 一 7 4523 图2 2 二进制编码原理 9 ： 第2 章基于二进制编码结构光的三维形貌测量系统 2 2 2 = 进制编码的特点2 l 如何对被测空间编码在基于三角法的3 d 形貌测量中起着重要作用，它影响 测量的速度、精度和可靠性。通过研究可知，用于三角法3 d 形貌测量的合格空 间二迸制编码必须满足以下条件： 1 编码必须是相互独立的。这就是说每一个编码区域对应码字必须是独一 无二的，即在被测空间内没有相同的编码。这个条件是必要的，因为它使基于 单一像素的三角法成为可能。 2 编码必须是能够自我规范化的。这个条件也是为了满足单一像素的三角 法。由于像素上取得的光强灰度值受投影物面的反射率影响，可能的情况是暗 条纹在白色物面上产生的灰度值比亮条纹在黑色物面上产生的灰度值大。这样 就不能用一个二值化的阈值去满足所有的被测区域，单一阈值只适用于物面反 射率一致且无外部光照的构造情况。因此，我们要求每一个物点上至少有一个 亮条纹和一个暗条纹落在上面，它对应的像素上的光强灰度值序列中就会含有 一个较大和较小的灰度值。这样就可以按单一像素二值化以取得二进制编码， 其阈值为该像素上较大和较小的灰度值的平均值。我们称这样的编码为能够自 我规范化的，它能够适用于物面反射率不一致且有外部光照的非构造情况。 图2 3 中左面的二元码是最简单的二进制码。该编码中区域o 和7 由三个 “o ”或三个“l ”组成码字，它不能被规范化。解决这个问题的方法是增加一 幅全亮和一幅全暗的投影图案，以确保每一个码字能够规范化。这相当于增加 一个o 和1 位到每一个码字中，这样区域o 和7 键的码字“0 0 0 ”和“1 1 1 ”变 成“1 0 0 0 0 ”和“1 0 1 1 1 ”。但是，我们付出的代价是编码效率很低，5 幅图案仅 构造了一个8 个码字的编码。 一一 1 0 第2 章基于二进制编码结构光的三维形貌测量系统 3 编码相邻码字间的h a m m i n g 距离均是l 。相邻两个码字之间的不同位 数的数目称为h a l i l i l l i n g 距离。在译码过程中，如果相邻码字之间只有一个位数 发生变化，那么这个像素只会被编成这两个码字中的一个。当两个码字之间的 不同位数的数目称为h 锄吼i n g 距离时，这个情况对应的h 觚m 1 i n g 距离是1 如果两个相邻码字之间的h a m m i n g 距离大于l ，那么在这两个码字交界的地方 会产生较大的编码误差。 图2 4 中二元码的h 锄m i n g 距离最大是3 ，发生在区域3 和4 之间。区域 3 的码字是0 1 1 ，区域4 的码字是l o o ，而它们的交界处的码字在最坏的情况下 可能是1 1 l 或o o o ，这样编码的误差就很大。图2 4 右边的灰度码满足相邻码字 的h a 删m n g 距离恒为1 的要求。但它含有不能被规范化的码字。 i2l3j2 卜+ h 椭m i 蕾喀耀赢t l l ll t i 7矗5432lo 一- i 匿域 图2 4 编码的h a 衄i n g 距离 4 编码方案必须满足采样定理。采样定理在这里可以描述为摄像机的采样 频率是投影仪对物体表面的区域划分频率的两倍以上。具体的讲，编码要受硬 件设备分辨率的限制，即要满足划分的最小区域的宽度和一个像素视野宽度之 比大于2 。 2 2 3 = 进制编码图案的生成 由于本测量系统选用的c c d 摄像机分辨率为2 0 4 8 1 5 3 6 ，投影仪的分辨率 为1 0 2 4 7 6 8 。根据采样定理，摄像机和投影仪的采样频率与投影仪对物体表面 的区域划分频率之比应大于2 ，又由于我们采用横向分割物体表面区域的办法， 采用的采样频率最大值应为投影仪的横向分辨率1 0 2 4 。所以投影编码条纹图案 总数n 的计算式为 1 0 2 4 2 ”2( 4 1 ) 从而得 ，9 ( 4 2 ) 第2 章基于二进制编码结构光的三维形貌测量系统 因此，最多可以向被测物表面投影9 幅编码条纹图案。 再由前文所述的二进制编码的特点，这里采用九位字长的二进制编码，并通 过软件编程生成了l l 幅投影图案：它们分别为l 幅全黑图案、1 幅全自图案和 9 幅黑自条纹图案，根据条纹图案中黑白条纹数由少到多的顺序，九幅黑白条纹 图案分别被编号l 、2 、3 、4 、5 、6 、7 、8 、9 ，如图2 5 所示。 _ _ _ _ _ _ _ _ 1 2 第2 章基于二进制编码结构光的三维形貌测量系统 2 3 测量的基本原理1 1 埘 n = 9 图2 5 二进制编码图案 测量系统模型中被测物表面三维信息点坐标的求解方法通常有两种：空间 解析几何法和应用透视投影理论的检测方法，由于空间解析法要准确调整结构 光投射器或者摄像机的安放位置，所以只能有限度的满足特殊场合的使用要求， 而应用透视投影理论的检测方法是以摄像机的内部参数、视觉系统结构参数或 者光平面方程为基础的检测方法，所以具有广泛的适用性，因此本文采用了该 方法。下面以任意一个光平面为例介绍如何求取被测物表面点的三维信息。 如图2 6 所示，图中给出了任意一个结构光平面的三维视觉透视投影模型的 几何结构关系，建立这个模型的目的就是找到光投射器在空间投射的任意一个 光平面与像平面之间的透视投影对应关系。图2 6 中的几个坐标系分别为；摄像 机坐标系0 。一x 。y c z 。，为右手系；像平面坐标系o ；一x y ；世界坐标系 o 。一) ，r ：，为右手系。 第2 章基于二进制编码结构光的三维形貌测量系统 定平瓣 t ，一， ， 砖 v 投影麓 图2 6 结构光三维视觉透视投影模型 摄像机坐标系与世界坐标系的空间位置关系可用式( 2 1 ) 表示 却 y z 1 ( 2 1 ) 其中p 为齐次坐标的系数，m 为摄像机的投影矩阵。 世界坐标系的建立是任意的，因此由式( 2 1 ) 不能够由摄像机二维像点坐 标( x ，y ) 得到唯一对应的三维物点的坐标( 碲，蜥，) ，还需要增加一个方程的 约束才能够消除这种多义性。此时就需要建立光平面的方程。为此，设任意一 个光平面在世界坐标系下的方程为 4 + 勿钾+ 比0 + d = o ( 2 2 ) 这样，将式( 2 1 ) 和式( 2 2 ) 联立起来便能求得被测物表面与该光平面交 点的三维信息了，联立方程式可被写为： x 1 p iyi - 肘 【lj h y w 锄 l 口研+ 切佛+ c z 矿+ d = o ( 2 3 ) 其中，( 坼，蜥，研) 表示任意物点的世界坐标，p 为齐次坐标的系数，m 为 1 4 膨 = 1j r r p。l p 第2 章基于二进制编码结构光的三维形貌测量系统 摄像机的投影矩阵，4 ，6 c d 为任意光平面方程的系数。 以此类推，只要已知测量系统中投影的所有光平面的方程，便可求得被测 物体表面上所有点的三维信息。 2 4 小结 本章分析了基于二进制编码结构光的三维形貌测量系统的测量模型和测量 原理，根据二进制编码结构光的原理和特点构建了结构光投影条纹并生成编码 图案。本系统应用透视投影理论的检测方法，以摄像机投影矩阵和光平面方程 为基础建立图像点与对应世界点的关系该方法不需要准确投影仪和摄像机的 安放位置，所以具有广泛的适用性。 第3 章系统的标定 第3 章系统的标定 由第2 章的论述可知，只要求得摄像机的投影矩阵和各光平面的一般方程式， 然后将它们代入式( 2 3 ) 即可求得被测物体表面点的三维坐标，所以该系统标 定任务就是标定摄像机和光平面的一般方程式的系数。标定工作分为两部分： 摄像机标定和投影光平面的标定。为了实现该标定方法，我们还需要建立系统 坐标系。 3 1 系统坐标系的建立 在标定之前，首先需要定义坐标系统。针对第2 章所述测量系统的结构，本 文一共定义了4 个坐标系。 3 1 1 定义坐标系f 2 ，l 如图3 1 ，底部的平面是真实世界投影得到的图像平面，纵向的虚线是光轴； 透镜位于焦点c ( 也称作光心) ，与光轴垂直；焦距f 是透镜参数。投影是由从 场景点p ( 参见图3 1 中的左上部) 反射出的或起源于光源的光线( 或光束) 形 成的。光线穿过光心c 击在图像平面的点u 处。 我们定义的4 个坐标系统如下： 1 欧式世界坐标系( 下标为w ) ，原点在点0 0 ，点p 以世界坐标系来表示。 2 欧式摄像机坐标系( 下标为c ) ，原点在焦点c ；晓。坐标轴之与光轴重 合并指向图像平面外。在世界坐标系和摄像机坐标系之间存在着唯一的关系。 我们可以通过由一个平移向量f 和一个旋转矩阵r 构成的欧式变换将世界坐标 转化成摄像机坐标。 3 欧式图像坐标系( 下标为j ) ，坐标轴与摄像机坐标系一致，置和誓位于 图像平面上。 4 像素坐标系( 下标为口) ，坐标轴是“，v 摄像机完成从3 d 射影空间p 到2 d 射影空间p 2 的线性变换。 第3 章系统的标定 图3 1 线性透视摄像机的几何模型 3 1 2 标定靶标 根据该系统标定方法的特点，我们要利用已知场景对系统进行标定，因此 需要使用特殊的标定靶标。本文设计了如图3 2 的标定靶标。 该靶标是一个长方体，选取它的一个项点作为世界坐标系的原点，三条边 分别指向x ，y ，z 方向。该靶标沿着x ，y ，z 方向的长度分别为2 0 0 唧，1 0 0 唧， 1 0 0 砌。本文利用其中的两个相互垂直的刚性平面作标定用，每个平面上有两组 点阵列，每组4 个点，这4 个点是在同一条直线上。这些点的三维世界坐标都 已精确得到。该靶标一共提供了1 6 个已知世界坐标的三维点。 第3 章系统的标定 3 2 摄像机的标定 图3 2 标定靶标 摄像机的标定是确定摄像机投影矩阵的m 中的数值的过程。线性透视投影 模型是适合于很多计算机视觉应用的最简单的近似。本文采用线性透视投影模 型对摄像机进行标定。 3 2 1 线性透视投影模型1 3 0 l 一个场景点p 在欧式世界坐标系下表示为一个3 1 的矢量。为了将同一个 点在欧式摄像机坐标系下表示出来，我们必须建立世界坐标系与摄像机坐标系 的关系，用旋转矩阵r 与平移向量t 来描述。因此，空间中某一点p 在世界坐 标系与摄像机坐标系下的齐次坐标如果分别是( x 。，y ，z 。，1 ) 7 与( x 。， r c ， z c ，1 ) ，则存在如下关系： x c l r c z c l = 纠 x w 】，w z w 1 = m x w y w z m ， l ( 3 1 ) 点p 投影到图像平面石上是点u 。投影后的点的坐标而和咒可以由相似三角 形导出。如图3 3 所示。 第3 章系统的标定 工：盟 1 z c 只：孕 z ( 3 2 ) 其中，( 而，辨) 为p 点的图像坐标；( 五，艺，z c ) 为空间点p 在摄像机坐标系下 的坐标。若用齐次坐标与矩阵表示上述透视投影关系则有： ooo 忆 舌潍 j l1 z c 。 l f 车一 z c l l7 兰 乙 图3 3 投影后的点的坐标计算 x c ( 3 3 ) 完成上述推导之后，就剩下导出投影后的点u 在像素坐标系下的位置这个问 题了，也就是要确定真正的摄像机给出的坐标。 摄像机采集的图像以标准视频信号的形式输入计算机，经计算机中的专用 数模转换板变换成数字图像。每幅数字图像在计算机内为膨数组，m 行n 列的图像中的每一个元素( 称为像素，p i x d ) 的数值即是图像点的亮度。如图3 3 所示，在图像上定义直角坐标系“，v ，每一像素的坐标( “，v ) 分别是该像素所在 数组中的列数与行数。所以，似，订是以像素为单位的图像坐标系的坐标。由于 ，v ) 只表示像素位于数组中的列数与行数，并没有用物理单位表示出该像素在 1 9 厂o o 。l i i 1j 而乃 。l 乙 第3 章系统的标定 图像中的位置，因而，需要再建立以物理单位( 例如毫米) 表示的图像坐标系。该 坐标系以图像内某一点q 为原点，x 轴与y 轴分别与“，v 轴平行，如图3 4 所示。 在五，y 。坐标系中，原点d i 定义在摄像机光轴与图像平面的交点，该点一般位于 图像中心处，但由于摄像机制作的原因，也会有些偏离，若口在”，v 坐标系中的 坐标为( ，v 0 ) ，每一个象素在x 轴与y 轴方向上的物理尺寸为d 】【，d y ，则图像 中任意一个象素在两个坐标系下的坐标有如下关系： 肛去坶v 一考+ v o 肛瓦+ v _ 孟+ v o o ， r v ” 图3 4 图像坐标系与像素坐标系 为使用方便，这里用齐次坐标与矩阵形式将上式表示为 逆关系可写成 = 1 1 夏：卜 。方v 0 ” o0li l l j 刚喜 2 0 ( 3 4 ) ( 3 5 ) ( 3 6 ) 胡i卫丌oooo且 懈呐。 一 一 o 砂o 第3 章系统的标定 互叫专善；i 墨；参忙专；枣卜峭峨 3 2 2 线性模型摄像机标定1 1 0 l 刚 摄像机的标定就是确定摄像机投影矩阵m 中的数值的过程。假如已知在3 d 世界中的一组n 个非共面的点以及其对应的2 d 图像点，每个3 d 场景和2 d 图 像的对应点提供一个方程： z d 矗| = m x q 砷 为了得到m ，我们对上式展开，求解3 4 投影矩阵m 中的数值。 2 1 第3 章系统的标定 啊2 啊3 ， 疗b 2 疗 x m 匕 z 。i l ( 3 9 ) 其中，( 瓦，k ，乙，1 ) 为空间第i 个点的坐标；( ，v f ，1 ) 为第i 点的图像坐标； 为投影矩阵m 的第i 行j 列元素。式( 3 9 ) 包含三个方程： 乙毪= ，l l l j 0 + 码2 】0 + ，| 1 3 z “+ 秭4 z d v f = 鸭i 瓦+ k + 乙+ ( 3 1 0 ) 乙= 鸭i + 圪+ 鸭3 乙+ 将式( 3 1o ) 中的第一式除以第三式，第二式除以第三式分别消去z d 后，可得 如下两个关于州。的线性方程： 瓦强l + 瓦r 铂2 + ，+ 秭4 一蚱“传l 一辑一强z “2 终 ( 3 1 1 ) j 0 i + 匕，+ z 一厅b + 他4 一h j 0 他l 一叶k ，1 3 2 一m z 州鸭3 = m 、 上式表示，如果标定块上有n 个已知点，并已知它们的空间坐标 ( k ，k ，z 。) ( f = l ，1 ) 与它们的图像点坐标( 吩，h ) o = 卜以) ，则我们有2 ，1 个关 于m 矩阵元素的线性方程，下面用矩阵形式写出这些方程： 瓦1匕l乙l 1o o0 o 一“i j 0一“l l i叫l 乙l ooo o 瓦，乙l l 1 扎。一h - v l 乙- 瓦。r 删z 。l 00o o 叫l 以。一吲i z 枷 ooo0k z 删1 一h 1 一v i 瓦 ( 3 1 2 ) 由式( 3 7 ) 可见，m 矩阵乘以任意不为零的常数并不影响( j 0 ，l ，乙) 与 ，力 鸭鸭 _。l = 1，0_ 畸1 -。l 乙 懒慨 一 懒帆 第3 章系统的标定 的关系，因此，在式( 3 1 2 ) 中可以指定钆= l ，从而得到关于m 矩阵其他元素的 2 一个线性方程，这些未知元素的个数为1 1 个，记为l l 维向量m ，将式( 3 1 2 ) 简写成 砌= u ( 3 1 3 ) 其中，k 为式( 3 1 3 ) 左边2 雄l l 矩阵；朋为未知的l l 维向量；u 为式( 3 1 3 ) 右边 的2 n 维向量；k ，u 为已知向量。当2 n l l