（通信与信息系统专业论文）摄像机自标定及三维重建算法研究.pdf

摄像机自标定及三维重建算法副f 究 y1 0 0 7 s 7 2 摘要 从二维图像恢复三维空间可见表面的几何结构( 称为三维重建) 是人类视觉 的主要目的，也是计算机视觉的重要研究内容和最终研究目标。摄像机标定是进 行三维重建的关键一步，摄像机自标定技术通过图像本身的特征求解摄像机内参 数，相对于传统的离线式摄像机标定技术，自标定技术是在线的，因此摄像机自 标定技术具有相当大的理论研究价值与广阔的应用前景，摄像机自标定也成为9 0 年代中后期在计算机视觉界兴起的最重要的研究方向之一。 本文对摄像机自标定及三维重建算法进行了积极的探索与深入研究。我们首 先从基于模型的已标定单视图情况入手，通过建立深度矢量所在的零空间和目标 模型矩阵的零空间之间的关系，提出了一个从目标单视图线性地精确重建其三维 位姿的新算法，该算法只需要6 个特征点即可实现目标三维位姿的线性重建( 六 点算法) 。理论分析和实验数据表明，该算法具有快速高效、简单实用、抗噪能 力较强的优点。然后，我们将六点算法推广到未标定单视图的三维重建。提出了 基于模型的单视图线性白标定及三维重建算法，该算法继承了六点算法的优点， 且可实现较为精确的摄像机自标定。为了获得更高的标定精度，我们整合利用摄 像机获取的动目标视频图像中的多帧数据信息，将单视图算法推广到多视图算 法，提出了基于模型的多视图线性自标定及三维重建算法，实验数据表明，该算 法使标定精度得到了较大的提升，此外，我们给出了实现该算法的两种思路，并 对这两种思路的算法实现分别做了实验及相应的实验结果比较分析。 我们知道，目前少有成功的多视图自标定技术，而且，已有的技术也限于特 定摄像机运动模式下的线性自标定及三维重建，因此研究无运动模式约束的多视 图自标定及三维重建技术具有相当大的理论与应用价值。在前述研究成果基础 上，我们提出了多视图非线性自标定及三维重建算法。该算法在非线性实现部分 引入了前述研究成果，并成功地实现了算法性能相对于线性算法的较大提升。此 外，我们给出了实现该算法的两种思路，并对这两种思路的算法实现分别做了实 验及相应的实验结果比较分析。 文章最后，我们将所提出的非线性算法应用于真实图像序列，并取得了满意 的实验结果。同时我们也通过实验发现了多视图特征点进入或跑出视场的问题， 对于这个问题我们提出了初步的策略，具体的改进算法将做进一步的研究。 关键词：摄像机自标定，三维重建 摄像机自标定及三维重建算法研究 a b s t r a c t r e c o v e r i n g3 ds h a p ef r o m2 di m a g e s ，o r3 dr e c o n s t r u c t i o n ，i sn o to n l y t h em a i nt a s ko fh u m a nv i s i o n b u ta l s oak e yr e s e a r c ha r e aa n df i n a la i mi n c o m p u t e rv i s i o n c a m e r ac a l i b r a t i o n i sak e ys t e pi nt h ep r o c e s so f3 d r e c o n s t r u c t i o n a n ya l g o r i t h mo fc a m e r as e l f c a l i b r a t i o ni su s e dt oc o m p u t et h e i n t r i n s i cp a r a m e t e r so fc a m e r aj u s tf r o mf e a t u r e - p o i n ts e to fv i e w s ，w h i c h m a k e ss e l f - c a l i b r a t i o nw o r ko n l i n e ，w h i l et r a d i t i o n a lc a l i b r a t i o nt e c h n i q u e sa r e o f f - l i n e t h e r e f o r ec a m e r as e l f c a l i b r a t i o nh a sb e e nq u i t ev a l u a b l ea n d p r o m i s i n gb o t hi nt h e o r ya n da p p l i c a t i o n ，a n dt h i st e c h n i q u eh a sb e e na r i s e n a so n eo ft h em o s ti m p o r t a n ts d e c i a l j z a 啊o n si nc o m p u t e rv i s i o ns i n c el a t e 1 9 9 0 s i nt h i sp a p e r ，w ef o c u so u ra t t e n t i o no nt h er e s e a r c ha n de x p l o r a t i o no f c a m e r as e l f - c a l i b r a t i o na n d3 dr e c o n s t r u c t i o n w es t a r to u rw o r kf r o m m o d e l - b a s e dc a l i b r a t e ds i n g l ev i e w ，a n da f t e rt h ec o r r e s p o n d e n c er e l a t i o n s h i p b e t w e e nt h en u l ls p a c ef e l lb yt h ed e p t hv e c t o ro ft h et a r g e ti m a g e di nt h e s i n g l e v i e wa n dt h en u l ls p a c eo ft h em o d e ls h a p em a t r i xo ft h et a r g e ti sb u i l t ，a n e wa l g o r i t h mt ol i n e a r l ya n de x a c t l yr e c o n s t r u c tt h e3 dp o s eo ft h ei m a g e d t a r g e tf r o ms i n g l e v i e wi sp r e s e n t e d t h ea l g o r i t h mn e e d sa tl e a s ts i xp o i n t st o g e tt h es o l u t i o n t h et h e o r e t i c a la n a l y s i sa n dag r e a td e a lo fe x p e r i m e n t sh a v e d e m o n s t r a t e dt h a tt h es u g g e s t e da l g o r i t h mi sf a s t ，e f f i c i e n t ，e f f e c t i v ea n d r a t h e rr o b u s tt on o i s e t h e nw es t e pf u r t h e ra n dg e n e r a l i z e 6 一p o i n ta l g o r i t h m t ot h eu n c a l i b r a t e ds i n g l e v i e w , w h e r e m o d e l b a s e dl i n e a rs e l f c a l i b r a t i o na n d 3 dr e c o n s t r u c t i o nf r o ms i n g l e - v i e w a l g o r i t h mi sp r e s e n t e d t h i st e c h n i q u eh a s i n h e r i t e dt h es t r o n g p o i n t sw h i c ha r ep o s s e s s e db y 6 一p o i n ta l g o r i t h m ，a n di t a l s os u c c e e d si na c c u r a t ec a l i b r a t i o n f o rt h es a k eo fg a i n i n gh i g h e ra c c u r a c y i nc a l i b r a t i o n ，w ef o r w a r do u ra t t e n t i o nt om u l t i v i e wa n dg e n e r a l i z et h e a l g o r i t h mp r e s e n t e da b o v et oam u l t i v i e wo n e ，w h e r e m o d e l b a s e dl i n e a r s e l f c a l i b r a t i o na n d3 dr e c o n s t r u c t i o nf r o mm u l t i - v i e w a l g o r i t h mi sp r e s e n t e d e x p e r i m e n t sh a v ed e m o n s t r a t e dt h a tt h es u g g e s t e da l g o r i t h mh a sg a i n e d m u c hh i g h e ra c c u r a c yi nc a l i b r a t i o n b e s i d e s ，w ea l s op r e s e n tt w ow a y st o r e a l i z et h i st e c h n i q u ew i t hc o n t r a s t e de x p e r i m e n tr e s u l t sa t t a c h e d a sw ek n o w , s u c c e s s f u ls e l f c a l i b r a t i o nt e c h n i q u e sf r o mm u l t i v i e wa r e 摄像机自标定及三维重建算法研究 q u i t el i m i t e d a n de v e ni fm o s to ft h es u c c e s s f u lo n e sa r er e s t r i c t e dt os p e c i f i c c a m e r am o t i o nm o d e s i t sq u i t ea t t r a c t i v et od e v e l o pm u l t i - v i e wa l g o r i t h m s w i t h o u tm o t i o nm o d er e s t r i c t i o n w es t e pf u r t h e ra n d ，b a s e do no u rw o r k a b o v e n o n l i n e a rs e l f c a l i b r a t i o na n d3 dr e c o n s t r u c t i o nf r o mm u l t i v i e w a l g o r i t h mi sp r e s e n t e d t h i st e c h n i q u em e r g e sw o r ka b o v ei n t oi t sn o n l i n e a r r e a l i z a t i o n p a r t a n ds u c c e e d si n p r o m o t i n g t h ea l g o r i t h m p e r f o r m a n c e c o n t r a s t e dw i t hi i n e a rt e c h n i q u e b e s i d e s ，w ea l s op r e s e n tt w ow a y st or e a l i z e t h i sn o n l i n e a rt e c h n i q u ew i t hc o n t r a s t e de x p e r i m e n tr e s u l t sa t t a c h e d a tt h ee n do ft h i sp a p e 5w ea p p l yo u rs u g g e s t e dn o n l i n e a ra l g o r i t h mo n r e a li m a g es e q u e n c e ，a n de x p e r i m e n tr e s u l t sa r es a t i s f y i n g w ea l s on o t i c et h e p r o b l e mo ff e a t u r ep o i n t sw a n d e r i n go u t s i d eo ri n s i d e v i s i o nf i e l d w eh a v e p r e s e n t e dap r e p a r a t o r yc o u n t e r m e a s u r ea n d d e t a i l e dr e f o r m a t i v ea l g o r i t h mi s t 0b ep r e s e n t e ds o o n b a o c h e n gz h a n g ( c o m m u n i c a t i o na n di n f o r m a t i o ns y s t e m ) d i r e c t e db yp r o f e s s o rz h o n g g e ny a n g k e y w o r d s ：c a m e r ac a l i b r a t i o n ，3 dr e c o n s t r u c t i o n 论文独创| 生声明 本论文是我个人在导师指导下进行的研究工作及取得的研究成果。 论文中除了特别加以标注和致谫十的地方外，不包括其他人或其他机构已 经发表或撰写过的研究成果。其他同志对本研究的启发和所做的贡献均 已在论文中作了明确的说明并表示了谢意。 作者签名：主遮盔篮同期：巡里6 ：笸= 垫 论文使用授权声明 本人同意上海海事大学有关保留、使用学位论文的规定，即：学校 有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以上网公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。保密的论文在解密后遵守此规定。 作者签名：迭婪导师签名：拯叁掘日期：2 业6 ：! 逊 摄像机自标定及三维重建算法研究 1 1 课题研究背景 第一章引言 视觉是人类感知环境、认识外部世界的主要途径，据统计，人类约有8 0 的 信息是通过视觉途径获取的1 1 2 1 。计算机视觉的研究目的就是要赋予计算机以人 类的视觉认知功能，使计算机具有通过二维图像认知三维世界的能力1 1 一。随着 计算机技术的不断发展，这方面的应用需求也与日俱增。从最初的机器人视觉导 航到目前日益流行的基于计算机图像学的三维游戏、视频特技、互联网虚拟漫游、 电子商务、数字图书馆、可视通讯、虚拟现实等诸多前景广阔的应用，如何更逼 真地、简便地获得真实世界的三维模型促使着计算机视觉研究者们不断地提出新 的算法以及完善现有的方法。 当今计算机视觉学术界的基本理论框架是m i t 的d a v i dm a n 教授 3 1 在八 十年代初提出的。他首先从信息处理的角度综合了图像处理、心理物理学、神经 生理学及临床精神病学的研究成果，提出了迄今为止最为完善的视觉系统框架 1 4 一。这一框架大大地促进了计算机视觉的发展，并成为这一领域中的主流理论。 尽管过去几年中，人们对m a n ：理论提出了这样或那样的质疑或批评，但到目前 为止，m a r t 理论仍然在计算机视觉领域占统治地位。 作为m a r r 计算机视觉理论的最终目标，从二维图像恢复三维物体可见表面 的几何结构( 称为三维重建) 是人类视觉的主要目的之一【4 】。在计算机视觉领域， 三维重建主要分为三个步骤完成：1 ) 图像间对应点的匹配，即从不同图像中找 出同一空间点在这些图像上的成像过程；2 ) 对摄像机进行标定，即确定摄像机 本身所固有的与光、电特征及几何结构有关的内参数；3 ) 在此基础上，进一步 确定不同图像间摄像机的运动参数，即求解外参数。一旦摄像机被标定，图像间 摄像机的运动参数则可以很容易地鲁棒地被求出1 6 , 7 。所以可以看出摄像机标定 结果的好坏直接决定着三维重建结果以及其他计算机视觉应用效果的好坏，研究 摄像机的标定方法具有重要的理论研究意义和重要的实际应用价值。 1 2 国内外在这一领域已进行的工作及前沿的主要问题 摄像机标定是计算机视觉领域中从二维图像获取三维空间信息必不可少的 步骤，被广泛用于三维重建、导航、视觉监控等领域。广义上摄像机标定可分为 三种：传统标定方法【8 , 9 , 1 0 , 1 1 1 、基于主动视觉的标定方法【1 2 创和自标定方法 3 , 2 5 - 3 4 。所谓传统的摄像机标定方法是指用一个结构已知、加工精度很高的标定 摄像机自标定及三维重建算法研究 块作为空问参照物，通过空间点和图像点之间的对应关系来建立摄像机模型参数 的约束，然后通过优化算法来求取这些参数。传统方法的典型代表有d l t 方法 f d i r c c tl i n e a rt r a n s f o r m a r i o n l 【8 1 ，t s a i 的方法【9 - 10 】，w e n g 的迭代法【3 5 】，以及 简易标定法 1 1 , 1 3 。传统方法的优点是可以使用任意的摄像机模型，标定精度高， 其不足是标定过程复杂，需要高精度的标定块，而实际应用中在很多情况下无法 使用标定块，如空间机器人，危险、恶劣工作环境下工作的机器人等。所以，当 应用场合所要求的精度很高且摄像机的参数不经常变化时，传统标定方法应为首 选。第二类方法是基于主动视觉的摄像机标定，是指“已知摄像机的某些运动信 息”下标定摄像机的方法。这里，“已知摄像机的某些运动信息”包括定量信息 和定性信息。定量信息如摄像机在平台坐标系下朝着某一方向平移某一给定量， 摄像机的二平移运动讵交等。定性信息如摄像机仅作纯平移运动 1 4 , 4 9 或仅作旋 转运动1 1 司等。基于主动视觉摄像机标定方法的主要优点是一般摄像机的模型参 数可以线性求解，因而算法的抗噪性能良好或鲁棒性( r o b u s t n e s s ) 较高，其不 足是不能适用于摄像机运动未知或无法控制的场合，如手持摄像机等。以上两种 标定方法均利用到场景或摄像机运动的信息，对于场景任意、摄像机运动未知的 最一般的情形，则都无能为力。自标定方法( s e l f - c a l i b r a t i o n ) 不需要标定块，不 需要摄像机作特殊运动，是仅依靠多幅图像对应点之间的关系直接进行标定的过 程。自标定由于仅需要建立图像对应点，所以标定方法灵活性强，潜在的应用范 围广，其最大的不足是鲁棒性差。 2 0 世纪9 0 年代初，h a r t l e y l 、f a u g e r a s 2 n , 2 7 1 等首先提出了摄像机自标定的 概念，使得在场景未知和摄像机任意运动的一般情形下标定成为可能。f a u g e r a s 等1 2 s 从射影几何的角度出发证明了每两幅图像间存在着两个形女 i k r u p p a 方程 的二次非线性约束，通过直接求解k r u p p a 方程组可以解出内参数。鉴于直接求 解k r u p p a 方程的困难，人们又提出了分层逐步标定的思想，即首先对图像序列 做射影重建，在此基础上再仿射标定和欧氏标定。分层逐步标定的方法以h a r t l e y 的o r 分解法 3 7 1 、t r i g g s 的绝对二次曲面法1 3 8 】、p o u e f e y s 的模约束法1 3 9 等为 代表。针对在实际应用中摄像机内参数会实时改变的情形，人们进一步提出了可 变内参数下摄像机自标定的概念。h e y d e n 、p o l l e f e y s 等 3 0 , 4 0 从理论上证明：在内 参数满足一定条件的前提下，可变内参数下的自标定是完全可能的，p o l l e f e y s 等 【4 0 】还给出了一种比较实用的可变内参数下的摄像机自标定方法。 从本质上说，所有自标定方法都只是利用了摄像机内参数自身存在的约束， 这些约束与场景和摄像机的运动无关，这也是自标定方法较前两种标定方法更灵 活的原因。在国内，马颂德、胡占义等学者在这方面进行了不少先驱性的研究， 对推动这方面的研究和应用，起到了很突出的作用。目前摄像机自标定算法，其 2 摄像机自标定及三维重建算法研究 本质均是基于绝对二次曲线或其对偶绝对二次曲面的方法。这些算法中都需要解 一个非线性方程组或相应的非线性规划问题，除噪声影响外，对初值的选择十分 敏感。人们研究发现，基于绝对二次曲线和基于绝对二次曲面的摄像机自标定方 法很不鲁棒【4 1 】。针对这一问题，马颂德1 1 4 首先利用主动视觉系统对摄像机运动 的可控性，提出了三正交平移运动的线性方法。杨长江等人1 19 j 在此基础上提出 了一种改进方法，要求摄像机作四组平移运动，其中每组运动包括两次相互正交 的平移，利用极点可线性求解摄像机内参数。但这些方法均是在四参数即畸变因 子为零的摄像机模型下，实现摄像机自标定。在五参数模型下，利用这些方法不 可能线性求解。因此，吴福朝等人【2 2 l 利用场景的平面和极点信息，提出控制摄 像机作五组平移运动，其中每组运动包括两次相互正交的平移运动，线性求解摄 像机所有五个内参数的方法。以上线性方法要求利用主动视觉系统来控制摄像机 作正交平移运动，这限制了在一般场合的应用。吴福朝、胡占义 a s ，4 q 为此提出 了一种在一般实验平台上就可实现的线性自标定方法和理论，这种方法只要求摄 像机作一次平移运动和两次任意刚体运动，其核心是利用有限远平面的单应矩阵 来确定运动组的无穷远平面的单应性矩阵。尽管如此，国内的研究在某些方面仍 落后于国际，例如，国外己在研究含有时变内参数阵的摄像机自标定及其三维重 建问题。 摄像机自标定是9 0 年代中后期在计算机视觉界兴起的最重要的研究方向之 一，近年来在国际计算机视觉会议0 c c v ) 、欧洲计算机视觉会议( e c c v ) 、计算 机视觉和模式识别会议( c v p r ) 、国际模式识别会议( i c p r ) 以及相关领域的重要 国际杂志上大量内容相关文章的闻世充分说明了这一点1 1 1 - 8 2 0 , 2 5 - 3 1 3 5 - 4 0 , 4 3 4 9 。 1 3 论文研究内容 本文对计算机视觉中的摄像机自标定及三维重建问题进行了深入探讨，研究 并开发了多种误差性能良好且执行高效的摄像机自标定及三维重建新算法。 本文主要内容包括： 基于模型的单视图线性三维重建的六点算法 基于模型的单视图线性自标定及三维重建算法 基于模型的多视图线性自标定及三维重建算法 多视图非线性自标定及三维重建算法 总结与展望 本文对各算法均用m a t l a b 软件进行仿真实验与性能分析。 摄像机自标定及三维章建算法研究 2 1 摄像机内参数阵 第二章预备知识 k 。f 丢霉 c z - ， 其中b 。，y c ) 是图像主点，眈，丘) 是图像水平轴和垂直轴的尺度因子，s 是畸变因 子，该矩阵完成以象素计的数字坐标系与以摄像机焦长，计的图像坐标系之间的 蟛= k 匕 ( 2 2 ) 式中蟛代表第f 帧图像的第，个匹配点的数字像点坐标，e ，代表第f 帧图像的 第，个匹配点的模拟像点坐标。本文我们假设共有耳帧图像，每帧图像有n 个匹 假设摄像机成像服从针孔成像的透视投影模型，则三维点x 在摄像机坐标 系中的坐标e ，j 及数字坐标蟛与其二维像点的模拟齐次坐标m 。及数字齐次坐 标m 5 ：服从透视投影公式 e ，= z i , i m = z u k 1 m ! j = k 一1 蟛 ( 2 - 3 ) 其中点x 的深度z 。是e ，的第3 分量。 2 3 摄像机运动前后的几何变换 设相对于模型情况，从目标模型到第i 帧图像，摄像机历经三维运动( i ，t ，) ， d 摄像机自标定及三维重建算法研究 其中，i 为三维旋转矩阵，t 。为三维平移矢量，则三维点x 。从模型位置p o ，到 实拍位置b ，历经如下几何变换 e ，= i p o + t ， ( 2 - 4 ) 其中p ( o ) j 为模型点x “，在模型坐标系中的三维位置。e ，为点x 州在第f 帧的三 维位置。 在帧问三维运动中，设从帧i 到帧i + 1 历经三维旋转r ；和平移疋，即 p ：。= r j b ，j + x ( 2 5 ) 由( 2 - 4 ) 知p 。，= f ( e ，- t f ) ，代入f 用f + 1 替换后的式( 2 - 4 ) 后有 b + l ，= t + 。f e ，+ 一e + ，r r t f 与式( 2 5 ) 比较后有 r i 。i + ，# ( 2 6 ) i ：- t 。+ 。一i + 。i ，t 。 2 4 三维目标形状模型约束 由于从模型到视图i 中的实体的运动参数与目标模型坐标系的选择有关，恰 当地选择目标模型坐标系不但有益于形状建模，也有益于多视图目标的位姿确定 和三维运动复原，为此我们规定表示目标模型的矩阵 p ( 。) ：p ( 。) 1 p ( 。) 2 p ( 。) wj 满足下面三个约束： 约束1 模型坐标系原点位于目标中心，即 吣= 专p c 0 ) - 。= 专羹p c - ；。 q 一7 ， 其中1 。一 1 1 r 是n 1 维的列矢量，p j 为第，个特征点在模型中的三维坐 标。 约束2 模型坐标系的三坐标轴分别与目标的三主轴对准，即 s 一，一1 p ( o ) p ( o ) r = 专善np ( 0 ) ，p 【0 ) ，r = a ”，= 对角阵 ( 2 s ) 考虑到多视图只能完成相对复原，使得形状模型的绝对尺寸不可能被确定， 摄像机自标定皮三维重建算法研究 因此我们采用先验假设：形状具有单位尺寸，即 约束3 争咿p ( o ) ) = 专护s p , o , ) = ， 协。， 这是考虑到多视图重建只能确定目标的相对尺寸，因此有了上述的约束三后，这 就使得所有的尺寸都是以玎瓦习，而不是米为计量单位的。 摄像机自标定三维重建算注研究 第三章基于模型的单视图线性三维重建的六点算法 单视图线性三维重建并不是一个新课题【5 0 - 55 1 ，但是用单视图特征点集结合 对应模型点位置，在最少已知6 个非共面特征点条件下线性地精确复原目标的三 维位姿，却是一个值得研究的新课题。 在一些特殊应用中，目标模型是先验已知的。众所周知，在摄像机已标定情 况下，单视图就可进行运动复原和三维重建；在摄像机未标定的情况下，也可通 过基于模型的单视图数字特征点集数据进行摄像机线性自标定和三维复原。本文 使用已标定的单视图进行运动复原和三维重建。 该算法从单视图的模拟特征点集数据和目标模型形状数据，实现目标三维位 姿的线性精确复原。具体地，首先，通过对中心化后的模型点集进行s v d 分解， 得到其右奇异矩阵信息；然后，根据单视图深度矢量所在的零空间和目标模型矩 阵的零空间之间的关系，把该右奇异矩阵与单视图模拟特征点集数据组成以单视 图深度矢量作为其零空间的联立线性方程组系数矩阵，该系数矩阵的最小右奇异 矢量给出了单视图模拟特征点集的相对深度的最优估计；最后，计算深度信息的 常数因子，并进而实现运动复原与形状复原。实验表明，本文开发的单视图线性 三维重建技术具有令人满意的性能。 3 2 算法推导 假设，摄像机历经三维运动( r ，t ) ，其中，r 为三维旋转阵，t 为三维平移 矢量，则三维点从模型位置e o 到实拍位置p 经历经如下几何变换 e ；p f + p = r 耳o + t - r 群o + t 1 ( 3 - 1 ) 其中，= 丽+ t - 一，毒。叫o m ，p i ( o ) t r pp 机两，f = 专耋e 和 其中， = 阳+ t =， e 。rp ：_ 旧，p ( + p ， p = 吉罗e 和 “ p f ：土x ，注意，本文用上圈表示中心化，用上横杠表示求平均。 n 鲁。 这部分工作在杨忠根教授的指导下完成，主要成果以单视图线降三维蓖建的6 点算法发表十上海 海事人学学报2 0 0 6 年第2 期 7 摄像机自标定及二维重建算法研究 2 ，壹w 。r 茸0 ) 毋 2 r p ； c s z ， p ；。，= u ，j ， ，j ，。 v 乏j ! ： 5 u ，j ，j ，v p j ，。7 c 。- 。， 使得p ；。1 v 。：0 。这表明，v 是中心化模型数据阵的零空间的正交基，利 用该式和式( 3 2 ) 知，v 。也是单视图三维形状的中心化矩阵的零空间的正交 口 吨沁：5 p ( - 一专：) v p 厂p 2 。 4 ， 其中，1 。是个1 的全1 矢量，并且定义了函，：= ( i 一万11 一) v p 函2 0 这建立 具体地，列写n r 一3 ) 维矩阵审 ，有 p ”2 广艮剖v n n 3 s ，审 皇l ： i l ( 3 5 ) p ( 0 ) ，2 l1 i h ，1 ，一i p冀二，：一陆，z。-m，z，f：i： 其中，a h = m ：y 。可把式( 3 6 ) 改写成 = a z = 0 p n 一卜 s ， ( 3 7 ) 因此，可用3 ( n 一3 ) x n 维矩阵a 的最小右奇异矢量e 。i 在仅相差一常数因子尼意 8 az 孓龠 【 ； 摄像机自标定发三维重建算法研究 义上最优估计1 维矢量z ，即z ：龙，其中，幺= e m i n 。 为完成三维目标形状和态势的绝对而不是相对重建，必须确定此待定尺度因 子。为此，考虑到p ：七p ；七 m ，2 。m 。如 ：r 时科。) ，有 七=两瓣 ( 3 8 ) 在完成目标单视图三维重建后，三维运动参数估计就很直接了当了。由于 b = p f - 一专1 1 t 1 = u ；k 。= r p 0 0 ) _ r u 西小v p f s 9 ) 使得三维旋转矩阵r 。u 。u 。7 ；在得到三维旋转矩阵后，就有三维平移矢量 p p ( o t ；一p r p ( o ) 。 该新算法有解且有唯一解的条件为：瘦长型矩阵a 为秩n 一1 矩阵，考虑到 正交投影算子f i 一专1 。l ：) 乘以秩一3 矩阵v p 而，：后，使得到的矩阵审p 赫，：为秩 n 一4 矩阵，于是，有3 ( n 一3 ) n 并且3 ( 一4 ) n 一1 ，这样，有n 6 。这表 明，这儿开发的单视图三维重建线性算法的最小实现条件是“至少有6 个非共面 点”，所以，可把该算法简称为“六点算法”。 3 3 算法步骤 步1 计算矿= 专荟n 孵中心化三维点集札牡而，v f - 1 ， 形成中心化模型形状矩阵p 0 0 ) 2 茸o ) 得p ；u 。，v 。7 及其零空间正交基v7 ，。 p f o 】p ( o )p f 1p ” ，2 并对它进行s v d 分解 步2 计算l 油，：= ( - 一专- ”- ：) 一，：并列写为审如，：2 二三i ： 9 计算 r n - h 摄像机自标定及三维重建算法研究 = m 以并进而形成s c 一s ，维矩阵a 2 。：二，。 其最小右奇异矢量e 。一瞄，知】r ， k =瓣丽最后，形成p ：艚= k m ，2 。 a 1 1 1l ；计算 8 - 3 ，j 并由此计算 i n ，知 。 步3 形成中心化三维形状阵，并进行s v 。分解：= p ( i 一寺l ”1 ：) 。u ；v ；， 计算r = u i u 由7 和t = f r p 阳，其中，f 5 专善e 。 p p “， 3 4m o n l ：oc a r l 0 仿真实验 3 4 1 建模算法 步1 在三维空间【_ x 。墨，j 【_ k j l - z 。z j n 点，得 抄l i = 1 ，“，j 。 步2 计算一= 专薹妒一心化三维点集机掣一一，v f 小， 步3 得p 轧脚，一 【 r掌；。)一t，j，j，。【乏：j!：，耳z f ( 。) = ，；。7 - 1 i 。) l 匿。) ， 步4 规范化v p 函，取v p ( o = ( i - 亩1 1 t ) v p ；0 2 2 p ，2 5 p v ， 1 0 ，然后计算 ，盼 摄像机自标定及三维重建算法研究 扩= 防。 说明：本算法输出：能”l i ：1 ， ， v pl i ；1 ，n i 币i l k ( 。) 3 4 2 仿真数据生成算法 步1 步2 步3 步4 调用建模算法。 输入理论数据r 。和k ，生成3 d 形状理论数据，r = r 。卑o + l ， 投影到2 d 模拟图象坐标，得到 m ? 2 矩 口 为检验抗噪能力，加入仿真噪声，m 。一m ，+ n ，v i = 1 ，n ，其中n ；是 2 维互不相关的i i d 的高斯白声( 要求零均值，方差可控) ，并要对不 同强度噪声下的性能进行分析。 3 4 3 实验步骤 步1用仿真数据生成算法生成单视图数据。 步2调用六点线性三维重建算法，实现三维形状重建与运动重建。 步3计算本次实验的误差。 步4重复进行上述计算足次，对各误差指标求期望值。 步5列表与图进行误差分析。 3 4 4 实验参数设置和误差分析方法 实验参数设置： 三维点集由n 个在( 2 ，2 ) 、( 2 ，2 ) 和( 1 ，2 ) 内随机取值的三维点组成， 由此生成的三维点集组成了模型数据集合。 旋转矩阵对应的三个旋转角分别为a = z 6 、芦= z 4 、y = ”3 ，平移运动的 三个分量分别为【0 8 4 2 1 5 2 ，0 3 3 6 8 6 1 ，o 4 2 1 0 7 6 】。 实验中采用的噪声均匀分布于卜a 。，a 。】，且其强度a 。可程控。噪声强度取 0 0 0 0 2 、0 j0 0 0 470 ，0 0 0 6 ，0 j0 0 0 8 、0 0 0 170 0 0 1 f 、0 0 0 1 4 、0 0 0 1 6 ，0 i0 0 1 87 0 0 0 2 、0 0 0 4 、0 0 0 6 、0 0 0 8 ( 其中0 0 1 的偏差相当于偏差1 0 个象素) 。 摄像帆自标定及三维莺建算法研究 另外，考察a m = 0 0 ，即不加入噪声的情况下各输出值，以分析计算误差对 算法的影响。 误差分析方法： 为了分析算法性能的统计特性，每次进行1 0 0 次实验，用1 0 0 次实验数据计 算算法各性能的期望值，来作为所考察性能的估计值。具体考察的性能包括： 三维形状重建误差：l i a p i i i i p i l 一一一为去斟智+ 智卜 中，卑：食7 幢一量) ， 误差的平均值。 二维重投影重建误差： 上凸帽标记重建值。l i a p i i i i p i 是1 0 0 次实验的此 1 i a n l l l l m l i 二维重投影单次重建的平均相对误差为专耋眢刈训即。 次实验的此误差的平均值。 三维旋转运动重建误差：l i 堰i i i i r i i 三维旋转运动重建的相对误差为 1 i a r i i i i r i i 是1 0 0 次实验的此 误差的平均值。 三维平移运动重建误差：i i a t i i i i t i l 三维平移运动重建的相拣差为可i i * - t m i i ，i i a t i i i i t l l 是1 。次实验的此 误差的平均值。 说明：其中的| | | | 表示取矢量的二次范数或矩阵的f 范数 3 4 5 单次仿真实验结果三维图形显示 实验随机取六点，噪声强度取0 0 0 1 ，单次仿真结果三维图形显示如图3 1 所示： 1 2 墅圳 一一r 盘一0 摄像机白标定及f 维重建算法研究 图31日标3 d 形状与何姿理论点集与重建点集重叠比较、 。 3 4 6 仿真实验结果 为了定量分析该算法的性能，用计算机仿真程序进行了m o m ec a r l o 实验。 表3 - 1 和图3 2 、图3 3 示出了考察6 点情况下，不同噪声强度下的算法性能。 表3 - 1 噪声对算法性能的影响( 特征点数；6 ) ? 雌鳏) 一? o o o 2o 4 、o 60 81 o1 2 4 p m 例( x l o 。) o o o o o 0 3 9 4 lo 5 2 1 4 o 8 3 1 71 0 1 8 0 1 2 3 7 0 1 5 3 1 4 i i 】i i l l l l m l l ( x l o - 2 ) 0 0 0 0 00 2 8 0 20 3 0 7 20 5 1 4 50 5 7 4 30 6 5 0 81 1 0 5 4 l i 删酬“l o 。) 0 0 0 0 0o 4 4 7 30 5 8 0 2 09 8 3 l 1 2 2 8 41 3 8 7 7 1 6 9 5 5 l | 叫们i 叫l ( x l o 。) 0 0 0 0 00 0 7 4 l0 1 2 3 40 1 9 6 10 2 5 1 40 4 0 2 40 4 3 2 6 ( l 扩) 1 4 1 6 1 82 o4 06 o 8 o i i x p i i i l p i l ( x 1 0 4 ) 1 9 3 5 11 9 9 7 02 4 8 6 l2 8 4 2 77 0 1 2 88 4 9 5 99 0 2 8 2 l i - i i l l m l l ( xl 0 4 ) 1 1 4 3 81 0 5 7 514 0 1 61 5 6 5 23 8 0 1 24 1 8 2 75 2 7 8 5 l l r r 1 0 4 ) 2 1 4 2 523 0 3 3 26 4 6 0 3 0 6 7 06 8 5 9 49 1 7 5 61 03 9 3 l i a 叫l l l a l l 1 0 ) 03 5 5 90 4 4 6 8 0 6 1 1 6 o 5 8 7 62 1 9 1 71 7 6 4 01 9 4 8 4 7 6 5 4 3 2 ，8 n 摄像机自标定及三维重建算法研究 图3 - 2 二维形状重建相对误差分布曲线( 特征点数= 6 ) 图3 3 三维运动重建相对误差分布曲线( 特征点数= 6 ) 1 4 誊)|亘【羁州著蓠霉艘删葵龄爨 摄像帆自标定及三维重建算法研究 显见，即使算法仅使用6 点，仍能在所有加噪情况中，三维运动估计和三维 重建的相对误差都小于9 ，而在中小强度( 不超过0 0 0 0 8 ) 噪声情况时，相对 误差都小于1 。 表3 - 2 和图3 4 、图3 5 示出了同一噪声强度情况下，点数对算法三维重建 精度的影响，其中，a 。= 0 0 0 0 2 。 表3 - 2 点数对算法性能的影响( a 。= 0 0 0 0 2 ) “爨誊缱趣数：霆滚l ：； 氡瓢。 ：；叠激l i ；墓飘i ， ? 墓：黼韬粕 ；j 。+ 3 酚+ j一曩滤j l l 慧 i i a p i t l l p l l ( * a 0 4 ) o 2 7 2 40 1 6 6 60 1 0 5 10 1 0 2 50 0 8 3 4 0 0 8 1 90 0 7 9 3 l i i n m 胁o 。2 ) 0 1 2 3 40 0 8 1 6o 0 6 1 30 0 6 1 0o 0 5 2 10 0 5 5 60 0 4 8 2 i * r i i l l k l l ( x l o ) 0 3 2 4 90 2 0 2 6 0 1 2 5 00 1 2 1 70 0 9 7 40 0 9 1 8o 0 8 9 9 l 蚓i 1 1 1 1 l x l o 。2 ) 0 0 6 4 60 0 3 1 60 0 1 6 6o o 1 0 60 0 0 7 90 0 0 6 9 0 0 0 5 6 可以看出，6 点时三维重建的相对误差为o 3 2 ，点数增大到1 2