（信号与信息处理专业论文）基于双目视觉的复杂背景下运动目标三维信息重建.pdf

摘要 三维重建技术的研究是计算机视觉学科的一个重要领域，而双目视觉则是三维重建 中的一项重要技术，它利用左右摄像机拍摄出的立体图像对，依据其中包含的几何关系 将场景的三维信息重构出来。本文以构建一个双目视觉实验平台为切入点，在双目视觉 系统下，对如何获取复杂背景下运动目标质心的三维信息进行了深入研究。主要包括四 方面内容：双目视觉摄像机标定、基于立体视觉的运动目标检测、基于区域相关以及基 于特征的两种立体匹配算法、基于m f c 框架的双目视觉软件开发平台。 在双目视觉摄像机标定方面：采用国际象棋棋盘作为定标物，通过m a t l a b 仿真获 取棋盘角点的坐标信息，并用亚像素处理方法提高坐标精度。然后依据平面模板两步法 进行参数求解，获取了摄像机的内部外部参数以及畸变参数的最优解。通过实验数据分 析，验证了本方法的有效性。 在基于立体视觉的运动目标检测方面：结合单目视觉下的背景差分算法，提出了一 种结合灰度和视差的背景差分算法，能够有效地结合两种算法的优点。通过实验数据分 析，验证了该算法对于复杂背景( 有噪声和阴影干扰) 下的运动目标检测的有效性和精 确性。 在立体匹配和三维信息重建方面：在实际应用中，场景往往受到光线和噪声的干扰， 而且在大多数场合下，往往只关注场景中运动目标的三维信息。因此本文首先采用区域 相关匹配算法获取视差图，结合背景差分算法精确地检测出复杂背景下的运动目标，然 后仅针对左右图像中检测出的运动目标，采用特征匹配算法进行二次立体匹配。结合摄 像机标定结果，获取运动目标质心的精确三维信息。通过实验数据分析验证了本方法的 鲁棒性。 在构建一个双目视觉实验平台方面：利用m i c r o s o f t 公司提供的d i r e c t s h o w 平台获 取左右视频信息，通过m a t l a be n g i n e 方式完成在m f c 框架下对m a t l a b 的调用，处理 结束后在m f c 程序中，通过使用s t a t i c 类提供了s e t b i t m a p 成员函数实现结果显示。通 过系统效果演示，表明该平台可以正常运行，使研究工作更加聚焦算法本身。 关键词 双目视觉，摄像机标定，目标检测，立体匹配，三维重建 a b s t r a c t t h e3 一dr e c o n s t r u c t i o nt e c h n o l o g yo fc o m p u t e rv i s i o ni sas i g n i f i c a n tf i e l do fc o m p u t e r v i s i o n a n db i n o c u l a rs t e r e ov i s i o ni sav e r yi m p o r t a n tt e c h n i q u ei n3 一dr e c o n s t r u c t i o no f s c e n e w h e nu s ei t ，w ef i r s tg e tt w op i c t u r e sr e s p e c t i v e l yb yl e f ta n dr i g h tc a m e r a s ，t h e nw o c o u l dg e tt h e3 - di n f o r m a t i o ni n c l u d e di nt h e s ep i c t u r e sb yg e o m e t r ya n do t h e rr e l a t i o n s h i p t ob u i l dae x p e r i m e n t a lp l a t f o r mo fb i n o c u l a rs t e r e ov i s i o na sas t a r t i n gp o i n t ，t h i sp a p e r d e e p l yd i s c u s s e dh o wt og e tt h ep r e c i s e3 一dl i n f o r m a t i o no fm o v i n gt a r g e tc e n t e ro fs c e n e u n d e rc o m p l e xb a c k g r o u n d ，i nt h eb i n o c u l a rs t e r e o v i s i o ns y s t e m t h i sp a p e rh a ss t u d i e d m a i n l yo nf o u rq u e s t i o n s ：b i n o c u l a rs t e r e ov i s i o n c a m e r ac a l i b r a t i o n ，b i n o c u l a rs t e r e o v i s i o n - b a s e dm o v i n gt a r g e td e t e c t i o n ，a r e ac o r r e l a t i o n b a s e ds t e r e om a t c h i n ga l g o r i t h ma n d f e a t u r e - b a s e ds t e r e om a t c h i n ga l g o r i t h m ，m f cf r a m e w o r k - b a s e db i n o c u l a rs t e r e ov i s i o n s o f t w a r ed e v e l o p m e n tp l a t f o r m o nb i n o c u l a rs t e r e ov i s i o nc a m e r ac a l i b r a t i o n ：f i r s tu s ec h e s sb o a r da sc a l i b r a t i o no b j e c t ， g e tt h ec o m e rc o o r d i n a t e si n f o r m a t i o nt h r o u g hm a t l a bs i m u l a t i o n ，a n du s es u b - p i x e la p p r o a c h t oi m p r o v et h ec o o r d i n a t e sa c c u r a c y t h e nu s ep l a n ep a t t e r nt w o - s t e pm e t h o dt os o l u t ec a m e r a p a r a m e t e r s ，w h i c hi n c l u d ec a m e r ai n t e m a lp a r a m e t e r s ，c a m e r ae x t e r n a lp a r a m e t e r sa n dc a m e r a d i s t o r t i o np a r a m e t e r s e x p e r i m e n tr e s u l t ss h o wt h a tt h ea l g o r i t h mi se f f e c t i v e o nb i n o c u l a rs t e r e ov i s i o n - b a s e dm o v i n gt a r g e td e t e c t i o n ：b a s e do nt h eb a c k g r o u n d s u b t r a c t i o na l g o r i t h mu n d e rs t a t i cb a c k g r o u n do fm o n o c u l a rv i s i o n ，t h i sp a p e rp r o p o s e sa n o b j e c t sd e t e c t i o nm e t h o dc o m b i n i n gg r a y a n db a c k g r o u n ds u b t r a c t i o na l g o r i t h mu n d e r c o m p l e xb a c k g r o u n db a s e do nb i n o c u l a rv i s i o n e x p e r i m e n tr e s u l t ss h o wt h a tt h ev a l i d i t ya n d a c c u r a c yo ft h i sm o v i n gt a r g e td e t e c t i o na l g o r i t h mf o rt h ec o m p l e xb a c k g r o u n d ( w i t hn o i s e a n ds h a d o wi n t e r f e r e n c e ) o ns t e r e om a t c h i n ga n d3 一dr e c o n s t r u c t i o n ：i np r a c t i c e ，s c e n a r i o sa r eo f t e ns u b j e c tt o l i g h tc h a n g e sa n dn o i s e ，a n di nm o s to c c a s i o n s ，p e o p l eo n l yf o c u so nt h e3 - di n f o r m a t i o no f m o v i n gt a r g e ti nt h es c e n e f i r s tt h i sp a p e rg e td i s p a r i t ym a pb yu s i n ga r e ac o r r e l a t i o n - b a s e d s t e r e om a t c h i n ga l g o r i t h m ，t h e nc o m b i n i n gb a c k g r o u n ds u b t r a c t i o na l g o r i t h mt oa c c u r a c i l y d e t e c tt h em o v i n gt a r g e tu n d e rc o m p l e xb a c k g r o u n d t h e nu s ef e a t u r e - b a s e ds t e r e om a t c h i n g a l g o r i t h mo nh em o v i n gt a r g e tr e s u l tf o rs e c o n d a r ys t e r e om a t c h i n g l a s tg e tt h ep r e c i s e3 - d 1 1 1 l i n f o r m a t i o no fm o v i n gt a r g e tw i t ht h er e s u l to fb i n o c u l a rs t e r e ov i s i o nc a l i b r a t i o n e x p e r i m e n tr e s u l t ss h o wt h a tt h ea l g o r i t h mi sr o b u s t o nb i n o c u l a rs t e r e ov i s i o ns o r w a r ed e v e l o p m e n tp l a t f o r m ：f i r s tg e tt h el e f ta n dr i g h t v i d e oi n f o r m a t i o nt h r o u g ht h ed i r e c t s h o wp l a t f o r mp r o v i d e db ym i c r o s o f tc o m p a n y t h e nc a l l o nm a t l a bi nt h em f cf r a m e w o r kt h r o u g ht h em a t l a be n g i n e a f t e rp r o c e s s i n g ，u s es e t b i t m a p m e m b e rf u n c t i o np r o v i d eb ys t a t i cc l a s st os h o wr e s u l t b ys y s t e md e m o n s t r a t i o n ，s h o wt h a t t h ep l a t f o r mc a nm a k er e s e a r c hm o r ef o c u s e da l g o r i t h mi t s e l f k e y w o r d s b i n o c u l a rs t e r e ov i s i o n ，c a m e r ac a l i b r a t i o n ，t a r g e td e t e c t i o n ，s t e r e om a t c h i n g ，3 d 西北大学学位论文知识产权声明书 本人完全了解西北大学关于收集、保存、使用学位论文的规定。 学校有权保留并向国家有关部门或机构送交论文的复印件和电子版。 本人允许论文被查阅和借阅。本人授权西北大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。同时授权中国科学技术信息研 究所等机构将本学位论文收录到中国学位论文全文数据库或其它 相关数据库。 保密论文待解密后适用本声明。 学位论文作者签名： 雄一一一指导教师签名：丢阻 i j i ，年岛a | 口五年6ab 西北大学学位论文独创性声明 本人声明：所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，本论文不包含其他人已经发表或撰写过的研究成果，也不包含 为获得西北大学或其它教育机构的学位或证书而使用过的材料。与我 一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的 说明并表示谢意。 学位论文作者签名：琢砀纫 曲如年苦目7 0b 西北大学硕士学位论文 1 1 研究背景及意义 第一章绪论 图像是人类获取信息，表达信息和传递信息的重要手段。人类通过视觉系统将现实 世界的三维物体转化为二维图像，再从中获取三维信息来达到对该物体的认知目的。随 着计算机和信号处理理论的不断发展，计算机视觉开始逐渐兴起。计算机视觉就是通过 图像传感器获取到图像或图像序列，并转化为数字信号，进而通过计算机以数字图像处 理的方法来分析理解这些图像，对三维世界进行描述和解释。其最终研究目的就是使计 算机能够像人类视觉那样观察和理解世界，并具有自主适应环境的能力。传统的人类视 觉对于图像信息的识别费时费力，效率低下。与人类视觉系统相比，计算机视觉具有很 多优点：能够快速地在图像序列中分析和查找有用信息，便于显示、压缩、存储和传输， 提高了效率。将人力资源从很多枯燥的工作中释放出来，适用于高速发展的现代社会的 需求。 计算机视觉是一个多学科交叉的领域，主要涉及计算机科学、信息处理、模式识别、 控制理论、神经网络、数学和心理物理学等。其研究范围也非常广泛，包括：目标识别、 边缘提取、摄像机标定、立体匹配、目标检测和三维重建等多个方面。其中立体匹配是 最关键的部分，其结果直接影响到后续处理的精度，目前很多研究都是围绕着立体匹配 进行的。立体匹配就是在变化空间中寻找一种或多种变换，使得来自不同角度的两幅图 像在空间上一致，由于拍摄时间，拍摄角度以及自然环境的变化等都被综合成单一的图 像灰度值，要准确地对包含上述随机因素的图像进行无歧义匹配十分网难，因此近几十 年来寻求一种匹配精度高，速度快和抗干扰性强的立体匹配算法一直是人们关注的热点 和难点。 运动目标检测将被监视目标从背景中分离出来，对于视频图像序列的分析和后续处 理有着重要的意义，是计算机视觉研究中的一项关键技术。但是，当前大部分的目标检 测都是在单目视觉的基础上进行的，在成像的过程中，丢失了目标的三维信息，因此得 到的目标运动信息只是相对的。而在双目视觉系统中，可以通过立体匹配得到视频图像 序列对的深度信息( 即视差图) ，视差图体现了景物离视点的距离，对于环境噪声，阴 影和光线的变化更具鲁棒性。因此通过对基于立体视觉的运动目标的检测算法的研究， 可以为复杂背景下的运动目标检测提供一个更有效的算法。 第一章绪论 摄像机标定是双目视觉系统的基础性关键技术，只有完成了这一步才能求得摄像机 成像过程中的由图像点坐标到世界点坐标的转换矩阵。得到摄像机标定结果和匹配关系 后，就可以进行信息的三维重建。影响重建精度的主要因素有摄像机标定误差、特征提 取精度以及匹配误差等。因此要设计一个精确的三维重建系统必须要综合考虑上述所有 因素，保证每个环节都具有较高的精度。 立体视觉【啦】作为计算机视觉的一个重要分支，在医学三维信息分析，三维题图绘制 以及移动机器人视觉导航等方面有着广范的应用。它常用两台或多台摄像机从两个或多 个角度去观察同一场景并获得图像序列，然后通过同一场景在不同图像中的视差，来推 断出目标物体的空间几何形状。双目视觉系统是基于视差的原理，采用两台摄像机同时 从不同的视角获取同一景物的图像序列，通过立体匹配获取立体图像对的视差。然后基 于视差图分别获取左右摄像机的运动目标检测结果，然后进行二次立体匹配将左右视场 内相同的运动目标一一对应，结合摄像机标定结果，最终可以提取运动目标质心在一定 时间段内的空间三维坐标序列。他仿照人眼的功能来获取目标物体的深度信息，简单可 靠，具有重要的使用价值和广阔的应用前景。 1 2 立体视觉研究现状 立体视觉的开创性工作是从6 0 年代中期开始的，美国m i t 的r o b e r t 把过去的二维 图像分析推广到了三维信息分析，这标志着立体视觉的诞生。获得物体三维信息的途径 主要有两个：一种是定量地测量从摄像机到景物中每一个感兴趣点的距离，如利用激光 或者声纳米获得深度图；另一种方式是对同一景物从两个角度得到存在视差的图像对， 若知道目标上的一点在这些图像对中的对应关系即可用三角测量的方法获得深度信息。 这也正是本文所要研究的方向。即由两台相对位置固定的摄像机与被测对象构成三角 形，被测对象在两像面上形成立体图像对，然后利用计算机图像处理技术进行相关特征 点匹配，并通过计算左右两幅图像中相关特征点的视差来获取被测点的三维空间坐标 国内在基于双目视觉的三维测量方面，无论是在摄像机的标定技术还是在立体图像 对的匹配算法上都进行了大量的研究，提出了很多比较成熟的理论。在算法的具体实现 上，已经有了一些相应的软件，如中科院自动化研究所的雷成博士实现了c v s u i t e 软件， 该软件主要完成特征点的提取，匹配，相机的自标定，模型的三维显示等功能。该软件 使用方便，但是速度比较慢。其它的应用软件也总是有着这样或那样的缺点，还需要在 理论和具体实践上进行更进一步的完善。 2 两北大学硕士学位论文 国外在基于双目视觉的三维重建方面，主要是分立体匹配和三维重建两个部分进行 研究的。立体匹配部分主要是研究特征点的提取和匹配算法的完善，更加精确地建立待 匹配点的对应关系，如英国人m p i l u 提出的基于奇异值分解的立体匹配算法【3 】，三维重 建部分丰要是研究如何从得到的匹配点中计算出摄像机的投影矩阵或内，外部参数，以 及如何计算出目标点的三维坐标。由于立体匹配涉及的问题较多，至今还没有得到很好 的解决，尤其是在复杂的场景中，如何提高匹配算法的抗干扰能力和误匹配率，降低实 现的计算量和复杂度，都需要进行更深入的研究。 基于立体视觉的运动目标检测是近年来计算机视觉领域的前沿研究方向，国外研究 起步较早，取得了许多卓有成效的研究成果。美国在火星探测机器人身上使用了立体视 觉系统，实现太空机器人的自主导航。w e b e r 等人使用双目视觉系统，综合障碍物跟踪 和路标检测算法，实现了对智能车辆的导航 4 】。国内对于这方面的研究虽然起步较晚， 但也取得了一定的成果。浙江大学机械系利用透视成像原理，实现了对多自由度机械装 置的动态位姿检测【5 1 。本文主要是对在复杂背景下，结合立体视觉和单目视觉的方法对 运动目标进行检测。使系统在环境光线变化，阴影干扰和噪声干扰时也能正确地检测运 动目标。 1 3 本文主要研究内容和工作 1 3 1 本文研究内容 在实际应用中，人们往往只关注场景中的运动目标的三维信息，一般情况下场景可 能会受到光线变化，阴影干扰和噪声的影响，具有一定的随机性。本文正是针对这一实 际情况，对于如何在复杂背景下获取运动目标的精确三维信息问题进行了深入研究。 本课题以搭建一个双目立体视觉软件平台为切入点，深入研究了双目视觉下摄像机 标定，立体匹配，复杂背景下的运动目标检测以及三维重建等问题。摄像机标定是双目 视觉研究的重要组成部分，其标定的精度对于后续图像处理有着直接的影响，本文首先 深入研究了单摄像机的标定算法，以线性摄像机为模型，在分析研究两步法【6 , 7 , 8 1 的基础 上分别标定了左右摄像机，得到了左右摄像机的内外参数，然后根据坐标关系，进一步 化简，获取双目摄像机( 在本文中假定两个摄像机是平行放置的) 间的相对几何位置。 最后对非线性优化后标定结果，进行了误差分析，验证了本文算法的有效性。 获取了摄像机的内外参数后，为了得到运动目标的三维信息，首先需要获取左右图 像序列中运动目标的检测结果然后根据立体匹配算法将左右视场内相同的运动目标一 3 第。章绪论 一对应，并提取运动目标质心在的空间三维坐标序列。 因此本文对于双目视觉下的立体匹配和运动目标检测算法进行了深入研究。为了在 复杂背景获取精确的运动目标检测结果，本文深入分析基于灰度的背景差分算法和基于 立体视觉的运动目标检测算法。同时对于立体视觉运动目标检测算法中如何获取视差图 的立体匹配算法进行了学习，最终采用了基于区域相关的立体匹配算法，获取背景帧和 当前帧的视差图。结合单目视觉下的背景差分算法，提出了一种结合灰度和视差的背景 差分算法，能够有效地结合两种算法的优点。通过实验数据分析，验证了该算法对于复 杂背景( 有噪声和阴影干扰) 下的运动目标检测有效性和精确性。 在上述运动目标检测过程中，首先以右图像背景帧和当前帧作为基准帧，获取到左 图像的运动目标检测结果：同理以左图像背景帧和当前帧作为基准帧，获取到右图像的 运动目标检测结果。然后分别提取左右运动目标检测结果的目标质心位置、质心区域的 灰度值和目标面积三个特征，并将它们融合起来建立代价函数，利用极线性约束和运动 方向一致性约束条件，对该代价函数进行求值，从而将左右图像中的运动目标对应起来， 结合摄像机标定结果提取目标质心位置的三维坐标序列。通过实验数据分析，验证了该 方法的有效性。 1 3 2 本文主要工作 ( 1 ) 自主搭建了双目视觉软件开发平台。本软件具备视频采集、视频预览、结果 显示等功能，并提供了和m a t l a b 之间的接口，使用者在m a t l a b 的m 文件实现具体算法， 在用户界面上选择对应文件，即可观察算法对连续视频的处理结果。从而减轻研究人员 在图像采集和显示方面的工作，使研究工作更加聚焦算法本身。 ( 2 ) 对摄像机标定技术进行了深入研究，本文以线性摄像机为模型，在分析研究 两步法的基础上分别标定了左右摄像机，获取双目摄像机间的相对几何位置，完成对双 目摄像机的标定，并对进行非线性优化后标定结果，进行了误差分析，验证了算法的有 效性。 ( 3 ) 对基于区域相关立体匹配算法进行了研究，针对复杂背景下的运动目标检测， 采用了一种结合灰度和视差的背景差分算法，分别在有光线变化和无光线变化的实验条 件下，对该算法的有效性进行验证，并将该算法与灰度背景差分法的实验结果进行对比 分析，结果表明该算法能够精确地检测出运动目标，而且对于环境噪声和物体阴影的干 扰更具鲁棒性。 4 西北大学硕士学位论文 ( 5 ) 利用极线性约束和运动方向一致性约束条件，将运动目标检测结果中的目标 质心位置、质心区域的灰度值和目标面积三种特征结合起来，建立立体匹配代价函数， 对该函数进行求值，将左右摄像头检测出的运动目标进行二次匹配，并结合摄像机标定 的结果，获取目标质心的三维华标。通过实验数据分析，验证了该方法可以在复杂背景 下获取运动目标三维信息。 1 4 论文结构安排 第1 章：绪论。主要介绍了课题的研究背景和意义，并对课题相关内容的国内外研 究现状进行了讨论，最后交代了本文的主要研究内容和文章结构安排。 第2 章：双目视觉下的摄像机标定。简单介绍了摄像机标定的基本原理，着重学习 了线性摄像机模型，根据简单的线性模型分别求解左右摄像机的内外参数的解，然后根 据坐标关系，获取双目摄像机间的相对几何位置。在参数的求解过程中采用了两步法。 然后对双目摄像机标定结果进行非线性优化，并进行误差分析，验证了算法的有效性。 第3 章：在双目视觉下针对复杂背景下的运动目标进行检测，在背景差分法的基础 上，提出了一种结合灰度和视差的背景差分算法。并将该算法与灰度背景差分法的实验 结果进行对比分析，结果表明该算法能够精确地检测出运动目标，而且对于环境噪声和 物体阴影的干扰更具鲁棒性。 第4 章：深入研究了立体匹配和三维重建算法。其中包括两次立体匹配过程，第一 次立体匹配过程是依据区域相关匹配算法，获取背景帧和当前帧的视差图，为第三章做 好准备。第二次立体匹配是针对左右图像的运动目标检测结果，采用基于特征的立体匹 配算法，将左右图像中的运动目标一一对应起来，并结合摄像机标定的结果，获取目标 质心的三维坐标。 第5 章：开发了双目视觉软件开发平台，该软件首先通过m i c r o s o f t 公司提供的 d i r c c t s h o w 平台，同时获取两路视频信息，并将获取到视频信息，按照图片格式存储到 硬盘中以便后续处理，然后在v c 中调用m 文件完成对数字图像的处理，最后在用户界 面上可以观察算法对连续视频的处理结果。本软件为摄像机标定，运动目标检测与跟踪， 立体匹配与三维信息重建提供了对应的接口，并且对于单目视觉实验平台进行兼容。 最后总结了本文的主要研究工作，并指出了不足之处以及以后的研究方向。 5 西北大学硕士学位论文 2 1 引言 第二章双目视觉下的摄像机标定 在双目视觉系统中，从已经获取的两路视频信息出发，为了计算出被测物体的位置， 形状等信息，首先需要确认摄像机成像的相关参数，比如焦距，两路摄像机之间的相对 位置等。为了提高计算精度，这些参数可以通过实验与计算得到，这个求解参数的过程 就称之为摄像机标定。 摄像机标定的基本思路是在一定的摄像机模型下，利用形状和尺寸已知的标定物， 经过对其图像进行处理，并利用数学变换和计算方法来计算摄像机内外参数。从摄像机 标定的目的可以看出，摄像机标定的结果直接影响后续三维信息重建的精度。 本章主要介绍了双目视觉下的摄像机标定技术，基本思路如下： 首先介绍了双目视觉下摄像机标定的理论基础。通过建立合适的摄像机数学模型， 阐述进行摄像机标定的原理，为后续处理过程确立了指导方针。主要包括如下内容：摄 像机数学建模，摄像机标定参数介绍，摄像机标定参数的计算方法，以及如何在单目视 觉标定的基础上进行双目视觉标定。 其次介绍了本文采用的摄像机标定的处理方法。本文采用国际象棋盘作为标定物， 通过角点检测技术进行取点，最终利用建立的数学模型进行计算，完成具体的标定过程。 主要包括如下内容：角点检测技术实现原理，标定参数求解，最终结果的误差分析。 2 2 摄像机标定原理 本节主要介绍双目视觉下摄像机标定的理论基础。首先介绍本课题涉及到的四种坐 标系，然后介绍单目摄像机模型的建立过程，最后介绍双目摄像机的模型建立。 2 2 1 视觉系统坐标系 为了方便阐述后续章节的推导过程，本小节首先介绍涉及的四种坐标系9 】： 一计算机图像坐标系 计算机图像坐标系主要描述图像在计算机中的处理方式。如图2 1 所示，计算机图 像坐标系是一个平面二维坐标系，原点o 为图像的左上角，u 轴平行于图像行扫描线， 1 ，轴垂直于u 轴。在计算机内，图像分辨率大小为m n 的数字图像表示为m x n 矩阵， m 行n 列的图像中的每一个元素的数值即是图像点的灰度值。所以( “，v ) 是以像素为单 7 第二章双只视觉下的摄像机标定 位的图像坐标系的坐标，表示像素位于矩阵中的行数与列数，因此，需要建立物理单位 表示的像平面坐标。在本文中，使用( ，v ) 表示像素在计算机图像坐标系中的坐标。 图2 - 1 计算机图像坐标系 二图像平面坐标系 图像平面坐标系主要描述摄像机的成像平面。如图2 2 所示，摄像机光轴与成像平 面垂直相交，交点为图像平面坐标系的原点q ，在摄像机内形成的像平面坐标系x y ，x 轴，少轴分别与计算机图像坐标系的u ，1 ，轴平行，如图2 1 所示。若q 在u v 坐标系 中的坐标为( ，) ，每个像素在x 轴与y 轴方向上的物理尺寸为出，咖，则图像中 任意一个像素在两个坐标系下的坐标有如下关系： x1 ， “= 一d x i - u o j , v - - 二a y + v o ( 2 1 ) ， ( ，v o ) 0 z ， y 彤 图2 - 2 图像平面坐标系 上式可用齐次坐标与矩阵形式表示为式( 2 2 ) ： 三摄像机坐标系 1 n 了u “o a x n 1 u 一弥 咖 u 001 8 享 ( 2 2 ) 两北大学硕十学位论文 摄像机坐标系用来描述摄像机成像的三维坐标系。摄像机的光学中心定义为摄像机 坐标系的原点q 。摄像机的光轴为z c 轴，置轴和【轴分别平行于图像平面坐标系的 x 轴和y 轴。光心到图像平面的距离就是摄像机的有效焦距厂。各坐标系之间的关系 如图2 3 所示， 图2 - 3 四个坐标系之间的关系 四世界坐标系 世界坐标系瓦匕z w 是一个基准坐标系，用来描述物体在空间中相对原点的三维位 置。它描述的是客观世界的绝对坐标，也称现实世界坐标系。 摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵尺与平移向量t 描述，则它 们之间的关系如下式所示。 臣-x = 纠 x w 匕 z w 1 - - m 。 i 刘 1 i j 其中，r 为3 3 正交单位矩阵，t 为三维平移向量，0 = ( o ，0 ，o ) r ，m 。为4 4 矩阵。 2 2 2 单目摄像机模型建立 为了实现双目摄像机的标定，首先需要单独完成每个摄像机的标定。摄像机的线性 模型，是指经典的小孔模型。成像过程不服从小孔模型的称为摄像机的非线性模型。本 小节首先介绍摄像机成像的线性模型，然后介绍非线性模型。 线性摄像机模型是将所有的光学畸变均忽略不考虑，采用小孔成像模型作为摄像机 成像的数学模型。 9 第二章双只视觉下的摄像机标定 考虑如图2 - 4 所示的针孔相机模型，空间中一点p 在摄像机坐标系中的坐标为 ( t ，之，z c ) ，在世界坐标系中的坐标为( ，z w ) ，图像平面坐标系中坐标为( x ，y ) ， 计算机图像坐标系中坐标为( “，1 ，) 。 y c 图2 - 4针孔相机模型 由相似三角形原理，很容易推得相机坐标系和成像平面坐标系之间的关系为： 写成齐次坐标的形式： 料0 x c y c z c 1 ( 2 5 ) 根据上节中摄像机模型间的转换关系将( 2 2 ) 和( 2 3 ) 代入上式就可以得到世界坐标 系表示的点p 与其投影点p 之间的关系： 1 0 z z c y 上z c 广 ， x y 西北大学硕士学位论文 1 矧瓣) l d r0 u ，、 u o 1 d y v 0 0o 1 x w ，w z w 1 = m l m 2 x w 】，w z w 1 x ? w y w z w 1 ( 2 6 ) m 。完全由厂，d 工，d y ，u o ，v o 决定，f 1 3 于f ，d ，d y ，只与摄像机内部结构有关，因此， 把这些参数称为摄像机内部参数；尬完全由摄像机相对于世界坐标系的方位所决定， 因此，把这些参数称为摄像机外部参数。 理想情况下，由公式( 2 6 ) 可知给定一组足够数量的空间点，在已知它们精确的世界 坐标值和对应的图像坐标值的情况下，可以求出摄像机的内外参数。然而在实际成像过 程中，摄像机成像并不完全满足线性模型。实验表明，在大多数应用中线性模型不能准 确地描述成像几何关系，使得所量测的像点坐标产生误差，必须对其进行校正。 非线性模型可以看作是对线性模型的补充完善。描述非线性畸变可用下列公式9 】： i = 工+ 瓯( x ，y 2 ( 2 7 ) i y = y + a y ( x ，y ) 一“。 其中( ；，歹) 为小孔线性模型计算出来的图像点坐标的理想值；( 工，y ) 是实际图像点 的举标。瓯，瓯为非线性畸变值，它与图像点在图像中的位置有关。造成成像坐标偏 差的非线性畸变因素有透镜的径向畸变，切向畸变，薄棱镜畸变。因此非线性畸变值可 以用以下公式表达： j 正( x ，y ) = 毛x ( x 2 + y 2 ) + ( a ( 3 石2 + y 2 ) + 2 p z 砂? + 岛( 石2 + j ，2 ) ( 2 8 ) l ( w ) = k 2 y ( x 2 + y 2 ) + p 2 ( 3 x 2 + y 2 ) + 2 p 。砂) + s 2 ( x 2 + y 2 ) 其中疋和瓯的第一项称为径向畸变，第二项称为离心畸变，第三项称为薄棱镜畸 变，式中白，心，p 1 ，p 2 ，墨，称为非线性畸变参数。 出) 几0 0 _ ，。一 = 、_、 比 v 1 ，。- z c 第二章双目视觉下的摄像机标定 一般情况下，上述非线性模型的第一项径向畸变已经能够描述非线性畸变，t s a i 曾 指出用，由于在考虑非线性畸变时，对摄像机定标需要采用非线性最优化算法，引入过 多的非线性参数往往不仅不能提高精度，反而会引起解的不稳定。但是也有研究表明【1 0 ， 1 1 1 ，在使用广角镜头时引入上式中第二项与第三项能提高模型的求解精度。在工业视觉 中，一般只需要对径向畸变进行修正。如果只考虑径向畸变，式( 2 8 ) 可表示成： 卜x 户：! ( 2 9 ) 【儿= y ( 1 + 如，2 ) 其中，z = x z + y z 。上式表明x 方向与y 方向的畸变相对值与径向半径的平方成 正比，即在图像边缘处的畸变较大。 线性模型的参数a x ，a y ，u o ，v o ，与非线性畸变参数缸，包，p 1 ，p 2 ，西，龟一起构成了非 线性模型的摄像机内部参数。 2 2 3 双目摄像机模型建立 与单个摄像机标定的差别是，双目摄像机标定不仅要得出每个摄像机的内部参数， 还需要通过标定来测量两个摄像机之间相对位置的外部参数。 在双目摄像机标定中，可以先用单摄像机标定的方法分别得到两个摄像机各自的内 外参数。假定摄像机c l 与世界坐标系相对位置的外部参数为旋转矩阵墨和平移向量， 摄像机c 2 与世界坐标系相对位置的外部参数为旋转矩阵r 和平移向量乞。对空间任意 一点p ，如它在世界坐标系、摄像机坐标c l 坐标系和摄像机c 2 坐标系下的非齐次坐标 分别为【k ，r w ，z w 】， ，圪。，z c l ， ，匕：，乞 ，则有： x c k z c l 1 = 钏 1 2 x w 匕 z w l ( 2 1 0 ) 西北大学硕：j j 学位论文 x 匕 z c 。 l 一厂恐乞 一l o r 11 将上式中的 凡，匕，z w 卜。z 。，1 4 ： x o z c 。 1 一r 蜀r - 1 一io r i - x 时 匕 z w l 卜蜀心。1 乞 1l - i x c 。 匕 z c ： l = 瞄 ( 2 1 1 ) x c 。 匕 z c 2 1 ( 2 1 2 ) 因此，两个摄像机之间的几何关系可用以下r 和t 表示： r = r l r 2 1 ( 2 1 3 ) t = 一r r 。1 t 2 ( 2 1 4 ) 以上关系式表明，如果对两个摄像机分别标定，得到墨、毛和r 、t 2 ，则双目摄像机 间的相对几何位置尺和t 就可由式( 2 1 3 ) 和式( 2 1 4 ) 计算得出。 2 3 本文采用的摄像机标定模型 2 3 1 摄像定标总体思路 从公式( 2 6 ) 、公式( 2 1 2 ) 、公式( 2 1 3 ) 和公式( 2 1 4 ) 推导出，摄像机定标的 基本思路如下：选取适当的定标物，进行取点，根据取点结果进行计算。 本系统采用国际象棋棋盘作为定标物，如图2 5 所示： 1 3 圉2 - 5 国际象棋棋盘 本系统采用定标板为9 7 黑白方格，边长为18 c m ，使用黑白方格交点进行取点。 为了进行取点，本课题采用角点检测技术。角点榆测是获j 段图像特i | l ：信息，从而简 化和方便图像处坪的重要手段。在木系统中需要获取黑白a 格角点，以便汁算。本课题 利用m a t l a b 完成角点榆测功能。 完成角点检测后得到了控制点空间坐标z i 对麻的图像m 标扁，接f 来需要进打j - 公 式( 26 ) 的方程求解。如何通过已知取点求解摄像机内外参数矩阵和畸变系数足摄像机 标j 止的一个晕要内容。水文采用晟小二乘法算法对获取数据进行优化，以便得到最优解。 232 参数求解过程 首先进行角点检删，为了获取有效的黑白方格角点，水文采垲如下算法： ( 1 ) 首先选取空间菜矩形区域在图像上对应的四个角点，如图2 - 6 所示。获取四个角 点的罔像牮标井经旺像素处砰。同时建市世界华标系，选取的第一个角点作为【界坐标 系原点，z 轴垂直1 方块格所在平面指向平由模板外，确定z 轴后，以右手系为标准确 定j j 轴和y 轴。将棋般平面作为| 址界串标系的。一平面，公式( 2 6 ) 可简化为： z = h 阵 ( 2 1 5 ) 式中，称为单应矩阵，从巾将求解摄像机的内外参数转化为求解单应性矩阵h n 学i 学位论女 圈“手工选取边缘的四个角点 ( 2 ) 设手动获取四点的世界举标系为( ( o ，0 ，0 ) ，( 1 ，o ，o ) ，( 1 ，1 ，o ) ，( 0 ，1 ，0 ) ，并根据四点的计 算机图形毕标系斗标( ，) 。代入公式( 2l5 ) 水得归一化坐标下的单应矩阵。如图 2 7 所示。 图2 7 通过单应性矩阵投影生威的控制 ( 3 ) 将获得的单应性矩阵代入( 215 ) 式，将网格格点坐标投影生成崮像控制点坐 标，并用亚像素处理办法提高一* 标精度，最后结果如图2 - 8 所示。 图2 _ 8 亚像素处理方法提高坐标精度 ( 4 ) 根据平面模板上方块的实际边长以与d 。，计算得出控制点的空问实际串标，从 第二章双目视觉下的摄像机标定 而计算得出实际世界坐标系下的单应性矩阵日。 ( 5 ) 将第( 4 ) 步计算出来的内外参数作为初始值，然后选取模板平面上的所有点，使 用式( 2 9 ) 建立的非线性模型，然后利用非线性最优化算法求出畸变参数。 2 3 3 实验结果及误差分析 本课题使用v c 和m a t l a b 结合进行了标定实验，并通过对空间物体的三维测量，完 成对算法的验证，进一步进行误差分析。 首先分别针对左右摄像头分别进行标定，标定结果如表2 1 所示： 表2 - 1 左右摄像机的内部参数 l x l 。 埸埸白k s 左摄像头 4 2 5 41 8 6 59 2 70 0 4 0 5 50 19 0 7 7 ， 右摄像头 3 22 31 7 2 81 2 2 90 0 7 6 4 00 1 9 7 1 3 ， 其次利用公式( 2 1 5 ) 和( 2 1 6 ) ，计算得出双目摄像头之间的旋转矩阵r 和平移向量t 如下： r = 0 9 9 9 9 0 0 0 0 5 0 0 14 9 0 0 0 0 70 9 9 9 90 016 5 0 0 1 4 90 0 1 6 5 0 9 9 9 8 】 t = 【0 8 1 7 2 4 0 1 7 0 4 7 0 9 2 7 7 0 】 为了验证本课题所采用的标定算法的精确度和使用范围，需要对实验结果进行误差 分析。主要对单目摄像机标定和双目摄像机标定分别进行误差分析。 首先分析一下单目摄像头的标定结果。 方法一：采用对同一摄像头进行多次实验，标定结果如表2 2 所示。对多次标定结 果进行比较，来分析算法稳定性，分析结果如下： 表2 - 2 单摄像机三次标定结果 标定参数标定结果1标定结果2标定结果3 4 78 14 2 3 94 43 7 l x l 。 2 0 3 0 7 9 21 8 4 78 9 9 1 8 5 07 0 0 炀 0 0 15 7 60 0 2 4 2 90 0 2 7 0 2 毛如 0 2 3 2 010 38 0 0 7 0 3 0 6 8 6 方法二：进行像元误差分析，像元误差是将标定结果代入摄像机模型后，将模板控 制点投影到图像平面后的坐标值与实际获得的控制点坐标值之间偏差的标准差，如表 1 6 两北大学硕士学位论文 2 3 所示。对三次实验结果分析结果如下： 表2 _ 3 单摄像机像元误差 l 标定参数标定结果1标定结果2标定结果3 i 像元误差 【0 7 3 3 0 4 0 815 9 0 】 0 7 3 3 0 4 o 815 9 0 】 【o 7 3 3 0 4o