（电路与系统专业论文）目标三维位置与拓扑结构描述方法研究.pdf

p i i t l l l l l r l t l l l r r r l l l l l l l l l l l l l l l l l r l l l lh i y 2 12 5 4 8 5 u n i v e r s i t yo fs c i e n c e a n dt e c h n o l o g yo fc h i n a adi s s e r t a t i o nf o rm a s t e r sd e gr e e r e s e a r c ho no b j e c t d e s c r i p t i o nm e t h o d o f3 d - 一 -。- i i _i i p o s i t i o na n di o p o l o g y 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除己特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：秘 签字日期：迦! 兰：笪：2 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入中国学 位论文全文数据库等有关数据库进行检索，可以采用影印、缩印或扫描等复制 手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 日么，开口保密。年， 作者繇担垒 签字日期：边1 2 ：2 导师签名： 签字日期： 摘要 摘要 随着计算机技术的不断进步，人们对计算机系统智能化的要求越来越高。为 此，基于计算机视觉的行为分析受到广泛的关注。目标特征描述作为其中的重要 部分具有重要的研究意义和应用价值。 本文的主要研究问题是目标三维姿态特征描述方法。根据陈霖的拓扑知觉理 论，大范围性质可用拓扑特征进行描述。目标姿态作为一个目标的整体特征属于 大范围特征的范畴，可使用拓扑特征进行描述。因此，本文对双目视觉系统下目 标三维位置与拓扑结构的描述方法展开了研究。 本文的主要工作和特色如下： 1 立体标定和立体校正是双目视觉系统中的基本问题，是实现双目视觉系 统的必要准备。在本文中，通过对立体标定和立体校正技术的研究，实 现了标定和校正的算法，并在此基础上使用普通的网络摄像头搭建了简 易的双目视觉实验平台。在此平台上进行了立体匹配和三维骨架提取的 实验，实验结果表明此平台性能基本满足实验的需求； 2 立体匹配的执行效率问题一直是双目视觉系统中的难点。针对这一问题 本文提出了一种基于分层置信传播改进算法的立体匹配并行化实现方 法。该方法根据算法中消息迭代、初值预测、视差选优三个模块算法中 的并行性对算法进行并行实现，并在双核平台上对算法效率进行验证。 实验表明加速比达到1 8 8 以上。这种并行方法的主体算法部分是以像 素或几个像素组成的节点为基本节点进行并行操作，因此该算法具有随 处理器核数增加的扩展性，在多核系统上能取得更好的效果； 3 对目前研究存在需要人为标记或者依赖于训练样本集完备性，而且需要 进行立体重构等问题，提出了一种基于三维位置和拓扑结构的目标表达 方法。通过立体匹配得到场景的视差，再利用视差信息和星型骨架对姿 态进行初始估计，再利用圆柱体模型对估计出的姿态进行拟合构造表面 网格，最终提取网格的拓扑特征，得到目标三维拓扑结构。该方法通过 使用由视差提供的三维信息结合星型骨架估计目标姿态，不需要人为标 记。该方法使用模型根据姿态估计目标表面，不需要立体重构。实验表 明，本文的方法能够提供较为准确的目标三维位置和拓扑结构。 关键词：立体匹配，双目视觉，拓扑结构，骨架提取，并行算法 摘要 i i a b s t r a c t a b s t r a c t w i t ht h ec o n t i n u o u sp r o g r e s so fc o m p u t e rt e c h n o l o g y , i n t e r l l i g e n tc o m p u t e r s y s t e mh a v eb e c o m ei n c r e a s i n g l yd e m a n d i n g t h e r e f o r e ，b e h a v i o ra n a l y s i sb a s e do n c o m p u t e rv i s i o nt e c h n o l o g yi sw i d e s p r e a dc o n c e r n e d b e h a v i o rd e s c r i b e da s a n i m p o r t a n tp a r to f w h i c hh a si m p o r t a n ts i g n i f i c a n c ea n dv a l u e i nt h i sp a p e r , w es t u d yt h em e t h o dt od e s c r i b eo b j e c t3 dp o s t u r ef e a t u r e a c c o r d i n gt oc h e nl i n st o p o l o g yp e r c e p t i o nt h e o r y , t o p o l o g i c a lc h a r a c t e r i s t i c sc a n b eu s e dt od e s c r i b ec h a r a c t e r i s t i c so faw i d er a n g e a sac h a r a c t e r i s t i co fw i d er a n g e ， p o s t u r eo fo b j e c tc a nb ed e s c r i b e db yt o p o l o g i c a lc h a r a c t e r i s t i c s s ow es t u d yt h e m e t h o dt od e s c r i b e3 dp o s i t i o na n dt o p o l o g yo fo b je c tu s i n gb i n o c u l a rv i s i o ns y s t e m t h em a i nw o r ka sf o l l o w s ： 1 c m i b r m i o na n dr e c t i f i c a t i o ni st h eb a s i cp r o b l e mi nt h eb i n o c u l a rv i s i o n s y s t e m t h r o u g ht h es t u d yo fc a l i b r a t i o na n dr e c t i f i c a t i o n ，w er e a l i z et h e c o r r e s p o n d i n ga l g o r i t h m b a s e do nt h e s ew o r k s ，w eb u i l das i m p l e e x p e r i m e n t a lp l a t f o r mo fb i n o c u l a rv i s i o n t h ee x p e r i m e n t a lr e s u l t ss h o w t h a tp r o p e r t i e so ft h ep l a t f o r mc a nm e e tt h en e e do ft h ee x p e r i m e n t s 2 e x e c u t i o ns p e e do fs t e r e om a t c h i n ga l g o r i t h mi ss l o w i no r d e rt os p e e du p t h er u n n i n gs p e e do ft h ea l g o r i t h m ，w eg i v eap a r a l l e li m p l e m e n t a t i o no fa h b pa l g o r i t h m t h ee x p e r i m e n t a lr e s u l t ss h o wt h a tt h ea v e r a g es p e e d u p a c h i e v e s1 8 8o nad u a l c o r es y s t e m i nt h i sa l g o r i t h m ，t h en o d e sa r et h e i m a g ep i x e l s d u et ot h ei n d e p e n d e n c eb e t w e e nt h ep i x e l s ，t h ea l g o r i t h mi s s c a l a b l e 3 t h ec u r r e n tm e t h o d sg e n e r a l l yr e q u i r ea r t i f i c i a lm a r ko rn e e dc o m p l e t e t r a i n i n gs e t ，r e c o n s t r u c t i o ni sa l s on e e d e di ns o m em e t h o d s t os o l v et h e s e p r o b l e m s ，w ep r o p o s ea no b j e c td e s c r i p t i o nm e t h o db a s e do n3 dp o s i t i o n a n dt o p o l o g y i nt h i sm e t h o d ，w eg e td i s p a r i t ym a pb ys t e r e om a t c h ，a n d t h e ne s t i m a t ep o s t u r er o u g h l yb yt h i sm a pa n d3 ds t a r - s h a p e ds k e l e t o n w e u s et h ec y l i n d e rm o d e lt of i tt h ep o s t u r e ，a n dt h e ne x t r a c tt h es u r f a c e f i n a l l y , w ee x t r a c tt h et o p o l o g i c a lc h a r a c t e r i s t i c so ft h em e s h t h i sm e t h o d d on o tn e e da r t i f i c i a la n du s ec y l i n d e rm o d e lt oa v o i dr e c o n s t r u c t i o n t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h i sm e t h o dc a no b t a i nm o r ea c c u r a t e3d p o s i t i o na n dt o p o l o g yo fo b j e c t i i i a b s t r a c t k e yw o r d s ：s t e r e om a t c h ，b i n o c u l a rv i s i o n ，t o p o l o g y ，s k e l e t o ne x t r a c t i o n ，p a r a l l e l a l g o r i t h m i v 目录 目录 摘要i a b s t r a c t i i i 目录一v 第一章绪论1 11 引言1 1 , 2 研究背景和意义1 1 3 国内外研究现状2 1 4 论文的主要工作和特色4 1 5 论文的结构安排6 1 6 本章小结6 第二章立体标定与校正7 2 1 引言7 2 2 坐标系变换8 2 3 针孔模型1 0 2 4 双目立体标定1 2 25 基于摄像机参数的校正1 5 2 6 本章小结2 2 第三章立体匹配原理与算法简介2 3 31 引言2 3 3 2 视差值与深度值的关系2 3 3 3 约束条件：2 4 3 4 常用算法简介2 8 34 1 局部匹配算法2 8 3 4 2 全局匹配算法3 0 3 4 3 基于分割的全局匹配算法3 3 3 5 本章小结3 5 第四章立体匹配并行实现3 7 4 1 引言3 7 4 2 多核并行概述3 7 4 2 1 多核处理器体系架构3 8 4 2 2 并行程序问题分解3 8 v 目录 4 2 3 并行程序的设计模式3 9 4 3 自适应h b p 立体匹配的并行实现4 0 4 3 1 分层预测消息初值的并行实现4 0 4 3 2 消息迭代更新的并行实现4 2 4 3 3 最终视差计算的并行实现4 3 4 4 实验结果与分析4 4 4 5 本章小结4 9 第五章基于三维位置和拓扑结构的目标表达方法研究5 1 5 1 引言5 1 5 2 三维星型骨架5 1 5 2 1 二维星型骨架提取5 1 5 2 2 三维星型骨架提取5 2 5 3 三维网格构造5 4 5 3 1 基于圆柱模型的点云构造5 4 5 3 2 由点云构造三角网格5 5 5 4 基于网格收缩的曲线骨架提取5 7 5 4 1 网格收缩5 7 5 4 2 连通性网格简化5 8 5 4 3 嵌入性调整5 9 5 5 实验结果与分析6 0 5 6 本章小结6 3 第六章总结与展望6 5 6 1 全文总结6 5 6 2 未来展望6 6 参考文献6 7 致谢 7 3 在读期间发表的学术论文与取得的其他研究成果7 5 v i 绪论 第一章绪论 1 1 引言 随着计算机技术的不断发展，计算机视觉系统的应用范围越来越广泛，在人 体行为识别与分析领域的应用是近些年来研究较多的一个热点问题。人体姿势的 获取作为行为描述中的一个重要方面，具有重要的研究意义。本章作为全文的开 始对三维人体姿态获取问题在计算机视觉领域的重要意义进行了阐述，对该技术 的研究背景及主要应用进行了介绍，并简要介绍了三维人体姿态获取的相关技术 和目前在该领域取得的相关研究成果并对文章的内容和结构做出了整体的安排。 1 2 研究背景和意义 随着近些年来计算机的计算性能大幅提高，高性能的视频和图像获取设备的 普及化，计算机视觉系统在实际问题中的应用需求也在不断地增加。对于人体动 作的分析技术作为计算机视觉系统研究中的一个重要方面在智能监控、人机交 互、运动分析等领域有着广泛的应用前景，g a v r i l a l 3 做出了如下总结： 1 智能监控。随着人们对公共安全的要求越来越高，人们希望监控系统能 够连续监视，并及时对不安全行为进行报警。目前的监控系统一般需 要人的干预，人为地判断监控区域中人的行为是否异常，不能对异常 行为自动地做出判断并采取措施，只能作为事后的依据。智能监控系 统【4 】就需要系统具有自动判断和采取应对措施的能力，对于某些特殊场 合或公共场合下的人的异常行为要及时发现并报警，从而制止或避免 突发事件的发生，减小损失。这就要求视觉系统能对监控区域内人的 行为做出准确地判断。 2 入机接口。为了使入与计算机地交流像人与入交流那样方便，必须改变 现在鼠标、键盘的输入方式，通过语言、姿态来与计算机进行交流， 这就是智能的人机交互系统【5 】。人机智能交互要求计算机系统能自动获 取人体的姿态、手势、语言等信息，并且对人的行为具有识别能力， 这对人体姿态的获取和识别是一个挑战。而基于视觉的接口通常比基 于语音的接口输入更为准确【6 】，对于不同的人其差异性更小，输入更为 稳定。 3 运动分析。在视频图像序列中跟踪人体关节运动，构建出人体在运动过 程中的运动姿态序列，这在舞蹈教学和体育运动员技术动作矫正等方 绪论 面具有实际的应用价值。步医学态分析【7 j 如果能在医疗过程通过，根据 一 患者行走的视频对其动作姿态进行获取和分析，对于外伤或畸形等病 誉，症给出准确地判断，对患者的治疗也是很有益处的。此外步态分析还 被用于身份识别【8 j 和数据快速搜索等领域。 4 虚拟现实。一直以来，虚拟现实技术都是作为一个独立的课题被进行研 究。该技术可以认为是一种新的人机交互技术，为了达到人可以与虚 拟的环境进行交互的目的，需要获取人体的姿势和动作信息反馈给控 制系统，这些的实现就需要人体运动获取技术的支持。比如在虚拟聊 天室中添加手势、姿势等信息将会使交流形式更加丰富。 5 游戏动画制作。使用真实人体的姿势序列驱动特定的动画模型，能使得 动画模型的运动更加逼真，更加流畅。在未来的游戏中将会更加注重 玩家的感受，是玩家有更加强烈的参与感，这些都需要虚拟场景中的 人物更加的逼真，人物动作更接近真实的人的动作。这些都需要人体 运动获取技术的支持。 此外，人体的动作分析在视频会议、模型编码等领域的应用前景也十分广泛。 目前的人体动作分析技术还处于实验室研究阶段，很多存在的问题影响了实 际应用的效果，但随着越来越多的研究人员投入到该领域的研究中以及相关技术 的不断发展，这些问题必然会被一一解决，基于人体动作分析的计算机视觉系统 必然会广泛地应用于生活的各个领域。其中人体姿态的获取作为人体运动分析的 一个重要环节具有重要的研究意义。 1 3 国内外研究现状 人体行为分析的研究早在2 0 世纪8 0 年代就已经开始了【l j 。j o h a n s s o n 2 通过 在人体关节设置标记点，通过标记点的运动描述人体运动，这为后来的行为描述 方法提供了重要指导。人体的动作信息可以通过特殊的设备获取，一般的需要在 人体上设置l e d 等标记【9 】，通过获取标记点的信息分析获得人体的动作信息。 这种方法存在几个缺点：首先使用到的设备比较昂贵，不利于推广，对于没有 标记的场景无法使用该方法，这限制了该方法在实际问题解决中的使用；其次， 当标记点被遮挡或由于其他原因未被获取时，该方法不能获取准确的人体姿势； 最后，各种标记和器械的使用影响了表演人员的动作，阻碍表演人员的肢体运动， 使得获取的人体姿态与正常情况下不同。由于各种缺点的限制，使得基于标记的 方法很难被应用到实际生活中，因此，基于视觉的动作捕捉技术作为一种不需要 器械标记的方法，成为了研究的热点问题，相关研究逐年增多，如图1 1 所示( 使 2 绪论 用e n g i n e e r i n gv i l l a g e 数据库提供数据统计获得) 。本文的研究主要针对基于视觉 的人体姿态获取方法。 晒骶 图1 1 人体姿态获取研究领域文章发表统计图 基于视觉的人体姿态获取技术因其结果的实用性受到了广泛的关注，越来越 多的研究机构加入到该技术的研究行列中，国外研究机构有：法国国家实验室【l l 】、 c m u 机器人研究所【1 2 1 、牛津大学动态视觉组【l3 】等，国内研究机构包括：中科院 计算所 1 9 】、浙江大学刚、清华大学刚等。众多国际期刊和会议( 如i e e ep a m i ， c v p r ，a c c v 等) 都对该技术进行专门的研讨。 m o e s l u n d t l 4 】对人体姿态估计方法进行了总结，将姿态估计方法分为基于模型 的方法和无模型的方法。 基于模型的方法使用的人体先验模型通常有骨架模型【1 5 】、几何模型和三角 网格【1 1 7 1 。基于模型的方法一般通过迭代执行预测、匹配、更新的方法【1 8 】来估计 人体姿态。预测是根据已知人体状态估计当前状态。匹配是根据预测得到的状态 调整模型，使得当前状态与图像观测吻合；更新是根据匹配模型更新状态，进入 下一轮迭代。最优姿态通常使用优化方法搜索姿态空间来获取。s m i n c h i s e s c u 2 2 】 使用微分法获取最优姿态，使用雅可比矩阵建立模型参数与图像坐标的微分关 绪论 系，在梯度方向上迭代更新参数，直到获取满意解。这种方法能较快收敛，但可 能会收敛到局部最优值，不能保证结果的真确性。b r a y 2 3 使用p o w e l l 算法对人 体模型进行优化来获取最优姿态。这种方法采用分阶段处理的方法，在每个阶段 在方向集上逐个寻优，并对其进行更新，直到找到最优解。d e l a m a r r e 2 4 使用动 力学法寻优，法向力和切向力产生使模型与图像轮廓趋于重合的效果，在未重合 前，不断地以这两个力为依据对模型参数进行修正，直到最终一致。该方法不能 保证最终一定会收敛，这是动力学方法最大的缺陷。g a v r i l a 2 5 使用局部搜索法 寻找模型与图像之间的匹配关系，通过姿态空间分解，使该方法能对高维空间进 行搜索，再使用分层方式搜索。该方法执行速度较慢，而且找到的最优解并不一 定是全局最优的。此外，粒子滤波算法也被应用于最优姿态的获取 2 6 ，该方法 能得到全局最优解，而且对噪声不敏感，但是该算法计算较慢，而且精度不如前 面算法。基于模型的方法无需训练，通用性强，先验知识的使用对于遮挡等一些 问题有较好的修正作用，但是这类方法普遍运行速度较慢，而且一般需要人为地 初始化，并且噪声影响不可忽略。 无模型的方法需要对已知的标记图像进行训练，学习人体姿态与图像中特征 的对应关系，训练过后就可通过这种关系获取图像序列对应的人体姿态参数，这 实际上是一个模式识别的问题。使用这类方法，一旦训练完成后，人体姿态的估 计速度就很快，而且相对稳定，但是这只针对于训练库中包含的姿态，对于未知 的姿态不能保证准确率。因此这种方法对训练集的完备性有较高要求，至少要求 在实际的应用中，针对当前问题是完备的。无模型的方法一般分为两类，第一类 是基于学习的方法，通过训练获得图像特征和姿态空间的对应关系。r o s a l e s 【2 7 j 提出了一种基于空间分割的小范围拟合方法来提高精度。g r a u m a n 列j 提出多视角 情况下姿态与轮廓的统计模型。c h a n g 2 8 】提出了一种能恢复遮挡部分的小部件耦 合方法。该方法计算十分复杂，运算速度很慢。第二类是基于样本的方法，采用 模板匹配的方法，将图像特征与训练库中数据比较，找出最接近的人体姿态。人 体姿态不同时图像的特征也可能比较接近，因此这种方法可能会选出多个最优姿 态，因此在这些姿态中选择与图像中最接近姿态的选择方法就比较重要， h o w e 2 9 1 、m o r i 3 0 1 、e f r o s 3 1 1 、s h a k h n a r o v i c h 3 2 】等人分别使用不同的方法获取样本 集中的最优解。 虽然经过多年的研究，该技术目前仍然处于初级阶段，在实验效果上与使用 设备标记的方法相差较大。要想将该项技术应用到实际问题的解决，还要对这类 方法在运算速度、结果精度等很多方面做出改进。 1 4 论文的主要工作和特色 4 绪论 基于双目视觉的人体姿态获取技术是一种有广泛应用前景的计算机视觉技 术。本文对该项技术进行了研究，对其相关技术进行了调研和分析。对于双目视 觉系统，我们实现了立体标定和校正算法，为后续工作做好了准备。对立体视觉 过程中比较耗时的立体匹配算法进行了并行加速，并在此基础上提出了一种基于 视差图和圆柱体模型的三维人体骨架提取算法，来获取三维的人体姿态。 本文的主要工作和特色如下： 1 全文工作的准备。立体视觉实际上就是从二维图像获取场景三维信息的 过程。在这个过程中，要将图像中的像素点映射到三维空间中，获取空 间点的三维坐标，这就需要建立图像中点与空间中点的映射关系，这就 需要双目摄像机的立体标定，获取摄像机的内外参数。为了后续的立体 匹配算法实现更加高效并且能获取更加准确的匹配结果，立体校正技术 也是不可或缺的。在本文的一开始，我们对立体标定和立体校正问题进 行了大量的调研，对其原理进行详细分析，并实现了立体标定和立体校 正算法，为后续使用实际场景图像进行研究做好了准备。 2 本文工作特色一：基于自适应分层置信传播算法立体匹配的并行实现。 立体匹配是双目视觉中较为耗时的部分，立体匹配的快速实现一直是该 领域的重要研究问题。本文在对立体匹配原理和现有技术的调研和分析 的基础上，给出一种基于马尔科夫随机场的自适应分层置信传播问题进 行了双核并行实现方法，并用于立体匹配问题中。将该算法进行任务分 解，对于其中执行较慢的消息迭代、初值预测和视差选优三个部分利用 算法本身的并行性进行并行实现，获得了较好的效果。这种并行算法由 于其主体算法部分是以像素或有几个像素组成的节点为基本节点进行并 行操作，因此该算法具有随处理器核数增加的扩展性，在多核系统上能 取得更好的效果。 3 本文工作特色二：基于视差和圆柱体模型的三维人体骨架估计方法。三 维人体姿态获取一直是计算机视觉领域的一个难题。目前的基于视频序 列和图像的方法多需要人体姿态的初始化，这一般需要人为的标记，而 现在的不需要标记的方法初始姿态的估计对于结果影响很大，而基于多 视序列的方法一般都需要三维重构，这严重影响了算法的执行效率。本 文提出了一种双目视觉系统下基于视差和圆柱模型的方法，首先通过三 维星型骨架对人体姿势进行初始估计，使用圆柱体模型获取人体三角网 格表示，而不是通过重构，这样虽然不能获取准确的人体表面信息，但 是三维骨架提取不受表面信息影响，只需具有相同拓扑结构即可。最后 使用一种基于网格收缩的方法对网格提取人体三维骨架。 绪论 1 5 论文的结构安排 对本文的各个章节内容做如下安排： 第一章介绍了三维人体姿态获取在计算机视觉领域的重要意义，对该技术的 研究背景及主要应用进行了介绍，并简要介绍了三维人体姿态获取的相关技术和 目前在该领域取得的相关研究成果。在这一章的最后对全文的主要工作和内容分 别做出了安排。 第二章的内容是对后续章节工作的准备。在双目视觉系统中，要获得图像数 据到三维空间数据的变换，标定是不可缺少的步骤，而校正使得后续的匹配问题 变得更加简单。在这一章中我们对立体标定技术和立体校正技术的相关原理和主 要方法以及图像空间和三维空间中的映射关系进行了介绍，并在本章中对一些算 法进行了实现，作为后续章节中实验的数据，为后续章节中的研究做好了准备。 第三章对立体匹配技术相关问题做出了介绍。立体匹配技术是双目视觉中的 关键技术，是双目系统中获取场景深度信息的必要工作。本章对立体匹配技术的 基本原理、存在问题和匹配算法进行了介绍，并对主要算法的优缺点进行了简要 分析。在本章中对通过视差获取场景深度信息的方法进行了简要介绍。 第四章给出了一种立体匹配的并行算法。立体匹配是双目视觉中的主要步 骤，但是各种匹配算法的匹配的准确率与匹配速度不能兼顾，大大限制了在实际 问题解决中的应用。在本章中提出了一种在多核平台上实现的自适应的分层置信 传播算法，并应用于立体匹配过程中，以获得运行速度较快的全局匹配算法，并 在实验的基础上对结果进行了分析。 第五章提出了一种基于视差和圆柱人体模型的双目摄像机系统下根据图像 对估计人体三维骨架的方法。该方法通过三维轮廓的改进星型骨架和圆柱体模型 估计人体区域，获取三角网格表示，并通过网格收缩的方法提取出人体的三维骨 架，来表示人体的姿态。 第六章对本文的主要工作进行了总结，并在对本文方法存在问题进行仔细分 析的基础上提出在后续工作中对算法进行改进的一些想法。 1 6 本章小结 本章作为全文的绪论在对人体姿态获取相关技术调研的基础上对本文研究 的背景和意义做出了论述，并对目前国内外在该领域的研究现状进行了简要介 绍。在本章的最后，我们介绍了全文的内容和结构安排。 6 立体标定与校正 第二章立体标定与校正 2 1 引言 立体摄像机标定和几何校正是计算机视觉系统研究过程中必须解决的问题。 从摄像机获得的二维图像对计算出空间中物体的三维几何信息，进而实现表面重 建和识别等问题是三维机器视觉研究过程中的基本问题之一。要解决这个问题要 做到两点：第一，确定图像对上像素点之间的对应关系，这是立体匹配的过程， 双视图的几何校正是立体匹配中的重要步骤，对立体匹配算法的执行效率和准确 率都有重大的影响；第二，获得三维空间中物体表面上的点与这些点在摄像机获 取的图像中的对应点之间的关系的过程就是立体摄像机的标定。定标过程中对于 特定的摄像机的成像模型，通过实验计算出对应的摄像机参数。通过这些参数就 能获得图像坐标系和世界坐标系中点的对应关系，从而获取图像点的三维信息。 摄像机参数包括外部参数和内部参数，内部参数是摄像机的固有参数，表征 摄像机的光学特性和几何特性，一般包括摄像机焦距、主点和镜头畸变等参数。 外部参数表征摄像机坐标系和世界坐标系之间的对应关系。为了获取这些摄像机 参数，目前主要的标定方法包括以下几种：传统方法；通过摄像机获取已知尺寸 和形状的参照物的图像，对这些图像提取特征点，通过一系列的数学变换对这些 特征点进行处理，计算得出摄像机的内外参数。这种方法对已知参照物参数的情 况下对摄像机模型参数进行线性求解，具有较好的稳定性；自定标方法，在没有 给定参照物的情况下，根据场景中的信息进行摄像机标定。这种方法灵活性较高， 但是依赖于场景中几何信息的提取，因此精度和稳定性不高；主动视觉方法：在 已知摄像机运动信息机的情况下进行摄像机标定的方法。这种方法需要己知摄像 机运动信息，因此其使用受到很大的限制。通过对上述方法优缺点的分析，在这 里主要对传统标定方法进行研究。 对于几何校正问题，由于双摄像机可以取任意的相对位置摆放，因此实际情 况下，不仅存在水平方向上的视差，而且存在垂直方向上的视差。立体匹配的过 程中需要在两个方向上对双视图进行搜索，计算相当复杂，运算效率很低。几何 校正的效果是通过对双视图进行射影变换和重采样，使得双视图的极线都与x 轴平行，校正后的摄像机系统与平行摄像机系统完全一致。这时，由该摄像机系 统获取的图像对消除了垂直方向上的视差，只存在x 轴方向上的视差。在进行 双视图的立体匹配时，匹配点的搜索范围被限制在极线上，搜索问题从二维降到 了一维，大大降低了算法的运算复杂度，提高了执行效率。目前的几何校正算法 主要有两类：第一类方法是基于摄像机参数的，由给定的摄像机参数计算合成旋 7 立体标定与校正 转矩阵使摄像机共面，再将极点校正到无限远处，获得最终的校正结果，该方法 可以获得较好的校正效果，并且校正结果唯一，但是对于摄像机参数的需求对该 方法的应用有很大的限制，在无标定参数的情况下不能使用该方法；第二类方法 无需摄像机参数，是一种基于特征点匹配的方法，通过一定数量的特征点的对应 关系求取实现几何校正的变换矩阵，该方法适用范围很广，但是目前精确度不能 保证，而且结果存在多义性。由于本章中对摄像机的标定技术也有一些研究，因 此校正算法使用基于参数的校正算法。 2 2 坐标系变换 为了从二维图像中获取景物的三维空间信息，必须建立二维图像坐标系到三 维世晃坐标系的映射关系。这种对应关系的建立主要通过三种坐标系( 三维世界 坐标系、摄像机坐标系和二维图像坐标系) 之间的转换来实现【3 4 1 。 世界坐标系( 用0 一x y z 表示) ：表示物体在三维空间的真实坐标。是三维空 间中的一个人为规定的基准坐标，可用来表示三维空间中任意一个点的位置。 摄像机坐标系( 用d x y z 表示) ：以摄像机主点为坐标原点，摄像机光轴为z 轴建立的坐标系。坐标系下坐标描述了空间中的点与摄像机的相对位置关系。 图像坐标系( 用0 一x y 。表示) ：在摄像机内部形成的图像坐标系表示成像的 二维平面上的坐标。一般取成像平面与砂平面平行，并且z 、y 1 轴与x 、y 轴 分别平行。 描述这三个坐标系统相互关系的模型系统称为摄像机模型，通用成像模型如 图2 1 所示： 图2 1 通用成像模型 立体标定与校正 其中( x ，y z ) 为世界坐标系下坐标， 彤z ) 为摄像机坐标系下坐标， ：y ) 表示 图像坐标系下坐标， ? 少+ ) 表示考虑失真影响的坐标，( m ，n ) 为像素坐标。针对上 述通用模型，各个坐标系之间的转换关系如下： 世界坐标系与摄像机坐标系的转换： 图像采集可以认为是世界坐标系下的点投影到摄像机坐标系下的过程，而三 维空间重构中就需要这个变换的逆过程，因此建立世界坐标系与摄像机坐标系之 间的变换关系在计算机视觉领域具有重要的意义。世界坐标系可以通过一个旋转 平移的操作与摄像机坐标系之间进行互相转化。我们通常用r 代表一个3 x 3 的 旋转矩阵，表示两个坐标系之间的旋转关系，用t 代表一个3 x l 的平移矩阵， 表示两个坐标系的相对位置关系。这两个矩阵的组合称为外部参数矩阵，用来表 示两个坐标系之间的转换关系。根据上面的参数定义，两坐标系之间的转换关系 可用式2 1 表示： yi = r iyi + 丁 ( 2 1 ) l jl z j 在图像处理中通常用齐次坐标来描述空间向量。对于描述空间坐标的三 维向量，在齐次坐标下通常使用四个分量来表示。这种变化使得在图像处理中可 以使用矩阵操作进行平移变换，能更方便的进行仿射变换。将式2 1 转换为齐次 坐标表达形式为： ix r ，r丁、i 】， 2 1 z 【1 ( 2 2 ) 根据式2 2 ，我们可以通过摄像机在世界坐标系下的坐标来求得摄像机的 平移向量，一般情况下，我们对多个摄像机进行定标时多选取其中一个摄像机的 摄像机坐标系为世界坐标系，这样只要求出其他摄像机相对于该摄像机的相对旋 转矩阵和平移矩阵即可。 摄像机坐标系与图像坐标系的转换： 这里所说的图像坐标系并不等同于图像上像素点的坐标，它描述的成像平面 的物理坐标。成像平面的物理坐标系在摄像机的标定过程中可以根据给定的标定 参照物的尺寸转换为像素坐标系。在摄像机坐标系与图像坐标系之间相互转化 时，我们通常假设两坐标系的坐标轴平行。基于这一假设，两个坐标系之间的转 换关系可以用式2 3 表示： 立体标定与校正 fx ：k ly z l1 ( 2 3 ) 其中k 是摄像机的内参数矩阵，描述两坐标系之间的转换关系。内参数矩阵 与选取的摄像机模型有关，最简单的摄像机模型是针孔模型，在这种模型下内参 数矩阵可用式2 4 表示： ，六00 小io 乃o ( 2 4 ) l0 0 1 i 五，乃表示摄像机在x 、y 两个坐标轴方向上的焦距。在实际情况下，投影中 心并不在图像坐标系的原点处，因此图像坐标系和摄像机坐标系之间的转换还要 经过平移变换。修改内参数矩阵如公式2 5 所示，其d o ( u o , v o ) 为平移向量，其物 理意义可理解为光心在图像坐标系下的投影。 f ，六0u 。、1 k 20 f y v o( 2 5 ) l0 0 1 2 3 针子l 模型 摄像机模型是对摄像机成像过程中几何关系的一种简化。它描述了三维空间 物体在摄像机坐标系中投影到图像平面上的对应关系。这种对应关系是从双目图 像中获取三维信息所必须的。因此，在进行摄像机标定前，应先建立摄像机的成 像模型。为了简单起见，在实际应用中我们使用针孔模型作为摄像机成像模型。 针孔模型 3 5 】是一种使用较为广泛的成像模型，其成像原理较为简单，由小孔 成像原理推导得出，如图2 。2 ( a ) 所示。小孔成像为倒像，所以按图2 2 ( a ) 中所示 的模型，空间点在成像平面上所成像的坐标与空间坐标相反，这使得后续的计算 变得非常不方便。因此，在实际使用的时候，将针孔模型的成像平面放在摄像机 中心和空间点之间( 如图2 2 ( b ) 所示) ，这时空间点坐标与投影到成像平面上的 坐标方向一致，投影所得的像素点坐标更加直观，有利于进一步的计算。 当采用这种成像模型时，摄像机坐标系下点( x ，y ，z ) 与图像坐标系下点( x ， v ) 之间的关系如公式2 6 所示： l o 立体标定与校正 xx z y y f z 髫 图2 2 针孔模型 ( 2 6 ) 在计算机视觉系统中我们通常使用短焦镜头以获得相对较大的摄像机视野， 这也造成我们获取的图像存在较大畸变，在实际问题的解决中我们不能忽略这种 畸变造成的影响。为了矫正这种非线性畸变而使用非线性算法并不是明智之举， 立体标定与校正 这样不仅不能提高精度还会是解不稳定。研究发现，径向失真是畸变产生的主要 原因，因此在处理实际问题的时候往往只考虑径向失真 3 6 1 。 2 4 双目立体标定 摄像机标定主要是为了求取摄像机的内参数和外参数矩阵，建立图像坐标系 下的点与世界坐标系下的三维空间点之间的对应关系。在双目摄像机系统下通常 以一台摄像机的摄像机坐标系作为世界坐标系，在这种情况下标定要求取的参数 是两台摄像机的内参数矩阵、畸变参数和两台摄像机之间的平移和旋转矩阵。常 用的摄像机标定算法主要有以下几种： 1 透视变换矩阵方法。世界坐标系下的点与图像坐标系下的点之间的变换 是一种非线性关系。在该方法中，不考虑非线性畸变，建立以透视变换 矩阵为基础的描述世界坐标系下点与图像坐标系中点对应关系的线性 方程组，把实际图像中的多个点数据带入该方程组，求解得到透视变换 矩阵，最后分解该矩阵得到各个摄像机参数。这类标定方法采用线性求 解虽然速度较快，但是由于对非线性畸变忽略不计，求得的摄像机参数 精度必然会受到影响。另外，透视变换矩阵不是满秩的，因此求解的方 程组中的未知数并非是不相关的，这给最终的矩阵分解得到摄像机参数 带来了很大的困难，分解得到的摄像机参数不一定符合实际情况。在解 决实际问题的时候我们需要先判断该应用是否需要对该矩阵进行分解， 因为这个矩阵可直接用来进行坐标的转换，对于某些分别需要摄像机内 外参数的情况再进行矩阵的分解。由于该方法把坐标的转换问题认为是 线性的，与实际的非线性情况不符，在实际计算时我们一般通过添加约 束条件的方法对最终结果进行适当修正，以得到更加准确的结果。由于 直线的提取算法更加鲁棒，因此基于直线的标定方法能获得更好的标定 结果。 2 t s a i 两步法【37 1 。线性方法在计算摄像机参数过程中忽略了畸变的影响， 将整个过程假定为是一个线性过程，使得参数计算精度不高。而是用最 优化方法计算摄像机参数又依赖于初值的给定，因此t s a i 提出了两步 法的概念。两步法是一种将线性方法和最优化方法结合的对摄像机参数 分别求解的方法，根据成像几何的特性对一部分参数进行求解，在这些 已知参数的基础上对其他参数进行求解。t s a i 两步法首先根据径向约束 准则构造线性