（计算机应用技术专业论文）基于多摄像机定标的足球比赛场景恢复.pdf

摘要 摘要 恢复足球比赛场景的内容主要是通过二维图像再现三维真实场景的过程，包 括摄像机定标和三维足球场坐标恢复以及建立三维足球场景模型等问题。其中摄 像机定标是一个非常热门的课题，也是进行三维场景坐标恢复的前提。 摄像机定标是计算出拍摄物体的摄像机的参数。其中摄像机自定标方法就是 只用到了图像的匹配信息，即可得出摄像机的内外部参数和结构信息，其优点在 于不依赖于精密的定标装置并且可以在视觉任务期问在线进行。论文提出了一种 用于计算拍摄足球场的摄像机的自定标方法。摄像机的参数求出后，由图像匹配 得到对应像点，通过线性三维测量法和相对定向、绝对定向法恢复了物体的三维 坐标。 比赛场景模型包括球员人体模型和足球场模型。人体骨架模型主要由关节和 骨骼构成。把骨骼看作不可形变的刚体，整个人体骨架可以看作是多刚体系统。 通过球场的立体规则提取球场的一些关键点，将这些点连接起来构成足球场模型。 本文通过摄像机定标恢复了三维足球比赛场景和三维棍图表示的足球运动员；实 验结果数据和恢复的足球比赛场景验证了本文提出的方法是可行的。 关键字；摄像机定标焦长度主轴透视投影三维重建 a b s t r a c t r e 张丽g 躺l l 癌lg a m 髓i st 酝3 df o o | b a 珏c 主l 锄埔略舡m c e sb cb 揪w i 攮2 一d 奔c 耋狂f 龉。霹l o 瓣盎揩s 锄e 穗e m c sa 憾毽勰e 豫c a l i 孰蜒蝴，托c o 张瘟毽3 一d 0 0 0 f d i n a t e so f 跏t b a l l6 e l d 柚db i l j l d i n g3 - dm o d e l sm a m l y n e 锄e f a c a l i b r a t i 嘶i s av c r yp o p u l a r p r o b l e m ，卸dt h cp r c m i s e t l l a tc a r f y i n go u t3 * dc i r c i l m s t a n c e s t h a tt h ec a m e 糟- “b f a t i 蚰m e 蝴st h cp a r a m e t e i so f c a m e r 猫s h o o t i n gt h eo b j e c t s b ec a k 瓢l a l c d 棚l - 弧e 嘏锄抽f a l i o na m o n gt h 嘲h a sb c e 懿a f f 主v e da s 埘嘲燃 i 划b 珏鞋a 重i o 毪a 娃d p 瓤粕畦e 搀o f 龆m 黼s 荡a l 醛e 氆e i 珏l & 掰a 砖艟瑶a | 迅g o f 彝e | 鞋l 铺。 w l em e 瘃l i e si n 氆em i s s i 硼n o l 曲p c n d e n t 锄墙e 畔c i s e l i b 豫矗o nd e v i t 黾e t h 嚣i sh a sb r o u 鬈h tf o n 】l ，a r do n ek i n do fs e l f _ c a l i b f a t i o nm e t h o db c i n gu s e dt oc a l c i l l a t e t h ec a m e r a c a l i h a t i o i is h o o t i n ga 触a uf i e l d s a f i e rt h oc a m e r a ，sp a r a m e t e r ，t h e c d n 嚣p o n d i n gp o i n t sw a s 捌v e df r o mm cm a 豳gi m a g e s ，f o n o w s 墙ec o o 坩i n 矗t 髂o f 3 - d o 瞅姆& 瓤氇采l i 建c 蔽y3 d 雠蠢嘲怒l 鑫w 锻滤峨破拇e 每蔹。幽斌， a b s o h i l ed i f e d i o n a l t h em o d e lo fc o m p c t i t i o nc i r c i l m s t a n c e si n c l u d 船t h 0p l a y e rm 猢e q u i na n dt h e 蚤0 0 t b a l lf i e l dm o d e l 1 kh u m 襁b o d y 缸啪脚o r km o d e li sc o m p o s e do fa f t h m s i s 跏d s k e l e t o 舔m a i n l y 瓢e 啦硒b o d y ，e n l 濂h u m 髓b o d y 细m c w o f kh k i n gu p o ns k c i e 自阻 籍l 酬醛魏c 蕤酝驰噍基i o 曩a 撑婚醚l 盼l 【h p 傩簦堍m h 穗蠢密d 弱努s y m c o m p o s e 强e 。o t b a l l 蠡e l dm o d e lb y 搬e f a c lt h a l | h e 蠡e 埘b o d y f e 铲l a l i o na b s l 煳i n g s o m e 咖t e g i cp o i n to f6 e l d ，t h e s ea r el i l l l 【e d t h c3 d 蜘t b a l lm a t c hd r c u m s t a n o 姻 锄dt l i i _ c c d h n c l i s i o n a l 加do ft h em a i nb o d yh 鹤b e e n 群s t o r e db yc 锄e m c a l i b r a t i o n ； t h a tt h ee x p e 村m 糯tb e 甜衲i ld a 协a i l df c c o v e 堪f b o t b a l lm 曲c hc i f 锄m s t 柚c e sh a v e w 再螽e d 强e 氆丽b n g 融如押婚嗣b y l 纛霉糟a 趣啦。薹a 撖主s f e 瑟强l e k e y w o r d s ：c a 雠臆- c a i i b 瑚t i f o 翰lk n g t h州n c i p a l a 】【i s p e 璐p e c t i v ep 州e c t i 蛐 3 - dr e c o n s t n l c t i o n 创新性声明 秉承学校严谨的学风和优良的科学道德，本人声明所呈交的论文是我个人在导 师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注 和致谢中所罗列的内容以外，论文中不包含其他人已经发表或撰写过的研究成果； 也不包含为获得西安电子科技大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明 并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：篮敛日期三q 翌王31 1 关于论文使用授权的说明 本人完全了解西安电子科技大学有关保留和使用学位论文的规定，即：研究 生在校攻读学位期间论文工作的知识产权单位属西安电子科技大学。本人保证毕 业离校后，发表论文或使用论文工作成果时署名单位仍然为西安电子科技大学。 学校有权保留送交论文的复印件，允许查阅和借阅论文；学校可以公布论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存论文。( 保密的论文 在解密后遵守此规定) 本学位论文属于保密在一年解密后适用本授权书。 本人签名： 导师签名： 第一章绪论 笫一章绪论 本文逶过多摄像凝垂定耩戆方法羧复足球晓赛场景，魄裁楚箨诗算援来嶷瑗瓣 三维足球比赛场祭的描述“獭潲。辩予计算枫而言，箕所能够直接获取到的数攒源 仅为二维平面图像，相对于真实的三维景物无疑会存在着定程度的信息缓失， 因此利用二维圈像来重建三维物体便不可避免地成为个问题。在实际工作中采 用对同一物体从不同的角度分别成像，进而对这些数搌进行分析、综合来恢复出 被摄耪薅戆三绦缤怠。透遥摸谤入黻豹双嚣藏豫遥程形簸瓣摄豫凝透援模黧遴论 成为这一技术的基础。 多摄像机自畿标的三维场景恢复是指通过对同一物体从不同角度获得的两幅 图像来计算出被摄物体三维信息( 尤葳是物体的深度信息) 并且建立三维模烈的过 程“悯嗣。不能姐单幅图像恢复出被摄物体的深度信息，怒由于物体表面的姆一点 对予残豫嚣郡蠢条授影光线，这条塞线上戆每一蠢京强橡上都有耪霜瓣二缳投 影坐标，仅国黼图像就无法确寇究竟这条投影矗线上的哪一点方是真歪豹物俸 点。若已知两幅由不同角度对某物体进行拍摄所得列的图像，物体在这两个成 像面上的投影光线将在空中相交于点，这一点的值即可视为被摄物体的三维坐 标。 l 。l 谋霆背景窝发展前景 三维场景恢复的理论经过几十馨的发展，现已形成了较为成熟的理论体浆。 八十年代初，m a r r 首次从信息处理的角度综合了图像处理、心理物理学、神经生 理学及旗床精神爨学豹研究成果，提出了第一个较为究豢豹摄橡枫模型框絮，其 孛魏棱心帮慧系统戆三令层次骧及繁惑楚瑾的三令除段： 耕a r r 从信息处理系统的思想国发，认为对该系统的研究应分为三个层次，“郎 计算理论层次、袭达与算法层次和硬件实现层次。计鳟理论层次要回答系统各个 部分的计算目的与计算策略，也就怒各部分的输入输出怒什么、它们之间的关系 是什么变换或其商什么约束。粥a r r 对三维重建系统总的输入输出关系规定了个 慧魏嚣标，蘩浚入是二维图豫，辕爨霆老二维鍪像重建爨f 貔三维耪薅豹袋甏与 形状。对于表达与算法层次，赫a r r 认为三维重建系统的研究应给出各部分的输入、 输出和内部信息袭达，以及实现计算理论所规定的目标的算法。算法与表达有关， 不同的表达方式，完成相同计算的算法会不同。最后一个硬件层次，就是嚣回答 如何用硬件实现以上算法。当前计算枫三维重建的研究蠢作主要集中在煎两个层 2 基于多摄像机定标的足球比赛场景恢复 次上。 此外，m a r r 还从摄像机定标的理论出发，将系统分为自下而上的三个阶段， 即视觉信息从最初的原始数据到最终对三维环境的表达经历了三个阶段的处理。 第一个阶段构成要素图( p r i i n a r ys k e t c h ) 。要素图由二维图像中的边缘点、直线 段、曲线、顶点、纹理等基本几何元素或特征组成；第二阶段，对环境的2 5 维描 述，即部分的不完整的三维信息描述，也即重建三维物体在以观察者为中心的坐 标系下的三维形状与位置：第三个阶段称三维阶段，将由物体的2 5 维描述进一步 处理得到物体完整的三维描述，而且是物体本身在某一固定坐标系下的描述。 摄像机定标的应用范围很广。例如，在大地测量过程中，对某一区域从两个 不同的角度进行航空或卫星摄影，所得到的图像再经计算机处理即可得到该区域 的三维地表模型“。这样，就避免了人工对地面上每一点均进行实地勘测所需要 的巨大工作量。此外，摄像机定标技术还在车辆自动导航、无人驾驶以及虚拟现 实等领域中有着良好的应用前景嗍 基于摄像机定标的计算机三维场景恢复技术可以依次分为六个步骤，即：图像 获取、摄像机建模、特征提取、图像匹配、三维数据获取以及表面数据插值。另 外，考虑到如何对所恢复出的三维数据采用合理的方法进行表示的问题，这一过 程最后还应加上三维数据表示这一部分。 以上这些步骤中的图像获取是指从多角度对物体进行拍摄得到该物体的多幅 图像；摄像机建模指的是确定两个摄像机的成像平面在某一给定的三维坐标系中 的各自的位置信息；特征提取和图像匹配部分的主要工作则是确定不同图像中同 名像点之间的对应关系，其中同名像点指的是两副图像中的两个点，其所对应的 被摄物体点是相同的，在得到了两个摄像机成像平面间的位置关系以及同名像点 的坐标数据后，就可以利用立体解析几何的方法来计算出被摄物体三维坐标，这 一操作即被称为三维坐标获取：由于被摄物体自身可能存在着相互问的遮挡，图 像匹配的结果中也难免会存在着一定数量的未匹配点，这样得到的三维数据将是 不完整的，所以对这些丢失了的数据还要采取相应的策略予以恢复，这一策略即 是表面数据的插值。最后，在表面三维数据的表示部分，将对这些完整的三维数 据以某种适当的方式进行表示。 1 2 国内外动态和水平 1 2 1 足球场物体的三维坐标恢复 要恢复物体的三维坐标，首先要对拍摄物体的摄像机做摄像机定标。摄像机 第一章绪论 3 定标指的是确定摄像机的成像平面与被摄物体在三维坐标空间中的相互位置关系 的过程。这些位置上的相互关系由摄像机成像几何模型所决定，其中的参数称为 摄像机参数。为了完成这些参数，一般情况下需要预先知道物体表面若干控制点 在摄像机成像平面中的二维坐标以及它们在三维坐标系中的坐标值。随后，再利 用这些二维三维的对应关系，就能够得出摄像机的参数。 摄像机的参数又可以分为内部参数( i n t r i n s i cp a r 锄e t e r ) 和外部参数 ( e x t r i n s i cp a r 锄e t e r ) 。内部参数是摄像机本身所具有的诸如焦距、光学镜头形 变系数等属性；而外部参数指的则是摄像机成像平面在三维坐标系中的位置及状 态信息。可以对摄像机的内部参数和外部参数一同求解，也可以对它们分别计算。 显然，若采用前一种策略，则求解时未知数的个数会比较多，这就对已知控制数 据的精度有更高的要求，但是却有更广泛的应用。通过摄像机自定标的方法求解 摄像机参数已成为当前研究的热点。 若采用第二种策略，只要对摄像机的外部参数进行计算即可，因为通常摄像 机的内部参数在制造摄像机时就已经确定，并且在许多专业场合下，摄像机镜头 的非线性形变很小。摄像机的外部参数由一个旋转矩阵和一个平移向量所组成， 其中的旋转矩阵和平移向量各有3 个未知数，这样摄像机定标过程中的未知数就有 6 个。c h u r c h 根据投影几何的原理建立了关于这6 个未知数的方程组。依据他的思 想，由每一对2 d 一3 d 对应关系可以列出两个方程。因此从理论上讲，只要给定3 对 2 d 3 d 对应关系，就能够得到足够数量的方程式，从而计算出摄像机的6 个外部参 数。考虑到已知控制点的坐标数据中可能存在着一定的测量误差，为了提高计算 结果的精确程度，一般常选用数量多于3 个的2 d _ 3 d 控制点对。不过，c h u r c h 所列 出的方程组实为一非线性方程组，对它的求解都需要在先给出解的初始预测值后 再用迭代的方法来逐渐逼近，而如何判断方程组解向量的大致分布范围，从而选 取合适的初始值，却没有一个令人满意的解答。另外，这一方法也没有考虑非线 世方程组的多解情况。 g a n a p a t h y 在c h u r c h 研究王作的基础上又做了改进“”。他的方法在已知3 组对 应点的数据的情况下直接对旋转矩阵中的元素进行求解，并且将该矩阵的正交性 约束条件也作为方程组中的一个方程。这样，就得到了一个未知数个数与方程个 数均为8 的方程组。这8 个方程中有6 个是线性方程，另两个是二次方程。此外， g a n a p a t h y 还对方程组的多解情况进行了分析。根据其结论，当给定6 组或多于6 组 的对应点时，一般可以得到唯一的结果。 除了直接对旋转矩阵和平移向量进行求解，f i s c h l e r 和b o l l e s 还提出了另外 的思路。这种方法首先对每个控制点与摄像机成像中心之间的距离进行求解，而 后再用这一结果计算出摄像机的外部参数。其中在计算控制点与成像中心之间的 距离时，算法利用了三角形余弦定理来建立模型。这一过程仍然是一个关于非线 4 基于多摄像机定标的足球比赛场景恢复 性方程组的求解问题，还是需要用迭代的方法来解决，因此也避免不了初始数值 选取的难题。针对控制点坐标数据中可能存在的较大误差的点，该算法中还提出 了著名的r a n s a c 法来剔除那些对最终的计算结果带来较大误差的点。 此外，h o r a u d “”还在控制点的个数为4 时提出了一个基于四阶方程式求解的外 部参数计算方法。他还和p h o n g “”共同提出了提高非线性计算过程收敛性的置信区 间优化法( t r u s tr e g i o no p t i m i z a t i o nm e t h o d ) 。对于非线性方程组求解时的多 解情况，h o l t 和n a t r a v a l i 还进行了深入的研究，并提出了在不同条件下的判断方 法“3 3 。 足球比赛场景三维坐标的计算“”嘲啪1 是三维恢复中的关键。单独由一个摄像 机的成像模型不能恢复出足球场中物体的三维坐标。只有当两个成像平面的外部 参数均已知后，才能由物体点的两条投影光线在反方向上的空间交会点重建出该 点的三维坐标。从代数学抽象的角度来看，由物点在单个成像平面上的投影表达 式只能得出关于三个未知数的两个方程，而若用其在两个成像面上的投影关系则 可以得到关于这三个未知数的四个方程式。解这个线性方程组，用牛顿消元法、 矩阵求逆法或奇异值分解法即可求出该方程组的最小二乘解，从而得到该点的三 维坐标。 通常情况下，二维图像的匹配结果中都会不可避免地存在着一定的误差，即经 过匹配而得到的视差数据与真实数值之间存在着一定的偏差。正是由于这些偏差， 三维空间中同名像点处两条投影光线的反向延长线将不能相交于一点嘲嘲。一个 直观的解决方案是取这两条直线公垂线的中点为最后的解。这种方法虽然简便、 直观，但是用它所得到结果却不理想。由于图像匹配结果中的误差是在二维平面 上的，所以在计算球场中物体三维坐标的过程中最好使得这类误差变得最小。而 在对线性方程组直接求解时，其最小化的目标函数则不是这样。为此，h a r t l e y 伽 提出了计算物体三维坐标的线性迭代算法。这种方法将需要最小化的变量设定为 像点坐标的测量值与真实投影之间的差，并通过算法迭代来逐渐逼近最优解。 除此以外，还可以通过外极几何( e p i p o l a rg e o t r y ) 关系的约束来优化结果。 所谓外极几何约束关系，指的是在一个摄像机模型系统中，若已知这两个成像平面 的外部参数，则对于其中一幅图像中的一点，其在另一幅图像中就有一条对应的直 线，而该点在另一幅图像中的对应点一定在这条直线上。这种对应关系可以用一个 秩为2 的矩阵来表示，这一矩阵被称为基础矩阵( f u n d a m e n t a l 艴t r i x ) 0 1 嘲呻】。基础 矩阵既可以由两个摄像机的投影矩阵推导出，也可以通过事先在两幅图像中给定 若干对应点而求得，如8 点法o ”和6 点法。4 等。在计算出基础矩阵后，就可以得到对 应像点之间相应的外极线( e p i p o l a r1 i n e ) 。由于在不考虑测量误差的情况下，同 名像点一定位于两条对应的外极线上，所以此时就可以通过寻找对应外极线来减 少二维测量误差对最终三维重建结果的影响。 第一章绪论 5 计算物体三维坐标的另一种途径是通过相对定向和绝对定向来完成的“”， 即先通过计算两次成像时摄像机的相对姿态来进行对应外极线的重排，并由立体 匹配结果求得相对立体模型，而后再把模型点坐标纳入到规定的坐标系中，并归 化为规定的比例尺，从而得出被摄物体的三维坐标数据。 1 2 2 三维足球场景建模 为了表示上的直观和方便本文采用三维骨架模型表达恢复的运动员的三维数 据。 运动员的几何建模 运动员的造型是基于生理解剖结构的，采用皮肤和骨架两个层次的混合模型。 这样做的优点是既可通过骨架模型来指定精确的运动、表示运动员的内部结构， 又可用皮肤模型来描述运动员的外部形状。 从运动学的角度来看，人体是一个多关节，多自由度( 2 0 0 多个) 的高度复杂的 运动机构，因而完全描述其运动是非常复杂和困难的，也是不必要的。在保证逼 真性的前提下，将运动员的骨架模型简化为1 5 个关节共3 2 个自由度：颈( 3 ) 、胸( 2 ) 、 腰( 2 ) 、髋( 3 ) 、膝( 1 ) 、踝( 2 ) 、肩( 3 ) 、肘( 1 ) 、腕( 2 ) 。根据简化的模型，将运动 员分为1 6 个部分：头、颈、躯干、上臂、下臂、手、臀部、大腿、小腿、脚。 运动员动作建模 为了建立运动员的动作模型，必须对运动员模型中相连的各肢体和这些肢体 的运动连带关系进行描述。将关节看成点，将关节之间骨骼看成杆，就可以借鉴 机器人学中处理连杆运动的方法来描述和处理骨架运动。 运动员的骨架结构在一些关节处具有分支而形成一个树状结构，为此我们将 这一复杂骨架表达为关节树的层次结构，树中每一结点对应于一个关节。 我们利用骨架树结构将复杂多分支关节结构分解成许多开的单链结构，进而 分别采用开的单链结构的运动控制技术来完成它们的运动控制。算法首先在骨架 树结构中选择一对节点( 其中腰节点为基节点，另一节点为末端效应器) ，每对 节点确定一条开的单链。一旦将复杂多链结构分解成多条开的单链结构，逆运动 学方法就可以用来控制驱动每条单链结构。 在描述人体骨架模型中各关节之间的相对位置和姿态时，按照在机器人领域 广泛应用的d h 法在每个关节固定一个局部坐标系，其中z 轴方向为关节转动方向， x 为骨骼轴线方向，y 轴由右手法则确定。其中自由度多于l 的球状关节，在同一位 置建立，按照自由度个数建立相应个数的局部坐标系。 6 基于多摄像机定标的足球比赛场景恢复 1 3 论文内容安排 本论文的研究范围将涉及这七个步骤中摄像机定标和三维足球场景坐标恢复 以及建立三维足球比赛场景模型三个方面。其中，摄像机定标部分的实质即是求 取两个摄像机的内部和外部参数。需要指出的是，对于图像匹配过程，尽管本文 将对此不进行深入的研究，但它仍是一个十分重要的环节。由于摄像机拍摄角度 的不同，相同的物体点在两幅图像上的投影坐标是不同的，这一差值就被称作视 差( d i s p a r i t y ) 。图像匹配的目的就是生成立体像对之问的视差图( d i s p a r i t y 舱p ) ，在立体成像模型已知的情况下，即可利用这一视差结果恢复出物体的三维 坐标。由此能够看出，匹配结果的精确与否将会对最终的三维重建结果造成很大 的影响。论文内容包括： 1 、阐述摄像机定标对于足球比赛场景恢复的课题背景和发展前景，详细介 绍三维场景恢复的基本步骤和本文所涉及的方面。 2 、介绍摄像机定标的基本方法，摄像机自定标方法的描述与计算以及和其 他方面的摄像机定标算法的比较。 3 、恢复足球比赛场景的三维坐标信息：根据摄像机定标的结果结合物体在 图像坐标系的坐标计算物体的三维信息，包括直接通过摄像机模型恢复坐标和利 用外极几何和基础矩阵计算坐标，以及相对定向和绝对定向的方法。 4 、本文通过建立三维人体骨架模型和足球比赛模型来表达足球比赛场景恢 复的过程：- 根据三维恢复所得到的三维坐标信息建立人体骨架模型，通过骨架模 型和足球场模型直观的表现场景恢复的结果。 5 、对本文所采取的方法进行实验分析，通过试验结果的数据表现多摄像机 定标方法在足球比赛场景恢复中的应用。 第二章摄像机定标方法 7 第二章摄像机定标方法 摄像机定标及建立相应的摄像机模型是足球比赛场景恢复所需要解决的第一 个问题。它的目的在于建立成像面上的二维投影点与其相应的足球场中的物体在 某一特定的参照系中三维坐标之间的2 d - 3 d 对应关系，并且恢复出摄像机的内部和 外部参数。利用这些参数，就可以定量地建立摄像机成像模型。若再知道立体像 对问的视差匹配结果，即能够恢复出被摄物体的三维数据。 摄像机定标结果的精确与否直接影响到最终三维数据的精度，而摄像机定标 过程本身也可能会受到已知的控制点数据测量误差的影响。如何选择合适的方法 提高计算结果的精度，与此同时提高算法的鲁棒性就成为一个极有意义的研究课 题。 本章即对这一问题展开研究和讨论。首先，阐述摄像机定标的原理和数学基 础。而后，针对摄像机定标过程中的方法做了研究。 2 1 摄像机定标的基本原理 摄像机模型系统中，被摄物体在图像上每一点的位置反映了该点与摄像机投 影平面之间的位置关系。这些位置上的相互关系由摄像机成像几何模型所决定， 该几何模型的参数被称为摄像机参数。这些参数必须经由计算来确定，这一计算 过程称为摄像机定标。具体地来讲，摄像机的参数可分为内部参数和外部参数这 两大类。为了说明这些参数的意义，下面首先对摄像机模型做一简要的介绍。 2 1 1 坐标系的定义， 在线性摄像机模型中，需要定义的坐标系嘲主要有这样三个：图像坐标系，摄 像机坐标系与世界坐标系。首先，在图像上定义直角坐标系d 0 一“v ，每一像素的 坐标，v ) 分别是该像素在数组中的列数与行数。就计算机图像而言，原点d 0 多选 作该幅图像的左上角顶点。由于似，v ) 只表示像素在图像数组中的行数与列数，并 没有用物理单位表示出该像素在图像中的位置，因此，需要再建立以物理单位表 示的图像坐标系。该坐标系以图像内某一点d 1 为原点，x 轴和y 轴分别与u 轴和v 轴 平行。x 轴和y 轴的坐标单位采用物理单位( 如毫米) 。在x ，y 坐标系中，原点d 1 定 义在摄像机光轴与图像平面的交点，该点一般位于图像的中心处。若d 1 在u ，v 坐 标系中的坐标为帆，) ，每一个像素在x 轴与y 轴方向上的物理尺寸为出，砂，则 8基于多摄像机定标的足球比赛场景恢复 图像中任意一个像素在两个坐标系中有如下关系： 工 “五州o v 嘉+ 若采用齐次坐标则上式可用矩阵形式表示为： 【i】- o “。 戤 o ，。 咖 0o1 ( 2 一1 ) 雕弓：硼2 ， 在明确了图像坐标系的意义后，下面我们再定义摄像机坐标系d 一置k z c 。其 中。点被称为摄像机的光心，即线性小孔摄像机的成像中心：x 。轴和k 轴分别与 图像的x 轴和y 轴平行：z ，轴为摄像机的光轴，它与图像平面垂直。光轴与图像平面 的交点就是图像坐标系的原点0 1 。0 0 】的长度即为摄像机的焦距。 由于摄像机可以被安放在环境中的任何位置，我们在环境中还有必要选择一 标系0 ：一x 。l ，。摄像机坐标系与世界坐标系之间的关系可以用旋转矩阵r 与平 移向量f 来描述。因此若空间中的一点p 在世界坐标系与摄像机坐标系下的坐标分 别为( x ，l ，z 。) 和( 置，k ，z 。) ，则它们的齐次坐标( x 。，l ，z ，1 ) 和( 鼍，k ，乙，1 ) 存在 x c k z 。 1 * x z 矿 1 m 1 工 z 1 ( 2 3 ) 其中，r 为3 x 3 正交单位矩阵：f 为三维平移向量；o t ( o o ，o 旷；m 为4 x 4 矩阵，图 2 1 即形象地表述了这三种坐标系之间的关系： 第二章摄像机定标方法 9 y 图2 1 摄像机定标过程中三个坐标系之间的关系 2 1 2 线性摄像机模型 p 空间任意一点p 在图像上的成像位置可以用小孔模型近似表示，即任意点p 在 图像上的投影位置p ( x ，的为光心o 与p 的连线0 p 与图像平面的交点。这种关系被 称为中心投影或透视投影。有如下关系式： 工。盟 z 。 y 。盟( 2 4 ) z 。 其中，为摄像机的焦距：( 鼍，k ，z c ) 为空间点p 在摄像机坐标系下的坐标值。上述 关系可用齐次坐标与矩阵形式表示为： z 。雕疆o x 。 k z 。 l ( 2 5 ) 基于多摄像机定标的足球比赛场景恢复 z。【j|】i o “。 靠 。专v 。 o01 p ， o l l o 口， ioo 驴 lj z z l x 昂 z 甲 1 一膨。肘2 x 。 ( 2 6 ) 其中，- ，出，唧一，方；m 为3 x 4 矩阵，该矩阵称投影矩阵；肘。完全由 ，出，毋，决定。由于这些参数只与摄像机内部结构有关，称这些参数为摄像 机内部参数。 厶完全由摄像机相对于世界坐标系的方位而决定，因此被称为摄像 机的外部参数。所谓的摄像机定标，就是确定摄像机的内部和外部参数。 显然，如果已知摄像机的内部和外部参数，就能够知道摄像机的投影矩阵材。 对任一空间点p ，如果已知它的坐标x - ( 瓦，匕，z 。，1 ) r ，就可以求出它在图像上投 影点p 的位置0 ，d 。反过来，若已知空间某点p 在图像上的坐标值p v ) ，即使已 经知道摄像机的全部内外参数，也不能唯一确定该点的空间位置。这是由于，在 式( 2 6 ) 中，m 是一个3 x 4 的不可逆阵，所以，当未知数的个数为3 时，我们却只能 得到两个线性方程。即使是从图2 1 中也可以很直观地看出这点。空间中的一点p ， 其在图像时的投影点为p 。而对于图像上的p 点，连线0 p 上的任何点都可能是被 摄物体，所以该点不能被唯一确定。 最后需要说明的是，用小孔成像来模拟的线性模型摄像机只是对实际中所使 用的摄像机的一种近似，不能准确地描述成像几何关系。考虑到摄像机镜头的光 学非线性因素的影响，其非线性畸变可用下式表示： i - 工+ 屯o ，) ，) 歹z + o ，) ，) ( 2 7 ) 其中，( 五刃为由小孔线性模型计算出来的图像点坐标的理想值；o ，y ) 为实际的图 像点的坐标。非线性畸变值6 。，6 ，与图像点在图像中的位置有关，其表达式可写为： 屯( 石，y ) i 毛工 2 + _ ) ，2 ) + 【p 1 ( 3 x 2 + y 2 ) + 2 p 2 叼，】+ 0 2 + ) ，2 ) 6 ，( x ，y ) 毛工0 2 + _ ) ，2 ) + l p 2 ( 3 潭2 + y 2 ) + 2 p 1 司，】+ s 2 0 2 + y 2 ) ( 2 8 ) 其中屯，6 。的第一项称为径向畸变，第二项称离心畸变，第三项称薄棱镜畸变。式中 的最，最，毛，屯，s ，是通常被称为非线性畸变参数。在多数情况下，仅用非线性模型的 径向畸变部分就已经能够较为准确地描述摄像机的非线性畸变了。 线性模型摄像机中的内部参数，出，咖，同非线性模型摄像机中的非线性 畸变参数号，只，屯，屯，墨，是一起组成了非线性模型摄像机的内部参数。不过，在通常 i = d 门1 r 矿 rj。_l 们j 叫1 第二章摄像机定标方法 1 1 情况下，用线性模型摄像机已经能够较为令人满意地模拟摄像机的成像过程。特别 是在我们所进行的科研项目中，立体图像对是由航空摄影测量而得来。而在航空 摄影测量过程中，所使用的摄像机均为精度极高的专业测绘仪器，其镜头的非线 性失真很小，所以完全可以将该设备视为一个理想的线性小孔成像模型。在本论 文的其余部分里，如无特别说明，则所提到的摄像机均为线性模型摄像机。 为了求出摄像机的内部和外部参数，即摄像机定标，需要预先知道若干控制 点在世界坐标系中的位置和它们在图像上的相应的投影位置坐标。下面，我们介 绍由参照物图像求投影矩阵m 的算法嘲： 由( 2 6 ) 式可知，摄像机的投影关系可用矩阵形式表示为： h 卜 z d h | _ l 朋2 l 【jk ，。 丑“ k z 耐 1 ( 2 9 ) 其中，( x 。，匕，z 。，1 ) 为空间第f 个点在世界坐标系中的齐次坐标；( “。，h ，1 ) 为第f 点在图像坐标系中的图像坐标；m 。为投影矩阵m 的第f 行，列元素。上式包含三 个方程： z d n j 一砚l x “+ 啊2 k + 竹3 z “+ z 二屹l 肌2 1 j 0 + 肼笠x “+ m 2 z 耐+ 肌2 4 z dl 脚3 1 y 耐+ m 3 2 k + m 3 3 z 一+ m 3 4 ( 2 1 0 ) 将上面的第一式除第三式，第二式除第三式分别消去z 。后，可得如下两个关 于小。的线性方程： ，鸭1 x 耐+ ，1 1 2 1 么+ ，啊3 z 州+ ， 4 一“j ，吩l x 耐一“j 麒3 2 k h i ，1 3 3 z 耐i h l ，k 小2 1 x 州+ m 2 2 k + ，z 一+ ，一b ，如1 x 一一b j k h 一，l 站z 耐i 叶，1 3 4 ( 2 1 1 ) 上式表示，如果被摄物体上有疗个已知点，并且已知它们的空间坐标 ( 置。，k ，z 。= 1 ，一) 与它们的图像点坐标( 蚝，q ) ，( f ；1 ，甩) ，则我们有孙个关 于m 矩阵元素的线性方程，用矩阵形式写这些方程，可以得到 1_l_lil_-_j “ m 并 m m 小 b 嚣 n 小 m m ” 笠 # i 研 册 优 基于多摄像机定标的足球比赛场景恢复 k l0 oo 0 一1 一h 尚一h 1 z “ o00 0 夏d z m1 一h x 一吒kv z x 。k 。z 。1 ooo o 一“。y 。一h 。一“。z ，。 0oo0j ，蜊k z 。1 一k x 。一y 埘一z 。 h l m 3 4 巧膨w “ 埘m k ( 2 1 2 ) 由于肼矩阵乘以任何不为零的常数并不影响( j 0 ，k ，z 。) 与0 ，y ) 的关系，因此在式 中可以指定k 一1 ，从而得到关于m 矩阵中其它元素的知个线性方程，这些未知 元素的个数为1 1 个，记为1 1 维向量州，将上式简写成： 五锄= u ( 2 1 3 ) 其中，k 为式左边的2 ，l 1 1 矩阵；小为未知的l l 维向量：u 为式右边的知维向量： k u 为已知向量。当知，1 1 时，我们可用最小二乘法求出上述线性方程组的解为： 聊= ( k 2 k ) 4 k 1 u ( 2 一1 4 ) m 向量与惕。= l 构成了所求解的肘矩阵。由上可见，由空间6 个以上已知点与 它们的图像点坐标，就可以求出肘矩阵。在一般的定标过程中，多使用数十个已 知点，使方程的个数大大超过未知数的个数，从而用最小二乘法求解以降低误差 造成的影响。 求出j l f 矩阵后，可进一步算出摄像机的全部内外参数。首先，m 矩阵与摄像 机内外参数的关系为： 肌“e ；辜】一 耄昙辜o ( 2 1 5 ) 其中，m ；( f - 1 ，3 ) 为以求得的m 矩阵的第f 行的前三个元素组成的行向量； 吧。( f 一1 ，3 ) 为m 矩阵的第f 行第四列元素；，( f - 1 ，3 ) 为旋转矩阵r 的第f 行； ，0 ，f ：分别为平移向量f 的三个分量。 由上式可得： m 聊3 4 i m ； 【m ； 劬 一 心 一一 “ v + + 乞 0 口 口 彳0 “ y “一 口 口一 。 第二章摄像机定标方法 由上式可知，m 。m 3 ，气，由于r 3 是正交单位矩阵的第三行，h = 1 因此可以 得出珊。一南再由下式求得，3 ，h ，q ，口，： l m 。l ，3 。肌”m 3 似，彳+ h 。巧) - 三j m ， h 一 ，i + 惦) ，3 一朋三卅； a ，i 埘三i 埘l 历3 i q 一历三扣：x i ( 2 1 7 ) 其中表示向量积( 叉乘) 运算符。由以上参数可进一步求出以下参数： 一塑帆一“批) ， 屹。塑慨一佻) ， f j ；塑帆一) j f ，。堕。一v 0 ) ， 乞暑m m ( 2 1 8 ) 由于r 矩阵是正交单位阵，尺与f 的独立变量数为6 。因此，膨矩阵含1 0 个独 立变量，但m 矩阵为3 x 4 矩阵，有1 2 个参数。由于在求肼矩阵时h k 可指定为任意 不为零的常数，故m 矩阵由1 1 个参数决定。 这种方法的优点是整个计算过程比较简单直观，而且除了要求知道所有控制 点在三维世界坐标系中的坐标值和其在二维图像上的坐标以外，不再需要其它的 额外信息。但这种方法也存在着较严重的弊端。事实上，膨矩阵中的1 1 个参数并非 互相独立，而是存在着变量间的约束关系。但是在对线性方程组求解时并没有考 虑到这些变量间的约束关系。因此，在数据有误差的情况下，计算结果中的误差就 比较明显。并且，在计算过程中，这些误差在各参数间的分配也没有按照它们之间 的约束关系考虑。所以，若要采用这种方法来进行摄像机定标，首先，必须要有较 多个数的控制点；其次，对这些控制点的测量误差也要尽可能的小；而且，还要尽 量选择那些使( 2 1 2 ) 式的系数矩阵中行向量之阃的相关性降低的数据点。否则， 由这种定标方法所得到的摄像机参数进行三维重建，其误差是比较大的。 而对于本论文的研究工作所针对的对像而言，我们所能得到的控制点的个数 仅为七个。并且，这七个点的测量数据也存在着一定的误差。此外，这些控制点 在空间中的分布状况也使得这些数据间存在着比较强的相关性。比如，将这七个 控制点在二维图像坐标系和三维世界坐标系中的坐标数据代入( 2 1 2 ) 式中，则得 到的线性方程组的系数矩阵的秩仅为1 0 ，而此时这一方程组的未知数的个数却为 1 4 基于多摄像机定标的足球比赛场景恢复 1 1 。所以，由这些数据采用如上方法所得到的结果，其误差是非常大的。为了验 证这一算法，对数据应用本算法，得到的左右两个摄像机成像模型的m 矩阵。由这 两个矩阵，再利用( 2 一1 1 ) 式即可建立关于控制点在三维世界坐标系中坐标值的一 个方程组。该方程组的未知数的个数为3 ，方程的个数为4 。求出这个方程组的最 小二乘解，即可以重建出该点的三维坐标数据。 针对摄像机的参数进行定标的方法，已有许多人进行过研究o “”1 。总的来说， 主要是利用2 d _ 3 d 对应点求解摄像机的外部参数“小捌。利用这种方法的特点，本章 的其余部分就摄像机参数如何求解的问题展开讨论。 2 2 求解摄像机的内部和外部参数 通过前两节的讨论，摄像机模型可由下式表示： z c 忡 丢揶习 j x w 珞 z l m 2 石t j 】i 研 在摄像机内部参数中，耻。，认为是在图像中心， 等，则： 互雕渤；习 z r 1 ( 2 1 9 ) 像素的长和高出，咖相 一m 1 m 2 x - ( 2 2 0 ) r 。慝差引吊专：习e ；：惟壹剖 j + ；+ ；1 1 第二章摄像梳定搽方法 在图像坐标系中的擞标只瓴，咒) ，( i = 1 n ) 。令这些点在摄像机坐标系中的坐 【耄】露【耄】+ 岛器i 毛， 。一。， 蔫。尹型醴逝 州蠹糍 z s ， 誓1 ( 争2 7 ) 1 6 基于多摄像机定标的足球比赛场景恢复 若令c 3 3t 1 ，可以计算出c 的其它元素。 假设x 摄像机视点在球场上垂直投影为坐标原点，以球场为x y 平面，y 方向 为摄像机主轴在球场投影的方向，以此为世界坐标系；以主轴与投影平面的交点 为坐标原点，作为图像坐标系， 即阢；】【| | 弹 。墨蠢基t 曼五l 稚 t 2 ： 乞2 l 10 o c o s q 0 s i n q o0 1 o 0c o s 吩 os i n 壤 oo 0 一s m q c o s 啦 0 0 一锄c k c o s c k o s 岛一s i i l 岛 咖岛s 岛 00 oo ( 2 2 9 ) 瞄反 一s i n 岛 o t 21 - i 嘲吒s i i l 岛s 吨c o s 反 一s i n 啦，2 2l ls i i l 口2 s i n 岛五s i n 呸s 岛，2 s 吃，正t 2 五l 。 ( 2 3 0 ) 则可以把m 1 ，鸩和c 代入m 。一c m 2 c 1 1c o sp2 + c 1 2c o s 口2s i l l 卢2 + c ds i n 口2s i n 芦2 ，2 暑1 一c 1 1s i n 卢2 + c 1 2c o s 口2c o s 卢2 + c ”s i na2c o s 声2 ，2io c l l f ，2 一c 1 2 f r 2 一c 1 3 f z 2 ，2 一o c 2 lc o s 声2 + c 芷c o sa2s i l l 卢2 + c s i n 口2s i i l 2 ，2l0 一c 2 ls i n 声2 + c 2 2c o s 口2c o s 卢2 + c s i l l 口2c o s 芦2 厂2lc o s 口l c2 l f ，2 一c 笠f ，2 一c 嚣，：2 ，2 - o c 3 lc o s 声2 + c 驼c o s 口2s i l l 芦2 + c s i no2s i i l 户2 ，2 _ o c 3 l s i n 岛+ g 2 c o 瞩+ c 3 3 s i 峨c 0 瞩正t s i 崛厶 一c 3 l f ，2 一c 强f ，2 一c 3 3 f ：2 厂2 一一f ：1 ，l ( 2 3 1 ) 从而计算出摄像及内外参数。 但事实上，我们已知的控制点的二维坐标数据存在一定的误差的，因此为了 得到一个较为可靠的结果。一般需要远多于四个的控制点对。此外，由( 2 2 3 ) 式 所得到的方程组实际上是一个非线性超越方程组，对这样的方程组进行求解一般 采用基于最小二乘原则的迭代法，即首先选取一个解的初始预测值，而后运用梯 度下降的原理，采用梯度迭代法求出方程组的解。另外，h 0 1 t “”还从理论上分析 了该非线性方程组的多解问题，并且证明方程组存在无穷多解的充分必要条件是 伊。慢 ， l o l o n m m 第二章摄像机定标方法 1 7 控制点的二维图像坐标共线。归纳地讲，对摄像机参数进行直接计算即是利用梯 度迭代的方法，求出使下式最小的r 和t ： 羹 一，i ：；j ；揣，2 + o 。一，；! i ! _ j 揣，2 。一。， 第三章三维场景的恢复 第三章三维场景的恢复 通过上一章中的方法，已经可以得到摄像机成像的参数。但是，利用单张像 片不能唯一确定被摄物体的空间位置。在单张像片成像时的内外参数都已知道的 情况下，也只能确定被摄物体点的摄影方向线。要确定被摄物体点的空问位置， 必须利用具有一定重叠的两张照片，构成立体模型来确定被摄物体的空间位置。 即按照立体像对与被摄物体的几何关系，以数学计算的方式，通过计算求解物体 的三维空间坐标。这一过程称之为双像解析。其核心是研究立体像对与被摄物体 之间的数学关系，并考虑如何计算被摄物体的三维空间位置。 利用立体像对计算物体三维坐标的方法