（信号与信息处理专业论文）摄相机自标定方法的研究.pdf

哈尔滨工业大学t学硕士学位论文 摘要 摄相机自 标定是未来三维场景重建和虚拟现实技术的基础。 摄相机自 标 定技术克服了传统标定方法对标定环境和相机参数有严格要求的缺点， 它作 为一类新的标定技术正在受到研究人员越来越多的关注。 本文首先对现有自 标定技术进行综述， 然后对摄相机自标定方法的一般 原理和实施步骤做了介绍。 本文重点研究了两个自 标定算法， 它们有着不同 的特点和优势，因此有着不同的应用背景。 本文有两个主要成果， 第一个是由本文提出的一 种新的自 标定算法， 这 种算法是针对交通事故现场勘察的特殊应用背景而提出的。 它结合了传统标 定与自标定， 因此它同时具有自 标定方法的灵活性和接近于传统标定方法的 精确度; 本文的第二个成果是研究了原有的p o l l e f e y s 自 标定算法， 指出了 其 中存在的问题， 并提出了改进的方案。改进后的方案大大提高了射影重建的 精确度和稳定性，从而提高了p o l l e f e y s 自标定算法的整体性能。 为了验证这两个主要成果， 我们分别对其做了实验。 对第一个新提出的 自标定算法我们设计了多个仿真实验从不同的角度来考察它的性能， 实验的 结果表明该算法在较大的噪声环境中， 在初值严重偏离真值的情况 下 仍然具 有较高的精确度和稳定性: 对第二个算法， 我们设计的仿真实验比较了改进 后与改进前算法的性能， 实验表明改进后的算法无论在精确度还是稳定性方 面都要明显优于原算法， 更重要的是它大大提高了标定的成功率。而且， 我 们还对改进后的算法进行了真实图像数据的实验， 通过三维重建和纹理贴图 更加直观的验证了算法的可行性与可靠性。 本文的两个研究成果有着 一 定理论意义和广泛的应用前景。 第一个算法 同时具备 自标定的灵活性和近乎于传统标定的精确度， 在交通事故勘察项目 中它可以在未来取代现在使用的传统标定方法。 第二个算法在精确度上比较 粗糙， 但是它提供了最大的灵活性，而且它可用于变焦相机的自标定，因此 在交通事故勘察项目中它可以提供一个视觉上的现场三维重建， 一个立体的 恢复场景将有利于事故鉴定人员对事故责任做出更加客观、准确的判断。 关键词 摄相机自标定;分层重建;绝对二次曲面;射影几何 哈尔滨工业大学工学硕士学位论文 ab s t r a c t c a m e r a s e l f - c a l i b r a t i o n w h i c h i s t h e b a s e o f t h e i n c o m i n g 3 d r e c o n s t r u c t i o n a n d v i r t u a l r e a l i t y t e c h n i q u e h a s n o s u c h s t r i c t l i m i t l i k e t h e t r a d i t i o n a l c a l i b r a t i o n m e t h o d s f o r t h e c a m e r a p a r a m e t e r s a n d u s i n g c o n d i t i o n s . n o w i t s b e c o m i n g a h i t i n t h e c i r c l e s . i n t h i s p a p e r w e f i r s t l y m a k e a s u mma r i z a t i o n a b o u t t h e e x i s t i n g s e l f - c a l i b r a t i o n me t h o d s a n d t h e n w e d e s c r i b e i t s g e n e r a l t h e o r y . t h e r e a r e t w o m a i n c o n t r i b u t i o n s i n t h i s p a p e r : t h e f i r s t o n e i s t o p r o p o s e a n e w s e l f - c a l i b r a t i o n m e t h o d a i m a t t r a f f i c a c c i d e n t s u r v e y . t h e n e w me t h o d c o m b i n e s t h e t r a d i t i o n a l c a l i b r a t i o n a n d s e l f - c a l i b r a t i o n t e c h n i q u e s s o i t i s fl e x i b l e a n d a l s o h a s h i g h p r e c i s i o n . t h e s e c o n d o n e i s t o i m p r o v e t h e e x i s t i n g p o l l e f e y s me t h o d . i t g r e a t l y i m p r o v e s t h e p r e c i s i o n a n d s t a b i l i t y o f t h e o r i g i n a l m e t h o d . t o p r o v e t h e p e r f o r m a n c e o f t h e p a p e r s t w o m a i n c o n t r i b u t i o n s w e d e s i g n s e v e r a l e x p e r i m e n t s s e p a r a t e l y f o r t h e t w o . f o r t h e f i r s t o n e , s i m u l a t i o n s h o w s t h a t o u r n e w me t h o d s t i l l h a s g o o d p e r f o r m a n c e e v e n a t i n i t i a l v a l u e s g r e a t d e p a r t u r e f r o m t h e r e a l o n e w h e n h e a v y n o i s e p r e s e n t s . f o r t h e s e c o n d , s i m u l a t i o n s h o w s t h a t o u r me t h o d g r e a t l y i m p r o v e s t h e p e r f o r m a n c e o f t h e o r i g i n a l m e t h o d a n d t h e e x p e r i m e n t o f r e a l i m a g e s e q u e n c e s p r o v e s i t s f e a s i b i l i t y a n d r e l i a b i l i t y . t h e p a p e r s t w o c o n t r i b u t i o n s h a v e s o m e s i g n i f i c a n c e b o t h i n t h e o r y a n d i n a p p l i c a t i o n . t h e f i r s t o n e w h i c h h a s b o t h g r e a t fl e x i l i t y a n d g r e a t p r e c i s i o n c o u l d b e s u b s t i t u e n t o f t h e t r a d i t i o n a l c a l i b r a t i o n me t h o d i n t r a f fic a c c i d e n t s u r v e y i n f u t u r e . t h e s e c o n d o n e h a s l e s s p r e c i s i o n , h o w e v e r , i t p r o v i d e s t h e g r e a t e s t fl e x i l i t y , p l u s i t c a n d e a l w i t h t h e z o o m i n g c a m e r a , s o i t c o u l d b e u s e d f o r g i v i n g a v i s u a l 3 d s c e n e r e c o n s t r u c t i o n w h i c h w i l l h e l p a l o t i n t r a f f i c a c c i d e n t s u r v e y . k e y w o r d s c a me r a s e l f - c a l i b r a t i o n , s t r a t i fi e d r e c o n s t r u c t i o n , a b s o l u t e q u a d r i c p r o j e c t i v e g e o me t r y 哈尔滨工业大学工学硕士学位论文 第1 章 绪论 1 . 1课题背景 本课题来源于威海市交通局， 项目名称是交通事故现场智能勘察。 该项 目 是为解决传统交通事故现场勘察过程中手工测量、 绘图存在的不精确、 不 标准、费时、人为因素影响较大等问题。 1 . 2本课题研究的目的及意义 本课题研究的目的和意义在于为交通事故现场智能勘察的机器视觉系 统提供一种更加方便 活性和稳定性的目的 、 可靠的摄相机标定技术， 从而达到提高现有系统的灵 1 . 3国内外相关技术发展现状 广义的摄相机标定可分为三种: 传统标定方法， 基于主动视觉的标定方 法和自 标定方法。 传统标定方法需要使用经过精密加工的标定块， 通过建立 标定块上的三维坐标己知点与其图像点之间的对应来计算摄相机的内外参 数。 该方法的优点在于可以获取较高的精确度，但标定过程费时费力， 对标 定环境有特殊要求， 不适合在线标定和不可能使用标定块的场合: 基于主动 视觉的标定方法需要控制摄相机做某些特殊运动，如绕光心旋转或纯平移 等，利用这种运动的特殊性可以计算出内参数。该方法的优点是算法简单， 往往能获得线性解，缺点是不能适用于摄相机运动未知或无法控制的场合。 以上两种标定方法均利用到场景或摄相机运动信息， 对于场景任意、 摄相机 运动未知的一般情况都无能为力。 而自标定技术使得在场景任意、 运动未知 的一般情况下的标定成为可能。跟前面两种方法相比它具有极大的灵活性， 因此迅速发展成为了计算机视觉领域里一个极其重要的分支。 摄相机 自标定技术开始于上个世纪9 0 年代， 到目前己有 1 0 多年的历史。 迄今为止研究人员们提出了各种理论框架与算法， 它们之间存在着方法论上 的差异，有些甚至具有科学哲学思想的差异，但并没有本质上的互相排斥， 哈尔滨工业大学工学硕十学位论文 而且是互补的。 这些方法中基于几何的自标定方法得到研究者们的最多关注。 因为各种 几何的本质是描述几何元素在不同变换群下的不变量。由此， 使用几何方法 不仅可以由二维图像重建三维物体， 还可以描述它们在摄相机变换下的不变 量， 从而达到识别的目的，也就是说， 基于几何的自标定方法可以贯穿计算 机视觉理论框架下的所有部分。 基于几何的自标定方法将对应于射影几何、 仿射几何、 欧几里德几何的 射影变换、 仿射变换、欧几里德变换系统地引进到计算机视觉中。 三种变换 都构成各自的变换群， 而且， 后者为前者的子群， 它们所对应的儿何不变量， 前者是后者的子集。 这些性质比较完美地对应了视觉系统中对物体由粗到细 地描述，在一些特定任务的计算机视觉系统中降低了对系统参数了解的要 求，一定条件下提高了系统对噪声的鲁棒性。 2 0 世纪9 0 年代初， f a u g e r a s , l u o n g , m a y b a n k 等7 ,8 首先提出了自 标定 的概念， 使得在场景未知和摄像机任意运动的一般情形下的摄相机标定成为 可能。 f a u g e r a s 等6 从射影几何的角度出发证明了 每两幅图 像间 存在着两 个 形如k r u p p a 方程的二次非线性约束， 通过直接求解k r u p p a 方程组可以解出内 参数。 它被看作是历史上第一个 自 标定方法， 但是它在求解方面存在困难性 和多义性， 面对后来发展出的更具有灵活性和稳定性的方法它渐渐失去了吸 引力。 鉴于直接求解k r u p p a 方程的困难， 人们又提出了分层逐步标定的思想， 即首先对图像序列做射影重建， 在此基础上再进行仿射标定和欧氏标定。 如 果说基于k r u p p a 方程的方法是纯粹的代数方法，那么分层逐步自 标定方法 则是基于几何的方法。 分层逐步自 标定方法将标定过程与三维重建过程结合起来， 通过射影重 建、 仿射重建、 度量重建这样的层层重建将标定过程融入到了重建过程之中。 分层逐步标定的 方法以h a r tl e y 的q r分 解法8 1 . t r i g g s 的 绝对二次曲 面 法 9 i , p o l l e f e y s 的 模约束 法 “ 等为 代表。 针对在实际应用中摄像机内参数会实时改变的情形， 人们进一步提出了 可 变内 参 数下 摄像 机自 标 定的 概念。 h e y d e n , s t u r m , p o l l e f e y s 等 12 ,1 3 从理 论上证明: 在内参数满足一定条件的前提下， 可变内参数下的自标定是完全 可 能的， p o l l e f e y s 等 2 1 还给出了 一 种比 较实 用的 可变内 参数下的 摄像机自 标定方法。 从本质上说， 所有自 标定方法都只是利用了摄像机内参数自身存在的约 哈尔滨工业大学工学硕士学位论文 束， 这些约束与场景和摄像机的运动无关， 这也是自 标定方法较前两种标定 方法更灵活的原因。 经过 1 0多年的发展，摄相机自标定己经形成了基本的理论框架。这个 框架为度量重构提供了一个的解答， 但是研究也表明我们还不能完全信赖于 它。 目前仍然缺乏由多视图张量求解自标定的一种封闭形式解以及自 动检测 临界运动序列的算法。 而且自标定在精确度与鲁棒性上与传统标定方法相比 还存在着不足。 在摄像机自 标定研究方面， 国际上有代表性的研究组有: 英国牛津大学 的z i s s e r m a n 组， t 匕 利时的v a n g o o l 组， 瑞典的h e y d e n 组， 法国的f a u g e r a s 组和t r i g g s 及s t u r m组，美国i l l i n o i s 大学的m a y i 组， m i c r o s o f t 研究院的 张正友组，澳大利亚的h a r t l e y 组，以色列的s h a s h u a 组等。在自 标定研究 方面，最完善的参考书首推2 0 0 0年出版的由h a r t l e y 和 z i s s e r m a n 合著的 ( m u l t ip le v i e w g e o m e t r y in c o m p u t e r v i s i o n 一书5 3 1 我国在计算机视觉方面的研究起步较晚， 比较有代表性的研究组织是中 国科学院自动化研究所的模式识别实验室。 他们在摄相机自标定与三维重建 方面取得了一定的成果。 1 .4自标定技术概述 在这一节里，我们按照自标定方法提出的时间和方法的共性对其分类。 所有 自标定方法均是针对运动的单个摄像机而 言，摄像机采用的是针孔模 型，并假定匹配点对应己经确定。以下除非特殊声明， 摄像机的内参数均保 持恒定，摄相机的运动也不做特殊要求。 1 .4 . 1直接求解k r u p p a 方程的自标定 f a u g e r a s , l u o n g , m a y b a n k 等提出的自 标定方法是基于直接求解k r u p p a 方程的一种方法 5 ,3 2 1 ， 该方法利用绝对二次曲 线的像和极线变换的概念推导 出了k r u p p a 方程。 如图 ( 1 - 1 ) ， 在光心c 对 应的图 像平面1 上， 存在着两极线1 , , 1 2 与o j 相切， 在光心c对应的图 像平面2 上也存在着两极线1; , 12 与。 相切( co , 0 ) , 分别 是 绝 对二 次 曲 线s l 在图 像 平 面1 , 2 上的 像 ) 。 根 据 射 影 几 何 14 的 原 理， 六 与 叮 ， 1 z 与1 2 分别对应着无穷远平面)t 上两条与绝对二次曲 线相切的直线， 这种对 哈尔滨工业大学工学硕士学位论文 应 被 称为 极线 变 换6 l 。 如 果 将极 线人 表示 成。 x m ， 其切点二 在图 像平 面2 上 形成的极线即为1; ， 而1 ; 的方程可用基础矩阵表示为f m，根据极线变换得: / 书 二 “ -w 图 卜l绝对二次曲线满足的几何关系 f i g . l 一 1 t h e g e o me t r y o f a b s o l u t e c o n i c ( e x m ) k k t ( e x m ) = m 7 e , k k e l m( 1 一 1 ) 推出: ( f m ) k k t ( f m ) 一 m t f t k k t f m , ,d m 最后整理得到 e ,x k k t e x 二 f t k k t f ( 1 - 2 ) 式中 1、 表示矢量的反对称矩阵。 从式( 1 - 2 ) 可以 得到5 个关于。 分量的二 次方程，但其中只有2 个是独立的。式( 1 - 2 ) 常由于其形式的特殊被称为 k r u p p a 方程。 容易看出，从两幅图 像总共可以得到2 个 k r u p p a 方程， 在给 定3 幅图像的情形下，原则上通过联立求解可解出摄像机的全部5 个内参数。 围 绕着求解k r u p p a 方 程， 文献中 存在 着不同的 途径。 f a u g e r a s , m a y b a n k 等h s 1 最早提出的算法完全基于代数几何的概念，该算法对噪声极其敏感， 普通计算机的浮点运算已不足以满足其要求。 l u o n g 提出了一套基于连续同 伦算法的较实用的求解策略， 降低了对噪声的敏感度， 但该策略要求拐点的 提取精确度达到ak像素级( 0 . 2 个像素) 。这两种直接求解 k r u p p a 方程的方法 存在着共同的弊端: 求解困难， 而且是针对两两图像之间列方程，当图像数 目 增加时， 可能解的个数呈指数级增长， 使得直接求解失去意义。 另一类求 解k r u p p a 方程的 途径是lbj 接的非线性优化算法， z e l l e r 等3 1 利用k r u p p a 方 哈尔滨丁业大学工学硕士学位论文 程 计 算 出 多 幅 图 像 上 的 所 有 点 到 对 应 极 线 距 离 之 和 ， 再 利 用 l e v e n b e r g - m a r q u a r d t 优 化 算 法 3 2 减 小 该 距 离， 并 求出 相 应的 内 参 数; 文 献 2 2 则首先令式( 1 - 2 ) 两边的模相等以消去常数因子， 再直接对两边的代数距离进 行优化，优化函数如下: ,k (k ) 一 y iif (k k tili ) 一 f (f t k k t f )ilt f ( a ) 一 a / iia ii, ( 1 - 3 ) 式 中i ii: 一一 f r o b e n iu s 模 上述优化算法的缺点在于，待优化参数过多，月 . 容易陷入局部最优值。 部分学者 4 3 ,4 4 , 3 9 还通过简化摄像机模型以降低k r u p p a 方程的求解难度， 如 h a r t l e y 在文献 3 3 中假设除焦距.f 外的其它内参数均已 知， 利用对基础矩阵 f 的s v d分 解从两幅图 像中 计 算f . 在2 0 0 0 年的e c c v 会议 上， m a 等 3 4 对k r u p p a 方 程的 奇 异性 和 可 解性 做了详细的分析。 m a 等在文献 3 4 中证明:在某些特殊情形下( 如摄像机的 旋转轴平行或垂直于平移矢量) ，k r u p p a 方程可以被归一化为线性方程，相 应的自 标定算法也成为线性方法。文献 3 4 还给出了 利用 k r u p p a方程自 标 定的充分性证明。 基于 k r u p p a 方程的自 标定方法不需要对图像序列做射影重建，而是对 两两图像之间建立方程， 在某些很难将所有图像统一到一个一致的射影框架 的场合， 该方法会较下面将介绍的分层逐步标定法更具有优势， 但获得这种 优势的代价是:在从式( 1 - 2 ) 推导出k r u p p a 方程时，隐含将无穷远平面的3 个未知数消去了， 这意味着无法保证无穷远平面在所有图像对确定的射影空 间里的一致性，从而也部分解释了当图像序列较长时，基于k r u p p a 方程的 自 标定方法不稳定的现象。雷成等指出了基于k r u p p a 方程标定摄像机存在 的 三 种不 鲁 棒性原因 5 2 1 .4 . 2分层逐步标定 近年来， 分层逐步标定法成为自标定研究中的热点， 并在实际应用中逐 渐取代了 直接求解k r u p p a 方程的方法。分层逐步标定法首先要求对图像序 列做射影重建， 再通过绝对二次曲线( 面) 施加约束， 定出仿射参数( r i 无穷远 平面方程)和摄像机内参数。 卜 面仅列出其中几种较有代表性的方法。 哈尔滨工业大学工学硕士学位论文 ( 1 ) h a r t l e y的方法。h a r t l e y 在文献 8 中提出了一种直接对摄像机投影 矩阵进行q r分解的自 标定方法， 一首 先进行射影重建， 做射影对齐后得到形 如君 = ! 私 e , 的 摄 像 机 投影 矩阵 序列。自 标定的目 标即 是 要寻找 合 适的 射 影变换h e ，将p , 变换到欧氏 意义下的 投影矩阵，即 p ,h , 二 k r ; 1 - r ,t , 1 ( 1 - 4 ) 在君 = 1 瓜 3 1 0 3 】 的 前 提下，从共 有8 个未知 数， 且 具 有如 下形式: ( 1 - 5 ) 0l k城 h, 将( 1 - 5 ) 式代入( 1 - 4 ) 式，并取前三列得 引 川 k三 l a ml k ; 尺( 1 - 6 ) 文献 g ) .h 先通过预估计得到k,， 再利用q r分 解法 ” 分解 ( 1 - 6 ) 式 的左边得到k ; 。由于摄像机内参数保持恒定，k ; 应接近于k，利用 l e v en b e rg -m a rq u a rd 算 法 !3” 对 式 买 iia ,k ,k - 一 进 行 优 化 可 以 解 出 k h a r t l e y方法利用了q r分解法消去旋转矩阵r，这是该方法的最大特色 该方法的优点在于当输入图像序列较长时， 往往能取得较好的效果; 不足之 处在于其初始值必须预先知道。 ( 2 ) h e y d e n 和 s t u r m的方法 的方法 h e y d e n 。与 h a r t l e y方法相fp 7 , 等将( 1 - 5 ) 代入( 1 - 4 ) 式后， 。 h e y d e n 和s t u r m在文献 3 5 中提出了 类似 文献 3 5 也利用了射影对齐，但区别在于 利用了 vt = i 消去尺 和人 并得到 k t a p ,r 7 l am =k人 一 了 ( 1 - 7 ) kk喊 君 夕当 通过优化下式可以解出内参数矩阵 k f (k ,a.a,，一 a ,p jkk ta.tk ( 1 - 8 ) 汽之 .几卜.万.r口. t k k 该方法也存在着计算量大， 优化的收敛性难以保证的弊端。 必须指出的 是， ( 1 - 8 ) 式非常重要，它其实也是下面将介绍的 t r i g g s的基于绝对二次曲 哈尔滨i业大学工学硕士学位论文 面、p o l l e f e y s 的分层重建等方法的基础。 ( 3 ) p o l le f e y s 的 方法。 p o l l e f e y s 等3 6 从单应矩阵和绝对二次曲 线出 发推 导出了类似文献 3 5 的结果。由于无穷远平面上的绝对二次曲线的像不随摄 像机运动而改变，利用( 1 - 7 ) 式得 a ;k k t 一 h + e a .t k k t h , + e ,a .t r 文献 3 7 建议利用l e v e n b e r g - ma r q u a r d t 算法优化式 ( 1 - 9 ) 客 17 f (h u + e,attk k ,h ,=2 hr，一 r/一 (k k t) ( 1 一 1 0 ) 以解出k。可以看出，优化函数( 1 - 1 0 ) 与( 1 - 8 ) 在形式上类似，都存在着未知 的常数因子凡 ， 但在处理该常数因子上， p o l l e f e y s 和h e y d e n 采用了 不同的 途径: h e y d e n是将凡看作独立的未知数与其它参数同时优化， 而p o l l e f e y s 则利用( 1 - 9 ) 式两边的模相等估计出 、 一 iih + e u a . ii2 ( 1 一 1 1 ) 由于减少了待优化的未知数个数，优化函数将更易于收敛。 p o l l e f e y s 在文 献【 3 8 中 还证明:该 方法与 基于 k r u p p a 方程的 方 法6 1 h e y d e n 的 方 法 3 6 1 , t r i g g s 的 基于 绝 对二次曲 面的 方 法 9 1在本 质上是 相同 的。 以上介绍的三种方法有着共同的特点: 都是在射影标定的基础上，以某 一 幅图像为基准做射影对齐，从而将未知数缩减至 8个( 无穷远平面参数 3 个和摄像机内参数 5个，不包括总体常数因子) ，再通过非线性优化算法同 时解出所有未知数。缺点在于:非线性优化算法的初值只能通过预估得到， 不能保证收敛性; 射影重建时均是以某参考图像为基准， 参考图像的选取不 同，标定的结果也不同，这不满足一般情形下噪声均匀分布的假设。 1 . 4 .3基于绝对二次曲面的自标定 t r i g g s 9 l 最 早将 绝对二 次曲 面的 概念引 入到自 标定的 研究中 来， 该 方 法 的原理如下:绝对二次曲面汀对应着图像上的绝对二次曲线像的对偶c t) 即下式成立 。 二 k k t = r ,p , s 2 p , t( 1 一 1 2 ) 哈尔滨工业大学工学硕士学位论文 ( 1 - 1 2 ) 式非常重要， 它是将摄像机内参数的自 身约束转移到对盯的约束 的纽带。不难看出， ( 1 - 1 2 ) 式与h e y d e n 等给出的( 1 - 7 ) 式在本质 l 是相同的， 但h e y d e n 等并未给出其相应的几何解释。 原则上通过联立求解( 1 - 1 2 ) 式组成的方程组可以计算出矿。由于( 1 - 1 2 ) 式中的常数因子a . 随图 像不同而改变，为消去凡， 对( 1 - 1 2 ) 式两边矩阵的对 应项作叉乘 。 、 君 。 君 7 k? 一 。 、:. p q .p t l k! = 0 ( 1 一 1 3 ) 上 式中 的卜 - 1, ， 表示 矩阵 第k 行第i 列元 素。 对于 每一幅图 像， 可得 到 1 5 个形如( 1 - 1 3 ) 式的方程，但其中最多只有5 个是独立的4 5 1 t r i g g s 提出了两种方法求解该方程组:第一 种方法利用了s q p优化算 法( s e q u e n t i a l q u a d r a t i c p r o g r a m m i n g ) , 函 数 i trn (p,y 可的 最 小 值 ， 在 d e t ( 4 ) 一 “ 的 约 束f 直 接 求 解 代 价 利用该方法，给定至少 3幅图像即可完全标 定， +/ 始 值由 预 估 得到; 第二 种方 法被 称为 半 线 性方法 ( q u a s i - l i n e a r ) ， 将。 ， 汀 的分 量分别组织成列矢 量0 6 x 1 。 孤 ， ， 并以co n t 的5 9 个分量为 未知数， 则此时( 1 - 1 3 ) 式成为线性方程， 再联立从多幅图像( -4 ) 得到的所有这样的线 性方程，在最小二乘意义一 解出5 9个未知数。半线性方法存在着过分参数 化的倾向，噪声大时误差也较大。 基于汀的自 标定方法与基于k r u p p a 方程的方法在木质上是一 致的， 都 是利用了绝对二次曲线在欧氏变换下的不变性， 但在输入多幅图像并能得到 一致射影重建的情形下，前者较后者更具有优势，其根源在于汀包含了无 穷远平面和绝对二次曲线的所有信息，且基于汀的自标定方法又是在对所 有图像做射影重建的基础上计算汀的，从而保证了无穷远平面对所有图像 的一致性。 与此相比， 基于k r u p p a 方程的方法是在两两图像之间建立方程， 在列方程过程中已将支持绝对二次曲线的无穷远平面参数消去， 所以当输入 更多的图像对时，不能保证该无穷远平面的一致性。 1 .4 .4 p o l l e f e y s 的模约束 以上介绍的分层逐步标定法有一个共同的特点: 仿射标定和欧氏标定合为一步，一次性地求解出 3 在得到射影重建后， 将 个仿射参数( 即无穷远平 哈尔滨工业大学工学硕士学位论文 面参 数) 和5 个摄像机内 参数。 而p o l l e f e y s p 0 提出的 模约 束法则是将仿射标 定和欧氏标定分开进行，其原理如下。 设衅表 示 无 穷 远 平 面 在图 像i , j 间 的 单 应 矩阵 ， 联 系衅在 欧 氏 坐 标 系下的表达式和在射影坐标系下的表达式可得到 h 二 h ; h ,0 二 k r 1 - t k - 二 ( h , + e , j a .t ) ( h ,; + e a .t 一 ， ( 1 一 1 4 ) p o l l e f e y s 由 ( 1 - 1 4 ) 式 发 现 ， 衅与 一 个 旋 转 矩阵耳r , t 在 相 差 一 个 尺 度 因 子 下 满足 共 ue 关系， 则 根 据旋 转 矩阵的 性 质， h y 的3 个 特征 值的 模 应相 等， 这就是所谓的“ 模约束” 。 必须指出的是， 这种模约束只是在内参数矩阵k恒 定的情形下才成立。 文献 1 0 进一步 将 模约 束 用衅 的 特征多 项式 系数表 达， 即 如果设群的 特征多项式为 d e t ( h , 一 a i ) 一 13 .1 3 + 12 a 2 + 1, a + 10 一 。 ( 1 一 1 5 ) 则由模约束可推出如下必要条件 13 1 ,3 = lz 1( 1 一 1 6 ) 利用( 1 - 1 4 ) 式， 将l, 写成关于a 。 的三个分量的表达式， 从而由 ( 1 - 1 6 ) 式得 到了关于a ， 的4 次多项式约束，在最少3 幅图像下，可通过联立求解4 次 多项式方程组计 一 算出a . ，将计算出的a 。 代入( 1 - 9 ) 式即可线性求解出绝对二 次曲 线的 像k k t 。 此后， 可以 构造形如式( 1 - 1 0 ) 的 优化函数， 并利用l e v e n b e r g - m a r q u a r d t 等算法对求解结果精化。 1 .4 . 5可变内参数下的分层逐步标定 所有以上讨论的自标定方法， 均是针对摄像机内参数恒定的情形， 但在 某些实际应用场合， 经常需要改变摄像机内参数，如缩放焦距等， 此时以上 的自 标定方法不再适用。 为解决此问题， 近年来人们提出了可变内参数下 自 标定的 概念。 p o l l e f e y s 等 3 8 给出了 一种变焦距下的自 标定方法， 他们采用 类似 mo o n s等的方法，首先控制摄像机保持焦距不变做一次纯平移，从而 获得仿射标定， 计 一 算出初始焦距后， 再利用模约束在焦距变化时标定。 s t u r m 提出了一种针对可变焦距摄像机的自标定方法。 该方法需要预标定， 先确定 出5 个内参数的互相关模型， 从而将焦距变化时的自标定过程简化到只需计 哈尔滨工业大学工学硕士学位论文 算一 个内 参数。 h a r t l e y等3 9 1 首 先利用射影重建中的“ 前后性” ( c h i r a l it y ) 将 a m 的取值限 制到三维参数空间中的一个立方体范围，再利用穷举法直接搜 索出 合 适的a . 并 计 算h , ， 接 下 来的自 标 定 过 程 则 非 常 简 单。 以上方法均是采用了简化的透视摄像机模型， 并没有从理论上回答可变 内参数下自 标定的可能性问题o h e y d e n和 s t u r m在解决该问题上迈出了第 一步，他们在文献 川中证明在倾斜因子s 为零，纵横比。 恒定的前提下， 可以实现可变内 参数下的自 标定。 文献 1 1 中的证明不够完善，而且 给出 的 自标定方案是对所有参数， 包括点的三维坐标、 摄像机内外参数、常数因子 等，同时进行优化，这在实际应用中难以做到，另外，文献 1 1 无法解决 优 化的 初始 值问 题。 1 9 9 8 年， p o l l e 介 y : 等 1 2 1在h e y d e n 工作的 基础上 进一 步 从 理论和实践上较完美地解决了可变内参数下的自标定问题， 并相应地给出了 一种比较实用的基于优化的自 标定方法。p o l l e f e y s本人也因此项工作获得 1 9 9 8 年度计算机视觉界的最高奖一一一d a v i d ma r r 奖。 p o l l e f e y s 等1 2 1 首 先证明， 在s 为零且其它内 参数可任意 变化的前 提下， 可以实现完全的自标定和欧氏重建。下面简要介绍其原理。 设第i 幅图像对应的内参数矩阵为戈，由( 1 - 1 2 ) 式可得 k ; k , 考虑到汀矩阵的对称型和秩为 二 w尸 ( 1 一 1 7 ) 3 ， 满足( 1 - 1 7 ) 式的汀可以具有如f 形式 、 尸 k k 7 i a . k k rr 叫 : am a ,n 二k k 一 r ( 1 一 1 8 ) 则通过优化下式可以解出所有未知数 二 ( k ;, k , a . ) 一 e ii f ( k ,k t ) 一 f ( p s2 f j二 ( 1 一 1 9 ) 为 保证( 1 - 1 9 ) 式的收 敛， 必须获得良 好的戈的 初始值， 文献 1 2 1 的 做法 是， 假定 倾斜因 子， 为 零 且主点 坐标( u o i v o ) 已 知， 则 此时 基于 ( 1 - 1 7 ) 式的自 标定成为线性过程，将该线性标定的结果作为( 1 - 1 9 ) 式的初始值，可以保证 优化过程收敛。 h e y d e n 和 s t u r m将可变内参数下自 标定的条件进一步减弱，证明了 在 摄像机任意一个内参数恒定的条件下，即可实现可变内参数下的自 标定。 至 此， 可变内参数下自标定的可能性问题得到彻底解决。当然，当5 个内参数 均变化时，从理论上来说，此时是无法进行摄像机自标定的。 哈尔滨工业大学工学硕士学位论文 1 . 5研究内容与文章结构 本文的应用背景是交通事故现场勘察系统的研究与开发， 该系统将应用 在交警部门的事故勘察与执法工作中。 其中的主要技术环节是利用取自于非 特定场景的一般运动图像序列进行摄相机的自标定并重建场景中的三维结 构信息。 基于以上的出发点， 本文的研究内容将包括: 摄相机自 标定方法的研究、 图 像序列的射影重建研究、 基于分层的p o l l e f e y s 自 标定方法研究。 第二章介绍摄相机自标定的基本原理， 包括摄相机参数模型， 成像模型; 与自 标定紧密相关的射影儿何和分层重建的概念。 重点介绍了摄相机自标定 是如何在分层重建过程中完成的。 第三章首先介绍了课题项日的应用背景，指出了这个应用背景的特殊 性。 然后， 根据这种特殊性提出了一种新的基于分层的自标定算法，同时它 也是一个新的自标定方案。 文中对该算法和方案的理论原理和具体的实施步 骤做了详细的描述。最后通过仿真实验对算法的可行性和可靠性做了验证。 第四章研究了一种严格意义上的自 标定算法一一一 p o l l e f e y s 自 标定， 并 对 p o l l e f e y s自 标定进行了改进。结合仿真实验与真实图像序列的实验验证 了算法的可行性和可靠性。 本文的工作属于基础性研究， 研究结果可以应用到图像序列自标定和三 维重建中。 在结论部分， 将对整个工作的研究成果做一个总结， 并说明还需要进一 步研究的问题。 哈尔滨工业大学工学硕士学位论文 第2 章 自标定 2 . 1引言 本章中我们研究自标定方法的数学原理，更准确地说是它的几何原理。 包括我们采用的摄相机模型，射影几何和分层重构。 自标定方法不同于传统标定方法的根本区别在于它无需知道图像中对 应的真实场景的几何知识， 只需要知道图像序列中对应的匹配点。自 标定之 所以能够实施的数学原理在于射影儿何中的绝对二次曲面的概念。 绝对二次 曲面是一个特殊的虚曲面， 它在摄相机的投影成像过程中是保持不变的， 它 相当于为标定工作提供了一个虚拟的标定块， 就像传统标定中那些人造的实 物标定块一样， 我们只要能够在图像序列中识别绝对二次曲面的像， 也就找 到了这个虚拟标定块的像，用它就可以完成摄相机的标定。 摄相机的自标定过程也是三维重建的过程， 它们是密不可分的。 通过逐 步识别出无穷远平面、绝对二次曲面、 绝对二次曲线， 将重构逐步从射影层 提升到仿射层，再到度量层。标定的结果在最终我们完成度量重建时得到。 2 .2摄相机模型 摄相机的投影成像是三维世界到二维图像之间的一种映射。 我们采用针 孔摄相机模型如图( z - l ) 所示。 _ _一 x p ri n c ip a l a x i s o g e p l a n t 图2 - 1针孔摄相机模型 f i g . 2 - 1 t h e m o d e o f p i n h o l e c a m e r a 哈尔滨工业大学丁学硕上学位论文 世 界 点 x 用4 维 齐 次 矢 量 ( x , y , z , l 丫 表 示 ; 图 像 点 二 被 表 示 成3 维 齐 次 矢量的形式:p表示3 x 4 齐次摄相机矩阵。则成像过程可以表示为: x = p x ( 2 - 1 ) 其中尸 包含了从世界坐标到摄相机坐标的变换和摄相机标定矩阵， 它可 以分解为: p = k r l t ( 2 - 2 ) 矩阵k称为摄相机标定矩阵。r和t 分别代表了从世界坐标到摄相机坐 标的旋转和平移。参看m ( 2 - 2 ) e 图2 - 2世界坐标系与摄相机坐标系间的变换 f i g . 2 - 2 f r o m w o r l d c o o r d i n a t e t o c a m e r a c o o r d i n a t e 摄相机标定矩阵的具体表达是: ( 2 - 3 ) 飞1.esesesesesj u0v01 口 广leseseseseses.il 一 k 。 和16 是跟焦距有关的两个尺度因子， u 。 和y o 是主点， 、 称为扭曲因子。 在c c d摄相机中: 表示c c d阵列的像素元素产生扭曲使得x 轴与y 轴不垂 直，这对于现代的半导体生产工艺来说是不大可能的，因此s 的值通常可以 忽略。 以上就是我们介绍的摄相机模型与成像模型。总结一下，可以用下式来 表示摄相机成像过程: x = p x 一 k r t x( 2 - 4 ) 哈尔滨工业大学工学硕士学位论文 空间中以世界坐标系表示的点x经坐标变换和摄相机投影成为摄相机 主平面上以摄相机坐标系表示的点x 。 而它的逆向过程即通过2 维图像上的 点来恢复其对应的3 维坐标的过程则称为重建过程。 在这个过程中确定出摄 相机矩阵k称为摄相机标定， 如果完全只利用图像序列上的匹配点信息而不 需利用其 3 维场景信息的标定过程则称为摄相机的自标定。 2 .3射影几何 这 一 节里将介绍与自标定密接相关的射影儿何的知识。 首先从点、 线和 面在射影空间中的表示开始， 并介绍了射影变化的性质。 接着介绍了无穷远 平面、 绝对二次曲线和绝对二次曲面的概念以及它们在自 标定过程中所扮演 的角色。 2 .3 . 1点线面的表示 3 维空间的一点x用齐次坐标表