（通信与信息系统专业论文）基于二维平面模板的摄像机的位姿计算方法.pdf

基于二维平面模板的摄像机位姿计算方法 摘要 伴随着汁算机视觉的快速发展 计算机和摄像机等设备已经成为我们获取 所需要场景信息的重要手段 因为摄像机的内外参数往往决定了三维场景与它所 对应的二维图像之间的对应关系 摄像机定标算法也正在受到越来越多的人的重 视 本文是在基于二维标定物摄像机定标的基础上 提出了一种在已知摄像机内 部参数的前提下 运用一张二维平面模板图像求解摄像机位姿参数的计算方法 根据这个算法我们首先需要求解出摄像机的外部参数 然后再根据求解得到的外 部参数 进一步的计算出我们所需要的欧拉角和平移向量 为后续的理论研究和 实验应用打下理论基础 本论文的工作主要包括以下几个方面 1 介绍了当前计算机视觉领域的发展概况 并简要的介绍了当前摄像机定 标算法的发展情况 然后对射影几何和摄像机定标两方面的基本理论知识进行了 阐述 2 介绍了基于不同标定物进行摄像机定标的三种计算方法 并对它们的求 解过程进行了比较详细的描述 并对它们的优缺点和应用情况进行了总结 3 在前人的基础上 它提出了一种基于二维平面模板求解摄像机位姿参数 的计算方法 并对算法进行了详细的推导过程 然后 又对这一算法基础上进行 了一定的改进 增加了正交约束的限制 使得算法更加的完善 4 通过m a t l a b 针对两种算法分别进行了模拟仿真 得到了许多宝贵的仿 真数据 包括在不同方位和不同平移向量下 所得到的仿真数据 为我们下一步 进行实际的实验应用提供了很好的理论参考依据 此外 还对两种不同算法的运 行结果和运行时问进行了对比 并进行了总结 5 对本文工作进行了总结 并进行了展望 关键词 摄像机定标 射影几何 二维平面模板 正交约束 c a m e r ac a l i b r a t i o nb a s e d0 1 11 v 0 一d i m e n s i o n a lp l a n e a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to l c o m p u t e rv i s i o n c o m p u t e r sa n dc a m e r a sh a v e b e c o m ei m p o r t a n tm e t h o d so fo b t a i n i n gt h er e q u i r e di n f o r m a t i o no ft h es c e n e c a m e r ac a l i b r a t i o ni sa l s ot a k e nm o r es e r i o u s l yb ym o r ea n dm o r ep e o p l eb yr e a s o n t h a ti n s i d ea n do u t s i d ep a r a m e t e r so ft h ec a m e r ao f t e nd e c i d e sc o r r e s p o n d e n c e b e t w e e nt h e3ds c e n ea n di t st w o d i m e n s i o n a lc o r r e s p o n d i n gi m a g e b yg i v e n i n t e r n a lp a r a m e t e r so ft h ec a m e r a t h i sa r t i c l ep u t sf o r w a r dan e wc a m e r ac a l i b r a t i o n b a s e do nt w o d i m e n s i o n a lp l a n eo nt h eb a s i so fc a m e r ac a l i b r a t i o nb a s e do n t w o d i m e n s i o n a lm a t e r i a lc a l i b r a t i o n f i r s t w ef i r s tn e e dt os o l v et h ee x t e r n a l p a r a m e t e r so ft h ec a m e r aa c c o r d i n gt ot h i sa l g o r i t l n n s e c o n d w ea c q u i r et h ee u l e r a n g l e sa n dt r a n s l a t i o nv e c t o rb a s e do nt h ee x t e r n a lp a r a m e t e r s t h i r d i tl a y s t h e o r e t i c a lf o u n d a t i o nf o r t h et h e o r e t i c a ls u b s e q u e n ta n de x p e r i m e n t a la p p l i c a t i o n s t h i sa r t i c l ei n c l u d e st h ef o l l o w i n ga s p e c t s 1 i tr e v e a l st h ed e v e l o p m e n to ft h ef i e l do fc o m p u t e rv i s i o na n dt h ec u r r e n t c a m e r ac a l i b r a t i o n a n dt h e ns h o w st h eb a s i ct h e o r e t i c a lk n o w l e d g eo fp r o je c t i v e g e o m e t r ya n dc a m e r a c a l i b r a t i o n 2 t h r e em e t h o d so fc a m e r ac a l i b r a t i o nb a s e do nd i f f e r e n tc a l i b r a t i o no b j e c ta r e i n t r o d u c e d w h i c hd e s c r i b e st h e i rs o l u t i o np r o c e d u r ei nd e t a i l s a n dt h e ns m m n a r i e s t h e i ra d v a n t a g e s d i s a d v a n t a g e sa n da p p l i c a t i o n 3 i tr e v e a l san e wc a m e r ac a l i b r a t i o nb a s e do nt w o d i m e n s i o n a lp l a n eo nt h e b a s i so f p r e v i o u sm e t h o d s o fc a m e r ac a l c u l a t i o nw h i c hd e s c r i b e st h ec o m p l e t ep r o c e s s o fs o l v i n gt h ep a r a m e t e r so fc a m e r a a n dt h e nm a k e st h ea l g o r i t h mm u c hm o r ep e r f e c t b yc o n s i d e r i n gt h ec o n d i t i o no fo r t h o g o n a lc o n s t r a i n t s 4 i tg i v e su sal o to fv a l u a b l ed a t ab ys i m u l a t i n gt h et w oa l g o r i t h m so n m a t l a b w h i c hi n c l u d et h es i m u l a t i o nd a t ai nd i f f e r e n tp o s i t i o n s i tp r o v i d e sag o o d t h e o r e t i c a lb a s i sf o ro u ra c t u a le x p e r i m e n t a la p p l i c a t i o n i na d d i t i o n i tc o m p a r e st h e r e s u l t sa n dt i m eo ft w od i f f e r e n ta l g o r i t h m s 5 a tl a s t i ts u n n n a r i e st h ea r t i c l ea n dp r o s p e c t st h ef u t u r eo ft h em e t h o d v k e y w o r d s c a m e r ac a l i b r a t i o n p r o j e c t i v eg e o m e t r y t w o d i m e n s i o n a lp l a n e o r t h o g o n a lc o n s t r a i n t v 1 绪论 1 1 引言 我们人类主要是利用我们的眼睛来获得和处理我们所得到的视觉信息 利用 我们的大脑来理解我们所得到的视觉信息的 大家都知道 经过光线的照射 在 我们身边的一些物体 往往就能够在我们的视网膜上产生图像 然后这些图像阿 经过我们身体内一些对光线有感应的细胞的处理 处理成神经脉冲信号之后 再 进行传递 最后再到达我们大脑内的大脑皮层 在那里经过相关的处理 完成整 个进程 我们经常所说的视觉 对上面信号的感知只是其中的一个方面 但是它 的大体过程还是和对上面信号的感知相类似 概括起来说 主要有五个阶段 获 取是它的第一个阶段 传输是它的第二个阶段 处理是它第三个阶段 存储是它 的第四个阶段 理解是它的第五个阶段 而这五个阶段共同构成了视觉 大家都知道 视觉是我们身体中一项非常重要的功能 它的作用有很多 总 体上来说 它不但帮助我们人类获得信息 同时还帮助我们处理和分析所获得的 信息 它是我们人类进行认知我们所生活世界的一项非常重要的方法和手段 我们也可以这么说 我们从周围环境中所获得的全部信息大约有7 5 是由我们的 视觉系统所提供的 这些原因导致的结果就是 人们开始考虑运用计算机作为手 段和方法 来解释这些环境语言 并最终获得我们所需要的距离和方位等等一些 比较重要的环境信息 伴随着人们对计算机的使用 以及人们对信号论的发明 大家早就已经把摄像机作为工具 通过它去获得我们所需要的环境中的图像 然 后通过计算机把它处理成数字信号 用计算机实现人类对视觉信息所进行的五个 阶段 随着时间的推移 就慢慢的产生了一个新的学科 我们把它叫做计算机视 觉 2 l 1 2 论文的研究背景和意义 计算机视觉的主要目的是为了i 计算机能够拥有一定的功能 能够通过一副 或者好几幅图像 来感知我们身边环境中所包含的信息 已能句多 7 i 很多的用处 比如它能够让计算机了f i i j 1 境中所仔在物体的世莹霞要的信息 这 l j 竖信息不但涉 1 琏j j 叫 卜出模皈自0 栏黛舡 譬引j 玎江 及到它的外形 方位 动态等凶索 还需要它能够充成卜商我t 1 1j j j f i 提剖的h 个 输 段的操作 我们大家都知道 摄像机已成为现在大家能够歌得陶像的重要丁具 我们i j j 以通过它所得到的 些图像信启 然后通过计算 几 计算出物体的一些重要的几 何信息 并由这些重要的信息完成对空问中物体的重新构建的任务 然而 往往 由于在三维的空间中拥有着一些它所特有的性质 比如它的投影一般容易导致它 的二维图像中深度方面信息的遗失 所以我们有时候需要对它进行蘑新构建 摄像机的内部参数和外部参数非常的重要 它对空间中的场景与它所相应的 二维的图像之问的关系起到非常重要的作用 往往是决定性的 其中获得它的内 部参数和外部参数的整个计算过程 我们称官是摄像机定标 要通过计算机来对 空问中的场景进行重新构建 摄像机定标是很重要的一步 在很多的计算机视觉 的运用中 它的内部参数和外部参数的获得都是一个很重要的组成部分 所以我 们说在计算机的视觉领域中 摄像机定标往往是一个非常重要的部分睁 然而 在许多实际情况中 我们必须通过一些实验才能得到我们所需要的这些参数 因 此 对现在的研究者们来说 需要把计算机视觉的重点放在怎么样解决实际问题 方面上 放在怎么样获得更加迅速 更加实际 更加简单而又更加精确的摄像机 定标方法上睢1 摄像机往往在图像的获取 图像的传导和图像的导出历程中 因为一些不确 定的因素容易导致图像的质量不好 还有可能导致图像变形 从而不能满足我们 所给定约束条件下的导出标准h 3 所以 比较有针对性的对所获得图像中的畸变 进行恢复和修正是相当有必要的 它是进行摄像机定标的前提条件b 1 我们利用 摄像机获取的图像 可以通过一定的设备把模拟的信息处理为数字的信息 然后 通过对图像的分析 指出被观察的点在图像平面上的正确坐标 最后利用摄像机 定标的结论求解出被观察的点位于物体坐标系中的位置 通过这种方法 我们能 够完成对图像中存在的畸变进行修j f 的目标嫡1 综上所述 摄像机定标已经成为一项越来越重要的工作 在计算机视觉领域 中也扮演着非常重要的角色 本文主要是在经典算法的基础上 提出了一种基于 二维平面模板 f j 摄像钆应姿参数的汁算方法 1 3 摄像机定标算法的研究现状 整体j 二来说 我们可以把目前的摄像机定标的方法划分为两大类 第一大类 是传统的摄像机定标技术 第二大类是摄像机的自定标技术 在后面的第四章中 我们还要将对它进行更加细致的划分 传统的摄像机定标技术主要是通过一些几何元素已知的物体来进行定标 它 丰要通过对物体和它所成的图像间的特殊关系 进行一定的数学处理 计算出摄 像机模型中的主要未知参数 从而完成我们对摄像机的定标任务 根据摄像机模 型的不同 我们可以把传统的摄像机定标技术基本上分为两种 一种是线性模型 定标 另外一种是非线性模型定标 在第一种定标方法中 我们比较常用的是直接线性变换法和透视变换矩阵法 d a i n i s 和j u b e r t s 讲述了怎么样通过直接线性法进行摄像机定标盯3 而g a n a p a t h y 陋3 提出了一种通过透视变换矩阵法来进行摄像机定标 而且在对未知参数的计算方 面也作了比较细致的阐述 在本论文后面的章节中 我们还会对它们的算法进行 比较详细的介绍 虽然上面所提到的算法 在大多数情况下应用起来还是可以被我们接受的 可是如果想要获得比较高的精确值 我们还应该涉及到一些图像畸变的因素呻3 因此我们可以通过非线性模型进行定标 并通过这种方法来提高定标的精确度 f a i g 总结出一种涉及了全部畸变因素的非线性的最优化计算方法n 引 t s a i 也提出了一种方法 这种方法我们只需要思考它的径向畸变因素 然后通过两步 法来进行摄像机定标 这种方法首先通过第一种方法求解出摄像机的定标参数 然后通过我们所求解得到的参数当作初始给定值 思考到径向畸变的条件 最后 通过最优化算法来达到我们的目的 同时t s a i 同样提出了思考到径向畸变因素 和切向畸变因素的摄像机定标方法 这种方法的提出对它的方法的完善起到了很 大的推动作用n 此外 还有研究者提出了一些其他的第一类摄像机标定方法 m a r t i n s n2 1 等 研究者率先总结出双平面模型 t w o p l a n em o d e l 的摄像机定标方法 魏国庆与马 颂德n 1 在这一方面同样也完成了很多有针对性的学术研究 f i s h e r 与b a l l a s e m 营 结出了运用几何方法进行摄像机定标的方法 我们大家都知道 第一类摄像机定标方法主要是通过一些几何元素己知的物 体来进行定标 可是现阶段 一种新的摄像机定标方法被大家所熟知 它往往不 j o i 0 j 吒叫 的澎 髓拉姿汁缚疗注 通过儿何死索l 三知的物体就 r 以进行摄像机的定标 我们把这种定标方法叫做摄 像帆f i 定标 s e l l 二c a l i b r a t i n f a u g e r a s 等研究者通过射影几何的棚火知虬提m 了存任意两张图像之间 拥响 两个和k r u p p a 方程差 f i 多的限制条件 k r u p p a 方程的计算思想是把外极线 的相关转换和绝对二次曲线所形成的平面图像相互关联在一起 作为在无穷远平 面中一条非常特别的曲线 它所成的图像还是一条二次曲线 它只是由摄像机的 内参数所决定 而与摄像机的外参数没有关系 所以 我们能够利用它的这一性 质来获得摄像机的内参数 但是由于计算k m p p a 方程存在一定的难度 大家总 结出一种分层次 分步骤进行摄像机定标的思想 它需要第一步进行射影重建 然后在第一步完成的前提 f 冉进行摄像机定标 它的主要方法有以下几种 h a r t l e y u 6 的q r 分解法 t r i g g s n 的绝对二次曲面法和p o l l e f e y s 町的模约束法 另外 摄像机白定标方法中有一种非常重要的方法 它主要是在主动视觉的 基础上进行摄像机自定标 它的主要方法为马颂德n 鲥总结出的一种通过2 组正交 运动的约束进行摄像机定标的方法 随后杨长江等研究者又对这一方法进行了进 步的完善 把正交运动的组数提高到4 组和5 组 再通过我们所获得的相关信 息来进行线性获取我们所需要的摄像机的未知参数 张正友提出了一种新的摄像机定标方法 它主要是基于平面模板的摄像机定 标算法陋 这种方法是摄像机自标定和传统摄像机定标之间的一个算法 这种定 标算法是通过圆环点来提供对摄像机内部参数的限制条件 通过求解线性方程的 方法来计算出摄像机的内部参数 然后再考虑到镜头畸变 最后使用最大似然法 进行求精 经过大量的实验证明 这种算法还是具有非常高的精度和比较强的鲁 棒性的 他主要通过一个画有精准点阵序列的二维平面模版 可是这样我们就肯 定得考虑模板和模板之问的如何进行配对的问题 而后 孟晓桥和胡占义等提出 了一种利用直线和圆的平面模板来进行摄像机定标的算法比 虽然这类模板并不 存在匹配的问题 但是它对畸变参数的求解还是存在一定的困难 因此我们目前 所使用的最广泛的还是点阵类模板 在这其中最典型的模板就是张正友使用的棋 盘格模扳 1 4 本论文的组织结构 本论文主要讨论的是计算机视觉中的摄像机位姿算法研究方面的问题 首先 介绍了计算机视觉的意义和l 摄像村l 定标方一法的发展过程 然后介绍了摄像机定标 过程中所需要的一些几何理论希i 定标理论 通过分析和讨论当前的 一些比较经典 的计算方法 最后在这些摄像机定标方法的基础上 提出了一种新的基于二二维平 面模板求解摄像机位姿参数的汁算方法 并在m a t l a b 平台上进行了模拟仿真 通过大量的仿真实验 获取结果 对仿真结果进行了分析 证明了所提出方法的 可行性 第一章绪论 介绍了本论文内容的研究背景和意义和当前国内外的研究现状 然后给出了文章的组织结构和内容的安排 第二章射影几何 本章主要介绍了计算机视觉中摄像机定标理论所用到的 射影几何的基础知识 通过对射影几何相关知识的学习和理解 为后续论文的 写作打下了一定的理论基础 第三章阐述了与摄像机定标相关的一些基本理论 介绍了世界坐标系 摄像 机坐标系 图像坐标系的基本概念和理论 然后阐释了线性摄像机定标模型矛n t b 线性摄像机定标模型的思想和表示方法 在本论文的后续章节中都会有所涉及 并进行了一定的使用 本章的这些基本理论是摄像机定标过程中的基本知识 将 会后续论文的展开提供了必要的理论基础 第四章研究了摄像机定标的方法 比较系统的介绍了基于标定物的摄像机的 定标方法 从三种方法的内容和求解过程等方面进行了比较细致的分析 为下一 章算法的提出提供了很大的借鉴意义 第五章提出了新的摄像机的位姿计算方法 首先阐述了旋转矩阵和欧拉角之 间的关系 如何通过旋转矩阵计算出我们所需要的欧拉角 然后就紧接着提出了 一种新的基于二维平面模板的位姿计算方法和它的一种改进算法 定义了世界坐 标系和摄像机坐标系之间的关系 最后运用最小二乘法进行求解参数 第六章进行了ma i l a b 的模拟仿真 针对第血章中所提出的基r 二维平面模 板位姿计算方法和基于正交约束的二维平面模板位姿汁算方法两种方法 在 m a i 1 a b 平台上进行了馍拟仿真 莳先介绍了进行模拟f 方真的平台和模扳 然后 介绍了进行仿真的实验步骤和已 l j 参数 最后是针埘两种算法 分别从 t h9 气 i 二 绐 幽社 扳 f 襞j g j l il l 篓 j 尊n i i 个方位的角度 对它们进行了模拟仿真和数扼分析 第七章剐 本论文所提f n 的基于一i 维 h 面模板的摄像机位姿参数计算方法进 行了总结 紧接着又针对我们将来的研究l 勺容进行了展望 毪j 一 f i c 1 i 曲漠饭的摄像执泣姿汁臂 方泣 2 射影几何 2 1 引言 摄像机定标作为计算机视觉的一个非常重要的组成部分 在它的研究和计算 过程中 摄像机主要用来扮演我们的眼睛角色 来把空问中的物体进行投射到二 维的平面之上 这就会经常用到许多几何方面的知识 而射影几何学又是其中使 用频率最高的几何知识 我们通过利用射影几何和矩阵等一些数学方面的工具 把三维空间中的物体得到二维投影图像上的投影原理描述出来 从而建立起图像 的坐标系与世界的坐标系之问的转换关系 来最终实现摄像机的几何模型的建立 本章着重介绍了与它相关的一些理论 分为蟪大部分进行介绍 第一部分介 绍了射影几何的基本的一些的概念 射影直线 射影平面 坐标系与齐次坐标系 第二部分介绍了射影几何中的三个比较重要的变换和不变量 包括正交变换 射 影变换以及仿射变换 这些的理论将作为我的后续论文的理论基础 去完成基于 二维平面模板的摄像机的位姿参数的计算 2 2 射影几何中的基本概念 我们都知道 射影几何在很多领域都得到了非常广泛的应用 比如说在航空 航天 方位测量 绘图和射影等方面 2 2 1 射影直线 我们大家都知道 射影直线是一个一维的 它j 面的每一个点我们都可以用 一个二维的向量来对它进行表示 a x y t 若a b c d 为一条直线上的任意的四个点 那么我们可以得到2 1 式 如下所示 a b 咧 篙 等 筹 2 1 2 1 式中 描述f l 勺 a b c d 是直线上它们的交比 a c 或b d b c a d 我们 把 e f l 4 h 应的认为是点与点的距离 这里我们提到的交比往往与射影变换和坐标 比例岗j 的选择牧仃什么天系 它拒射影变换瞰i 二律是保持不变的 倘若 a b c d 一1 时 我们则称这四个 董足吲和的 也可以晚其中的一对点a b 与另外 对点c d 棚调和 我f f j 还可以这么说 其 i 的对点关r 另外的一对点是凋 和共扼的 总之 这儿种蜕法邵是可以的 2 2 2 射影平面 在我们的生活当中 我们经常会遇到这样一种情况 就是把一个平而图形给 映射成另外的一个平面图形 比如 我们在进行航空摄影的时候 我们需要用摄 像机把地面上的景物拍摄到摄像机的底片上 这个过程我们叫做地面到摄像机底 片上的映射4 盟1 我们对相关概念再进行以下相应的补充 也就是扩大的笛卡尔平 面 我们也把它称为是射影平面比引 补充以下三点 1 在一个平面上的全部的无穷远的点是在同一个直线上的 2 在每 条直线的无穷远的地方往往都有一个相应的无穷远的点 3 平行的亩线卜的无穷远的点往往表示的是同一点 我们在这里将扩大的笛卡尔平面汜为d 它有两个非常重要的性质 这两个 性质如 f 1 d 中任意的两点必定是在一一个直线上的 2 d 中任意的两个不一样的直线是相交于一个点的 2 2 3 坐标系和齐次坐标系 一般情况下 我们用 x y 这样的二维坐标来表示二维平面 的点 可是在 射影平面上却不一样 我们能够使用一个不为零的包含三个元素的有序数组 j x y z 用它来表示一个点的位置 但是我们还是需要进行 一t 假定 1 成比例的包含三个元素的有序数组所描述的是一样的点 2 x y 0 其中的x 和y 不全为零的时候 描述的是无穷远点 3 x y z 其r jz 0 时 描述的是 个般的点 x z y z 存 面所表述的射影平面卜 卣线也是可以用二维坐标来进行袁示的 我们 可以这样进行定义 如聚 个露线包括一个点的时候 就会存相 以下关系 f t f l 0 2 2 2 2 式中 2 是对应的直线的坐标 7 n 是对应的点的坐标 相应的 我们可以将齐次坐标的栩关理论给应闱到t 维的世界坐标系中 那 么点的坐标就可以采用一个不为零的包含四个元素的育序数2 t i x mz w 来对它 进行表示 在这里我们同样需要进行一下假定 1 任意的成比例的包含4 个元素的有序数纽所描述的是同一个点 2 x y z w 其中的x y 和z 不全为零的时候 描述的是无穷远点 3 x y g w 其中w 0 时 描述的是一个一般的点 x w y w z w 由此我们可以得到 如果在世界坐标系中 个平面还能够通过四维的坐标 来进行相应的描述 当点在平面上的时候 就会有以下的关系 7 丁 0 2 3 2 3 式中 n 所表示的是平面坐标 2 3 射影几何中的变换与不变量 2 3 1 正交变换 正交变换是用来描述二维平而中的一个点的变换 关键这种变换是让点和点 之间的距离与原先一样 我们可以用2 4 式表示正交变换 如下所示 妻 1 盯f 薹 薹i 薹i 匡 十 塞 1 c 2 4 2 4 式中 仃表示的是比例系数 而 i 萎i 誊i 表示的是正交矩阵 笔t 1 4 j 表 示的是平移向量 如果把式2 4 用齐次坐标的形式表示出来 我们可以把它表示 2 5 式 如下所示 m 7 m 2 5 6 2 fl 缸可如 屹匕0 仃 盯 盯 2 2 2 h 眨b 0 盯盯 1 3 h 吃心0 仃 盯 1 3 l 我们l i 以把 由所描述的l f 交变换用图2 1 表刊 c c jr 矽i 乐 图2 1 正交变换的示意图 从图2 1 我们可以得到 正交变换让物体的位置与大小发生了变化 让物 体进行了一定程度的旋转 可是直线与直线之间的夹角和原先一样 图中的任 意两个平行的直线 通过了上面的变换之后 他们还是仍然保持着平行 这个 几何体的形状也没有随着j 下交变换而发生一定的变化 2 3 2 仿射变换 仿射变换是用来描述二维平面中的一个点的变换 我们可以把它在坐标系 下 描述成2 7 式 如下所示 匡 1 量i 蔓i i 差i i 匡 匿 1 w t c hd 8 亡ca t c 2 7 如果我们将2 7 式用齐次坐标的形式表示出来 得到2 8 式 如下所示 m 矗m 2 8 2 坝 俐蒸鞫 我们同样将仿射变换用图2 2 表示 如卜所不 一 2 3 3 射影变换 际i n e 易 图2 2 仿射变换的示意图 i 盯雕羽 p 9 2 1 式中 b fi圣 j r 2 1三 ri2i圣 iri2i3111 0 00j 2 1 0 式中 t p l r 3 1 善r 3 i r 3 i p r o j e c t i v e t p 图2 3 射影变换示意图 4 i 变量州样是射影几何中个m 常晕耍的东西 我们都知道 射影变换主 要是川米醴 1 月保持阿线以及直线与点的相互结合性和直线上对应点列的交比保 持不变 而仿射变换则是在具有上述性质的基础上 它还相应的保持直线上点 列的简币 比小发生变化 同时匿线和直线的平行性也不发生变化 正交变换 除了具备仿射变换豹性质外 它还保持着两条相交直线之间的夹角不发生变化 两个点之间的距离不发生变化 上面提到的这些不变的东西 就是不变量 我们可以把不变量进行严格的数学定义陋3 i 一组几何元素用k 个参数所组 成的向量p 1 束进行表示 如果t 是某一个变换 t 是某一个变换群的元素 那 么这组几何元素再经过t 进行变换之后 b 就发生了一定的变化 由向量p 变 成了p 2 那么我们可以称函数i p 为在变换群g 下的绝对不变量口3 我们进行 假设 可以得到2 1 1 式 如下所示 p 1 7 p 1 e 2 2 1 1 上面所提到的定义中 i p 是由参数所计算出来的标量 它可以是实数 也可以是复数 只要是变换t 属于同一个变换群g 同时k p 和变换t 之间的 具体参数没有什么关系 我们可以得到 所有的正交变换 仿射变换和射影变 换 就分别构成了3 个变换群g a g b g c 而且还能得到以下结论 g a 是g b 的一个子群 g b 是g c 的 个子群 2 4 本章小结 本章主要介绍了计算机视觉中摄像机定标理论所用到的射影几何的基础知 识 首先介绍了射影几何的由来以及它的重要性 然后从射影直线 射影平面 坐标系与齐次坐标系三部分阐释了射影几何的一些基本概念 最后介绍了射影 几何中的三个重要的变换 正交变换 仿射变换和射影变换 在三个变换的基 础上 又提 h 了不变量的概念 同时阐述了三个变换之间的关系 通过对射影 几何相关知识的学爿和理解 为后续论文的写作打下了一定的理论基础 3 摄像机定标的基础理论知识 3 1 引言 我们已经认识到 摄像机定标的主要目的是为了帮助我们确定摄像机的位置 内外部属性参数和建立起它的成像模型 从而方便我们进一l i 确定世界坐标系中 物点与它所成的图像平面上的对应像点之l 司的相互关系 而摄像机模型往往是我 们用几何的方式对真实的摄像机进行的一种描述 摄像机的成像过程是对世界坐 标系中物点的一种射影变换 它的映射方式则是由摄像机参数所决定的 因此 只要我 f f j m 道了这些重要的参数和世界坐标系物点的坐标 我们就能够相应的计 算出它所对应的像点坐标 对于研究计算机视觉的学者们来说 在实现二维欧式空间立体视觉的研究中 摄像机定标是一个比较基本 但又非常重要的一步 因此 研究者们考虑到摄像 机定标的重要价值 包括理论上和实践中的价值 在最近2 0 余年的时间中 学 术界对摄像机定标又进行了非常广泛的研究 经过研究 在基于不同前提下 都 取得了比较丰富的研究成果 3 2 常用的坐标系 为了让我们能够比较准确的完成描述光学成像的整个过程 在计算的过程中 我们定义了以下三个重要的坐标系 它们分别是图像坐标系 摄像机坐标系和世 界坐标系 如图3 1 所表示的 u v 表示的足以象素为度量单位 对应到相应 的图像坐标系上的坐标 x y 表示的是以毫米为度量单位 对应到相应的图像 坐标系上的坐标 在x y 坐标系中 原点0 表示的是摄像机的光轴和图像成 像平面之间所形成的交点 一般情况下 这个点是位于图像的中心处的 可是有 的时候会有 些小小的偏差 如果0 在u v 中的坐标是 u o v o 我们假设图像 坐标系中的一个象素在两个坐标轴卜的物理长度 分别是d x 和d y 那么我们可以 得至03 1 式 女f 1f 所刁 0 r u 0 1 r u o v o v l i r1r 图3 1 图像坐标系与成像平面举标 3 1 为了方便以后使用过程中进行计算 我们可以运用齐次坐标和矩阵两个工具 把3l 式表示成3 2 式 如下所示 瓣1 仔2 0 1j 我们还可以把3 2 式的参数关系进行调换 就可以表示成3 3 式j 如下所示 i 弯弓一 u 俐o d x 捌u p 3 一般情况f 我们可以把摄像机的内参数用矩阵的形式表成3 4 式 如下所 示 k 眩吾u 0 1 p 4 式3 4 中 参数v 我们称之为扭曲参数 然而 一般情况下 对大多数的摄像 机来蜕 它们的扭曲参数为零 但是 还是存在着一些i 匕较特殊的情况 比如我 们对底片进行放大的情况下 y 的取值可能就不是零 如果个摄像机的内参数 能够用式3 4 进行搦述 邪么我们称这种摄像机为有限摄像机 一般 h 7 f t 订m 摄像 j l f j 勺摄像机矩阵 它 萸有1 1 个自由度 其中 m 三血旦妙 u f 接j 一 维 1 二妇艇阪的搬豫 i l j 住瓷计算方矗 旋转矩阵有3 个自由度 摄像机中心有3 个自由度 摄像机的内参数矩阵有5 个自由度 而这些自 l j 度的个数和3 x 4 矩阵的自由度数的个数一样 x w y w z w 0 w x c 0 图3 2 摄像机坐标系与世界坐标系 坛 们称x w y w z w 轴所构建的坐标系叫做世界坐标系 一般情况下 我们定义的 蚓剐 吲 仔5 3 5j 叫 r 足 t 3 x 3 单f 讧 l 交矩阵 t 表示的是一个平移向量 o 0 0 0 一 m 1 是 个4 x 4 的矩阵 3 3 摄像机模型的种类 3 3 1 摄像机的线性模型 一瓦 2 磊 z cr l 网p 7 舀臣 悖昙辜1 匿詈釜量 f 多 阵1 2 喜导u o 曼 r 参 霉1 m m 2 x w m x w 1 6 m 1 足吐t a x a y u o v 0 决定 它 i 由摄像机的内部结构所决定 我们把a x a y u o v 0 叫做摄像机的内辩参数 而m 夕i j e a l 摄像机所处的方位仃关系 我们把 它q j 1 j q 做摄像机的外部参数 如果通过归一化的投影关系 我们可以把3 7 式写成3 9 式 如下所示 z c 享1 匿罢草1f 杰兰草萎1 x c 圪 z c 1 将3 3 式代入3 9 式 我们可以得到3 1 0 式 如下所示 f u l 乙叶 三0 r 0 d x 0 面1 妒 001 障矧 i 1 我们同样可以得到3 1 1 式 如下所示 阵 喜虽率1 1 瞄 通过3 1 0 式和3 1 1 式可以得到3 1 2 式 由3 1 2 式得到3 1 3 式 嫡 雕 y c x n2 f 二c x c k z c 1 x c y c z c 1 3 9 3 1 0 3 1 1 3 1 2 f 3 1 3 比 2 瓦 比较式3 1 3 与式3 5 我们可以得出 使j 抄j 化坐标 就是我们假定摄像 机的焦距等于l 的情况1 f 所得到 1 9 坐标 1 7 k 比乙1r l 1 l l j 0 0 0 0 0 l o l o 1 0 or l l 0 0 1 0 f 0旷m 吣 诲r 一爿 i ln 1 杉 阪e 1 0 让 像 j 1 i j 姿i t j i j 3 3 2 摄像机的非线性模型 通过大量的实验我们可以得到 存很多的情况1 线性模型往往蚱不能够非 常好的描述成像之阳l f l j 关系 特别是在我们使用广角镜头的i 时候 它会在远离阁 像的中心处产生比较大的畸变口t 蛳j 如图3 3 所示 物点所成的像点已经不再是 点p 和0 之间的连线和图像平面所形成的交点 而是在原来的基础卜进行了一定 程度的偏移 而这种偏移就是我们平常所说的镜头畸变所引起的 x w y w v 图3 3 非线性摄像机模型 理想情况f 透镜的成像是可以用针孔成像模型来模拟和近似的 可是在实 际情况下 由于加工误差和装配误著存摄像机光学系统中存在的客观性 透镜往 往是不满足这个条件的 所以 一般情况下 主要存在两种光学畸变误差 第一 种是径向畸变 第 种是切向畸变 第一种径向畸变 它是关于摄像机中镜头的 主光轴相对称的 其数学模型见 丈献怛川 然而 第 二种切向畸变 它则不关于摄 像机中镜头的主光轴对称 其数学模型见文献 1 虽然在实际的情况下 还是存 在着其他的一此冈素 比如不对称像差和薄透镜像差等一蝗问题 日是我们考虑 到 如果考虑很多的畸变参数 仃的i j 候不但不能够提高摄像机标定的精度 反 而会使摄像机定标的结果不稳定 我们假设在胖想情况n 成像点的物理举杯我们 j 以表示为 x u y u 发生 1 8 缺j 一缮 逝授板的激僚扣i i t 姿汁许力 i 畸变后 它的物理坐标为 x d y d 那么我f f j 玎以把理想成像点的物理坐标 x u y u 和 岂所对应的世界坐标点之问的关系可以表示成3 1 4 式 如卜所示 由文献阳 2 7 1 2 8 1 我们可以把总像差模型表示成3 1 5 式 如下所示 奢 舄 黜 k 2 2 p 4 4 k 33 3 x 三 啾2 k 4 主 十x u y u y u p 4 k p 4 2 kx y u k 3 m l 氏 x u y u 尼1 2 2 4 3 u 4 x 主1 j 蚝 1 p x i y i k k 2 为径向畸变的系数 k 3 k 4 为切向畸变的系数 那么 x u y u 和 x d y d 之间的关系可以表示成3 1 6 式 如下所示 x c l h4 瓯 x t 3 1 6 y a y u 艿v x t 地 通过实际的物理坐标到实际的成像点 u 1 7 之问的关系我们得到3 1 7 式 如 下所示 妒u 疗f z y x d d c x 3 1 7 i 妒 疗y d o 综合式3 1 5 3 1 6 3 1 7 我们可以把成像模型表示成3 1 8 式 如下所示 苫三雾芰4 雾耄 芝 瓷 毒 c 3 1 8 秒 矗 厶d x u c y v 7 x u y u 6 x x u y u 6 yx u y u 可以通过3 1 4 式和3 1 5 式确定 我们 可以得出 相对于摄像机所在的任何一个未知 外部参数是6 个 内部参数是8 个 分别是f x f v c x c y 和畸变系数k 1 k 2 k 3 k 4 3 4 本章小结 本章主要介绍了摄像机定标的基础理论知识 介绍了世界坐标系 摄像机坐 标系 图像坐标系的基本概念和理论 然后阐释了线性摄像机定标模型和非线性 摄像机定标模型的思想和表示方法 在本论文的后续章节中都会有所涉及 并进 行了一定的使用 本章的这些基本理论是摄像机定标过程中的基本知识 将会后 续论文的展丌提供了必要的理论基础 1 9 一一一一一 摄像机定标方法 4 1 引言 在绪论中我们已经提到 整体上摄像机定标的方法可以分为两大类 但是如 果我们仔细的划分的话 我们是可以将摄像机定标的方法分为三大类的忙吼圳 第 类方法是基j 二标定物的方法 然后根据标定物情况的不同又可以分为三种方法 基于三维物体的定标方法d 1 32 基于二维平面物体的定标方法哪3 和基于一维物体 的定标方法 州 第二类方法是自标定方法 主要有三种重要的方法 k f u p p a 方 程的方法口 基于绝对二次曲线的方法和绝对二次曲面的方法 7 8 第二类方 法是基于场景中物体的几何信息或者运动信息的约束的方法 主要有三种重要的 方法平行性约束方法碓 正交性约束的方法即们和摄像机的纯旋转 因为本论文所 涉及的内容属于第一类方法 现在逐一介绍第一类的三种方法 并列举出了 些 经典的摄像机定标方法 为本论文下一章新算法的提出打下了基础 4 2 第一种定标方法 射影测量学是基于三维标定物的定标方法的基础 这种摄像机定标方法很早 就被大家应用 所以它的理论还是比较成熟的 它的主要崽想是 通过建立参照 物上已知世界坐标系中举标的点和与摄像机所获取图像的点之间的匹配 建立起 摄像机模型 然后利用一定的算法去计算出摄像机模型中的内部参数和外部参数 所需标定物如图4 i 所示 一般情况下 在具体三维标定物的摄像机定标过程中 我们往往只需要利用我们所获得的一幅图像 就可以计算出摄像机的全部的参数 非常的快捷 但是制作高精度的立体标定物是相当困难的 这也是这种方法被人 诟病的地方 这类算法主要有三种 直接线性法 透视投影矩阵法以及 f s a i 两 步法 2 0 4 2 1 直接线性法 d l t 4 1 基于三维标定物的标定 a b d e l a z i z 和k a r a r a 于1 9 7 1 年提出了这种算法 3 它的思想比较简单 摄像机模型的参数可以通过求解几个线性方程组就可以求得 非常的方便 当然 这也是直接线性方法的最大优势 然而 由于没有考虑到非线性畸变的问题 所 以它的定标精度不是很高 因此 有时候为了提高摄像机定标的精度 就必需考 虑到非线性因素 非线性最优化算法就这样被提了出来 所以在直接线性法中也 往往不可避免会引入一些非线性的因素 而且使用非线性的方法进行求解 可是 这个方法的名称并没有发生变化 仍然被称为直接线性法 如果不考虑非线性因素时 我们可以把直接线性法所应用的模型可以表示成 4 1 式 如下所示 i x w l o o y w l o l z w l 0 2 1 0 3 zwl20 v ywhl21 zwl22 12x 4 1 w l l o y w1 1 1 a w l l 2 1 1 3 l1 一 x w l 2 0 y w l 2 1 z w l 2 2 1 2 3 式4 1 中的 x w y w z w 是标定参照物的物点在世界坐标系中的坐标 l i v 是标定参照物物点所对应的图像点在图像坐标系下的坐标 l 是直接线性法中 需要求解的未知的参数 为了减小计算的复杂度 我们可以进一步的假设1 2 3 1 在这种情况下 需要进行确定的未知参数的个数是1 1 个 当我们知道的世界坐 标和图像坐标物点的个数n n 5 n 0 我们就l i j 以沟建出线性方程组 然后用最 j j 二 i 拉 i i 应 f 冀 j i i n j 挂艨 i f 7 董 h i 0 i j 小 乘法的方浊 就可以计算出摄像机的内部参数和外部参数 如果我们考虑非线性畸变的因素 舀接线性法所j 越用的模型口j 以表示成4 2 式 如下所示 4 2 式中的 x w y w z w 是已知几何元素物体物点在世界班标系中的坐标 u v 是已知几何元素物体物点所对应的图像点的坐标 丽式中的a u u v f n a v u v 表示在 u v 的地力镜头所产生的偏移量 讧 寸 是我们进行图像校正后 的物点所对应的图像点的坐标 从4 2 式我们可以得到 在直接线性法中直接引 入了一定的非线性畸变因素 复杂性并没有我们想象中的那么高 而且如果我们 能够很好的得到世界坐标系中物体的坐标 直接线性法的效果还是很好的 误差 也很小 4 2 2 利用透视投影矩阵的方法 如果我们不考虑摄像机镜头的非线性方面的因素 我们就可以利用世界坐标 系中参照物物点的坐标和参照物物点所对应的图像点的图像坐标 来进行求解透 视投影矩阵中的所需要确定的未知参数 0 1 引1 p l l p 1 2 p 1 3 p 1 4 1 可以假设m p p 2 1 p 2 2p 2 3 p 2 4 i 由3 8 式我们可以得到4