（计算机应用技术专业论文）基于多幅图像的鱼眼镜头标定方法研究.pdf

摘要 基于多幅图像的鱼眼镜头标定方法研究 摘要 随着鱼眼摄像机在计算机视觉领域中的广泛应用，越来越多的研究人 员对此进行了研究。由于鱼眼摄像机拍摄的图像具有非常严重的变形，所 以需要对其进行校正。本文针对变形严重的鱼眼图像进行了校正的研究。 本文的主要工作有： 1 、提出了一种近似因子分解法的鱼眼镜头标定方法。首先，选择多 幅鱼眼图像中心区域变形小的部分对应特征点构造一个测量矩阵，并应用 因子分解法估计鱼眼图像的投影矩阵；然后，在假设摄像机的畸变因子为 零的情况下，由投影矩阵可得到摄像机内参数的约束方程，从而估计出摄 像机基本参数的初始值；最后，根据同一条空间直线的鱼眼图像投影曲线 在单位球上的映射为大圆的性质建立目标函数，并通过对目标函数的优化 确定鱼眼镜头的变形校正参数。模拟实验和真实图像实验结果表明此方法 能得到比较满意的校正结果。 2 、提出了一种基于双线性模型的鱼眼摄像机标定方法。首先，将鱼 眼图像点由二维平面拓展到四维二次空间。在双线性模型下，三维空间中 的直线投影为鱼眼图像平面上的曲线，利用该性质来估计出变形参数。然 后，我们通过所得参数的线性合成来建立双线性模型。最后通过模型参数 来对鱼眼图像进行校正。模拟实验及真实图像实验都证明了该算法的合理 性及有效性。 北京化工大学硕j j 学位论文 关键词：鱼眼图像，变形校正，测量矩阵，鱼眼镜头，双线性模型 1 1 r e s e a r c h o ft h ef i s h e y el e n s d i s t o r t i o nc o r r e c t i o nm e t h o d b a s e do nm u i r i p l ei m a g e s a b s t r a c t w i t ha p p l i c a t i o ni nt h ec o m p u t e rv i s i o n ，f i s h e y ec a m e r aw i t hf i e l do f v i e w18 0 0a t t r a c t sm o r ea n dm o r ea t t e n t i o ni nr e c e n ty e a r s h o w e v e r , t h e y n e e db ec o r r e c t e db e c a u s ef i s h e y ei m a g e so f t e nh a v es e v e r ed i s t o r t i o n s t h i s p a p e rs t u d i e st h ec o r r e c t i o nm e t h o d so ft h es e v e r e l yd i s t o r t e df i s h e y ei m a g e s m a i nc o n t e n t sa r ea sf o l l o w ： 1 t h i sp a p e rp r e s e n t saf i s h e y el e n sd i s t o r t i o nc o r r e c t i o nm e t h o df r o m m u l t i p l ef i s h e y ei m a g e s am e a s u r e m e n tm a t r i xi sf i r s tc o n s t r u c t e df r o mp a r t f e a t u r ep o i n t s ，w h i c ha r el e s sd i s t o r t e dt h a no t h e rf e a t u r ep o i n t s ，i nt h ec e n t e r a r e a so fm u l t i p l ef i s h e y ei m a g e s ，a n de s t i m a t et h e p r o j e c t i v em a t r i x o f m u l t i p l ef i s h e y ei m a g e sb yu s i n gt h ef a c t o r i z a t i o nm e t h o d t h e n ，s u p p o s e s k e wo ff i s h e y ec a m e r ai sz e r o ，c o n s t r a i n t so nt h ei n t r i n s i cp a r a m e t e r so f c a m e r aa r ed e r i v e df r o mt h ep r o je c t i v em a t r i xa n dt h ei n i t i a lv a l u eo fc a m e r a i n t r in s i cp a r a m e t e r si s c o m p u t e d l a s t ，t h ed is t o r t e dp a r a m e t e ro ff i s h e y e c a m e r ai sr e f i n e do nm i n i m i z i n gt h eo b j e c t i v ef u n c t i o n ，w h i c hi so b t a i n e d f r o mt h ep r o p e r t yt h a tac o n i ci nt h ef i s h e y ei m a g ec o r r e s p o n d i n gt h es a m e s p a c el i n ei sp r o j e c t e dag r e a tc i r c l eo n t ot h eu n i ts p h e r e e x p e r i m e n t a lr e s u l t s i i i 北京化工大学硕一1 ：学位论文 w i t hs i m u l a t e da n dr e a l i m a g es h o wt h a t t h ec o r r e c t i o nr e s u l t s a p p e a r s a t i s f a c t o r yu s i n gt h i sm e t h o d 2 af i s h e y ec a m e r ad i s t o r t i o nc o r r e c t i o nm e t h o db a s e do nt h eb i l i n e a r f u n c t i o nm o d e li sp r e s e n t e di nt h i sp a p e r f i s h e y ei m a g ep o i n t si sl i f t e df r o ma 2 dp o i n tt oaf o u rd i m e n s i o n a lq u a d r a t i cs p a c ea tf i r s t a n dt h eb i l i n e a r f u n c t i o nm o d e lc a nb eb u i l tb yu s i n gal i n e a rc o m b i n a t i o no ft h ed i s t o r t i o n p a r a m e t e r s ，t h e s ep a r a m e t e r sa r ec o m p u t e db yu s i n gt h ep r o p e r t yt h a t3d l i n e s i nt h es p a c ea r ep r o j e c t e dt oc u r v e si nt h ef i s h e y ei m a g eu n d e rt h eb i l i n e a r f u n c t i o nm o d e l t h u s ，f i s h e y ei m a g ei sc o r r e c t e df r o mt h e s em o d e lp a r a m e t e r s e x p e r i m e n t a lr e s u l t sw i t hs y n t h e t i cd a t aa n dr e a lf i s h e y ei m a g e ss h o wt h i s c o r r e c t i o nm e t h o di sf e a s i b l ea n de f f e c t i v e k e yw o r d s ：f i s h e y ei m a g e ，d is t o r t i o nc o r r e c t i o n ，m e a s u r e m e n tm a t r i x ， f i s h e y ec a m e r a ，b i l i n e a rf u n c t i o nm o d e i v 北京化工大学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外，本 论文不含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 作者签名： 4 是避 日期： 塑虹兰：宣 关于论文使用授权的说明 学位论文作者完全了解北京化工大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京化工大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。 保密论文注释：本学位论文属于保密范围，在一年解密后适用 本授权书。非保密论文注释：本学位论文不属于保密范围，适用本授 权书。 作者签名：4 支盘 同期：塑! q ：茎：! 导师签名：至重叠 f 1 期：塑! q ：羔：丑 第章绪诗 1 1 课题研究的背景和意义 第一章绪论 随着全向视觉在机器人导航、虚拟现实、基1 ：罔像的绘制以及视觉监控等许多训 算机视觉领域中的应用，越米越多的研究人员刘此进行了研究【i j , 3 。 鱼眼镜头是一种焦距辍短并且视角接近或等于1 8 0 。的镜头。1 6 m m 或焦距更 短的镜头通常即可认为是鱼眼镜头。它是一种极端的广角镜头，“鱼眼镜头”是它 的俗称。为使镜头达到最大的摄影视角，这种摄影镜头的前镜片直径且呈抛物状 向镜头前韶凸出，与鱼的眼睛颇为相似，“鱼眼镜头”因此而得名。鱼眼镜头属于 超广角镜头中的一种特殊镜头，它的视角力求达到或超出人眼所能看到的范围。 尽管如此，仍然存在很大的差别，因为我们在实际生活中看见的景物是有规则的 同定形态，而通过鱼眼镜头产生的画面效果则超出了这一范畴。 当我们把鱼跟镜头举到齐眼的高度并向正前方拍摄时，这只镜头会拍摄下我们面 前半球形空间内的一切。显然，鱼眼镜头是一种特殊效果镜头，透视线条沿各个方向 从中心向外辐射，画而内除通过中心的直线仍保持平直外，其他部分的直线部娈弯f | 。 图卜1 是一幅实验室的鱼眼图片。从图片中可以看出，泼图片的视野报r ，基本也括 了整个实验室的信息。罔像中心部分基本接近我们熟悉的普通透视投影图片，越靠近 图片边缘的部分变形效果越明显，而图片边缘的部分依然包括了很多信息。并且离图 中心点越近的直线的弯曲度越小。因此，鱼眼摄像机拍摄的图像具有非常严重的变 形，要想利用这些具有严重变形图像的透视投影信息，就需要将这些变形图像校j 下为 罔i - 1 实验室的鱼限幽片 f i 1 1f i s h e y e p i c t u r e o f l a b o r a t o r y 北京化工大学硕：l 学位论文 人们习惯的透视投影图像。 从本章的介绍中可以看出，鱼眼摄像机有着重要的理论基础及广泛的实践应用， 所以鱼眼摄像机的标定是一个很有意义的课题。本论文课题来源于国家自然科学基金 项目( n o 6 0 8 7 5 0 2 3 ) 的资助。 1 2 鱼眼摄像机标定方法的研究现状 已有的文献中已有很多有效的方法可用来进行鱼眼摄像机标定。概括起来可以分 成三种方法： 1 利用标定块的方法。该方法利用点坐标已知的标定物体进行摄像机标定。通常 用来作为标定块的物体可以是二维的，也可以是三维的，由相间的黑白块组成，黑白 块的角点坐标已知，可以用这些已知的角点坐标来对摄像机进行标定。s h i s h i rs h a h ， j k a g g a r w a l 提出了一种鱼眼镜头标定的新方法【4 】。该算法确定出世界坐标系下的点 和鱼眼图像平面上的对应点的映射关系。需标定的变量有焦距，鱼眼图像平面上的单 像素的宽度，图像变形中心及变形系数。该算法用一个带有标定格的标定块来作为标 定的参照，并通过准确摆放标定块的位置及假设图像中心的变形可以忽略的方法，将 需要标定的未知参数的数量大大减少。该算法在空间点及对应的图像点之间建立了一 种多项式转换关系，并通过l a g r a n g i a n 方法估计出了多项式的系数。e s c h w a l b e 描述 了一种鱼眼镜头的几何投影模型，对鱼眼镜头进行标赳5 1 。鱼眼图像无法用中心透视 投影模型来描述，并且鱼眼镜头有明显的畸变。但是鱼眼镜头的投影符合这样一种近 似的线性关系：空间点的入射光线的入射角与对应的鱼眼图像点到主点的距离成正 比。并加入了几个变形参数完成了改进的投影模型。标定的过程需要一个有多个标定 目标的标定室，使得各目标能够分散的分布于图像的各个位置。这样通过一幅图片就 能够准确的定位各目标的物体坐标。标定参数包括内部参数，外部参数及镜头畸变。 r s w a m i n a t h a n ，s n a y e r 通过图像中的直线信息来标定广角镜头【6 j 。j k a n n a l a ， s s b r a n d t 利用单幅图像上的标定物体来完成了鱼眼摄像机的标定 7 1 。 2 利用图像中的几何不变量，如平行线或者圆。该方法通过图像中的几何关系来 得到摄像机内参数的约束方程。yw u ，yl i ，z h u 仅仅通过单幅图像上的图像点信 息列出了摄像机内参数的约束方程，并通过该方程估计出了反射折射摄像机的内参数 【8 】。v e a ld e nh e u v e l 等描述了一种利用几何约束条件来对鱼眼摄像机进行标定的方法【9 】。 其具体算法可以概括如下： 1 ) 准备两个带有棋盘格的平面并将它们摆成形； 2 ) 将鱼眼摄像机置于移动板上，并对它进行旋转； 3 ) 调整摄像机的位置来达到纯旋转状态( 即消除掉平移运动) ； 4 ) 旋转摄像机并拍摄儿幅模型物体的图像； 2 第一章绪论 5 ) 检测所得图像的特征点； 6 ) 估计摄像机的内置参数和各个方向的8 个外置参数； 7 ) 估计主平面深度； 8 ) 计算出各个方向的内部及外部矩阵，并得出每个三维空间点的光线的入射角； 9 ) 将所得到的每个入射角与投影半径对应起来，估计出投影模型； 1 0 ) 通过最小化反投影误差的方法对所得的参数进行优化。 3 自标定。该方法利用多幅图像问的对应点，通过对极关系来完成摄像机标定。 b m i c u s i k ，t p a j d l a 将a f i t z g i b b o n 提出的通过多幅图像同时估计出几何关系及镜头畸 变的方法应用到反射折射照相机上【1 0 , 1 1 。新提出的摄像机模型仅仅增加了一个参数， 就能够将它应用于广角摄像机。并且该算法将摄像机模型及对极约束都进行了线性化 处理。摄像机标定通过自动生成的同一场景下的多幅图像即可完成，不需要其他的条 件假设。p s t o r m ，b t r i g g s 提出了一种基于单场景多幅图像的三维投影重建算法【l 2 1 。 该算法首先计算出包含所有图像的所有特征点的矩阵，然后对该矩阵进行分解。该文 献仅仅通过利用两幅图像间基础矩阵及估计出来的极点完成了重建工作。 1 3 鱼眼摄像机成像模型 1 3 1 坐标系介绍 ( a ) 世界坐标系 世界坐标系就是通常用来描述三维空间的坐标系，由三个互相垂直并相交的 坐标轴x ，】，z 组成。它是用于图形转换的起始坐标空间。 ( b ) 鱼眼摄像机坐标系 由于鱼眼镜头有着广阔的视野，所以通常用一个半球面对其进行模拟，d 为摄像 机光心，如图1 1 所示，由上至下依次为世界坐标系，鱼眼摄像机坐标系以及图像坐标 系。 ( c ) 图像坐标系 每幅数字图像为m n 数组，m 行列的图像中的每一个元素称为像素。在图 像上定义直角坐标系“，每个像素的坐标( “，) 为分别以该像素为单位的图像坐标系 坐标。 北京化工人学硕j ：学位论文 y 图1 2 三种坐标系示意图 f i g 1 - 2 ，n 1 鹏k i n d so fc o o r d i n a r c s 1 3 2 鱼眼摄像机成像过程 鱼眼摄像机成像过程如图i - 3 所示，由三维空间点砑= 伍，y ，z ，l 厂发出的光线首 先通过鱼眼摄像机光心d ，并映射到鱼眼摄像机坐标系下的歹= k ，此，乙厂点。投影关 系为 阱如挥 旆= g 伍歹) ( 1 - 2 ) 置= 雕： ； 3 ， 4 第一章绪论 y 图1 - 3 鱼眼摄像机投影模型示意图 f i g 1 - 3f i s h e y ec a m e r am o d e l 比，0 。，) 表示图像的主点坐标。该投影过程是非线性的，根据投影函数g 的不同，可 以提出不同的鱼眼摄像机模型。鱼眼摄像机模型将在下一节做详细介绍。 1 3 3 常用鱼眼摄像机模型 由于小孔照相机模型下，由三维空间点厨射出的光线经过镜头后没有发生任何偏 移，继续沿直线投射到图像点扁，如图1 3 所示，所以可以将普通的小孔照相机的 透视投影模型用以下公式来描述： ，= f t a n o ( 1 4 ) 其中，0 是光轴与入射光线的夹角，是图像点u ，1 ，) 到主点的距离，f 是焦距。 而在鱼眼镜头模型下，三维空间点厨射出的光线经过镜头时将发生偏移，如图 1 2 所示，光线改变方向后投射到图像点扁，所以鱼眼镜头模型下图像点到主点的距 离，- 要小于小孔照相机模型。鱼眼镜头一般遵循以下几种投影关系中的一种【l3 】： ，= 2 f t a n ( o 2 ) ( 立体投影模型) ( 1 5 ) 厂= f o ( 等距投影模型)( 1 6 ) ，= 2 f s i n ( o 2 ) ( 等角投影模型) ( 1 7 ) ，= f s i n 0 ( j 下交投影模型) ( 1 - 8 ) 其中，最普遍的模型是等距投影模型。而实际的镜头并不一定与已有的投影模型完全 吻合。从自动标定的角度来看，应尽量设法将不同类型的鱼眼镜头都统一为一种投影 5 北京化工大学硕上学位论文 模型。将上述几种模型都按照泰勒展开式展开，得 ，= 2 t a n 詈= f o + 三归3 + 吾归5 + 景归7 + r = 9 脚f s i n 罢一f o 南) c 0 3 + 志f o 一志肌 ，= f s i n o = f o 一壶归3 + 壶归5 一南归7 + ( 1 9 ) 于是，可以将上述投影模型归纳为统一的一般多项式形式 r ( o ) = k l o + k 2 0 3 + k 3 0 5 + , 4 0 7 + ( 1 - l o ) 上式的偶次幂已省略，因为模型的原函数都为奇函数，所以省略掉偶次幂之后并没有 损失任何信息。 除以上一般形式外，鱼眼镜头模型还有多种多样。其中，e s c h w a l b e 描述了一种 由中心透视投影模型改进的鱼眼投影模型2 1 。中心透视投影的数学模型是基于入射光 线与光轴的央角与透过镜头后的光线与光轴的夹角相等的假设来提出的。而鱼眼镜头 将不遵循这种中心透视投影，必须缩短图像上的投影点到主点的距离。因为当镜头张 角为1 8 0 度时，三维空间点射出的光线与光轴的夹角可以达到9 0 度，在这种情况下， 光线在图像平面上的投影与主点的距离将达到无穷远。为了使半球范围内的光线的投 影都在图像平面的有限距离，必须提出一种不同的投影模型。于是该文献又基于图像 点到主点的距离跟入射光线与光轴的夹角成正比的理想情况，提出了一种鱼眼投影模 型，即入射光线经过镜头后向光轴方向发生了折射。并通过实验验证了该模型是可行 的。th o ，c c d a v i s ，s m i l n e r 应用了一种近似等距投影模型【3 1 。该文献所使用的鱼 眼镜头与等距投影模型关系的误差在6 以内，所以在等距投影模型( 式卜6 ) 的基 础上稍作修改，增加了一个多项式因子，得到 ，= 归【l + p l o + p 2 护2 + p 3 秒3 + p 4 0 4 ) ( 1 - 1 1 ) 其中，辅助参数p l ，p ：，p 3 ，p 4 的数量可以根据所需的精度自行设定。 1 4 本文的主要内容及章节安排 本文主要包括四部分内容： 第一部分是绪论，对鱼眼摄像机的相关内容做了详细的介绍。 第二部分提出了一种近似因子分解法的鱼眼镜头标定方法。首先，选择多幅鱼眼 图像中心区域变形小的部分对应特征点构造一个测量矩阵，并应用因子分解法估计鱼 眼图像的投影矩阵；然后，假设摄像机的畸变因子为零，分别在鱼眼图像的主点在图 像坐标系原点和主点在图像中心的两种情况下，通过投影矩阵得到摄像机内参数的约 6 第一章绪论 束方程，从而估计出摄像机基本参数的初始值；最后，根据同一条空间直线的鱼眼图 像投影曲线在单位球上的映射为大圆的性质建立目标函数，并通过对目标函数的优化 确定鱼眼镜头的变形校正参数。模拟实验和真实图像实验结果表明此方法能得到比较 满意的校正结果。 第三部分提出了一种基于双线性模型的鱼眼摄像机标定方法。首先，选取鱼眼图 像上的多条由原场景直线变形而来的曲线，并将这些曲线上的所有点拓展为四维向 量，并通过这些点的向量求出所取得各曲线的参数；然后，把各曲线的参数结合在一 起进行分解，得到鱼眼图像点到光线的投影矩阵；最后，对误差函数进行优化，最终 确定投影矩阵的值，并通过投影矩阵和各图像点的向量所组成的多项式的商来得到鱼 眼图像各点的未变形点。最后将双线性模型与腰模型及圆模型进行了比较。 第四部分是结论，总结了本文主要的两种鱼眼镜头标定算法的实验结果。 1 5 本文创新点 本文主要提出了两种鱼眼摄像机标定算法，每种算法都有其突出的创新点。 首先，本文提出了一种基于近似因子分解法的鱼眼镜头标定方法。因子分解法在 普通透视投影摄像机标定算法中已经得到了广泛应用，而从未被应用于鱼眼摄像机标 定算法当中。本文针对鱼眼图片中心区域变形小的特征，认为可以通过选取鱼眼图像 中心区域变形小的特征点，来近似为普通透视投影图像点。从该角度出发，将该因子 分解法应用到鱼眼图像上，并根据鱼眼摄像机特有的性质对该算法进行改进，提出了 近似因子分解法。 然后，本文又提出了一种基于双线性模型的鱼眼摄像机标定方法。已有的用于鱼 眼摄像机标定的模型有多种，其中比较典型的有圆模型和r f 模型。而本文对这些已 有模型的研究和总结，最终提出了将一种更为简化的双线性模型应用于鱼眼摄像机标 定。该模型是一种简化的四维无二次项的非线性模型。通过实验证明，通过该模型得 到的鱼眼图像还原结果和已有模型相比基本一致。 7 第一二章基于近似因子分解法的鱼h 镜头标定 2 1 引言 第二章基于近似因子分解法的鱼眼镜头标定 利用一组图像的信息来恢复物体的结构以及摄像机的运动参数的问题已经受到 了广泛关注。之前的文献中包括递归算法【1 6 , 1 7 1 及因子分解算法 1 8 , 1 9 , 2 0 1 。后来c t o m a s i ， t k a n a d e 首次提出了一种利用正交投影图像的分解算法，在c p o e l m a n ，t k a n a d e 的文献中又有所改进。该文献放宽了对图像的要求，但需要大量的图像及特征点，并 利用s v d 来达到实验结果的准确性。s c h r i s t y ，r h o r a u d 的文献中描述了一种基于 透视摄像机模型的算法【2 1 1 ，可以更好的完成投影重建。尽管如此，大多数分解算法的 一个共有的局限，就是需要用到已经标定好的摄像机。 如果我们对于摄像机的内部参数，外部参数及物体结构的信息均未知，那么我们 只能通过摄像机的未知投影矩阵来进行投影重建【2 2 1 。而投影重建方面已经有了显著的 进展【2 3 , 2 4 , 2 5 】。b t r i g g s 提出了一种投影分解算法，它通过估计每两幅图像的基础矩阵 来将所有图像都联系起来，并用递归方法求出投影深剧2 6 1 。a h e y d e n 提出了一种利 用多线性子空间约束从摄像机运动参数中实现投影重建的算法【2 堙引。 为了从投影重建结果中得到欧氏空间下的重建结果，还需要从摄像机或是物体结 构中获得更多信息。r i h a r t l e y 的文献中假设摄像机内参数是不变的情况下，利用球 形优化方法实现了欧氏的重建结果【2 9 1 。a h e y d e n ，k a s t r o m 运用了堆校正算法同时 估计出摄像机的焦距，主点，运动参数及物体结构1 3 0 1 。m p o l l e f e y s ，r k o c h ，l v a n g o o l 提出了焦距是唯一改变摄像机内参数的变量并提出了一种线性算法【3 。l d ea g a p i t o ， r i h a r t l e y ，e h a y m a n 提出了用于旋转和变焦摄像机的线性自动标定算法【3 2 1 。 b t r i g g s 描述了一种基于因子分解的算法，通过多幅未标定的图像实现欧氏重建。 该因子分解法恢复了摄像机的内参数，并把图像点反投影为欧氏空间点 3 3 1 。本章将该 因子分解法应用到鱼眼镜头，称之为近似因子分解法，并通过实验验证该方法是否可 行。 本文选择的鱼眼摄像机模型为等距投影模型，即：厂= f o ，其中，表示鱼眼图像 点到鱼眼图像中心的距离，秒表示入射光线与光轴的夹角。如图1 2 所示，三维空间 点m 在鱼眼摄像机模型投影到图像点为扁= ( “，1 ，l y ，当鱼眼摄像机具有较大视场时， 可以假设三维空间点先投影到单位球面上，然后在映射到图像平面，也就是采用球面 透视投影模型。假设三维空间点m 在单位球面上的投影点p 的二维球面坐标为( 口，缈) ， 则点p 的三维直角坐标为p = s i n o c o s 口o ，s i n o s i n 缈，c o s 0 r 。假设畸变因子为零，即 s = 0 ，则鱼眼图像点的像素坐标( “，y ) 与直角坐标( 石，y ) 关系为 9 北京化工大学硕士学位论文 i = 五 i = 吾三辜 ； c 2 - ， 鱼眼图像点的直角坐标g ，y ) 与极坐标，汐) 之间的关系为 yx：=(r(r+ar)seions(q，)i-atsins(p(：oi+at； ( 2 _ 2 ) 1 j ，：( r + ，) s i nc o s ) 屹艺 缈表示，与z 轴之间的夹角，a r 和a t 表示切向变形。鱼眼镜头模型的径向变形为 ，f o + k , 0 3 + 如p 5 ，其中局与岛表示系数。切向变形为 骸焉然竺： 协3 ， 其中p l 与p 2 表示系数。于是，需要用到的所有鱼眼摄像机的变形校正参数为 2 2 近似因子分解法的原理 假设有以个透视摄像机：只，i = 1 n 和m 个用齐次坐标描述的空间点 膨，_ ，= 1 聊，图像点坐标表示为疡妒= 也，v i ) ，1 y ( f = 1 ，以；= 1 ，m ) ，则根据透视投 影模型有： 乃疡 = 只m f ( 2 - 4 ) 只表示投影矩阵，以表示非零尺度因子。 如果从每幅鱼眼图像的中央区域获得m 个变形小的特征点，可以基本忽略变形所带来 的误差，则应用近似透视投影模型有 只m ，(2z 一)om,f m25 ， l 。) 于是，将式( 2 5 ) 的所有点的方程结合在一起，就可以得到 形= 争一他劫 彬为测量矩阵，于是可以应用因子分解迭代算法来估计尺度因子乃的值。 因子分解算法： 1 0 阵；阵 丸 1j 1，j 一一；一心一 a 以 第二章基于近似因子分解法的鱼眼镜头标定 ( i ) 令如= 1 , i = l 以，= l 聊； ( i i ) 通过方程( 2 6 ) 计算测量矩阵形； ( i i i ) 对彤进行秩4 分解，计算出投影矩阵只和空间点弘： ( i v ) 通过优化鱼眼图像特征点与对应的反投影点的误差 窆i = i 副j = l 九扁驴一只训 ( 2 7 ) 来调整尺度因子的值； ( v ) 如果乃的值与上一步结果相同，则停止；否则继续迭代。 上述射影重建过程是为了估算乃的值使其与方程( 2 - 6 ) 一致。重建的结果通过 式( 2 - 7 ) 不断调整如的值来进行改善。实验表明，这种迭代算法较为稳定，即使九的 初始值是随机的情况也不例外。 2 3 鱼眼摄像机标定算法 2 3 1 摄像机参数初始值的计算 首先，从图像上选取特征点，利用上述的近似因子分解法，得到尺度因子五，的值。 确定了尺度因子九的值之后，测量矩阵形也随之确定。再对彤做一次分解，便可以 得到射影空间下的投影矩阵p 。为了计算摄像机参数厂和口的初始值，需要用到欧式 空间与摄影空间的转换关系： 忍= p h ( 2 8 ) 日为变换矩阵。假设鱼眼摄像机的基本内参数是不变的，则每一幅鱼眼图像在欧氏空 间下的投影矩阵屹g = 1 ，玎) 为 屹= k ，誓) ( 2 9 ) 由于旋转矩阵r 为3 3 矩阵，平移向量丁为3 1 矩阵，所以为了方便对应关系，把变 换矩阵日分成l 彳l 曰i ，彳为3 3 矩阵，曰为3 1 矩阵。由式( 2 8 ) 和( 2 - 9 ) 可得 只- ib - - 眉( r ，霉) ( 2 一l o ) 则对应的 e , a = 蛾 ( 2 1 1 ) 再利用旋转矩阵r 是正交矩阵的性质，将式( 2 1 1 ) 两边同乘以各自的转置矩阵，得 彳妇7 只r ) = ( k r , ) ( r t k r ) ( 2 1 2 ) 消去尺，得 z 爿彳r 只7 = k k 7 ( 2 - 1 3 ) 则a a7 是一个4 4 的对称矩阵，令 北京化工火学硕士学位论文 q = a a 7 = g l9 2 9 29 5 9 3 9 6 9 49 7 9 39 4 9 69 7 9 89 9 q 9 q l o ( 2 1 4 ) 于是( 2 - 1 3 ) 可以写作 只鳄7 = k k 7 ( 2 。1 5 ) 在这里，本章将分为两种情况分别进行讨论，即鱼眼图像的主点在图像坐标系原 点和在图像中心的两种情况。本章将根据不同的情况分别用不同的算法对摄像机参数 的初始值进行求解。 算法一主点在图像坐标系原点的情况： 如果主点在图像坐标系原点，即u 。= v o = 0 ，此时根据式( 1 - 3 ) ，摄像机内参数矩 阵置将变为一种比较简单的形式 ia f 00 i 玩= 10 厂0i 【0 0 1 j ( 2 1 6 ) 于是式( 2 1 5 ) 右边变为 f 口2 f 2 0 0 1 瓦群= 1 0 f 2 0 ( 2 - 1 7 ) i oo 1 j 根据( 2 1 5 ) 和( 2 1 7 ) ，可以得到 f ，口2 f 2 0 0 1 z 鳄r = l 0 f 2 0 i ( 2 1 8 ) l oo l j 由于摄像机内参数中，j ，u 。，v o - - - 个参数为零是恒定的，于是对于每一幅鱼眼图像，能 获得关于对称矩阵q 中未知元素的三个线性方程，如式( 2 1 9 ) 所示。 瓣- o ，燃= o ，黼= 。 亿 其中鳄r i ( f = 1 ，n ；j = 1 ，研) 表示矩阵中第f 行第列的一个元素。因而，通过力 幅鱼眼图像能够得到3 ，z 个约束方程。如果n 3 ，则可以唯一获得对称矩阵q 的解。 在计算出对称矩阵q 之后，鱼眼摄像机的基本参数厂和口可以利用式( 2 2 0 ) 计算出 来 f = 算法二主点在图像中心的情况：厕舻佩 1 2 ( 2 2 0 ) 第二章基于近似因子分解法的鱼眼镜头标定 如果图像的主点在图像中心，则根据( 1 3 ) 得 一一f 2 + ；厂u 2 芝o v o 诟 只鳄7 = i“。厂2 + 诟 f 口2 厂2 + “； i“o ( 2 2 1 ) ( 2 2 2 ) ，v o 两项是恒定的。所以对于每一幅鱼眼图像，可以得到关于矩阵q 未知元素的两个 线性约束 獬砘，龄= ( 2 2 3 ) 于是可以得到关于矩阵q 的1 0 个未知元素的2 n 个约束方程。只要r 5 ，就可以获得 对称矩阵q 的唯一解。计算出矩阵q 之后，摄像机基本内参数，口就可以通过式 ( 2 2 4 ) 得出 厂：厩e 丽t 2 ，口= 乎( p i q p i 乎t ) 22 4 ， 2 3 2 摄像机参数初始值的优化 在球面透视投影模型下，一条空间直线的鱼眼图像投影曲线就必定映射为单位球 面上的一个大圆，如图2 1 中的g 所示。由于在空间直线的鱼眼图像投影曲线上选取 采样点时，不能保证所有采样点都严格映射到单位球面的同一个大圆上。因此，可以 利用这些采样点的误差建立目标函数。 首先在一幅鱼眼图像上选取属于同一条空间直线的鱼眼图像投影曲线，将曲线上 的采样点根据在上一节中求出摄像机基本参数值映射到单位球面上，可以估计出单位 球面点的坐标。假设从鱼眼图像的同一条场景直线上选取刀个采样点，各点的坐标分 别为0 ，1 ) 7o = l ，刀) ，然后根据鱼眼图像点的像素坐标 ，v ) 与直角坐标h ，y ，) 关 系式( 2 1 ) ，并将已求解出的摄像机参数厂和口代入，得到各像素点的直角 北京化工大学硕士学位论文 坐标 图2 1 单位球面上大圆的法向量和投影点向量夹角 f i g 2 - 1a n g l eo fn o n n a lv e c t o ro fb i gc i r c l ea n dp r o j e c tp o i n t z ：堡二丝q 。 矽 ( 2 2 5 ) 乃2 学 然后再利用所选取的鱼眼摄像机的等距投影模型厂= f o ，并根据图1 2 的模型示意图， 可以进一步求得各像素点映射到单位球面后的球面点坐标 谚= 孕4 x 2 + y 2 亿2 6 ， 仍= a r c t a n y 薯 各点的球面点坐标为p i ( s i n o ic o s q ，f ，s i n o _ fs i n 仍，c o s o ；) 。 然后，通过单位球面点坐标来求得大圆所在平面的法向量。因为单位球的圆心在 原点，所以投影曲线上各点的球面点坐标即为连结曲线各点到圆心的向量坐标。且大 j 圆所在平面的法向量与大圆上各球面点和圆心连成的向量o p 均垂直，根据这一性质， 可以求解出大圆法向量。设大圆法向量为n = 0 ，b ，c y ，则可由下式来估计大圆法向 量。 s i n 8 lc o s 仍 s i n 0 1s i n 仍 c o s 0 1 s i n 岛c o s q 2s i n 岛s i n a 2c o s 岛 s i n 见c o s 纯s i n 或s i n t p 。c o s 幺 1 4 = 0( 2 2 7 ) 第二章基于近似因子分解法的鱼眼镜头标定 理论上，大圆平面所在的法向量与大圆上各球面点和圆心连成的向量均垂直，即 n p i = 0 ，但实际上会有误差。因此，把大圆上的每个图像点所在的向量与大圆向量 的夹角定义为。，得 c o s 卟篇 2 8 ， 即实际的每个单位球面采样点引起的误差为f = c o s ，。假设整幅鱼眼图像上有，条空 问直线的投影曲线，每条投影曲线上取n 个采样点，那么优化的目标函数为： 占：圭窆 ：圭| - 窆s u ) ( 2 - 2 9 ) i = 1l ，= l j i = ll ，= l j 本文采用l e v e n b e r g - m a r q u a r d t 方法使得式( 2 2 9 ) 所示的目标函数达到最小值，来实现 对鱼眼镜头变形参数的非线性优化。 2 4 三维空间点还原 仍然按照式2 - 1 0 的方法，将矩阵日划分成- i 曰】，并分别对矩阵彳和b 进行求 毛= k i r ji 】 ( 2 3 0 ) 噩=瞄斗旧=豳tyi0 ti0 01 kt 噩= l吩z ，i ，r = lzi ，= ii ii 川l ，；i 兄= 阻it 】 ( 2 。3 1 ) 1 5 北京化工人学硕i ：学位论文 且 m = k ，。，m ，。，肌：，m 期，m 朋，m 种】r z = k 。，弓。，z 1 ，一，乙，t y n ，乙r m 峨2l u j f i i i + “i u o i k i ，my i2p p i j i + p l v o l k i ，mz i2 t t k t t i = p i l n + z t u 0 1 l z t ，t y i = 弘 a l f i l “+ z i v o i t z i ，t z i = p z i ( 2 3 2 ) 欧式空间下的空间点坐标为 其中 且 将坐标系原点置于物体的中心，则 于是可以得到 同理， s j = k ，y j ，勺】r x j = k j 。y l o 占，= 0 = l 兰乃= 兰可_ j ，+ _ 瓦) = m x i m _ s ，+ 乙兰吩 j = ij f i j f t j = l ，nmmr t l 乃= 弓，_ ，乃= z ，o 根据式( 2 8 ) 和式( 2 3 1 ) ，可得 所以 阻例= p lb 】 t i = p x ，b ，乃t = 巳曰，乃= 只，b ( 2 3 3 ) ( 2 3 4 ) = 瓦e ( 2 3 5 ) ( 2 3 6 ) ( 2 3 7 ) ( 2 3 8 ) 其中，p x , ，只，分别为第f 幅图像的投影矩阵的第1 ，2 ，3 行。再联合式( 2 3 5 ) 及 ( 2 3 6 ) ，可得 ，乃t乃 l x i ：上l 一尘：! ：! t 乃乃 1 6 ( 2 3 9 ) s ， = ” k h s 第二章摹于近似因子分解法的鱼眼镜头标定 于是可以获得2 m 个线性方程，这样可以求解出矩阵曰的4 个未知元素。 这样，将所求得矩阵a ，b 相结合，就是变换矩阵日。根据变换关系， 欧氏空间下的空间点坐标x e 为 x e = h 一1 x 2 5 实验结果 2 5 1 算法一实验结果 可以计算出 ( 2 4 0 ) ( a ) 模拟实验结果 模拟实验中，使用由5 6 个点组成，边长为1 0 的标准正方体模型。设置摄像机参 数为：f = 5 0 0 ，口= 1 0 ，u o = o ，v o = 0 ，用该参数将正方体模型投影生成5 幅鱼眼图像。 然后利用所生成的图像计算出厂和口，并与设定的数值进行比较。进行5 0 次独立重 复实验，最后通过求均值来确定厂和口。一部分实验结果如下表所示： 表2 - 1 模拟实验零噪声情况下的2 0 次实验结果 t a b l e2 - 1e x p e r i m e n tr e s u l t so f 2 0t i m e sw i t hn on o i s e 实验次数f 口 5 1 2 9 3 2 5 51 7 5 4 0 9 4 8 4 4 3 3 4 4 9 5 3 9 5l 5 1 5 7 5 0 0 4 8 5 4 4 0 4 5 1 0 3 3 0 9 5 2 2 6 5 7 4 5 1 0 1 1 l o 5 1 3 4 3 5 2 5 11 6 9 5 5 4 9 2 8 0 5 4 5 0 7 1 3 6 6 5 1 0 6 3 5 6 5 1 5 8 3 3 7 4 8 3 0 0 8 5 5 1 8 8 8 4 0 1 7 1 0 0 7 6 1 0 0 0 0 0 9 8 0 2 0 9 9 7 2 0 9 9 9 4 0 9 7 3 8 0 9 9 9 2 1 0 0 0 0 0 9 9 9 6 0 9 9 1 5 1 0 4 1 8 1 1 0 3 9 1 1 1 1 3 1 0 0 9 3 0 9 8 9 5 0 9 9 5 2 1 0 0 1 0 2 3 4 5 6 7 8 9 m 他b h ”m 北京化工大学硕士学位论文 通过5 0 次吏验结果求得，的均值为4 9 8 5 7 ，标准差为3 18 2 ；口的均值为1 0 2 2 6 标 准差为o 0 6 4 1 4 7 。求得，和a 的值与设定的僮很接近，并且上下波动较小，因此用这 种算法求得的摄像机初始值是准确的。 摄像机参数初始值确定为f = 4 9 85 7 ，口= 1 0 2 2 6 , u o = qv o = o = q 岛= 0 ，扁= q 岛= 0 。然后在正方体模型的一条直线上取1 0 0 个点，并按照所设定的参数将该直线 投影到鱼眼图像上，再利用优化算法来对摄像机参数的初始值进行优化，得到结果为 f = 4 9 8 5