（应用数学专业论文）一种基于双目摄像机标定的模型问题研究.pdf

硕i ：学位论文 摘要 计算机视觉技术是当前计算机领域研究的一个热点。视觉测量技术作为一种 非接触式的先进测量技术，具有精度高、效率高、成本低等诸多优点，能适应现代 制造业对产品检测的要求，在现代化生产中有很大的应用前景。双目立体视觉方 法是从两个角度观察同一个景物，以获取在不同视角下的感知图像，并通过成像几 何原理计算图像像素之间的位置偏差( 视差) 来获取景物的三维信息。结合模型问 题，本文针对双目立体视觉的关键技术之一“摄像机标定”进行了研究，主要工作 如下： 1 我们在不考虑摄像机镜头畸变的影响下，建立了以针孔模型为基础的线性 光学成像模型。在此基础上，将针孔模型与几何学中的知识有机结合起来，建立了 世界坐标系( 0 w x w y w z w ) 、摄像机坐标系( 0 一x y ) 、图像物理坐标系( 0 一x y ) 及图 像像素坐标系( d ，一x r y 厂) 四种坐标系中对应点坐标之间的变换关系，有效地解决 了世界坐标系中的物点与图像像素坐标系中像点的对应关系。 2 我们提供了两种求解模型参数的方法。方法一是利用问题( 2 ) 中提供的信 息依次对问题( 1 ) 中的三种坐标变换求解，方法二则是将问题( 1 ) 中最终归化的方 程进行适当的线性处理，通过对角点的采集利用最小二乘法对模型的参数求解。 3 我们定义了精度和两种稳定性，根据画法几何中的结论，利用质心法确定 出了像中各椭圆的几何中心，从而对精度进行了定量的分析；在稳定性的分析中， 我们根据定义的两种形式的稳定性准则对算法进行了验证。 4 利用基于双目视觉系统的理论，设计了一种简单的求解摄像机相对位置的 方法，并给出了两台摄像机光学中心的相对距离的显式表达式。 关键词：双目立体视觉；摄像机标定；三维重建 i i i a b s t r a c t v i s i o nt e c h n o l o g yi so n eo ft h e h o tt o p i c si nc o m p u t e rf i e l dr e c e n t l y v i s i o nm e a - s u r e m e n tt e c h n i q u ei sa na d v a n c e dn o n - c o n t a c tt e c h n i q u e t h a th a st h ea d v a n t a g e ss u c h a sh i g hs p e e d h i g ha c c u r a c ya n dl o wc o s t t h e r e f o r e ，i th a sg o tw i d ed e v e l o p m e n t a n d a p p l i c a t i o ni ni n d u s t r y , e s p e c i a l l yi nm a n u f a c t u r i n gi n d u s t r yf o r t e s t i n gp r o d u c t s t h e b i n o c u l a rs t e r e ov i s i o ni sam e t h o dt h a to b s e r v e st h e s a l t l es c e n e r yb e t w e e nt w od i f f e r e n t a n g l et og e tt h ep i c t u r e so ft h ed i f f e r e n tv i s u a la n g l e a n di tc a ng e t t h et h r e ed i m e n s i o n a l i n f o 舯a t i o no ft h ee n v i r o n m e n tb yu s i n gt h ek n o w l e d g e o fg e o m e t r yt h e o r ya n dc a l c u 。 l a t i n gp i x e lw a r po nt w oi m a g e s i no r d e rt or e s e a r c ht h em o d e lo f c a m e r ac a l i b r a t i o n b a s e do nt h eb i n o c u l a rs t e r e ov i s i o n ，t h em a i nw o r ko ft h i st h e s i si sa sf o l l o w s ： 1 n o tc o n s i d e r i n gt h ee f f e c t so ft h ea b e r r a n c eo fl e n s ，w eh a v eb u i l tal i n e a ri m a g i n gm o d e lb a s e do nt h ep i n h o l ec a m e r am o d e l a n dw ei n c l u d e t h et r a n s f o r mr e l a t i o n s h i pb e t w e e np i x e lc o o r d i n a t es y s t e ma n d o t h e rc o o r d i n a t es y s t e m sw i t hg e o m e t r y k n o w l e d g e t h e n ，w ef i n do u tam e t h o d t ot r a n s f o r mo b j e c tp o i n tc o o r d i n a t e so fw o r l d c o o r d i n a t es y s t e mi n t op i x e lc o o r d i n a t e so fp i x e lc o o r d i n a t es y s t e m 2 w ei n c l u d e dt w om e t h o d st os o l v et h ep a r a m e t e r so fm o d e l w eh a v eb u i l ti nt h i s t h e s i s o n ei sb a s e do nt h es e c o n dp r o b l e mw h i c hg a v eo u tf r o mt h em o d e lw es h o u l d d i s c u s s 。t h eo t h e ri st ou s et w o s t e p sm e t h o dt os o l v et h ep a r a m e t e r so ft h em o d e l w e d i s c u s s e d 3 w ep r o v i d et h ed e f i n i t i o no fp r e c i s i o na n dt w ok i n d so fs t a b i l i t yo ft h em o d e l p r o b l e m a c c o r d i n gt ot h ec o n c l u s i o no fg e o m e t r y , w e c a nf i n dt h eg e o m e t r i cc e n t e r o fe l l i p s ei np i x e lc o o r d i n a t es y s t e mb yu s i n gt h em e t h o do fc e n t r o i dm e a s u r e s o ，t h e q u a n t i t a t i v ea n a l y s i so fp r e c i s i o nc a nb ea c h i e v e d ；i nt h ea n a l y s i so fs t a b i l i t yo ft h e m o d e lp r o b l e m ，w ev e r i f i e do u ra l g o r i t h mo fc a m e r ac a l i b r a t i o nw i t ht h ed e f i n i t i o nw e h a v ei n v o l v e di np r e v i o u s 4 b yu s i n gt h ek n o w l e d g ea b o u t t h eb i n o c u l a rs t e r e ov i s i o n ，w eh a v ed e s i g n e da m e t h o dt of i n dt h er e l a t i v ep o s i t i o no ft w oc a m e r a s ，a n da l s og a v eo u tt h ee x p r e s s i o n f h r r n u l at oc a l c u l a t et h er e l a t i v ed i s t a n e eb e t w e e nt w oc a m e r a s k e y w o r d s ：b i n o c u l a rs t e r e ov i s i o n ；c a m e r ac a l i b r a t i o n ；3 dr e c o n s t r u c t i o n v 硕十学位论文 1 1 引言 第1 章绪论 长期以来，人类的视觉系统一直是学者们非常感兴趣的领域，人们进行了大量 的研究，希望通过某种人工的手段来实现人类的视觉功能。 立体视觉主要是利用几何原理实现三维信息恢复，受场景物理属性干扰较小， 因此，能较精确的恢复场景的三维信息。观察世界时，可以比较左右眼得到的信息 的差别来判断物体的相对深度，这是因为两只眼睛在视点上存在着一些差别，这 种现象称为立体视差。对立体视差进行模拟来实现三维信息恢复的过程，即为立 体视觉模拟。可采用射影几何原理，根据同一物体的两幅照片生成物体上特征点 的空间位置来模拟立体视觉。计算机立体视觉是一个相当新且发展十分迅速的研 究领域，计算机立体视觉的开创性工作是在6 0 年代中期开始的。美国麻省理工学 院的r o b e r t s 首先用程序成功地对三维积木世界进行了解释，后来h u f f i n a n 、c l o w s 以及w a l t z 等人对积木世晃进行了研究并分别解决了由线段解释景物和处理阴影 等问题。他们的工作把过去的二维图像分析推广到了三维景物分析，这标志着计算 机立体视觉技术的诞生，在随后的二十年中它迅速发展并形成了- i , - j 新的学科。 7 0 年代末，计算机立体视觉在图像的预处理技术、提取三维信息和图像匹配技 术等许多方面都有重大突破。以m a r r 和p o g g i o 等人为代表的一些研究者提出了一 整套视觉计算的理论来描述视觉过程，使得景物可视表面的重建形成一个完备的体 系。其中，m a r r 的视觉理论影响最为深远，成为立体视觉领域的主导思想【l 】。基于 m a r r 理论框架，研究者们对其中的各个研究层面进行了大量的研究。b a r a n a r d 1 2 【3 】 提出一个完整的计算机立体视觉系统通常可分为6 大部分：图像获取、摄像机标 定、预处理及特征提取、立体匹配，三维信息恢复和后处理，而且这六个部分对系 统的实现与精度都有重要的影响。 双目立体视觉是基于三角法原理进行测量的，即两个摄像机的图像平面和被 测物体之间构成一个三角形 4 11 5 1 。利用两台放置位置不同的摄像机或通过一台摄 像机平移和旋转，从不同的角度拍摄同一场景的两幅图像，通过计算空间点在两幅 图像中的视差，便可以测量公共视场内物体的三维尺寸及空间物体特征点的三维 坐标。双目立体视觉模型主要有两种【6 1 ：平行双目立体视觉模型和非平行双目立 体视觉模型，本文使用平行双目立体视觉模型，通过固定在平移台上的一台摄像机 的平移来拍摄两幅不同位置的图像。见图1 1 所示： 平行双目立体视觉是最简单的双目立体视觉模型，图1 1 所示为用左、右( l 、r 表示) 两平行放置的摄像机观测同一景物时的情形，物体上的点p 在l 摄像机中 一种基于双目摄像机标定的模型问题研究 图1 1 平行双目立体视觉三维测量模型 名 的成像点为p j ，它是通过从p 点发出的光线经过透镜中心0 f 与图像平面相交而形 成的。相反地，若己知图像平面上的一点p ，和透镜中心0 f 可唯一地确定一条射线 p r o f 。所有可成像在p j 点的物体点必定在这条p m 0 射线上。如果能找到同一物体 点p 在另一台摄像机r 中的成像点p ，那么根据第二个图像点p ，与相应透镜中心 0 ，决定的第二条射线p ，0 ，与p ，0 ，的交点就可以确定物体点p 的位置。射线p ，0 j 上 各点在右摄像机图像平面中的成像是一条直线，这条直线被称为外极线1 7 1i s l 。同 理，p ，o ，上各点在左摄像机图像平面中的成像也形成外极线。因此，如果已知空间 点在一个图像平面中的成像点要寻找在另一图像平面中的对应点时，只需沿此图 像平面中的外极线搜索即可，平行双目立体视觉的左、右两条极线在同一水平线 上。如果以右摄像机坐标系为空间坐标系，则根据中心射影的比例关系，我们可以 通过计算获得p 点空间坐标。 双目立体视觉中，摄像机标定最关键的技术之一，它也是立体视觉的三维重建 所需要解决的第一个问题。其目的在于建立成像面上的二维投影点与其对应的被 拍摄场景在某一特定的参照系中的三维坐标之间的2 d 3 d 的对应关系，并且恢复 出摄像机内部和外部参数，利用这些参数就可以定量的建立摄像机立体成像模型。 所以，本文首先将阐述摄像机标定的原理和数学基础，再针对具体的实际问题，给 出其摄像机的标定模型，并讨论模型方法的精度和稳定性，最后对所给模型加以改 进并给出结论与展望。 1 2本文所做的工作及本文的符号表示 1 2 1 模型问题 本文将要讨论的模型问题可具体描述如下： 一2 一 硕士学位论文 有一个边长为1 0 0 m m 的正方形的靶标，分别以四个顶点( 对应为a 、c 、d 、e ) 为圆心，1 2 r a m 为半径作圆。以a c 边上距离a 点3 0 r n m 处的b 为圆心，1 2 m m 为 半径作圆，如图1 2 所示。 ooo 阳 l 一 图1 2 靶标示意图 n luj l 一 用一位置固定的数码相机摄得其像，如图( 1 3 ) 所示。 我们按如下过程进行下列问题进行讨论： 问题( 1 ) 建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标，这 里坐标系原点取在该相机的焦点，x y 平面平行于像平面； 问题( 2 ) 对由图b 、图c 分别给出的靶标及其像，计算靶标上圆的圆心在像平面上 的像坐标，该相机的像距( 即焦点到像平面的距离) 是1 5 7 7 个像素单位 ( 1 毫米约为3 7 8 个像素单位) ，相机分辨率为1 0 2 4 7 8 6 ； 问题( 3 ) 设计一种方法检验我们的模型，并对方法的精度和稳定性进行讨论； 问题( 4 ) 建立用此靶标给出两部固定相机相对位置的数学模型和方法。 对于上述问题，首先，我们在不考虑摄像机镜头畸变的影响下，建立了以针孔 模型为基础的线性光学成像模型。在此基础上，将针孔模型与几何学中的知识有机 结合起来，建立了世界坐标系( o w 一y w z w ) 、摄像机坐标系( o 一砂) 、图像物理坐标 系( o x y ) 及图像像素坐标系( d r x ，y r ) 四种坐标系中对应点坐标之间的变换关 系，有效地解决了世界坐标系中的物点与图像像素坐标系中像点的对应关系。针对 一3 一 一种基于双目摄像机标定的模型问题研究 图1 3 靶标的像的示意图 问题( 1 ) ，我们考虑了一种典型的线性光学成像模型( 即针孔模型) 。此模型不考虑 畸变( 即畸变系数k = 0 ) 对模型参数的影响。考虑到像平面与靶标平面具有一定 的空间对应关系，结合空间解析几何的坐标变换理论，在定义了四种坐标系后，建 立了ow ，一x w y w z ，与d 一捌，d 一叫与d ，一母y ，以及d r x ，y ，与( d ，一x ，y ，) 之间的 坐标变换关系，并得出了可以直接用于计算像点坐标的0 w x w y w ，z w 与( d ，一x r y ，) 的坐标变换方程。针对问题( 2 ) ，我们提供了两种求解模型参数的方法。方法一 是利用问题( 2 ) 中提供的信息依次对问题( 1 ) 中的三种坐标变换求解，方法二则 是将问题( 1 ) 中最终归化的方程进行适当的线性处理，通过对角点的采集利用最 d - 乘法对模型的参数求解。由于第二种方法的实现比较容易，因此我们采用 了第二种方法进行求解。根据角点的边缘抽取方法与射影映射保持线性结构的性 质，选取了靶标中圆的某些外公切线的切点作为角点，对模型进行参数估计并计 算像的中心坐标值。最后，利用整理的1 8 组角点数据估计出了投影矩阵，并计 算出了靶标中a ，b ，cd ，e 各圆圆心在图像像素坐标系中的像点，其坐标值分别为 a ( 3 2 3 1 8 7 1 ，1 9 0 11 9 3 ) ，( 4 2 2 4 2 6 2 ，1 9 5 4 4 0 3 ) ，( 6 4 1 7 4 3 2 ，2 0 7 2 0 1 4 ) ，d 7 ( 5 8 3 0 4 0 7 ， 5 0 2 0 1 3 3 ) ，e 7 ( 2 8 4 6 1 4 8 ，5 0 1 3 8 9 1 ) 。针对问题( 3 ) ，我们定义了精度和两种稳定性， 根据画法几何中的结论，利用质心法确定出了像中各椭圆的几何中心，从而对精 度进行了定量的分析，得到了世界坐标系与图像像素坐标系中的相对误差分别为 0 8 6 1 0 2 ，1 9 6 1 0 - 。在稳定性的分析中，我们根据定义的两种形式的稳定性 准则对算法进行了验证，并对定义2 给出的稳定性进行了证明，针对问题( 4 ) ，基 一4 一 硕l j 学位论文 于双目视觉系统的理论，设计了一种简单的求解摄像机相对位置的方法，并给出了 两台摄像机光学中心的相对距离的显式表达式。由于数据的问题，我们无法对其 进行定量求解，但在模型之后的精度分析却使模型具有了一定的可信度。最后，我 们对模型进行了评价及一定程度的改进。考虑到我们上述模型忽略了畸变对结果 造成的影响，我们在模型的改进过程中，充分考虑了畸变的作用。根据t s a i 理论 1 9 1o o li 川，建立了基于径向排列约束法的非线性几何成像模型。尽管非线性模型的 建立增加了模型的求解难度，但是模型的准确性较线性模型却有了很大的提高。 1 2 2 模型的假设 我们作如下假设： ( 1 ) 忽略摄像机镜头畸变造成的图像失真； ( 2 ) 用针孔模型作为摄像机的成像模型； ( 3 ) 忽略图像上图形边缘颜色渐变对像素点坐标提取产生的误差。 1 _ 2 3 基本符号及说明 相关的符号以及说明如下： t ：平移变换矩阵； r ：正交变换矩阵； m ：投影矩阵； 厂：摄像机的镜头有效焦矩； 畋：一个像素在x 方向上的物理尺寸； 么：一个像素在y 方向上的物理尺寸； 文：x 方向上的采样频率； s r ：y 方向上的采样频率。 一5 一 一种基于双f 1 摄像机标定的模型问题研究 第2 章摄像机的透视投影成像模型 双目立体视觉系统的任务就是从摄像机捕获的二维图像信息出发来计算三维 空问中物体的几何信息，并由此重建物体。空间物体表面某点的三维几何位置与其 在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的。本章首先说 明摄像机成像涉及到不同坐标系统以及它们的变换关系，然后再在此基础上建立 摄像机成像模型。 2 1坐标系与摄像机成像原理 2 1 1 常用的坐标系介绍 摄像机成像涉及到不同坐标系统之间的变换。考虑到图像采集最终结果是要 得到计算机里的数字图像，在三维空间景物成像时涉及到的坐标系统主要有以下 四个坐标系1 1 2 1 3 1 1 4 1 ：世界坐标系、摄像机坐标系、图像物理坐标系和图像像素坐 标系( 计算机图像( 帧存) 坐标系) 。 世界坐标系o w x w y w z w ( w o r l dc o o r d i n a t es y s t e m ) 由于摄像机和物体可以安放在环境中的任何位置，因此需要在环境中选择一 个基准坐标系来描述摄像机的位置，并用它来描述环境中任何物体的位置，这个坐 标系就叫做世界坐标系。 摄像机坐标系o x y ( c a m e r ac o o r d i n a t es y s t e m ) 摄像机坐标系是固定在摄像机上的直角坐标系，其原点定义在摄像机的光学 中心( 光心) ，z 为光轴，x 和y 分别为平行于图像平面的水平轴和垂直轴，且采取 前投影模型。光心到图像平面的距离为摄像机的有效焦距。 图像物理坐标系o x y ( r e t i n a lc o o r d i n a t es y s t e m ) 由于计算机图像坐标系只表示像素位于数组中的列数和行数，并没有用物理 单位表示出该像素在图像中的位置，因此需要再建立以物理单位( 如毫米) 表示的 坐标，称为图像物理坐标系。其原点d 是光轴与图像平面的交点，x 与y 轴分别 平行于摄像机坐标系的x 与y 轴。 图像像素坐标系d r x r y ，( 计算机图像坐标系) ( p i x e lc o o r d i n a t es y s t e m ) 在直角坐标系d r x ，巧上，其坐标原点位于图像左上角，x r ，y ，平行于图像 物理坐标系的x 和y 轴。每一像素的坐标( “，d 分别为该像素在数列中的列数和 行数，它是以像素为单位的坐标。 另外，齐次坐标1 1 5 11 1 6 是计算机视觉和合计算机图形学中的一个十分有用的 工具，利用它可以统一完美地表达许多重要的几何变换。笛卡尔n 维空间中的一点 一6 一 硕l ：学位论文 可以用齐次( r l + 1 ) 空间中的一条直线表示。因此，对于一个笛卡尔空间的物理坐 标点，在齐次坐标系中不存在唯一的表示。例如，三维空间中的点( x , y ，z ) t 的齐次 坐标是一个4xl 维矢量( k ，b ，也，七) ，这里k 是一个非零的任意常数。而为了将一 个用疗x1 维矢量表示的点从齐次坐标表示变换到一1 ) 维的物理坐标，需要将全 部分量除以第n 个元素，然后消去第疗个分量，这样形成一个新的一1 ) 维矢量。 同样，将一个2x1 物理矢量维数增加一个比例系数，同时将物体的图像点坐标乘 以这个非零系数，这样也可以用齐次坐标来表示一个图像点。 2 1 2 摄像机成像原理 摄像机成像为透镜成像原理，见图2 1 ，其中l g 为物距，厂为透镜焦距，l ，为像 距。三者满足以下关系式： 1l l f = 二+ i 图2 1 摄像机成像原理图 ( 2 1 ) 因为在一般情况下有“f ，由式( 2 1 ) 得y f ，所以实用中可以d , j y l 成像模 型0 7 1 t 8 1 【1 9 l 来代替透镜成像模型。 在计算机视觉中，利用对所拍摄物体的图像来计算出三维空间中被测物体的 几何参数。图像是即空间物体在像平面上的投影，它是空间物体通过成像系统在 像平面上的反映。图像上每个像素点的灰度反映了空间物体表面某点的反射光的 强度，而该点在图像上的位置则与空间物体表面对应点的几何位置有关。这些位 置的相互关系，由摄像机成像系统的几何投影模型所决定。计算机视觉研究中，三 维空间中的物体到像平面的投影关系即为成像模型，理想的投影成像模型是光学 中的中心投影模型，也称为小孔成像模型【2 0 】【2 。小孔成像模型主要由光心( 投影 一7 一 一种基于双日摄像机标定的模型问题研究 中心) 、成像面和光轴组成。小孔成像由于透光量太小，因此需要很长的曝光时间， 并且很难得到清晰的图像。实际摄像系统通常由透镜或透镜组组成。两种模型具有 相同的成像关系，即像点是物点和光心的连线与图像平面的交点。因此，可以用小 孔成像模型作为摄像机成像模型。小孔成像模型假设物体表面的反射光线都经过 一个小孔投影到像平面上，即满足光的直线传播条件，物点、像点之间的对应关系 如图2 2 所示。小孔摄像机成像模型满足严格的透视变换关系，其基本变换计算式 是线性关系，可以直接采用解线性方程组的方法求解。 一p i - 垄璧一 - 焦题f 一一 图像坐标纛 ! ；乡 _ 一 p l 豌p 图2 2 摄像机小孔透视变换模型图 2 2 摄像机的透视投影成像模型 ，乙) ，乙) 摄像机标定的目的是确定摄像机的图像坐标系与物体空间中的三维参考坐标 系之间的对应关系，简言之就是求取摄像机的参数。我们先讨论一种利用透视变换 矩阵的摄像机标定方法：基于摄像机小孔成像模型的透视变换矩阵方法，忽略了摄 像机镜头的非线性畸变的摄像机标定方法。这一类标定方法的优点：无需利用最优 化方法来求解摄像机的参数，从而运算速度快，能够实现摄像机参数的实时计算。 缺点：标定过程中不考虑摄像机镜头的非线性畸变，标定精度受到一定的影响。 2 2 1 坐标变换关系 j 为了求取摄像机的有关参数，我们先讨论上述几种坐标之间的变换关系。 世界坐标与摄像机坐标之间的变换关系 一8 一 硕 ：学位论文 世界坐标系中的点到摄像机坐标系的变换可由一个正交变换矩阵尺和一个平 移变换矩阵t 表示为： 三 = 尺 至 + 丁= ( 兰j 兰毫 ( 兰 + r = e x w y w z w l ( 2 2 ) 其中t = ( ，b ，t z ) t 为平移矩阵，即世界坐标系原点在摄像机坐标系中的坐标，矩 阵r 是正交旋转矩阵，其9 个方向矢量满足如下6 个正交约束方程： 正交旋转矩阵实际上只含有3 个独立变量，再j j h _ l & ，b 和f z ，总共有6 个参 数决定了摄像机光轴在世界坐标系中空间位置，因此这六个参数称为摄像机外部 参数。 图像物理坐标与摄像机坐标之间的变换关系 摄像机坐标系中的物点p 在图像物理坐标系中的像点r 坐标为： jx = t ：x ， iy = 譬 齐次坐标表示为： f ， z ”【三 0 0 01 l 厂00f l 010j ( 2 4 ) 其中( x ，y ，z ) 为空间点p 在摄像机坐标系下的坐标；( 墨y ) 为空间点p 在图像物理 坐标系下的投影坐标；f 为摄像机的镜头有效焦距。 9 3 q q q q = = = 圪 b 如 l l l m m 膨 f i i l i i + + + 3 3 3 2 2 2砰幢乓吃强强 + + + m m 勉 吃幺吃+ + + + 锄 砰哇弓n n 您 一种基于双目摄像机标定的模型问题研究 图像像素坐标与图像物理坐标之间的变换关系： y u 一- u o = = 考麦i = s s y x z x , u sx 0 u o 脚x 亿5 ， 寸；s j = 麦，s y = 石1 分别表示x 与y 方向上的采样频率，即单位长度的像素个 一l o 硕l 二学位论文 第3 章基于双目摄像机标定的模型问题研究 在计算机视觉研究中，首先必须解决的任务就是摄像机标定。从上一章的立体 视觉模型可知，摄像机从获取的图像信息出发计算出空间中物体的几何信息，并由 此重建和识别物体，必须已知空间坐标系中的物体点同它在图像平面上像点之间 的对应关系，而这个对应关系是由摄像机的位置、属性参数和成像模型决定的，这 些几何模型参数就是摄像机参数。摄像机参数包括内参数与外参数，前者是摄像机 坐标系与理想坐标系之间的关系，而后者表示摄像机在世界坐标系中的位置和方 向。内参数包含焦距、光学中心、不垂直因子等，外参数包含平移矩阵t 和旋转矩 阵r 【2 2 】f 2 3 1 2 4 1 。在大多数条件下这些参数必须通过实验与计算才能得到，确定这些 摄像机参数的过程就称为摄像机标定。摄像机标定就是指建立摄像机图像象素位 置与场景位置之间的关系，其实质就是确定出由空间坐标系到图像坐标系的变换 矩阵，其方法是根据摄像机模型，由已知特征点图像坐标和世界坐标求解摄像机的 模型参数。本章先针对问题( 1 ) 和问题( 2 ) ，我们在不考虑摄像机镜头畸变的影响 下，建立以针孔模型为基础，利用上一章已经建立的世界坐标系( 0 ，一y w 如) 、摄 像机坐标系p 一叫) 、图像物理坐标系( d x y ) 及图像像素坐标系( d r x ，y r ) 四 种坐标系中对应点坐标之间的变换关系，建立摄像机标定的模型，并对模型参数进 行求解；然后结合问题( 3 ) ，我们定义了精度和两种稳定性，根据画法几何中的结 论，利用质心法确定出了像中各椭圆的几何中心，从而对精度进行了定量的分析； 在稳定性的分析中，我们根据定义的两种形式的稳定性准则对算法进行了验证。最 后针对问题( 4 ) ，利用基于双目视觉系统的理论，设计了一种简单的求解摄像机相 对位置的方法，并给出了两台摄像机光学中心的相对距离的显式表达式。 3 1 问题( 1 ) 的模型建立 由于我们需要得到的是世界坐标与图像像素坐标之间的对应关系，并通过对 模型中参数的求解，从而确定世界坐标系中靶标上各圆之圆心与各对应的像的中 心之间的一一对应关系。根据上述三种坐标的变换关系，我们经整理变形后可得共 线方程( 世界坐标与图像像素坐标之间的关系) ，即： 一种基于双目摄像机标定的模型问题研究 齐次坐标表示为： 誊s 兰xlu；o三of 三；o 三0 ( 0 尺+ 丁1 ) ff s j 0 i = i o 声y 【0 0 - ( f j ou 。o l r x w y w z w l x w y w z w 1 y w z w l ( 3 1 ) = m t m 2 x , , = m x w ， 其中厶= 厂s j 和矗= f s y 为3 x 4 阶矩阵，称为投影矩阵；m 1 完全由f x ，矗，u o ，v o 决定，由于五，石，u o ，v o 只与摄像机内部结构有关f 瑚【厕【2 7 1 ，因此称为摄像机内 部参数；完全由摄像机相对于世界坐标系的方位决定，称为摄像机外部参数。 3 2 问题( 2 ) 的像素坐标确定 3 2 1 模型参数的确定 对于此模型的求解，我们一方面可以通过世界坐标系中已知的坐标点，依次解 ( 2 2 ) 、( 2 3 ) 、( 2 4 ) 三个坐标变换方程求得模型中参数，从而确定靶标与像的一一对 应关系；另一方面，我们可以采用直接线性变换摄像机标定的方法对模型直接进行 求解。a b d a l a z i z 和k a r a r a 于7 0 年代初提出了直接线性变换摄像机标定的方法， 他们从摄影测量学的角度深入地研究了摄像机图像和环境物体之间的关系，建立 了摄像机成像几何的线性模型，这种线性模型的参数估计完全可以由线性方程的 求解来实现，它是利用三维标定参照物求解投影矩阵肘的算法。将上述模型改写 成： m 1 2 m 2 l m 3 1 m 1 3 m 2 3 m 3 1 1 2 一 吒 ) ： 乙 l ( 3 2 ) 、l _ i _ _ _ _ 、 丁尺旷 ，-_-_ 、l_-l-ll-， o 0 0 蜘 、l-lliiii_i_、 m m m m m m 殂 m m m m j，-i-_-_-i、 = 、-iilli_li-、 蛳 ，j-_-_-_-_- z 硕： 学位论文 其中( 砖，兑，e w ，1 ) 为二维标定物第f 点角点坐标；( u i ，v i ，1 ) 为第f 点的图像像素坐 标；m 玎( f = l ，2 ，3 ；j = l ，2 ，3 ，4 ) 为投影矩阵m 的第f 行j 列元素，上式包含三个方 程： z i u i2m l i 砖+ m 1 2 y w + m 1 3 z w + m 1 4 ， z i v i = m 2 1 巧+ m 2 2 ) w + m 2 3 z ：，+ m 2 4 ， z = m 3 1 砖+ m 3 2 y w + m 3 3 乏w + m 3 4 通过消去方程中的系数z f ，我们得到如下两个关于系数朋玎的线性方程： 帆，_ + 呐2 ) i r + 呐3 毫+ m 1 4 - - u i m 3 1 3 一w - - u i m 3 2 y t w - - u i m 3 3 之, w = 嘞m 孙 ( 3 3 ) lm 2 1 砖+ m 2 2 y w + m 2 3 z ：，+ m 2 4 一v i m 3 1 砖一v i m 3 2 y w v i m 3 3 之w = v i m 3 4 式( 3 3 ) 表示如果靶标上有，1 个已知点( ，丸，e w ) t ( f - l ，2 ，_ r 1 ) 以及它们对 应的像点的齐次坐标( 蜥，v i ，1 ) t ( 江l ，2 ，n ) ，则我们有2 咒个关于投影矩阵m 的 元素的线性方程，用矩阵形式可表示为： 碍赡z ：， 1000 0 一u n 砖一u n 赡一l l n 砖 0000 砖赡瑶1 一嘞j 【：，一“n 赡一器 = m 3 4 由上式可见，肘矩阵乘以任意不为零的常数并不影响( ，y w ，z w ) 与( “，v ) 的关 系【9 】【2 s 1 ，因此，在式上中可以指定m 3 4 = l ，从而得到关于m 矩阵其他元素的2 ，1 个线性方程，这些未知元素的个数为1 1 个，记为1 1 维向量m ，简写成k m = u 。 其中k 为上式左边2 n 1 1 矩阵；m 为未知的l l 维向量；u 为上式右边的2 ，l 维向 量；k ，u 为己知向量。当2 n 1 1 时，我们可用最小二乘法求出上述线性方程组 的解为m = ( k t 固_ 1 k t u 。m 向量与m 3 4 = l 构成了所求解的m 矩阵，由上可见， 由空间6 个求上已知点与它们的图像点坐标，我们可求出m 矩阵。 一1 3 一 川 n 坦 b h 甜 龙 筋 m 孔 匏 弘 m m m m m m m m m m m 砖砖 蛳 蛳 一 一 1 w l w y y 蝴 阮 一 一 砖砖 鳓 蝴 一 一 o l 0 砖0 坫0 砖 l 0砖0砖0砖0 一种基于双目摄像机标定的模型问题研究 以上介绍的方法，利用定标参照物的已知点( 靶标上的点) 与它们的图像点坐 标来求取m 矩阵，在实验中需在图像中用图像处理的方法抽取这些角点的图像坐 标，其方法一般是用边缘抽取的方法或h o u g h 变换的方法先抽取图中的直线，这 些顶点是这些直线的交点，马颂德 2 11 1 8 等提出了直接靶用标上的已知直线与它们 的图像进行摄像机定标的方法，称为基于直线的定标方法，避免了求直线交点时引 起的误差。 3 2 2 确定像平面中图像中心 图像由灰度不同的两部分组成，但边界处的阈值有一个渐变的过程，给数据处 理带来一定困难，适当调整图像的阈值，将其转变为高对比度的黑白图像，深色像 点的r g b 值为( 0 ，0 ，o ) ，周围浅色区域的r g b 值为( 2 5 5 ，2 5 5 ，2 5 5 ) ，转换后的图像 如图3 1 所示。 图3 1 改变阀值后的像的示意图 该相机的分辨率为1 0 2 4 x 7 6 8 ，则每幅照片有1 0 2 4 x 7 6 8 个像素点，为了找出图 像上的点的像素坐标( h ，v ) ，需要将图像分割成1 0 2 4 7 6 8 等分，为此，用p h o t o s h o p 在图像横向上分成1 0 2 4 等份，纵向上分成7 6 8 等份，得到一张网格化的图像，如 图3 2 所示： 运用m a t l a b 软件中的i m r e a d 语句读出整张图片所有像素点的r g b 值，及其 对应的坐标。再通过循环判断，找出某个上、下、左、右中至少有一点为白点的黑 点，所有这些黑点即为黑色区域的边界坐标值。进而找出图像上每一个黑色区域所 一1 4 一 硕士学位论文 1 r1 y 。 i ， 包含的像素点的坐标。 图3 2 网格化图像 由靶标中心点a 、曰、c 、d 、e 的坐标计算相应的图像像素坐标，需要首先确 定方程( 3 2 ) 中的投影矩阵m ，为此至少需要6 组已知点( 艺，丸，磊) ，( 嘶，v i ) ，f = 1 ，2 ，6 。但模型问题中的靶标为平面靶标，因此可令z w = 0 ，此时至少需要4 组 点，这样可以解出投影矩阵m ，但误差太大，实际上，被采用的已知点远不止4 组， 所用到的方程的个数远大于未知量的个数，可利用最小二乘法求解矩阵，以便降低 单个点坐标误差造成的影响。 选取的点应是靶标和图像上的对应点，由射影变换保持图像之间线结构的性 质，即射影变换同时保持了点的一一对应和线的一一对应，并且保持点线关联系。 另外，射影变换将切线映射成切线，将切点映射成切点；射影变换保持直线，直线 与点的接合性以及直线上点列的立比不变性。所以，我们可以选取靶标中圆的外 公切线的切点与相应的图像中的外公切线的切点作为对应点，如图3 3 与图3 4 所 示。 我们通过用p h o t o s h o p 软件对图像进行网格化处理，近似得n - j 上述的公切 线，确定了相应的切点及其坐标，这里我们选取了1 8 组对应点，如表l 所示。 一1 5 一种基于双目摄像机标定的模型问题研究 图3 3 加切线后的原图 图3 4 加切线后的像 1 6 一 硕 = 学位论文 0 w 一z w ( w o r l dc o o r d i n a t es y s t e m ) o 一x ，y i ( p i x e lc o o r d i n a t es y s t e m ) ( 一6 2 ，5 0 ，0 ) ( 6 2 ，一5 0 ，0 ) 5 0 5 0 5 0 5 0 6 2 ，0 ) 3 8 ，0 ) 一3 8 ，0 ) 一6 2 ，0 ) 一3 8 ，5 0 ，0 ) 一3 8 ，一5 0 ，0 ) 一2 0 ，6 2 ，0 ) - 2 0 ，3 8 ，0 ) 3 8 ，5 0 ，0 ) 3 8 ，一5 0 ，0 ) 5 0 ，6 2 ，0 ) 5 0 ，3 8 ，0 ) 5 0 ，一3 8 ，0 ) 5 0 ，- 6 2 ，0 ) 6 2 ，5 0 ，0 ) 6 2 ，一5 0 ，0 ) ( 2 8 1 ，1 8 3 ) ( 2 4 5 ，5 0 0 ) ( 3 2 8 ，1 5 6 ) ( 3 2 2 ，2 3 0 ) ( 2 8 8 ，4 6 6 ) ( 2 7 9 ，5 3 5 ) 3 6 2 3 2 4 4 2 7 4 2 l 6 0 3 5 4 8 6 5 l 6 3 4 5 9 0 5 7 8 6 7 6 6 15 1 9 0 5 0 4 1 5 6 2 3 6 2 l o 5 0 1 1 5 7 2 4 9 4 6 9 5 3 4 2 1 2 5 0 3 表l ：选取点的世界坐标及相应像素坐标 将这1 8 组点的坐标代入方程( 3 1 ) ，即可求出投影矩阵肘，计算得到的矩阵m 如下： o 1 5 2 4 - 3 2 8 5 6 一o o o ( y 7 因为我们取z w = 0 ，所以方程中不含m 1 3 ，m 2 3 ，m 3 3 ，计算结果中也就没有出 现它们的值。 将计算得的投影矩阵各元素值m 玎以及靶标圆心( t a r g e tc e n t e r ) 坐标值代入方 程( 2 7 ) ，即可求得a 、b 、c 、d 、e 在图像上的像素坐标，结果如表2 所示。 一1 7 9 9 5 2 0粥嬲舢 2 2 5 o 8 o 啪獬咖 3 o 0 一种基于双目摄像机标定的模型问题研究 表2 ：靶标圆心坐标及相应的图像像素坐标 3 3 问题( 3 ) 的模型精度与稳定性分析 3 3 1 精度分析 在不考虑图像畸变的情况下，利用小孔成像模型计算得到的靶标上圆心在图 像上的坐标仍有误差，因为图像上的公切线不可能精确得到，再利用这些切点得到 的投影矩阵肘就存在误差，再由此m 矩阵计算a 、曰、c 、d 、e 在图像上的对应 坐标时就也存在误差。 要检测模型的精度，必须寻找一种更为精确的求取图像上图形中心的方法， 因为“当圆平面不包含投影中心时，圆的中心投影图形是椭圆、抛物线或双曲 线 【2 引1 2 9 ，且从图像上明显可见投影图形不是抛物线和双曲线，又不考虑畸变， 所以投影图形是椭圆，椭圆的中心即为靶标的圆心在图像上的对应点。 质心法( c e n t r o i dm e a s u r e ) 求椭圆中心( e l l i p s ec e n t e r ) 坐标 将图像上各椭圆的像素点看成一个个的质点，且具有相同的质量确，则每个 椭圆所包含的像素点的质心即为椭圆中心，利用质心公式： m o u qu u i - 1 i - ii - i i - i 加= 1 百= i m o ” 扭j 卢1 m o v i jv i i y o21 r 2i m o “ i = l j = l 即可以确定5 个椭圆的中心坐标。用质心法确定椭圆中心的坐标，直接利用了 图像上像素点的坐标，避免了选取切点时的误差，结果比较精确，我们就以此作为 椭圆中心坐标的精确值，对精度进行分析。 误差分析【1 9 】1 3 0 1 【3 l 】 一1 8 硕1 ：学位论文 图像坐标的绝对误差定义为测试点的精确坐标与投影后相应的图像坐标之间 的均方根距离的平均值，单位为像素，对个测试点，即有： 邑，= 专妻i = i