数码相机双目定位模型.doc

数码相机双目定位模型摘要本文主要讨论了数码相机定位问题，在充分理解问题的基础上，利用空间投影变换原理、椭圆平行弦中点连线过中点、双目视觉定位的基本原理等知识对问题进行分析，建立模型求解得到所需结果，并检验了模型的合理性。对于第一问，假设靶标上各圆的像均是椭圆，靶标上各圆圆心的像即是椭圆中心，利用“定椭圆的内接平行四边形对角线的交点必定在这个椭圆的中心”，做出各个椭圆的内接平行四边形，确定中心点（即内接平行四边形对角线的交点）的位置，度量图片大小，得到各中心点的相对坐标，考虑相机分辨率以及像素单位，还原各中心点的真实坐标。对于第二问，用第一问的模型及算法，确定各椭圆的中心（见图3），得到各中心的坐标如下：A2(-50.95,52.87,-417.2),B2(-23.66,51.57,-417.2)，C2(32.87,46.63,-417.2)，D2(18.17,-31.97,-417.2)，E2(-60.42,-31.79,-417.2)。对于第三问，考虑相机几何成像模型，利用空间投影变换原理，建立一个把物平面的任意一点变换为像平面上的二维象点的矩阵模型。首先利用已知的各靶标的坐标以及像的坐标，得到从物方空间到像方空间的变换矩阵。再利用物体坐标和对应的像坐标检验模型的稳定性和精确度。对于第四问，利用双目视觉定位的基本原理来建立模型。根据小孔成像原理及坐标变换理论可推得具体的坐标关系，进而确定两部固定相机相对位置。关键词：内接平行四边形 空间投影变换原理 双目视觉定位的基本原理 小孔成像原理数码相机双目定位模型一、 问题重述数码相机定位在交通监管等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部相机来定位。对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。标定的一种做法是：在一块平板上画若干个点， 同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。而在物平面或像平面上都无法直接得到没有几何尺寸的“点”。实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了。而它们的像一般会变形，所以必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现。需要解决以下问题：（1）建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；（2）对题目中给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距（即光学中心到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024768；（3）设计一种方法检验模型，并对方法的精度和稳定性进行讨论；（4）建立用此靶标给出两部固定相机相对位置的数学模型和方法。二、问题分析针对问题一，考虑相机几何成像过程，利用空间投影变换原理，把物平面的任意一点变换为像平面上的二维象点。考虑从物方空间到像方空间的变换过程。假设靶标上各圆的像均是椭圆，利用“定椭圆的内接平行四边形对角线的交点必定在这个椭圆的中心”，确定椭圆中心。针对问题二，利用问题一所建立的模型和题目中所给的数据，分别求得模型中参数的值，最终确定靶标上圆的圆心在像平面上的像坐标。物平面上A、B、C、D、E的坐标由题目中所给的数据可以很容易的求出。在求解像平面上发生畸变的图形的中心时，假设图形是椭圆。利用椭圆平行弦中点连线过中点，求得各个椭圆的中心坐标。其次，利用假设题目所给出的靶标的像（图3）就是在相机感光器件所成的像，它的大小比例没有变化。通过物理测量，在利用一定的比例变换，求得各点的具体坐标。针对问题三，考虑相机几何成像模型，利用空间投影变换原理，建立一个把物平面的任意一点变换为像平面上的二维象点的矩阵模型。首先利用已知的各靶标的坐标以及像的坐标，得到从物方空间到像方空间的变换矩阵。再利用物体坐标和对应的像坐标检验模型的稳定性和精确度。针对问题四，利用双目视觉定位的基本原理来建立模型。通过寻找两部相机与靶标之间的位置关系来确定相应的数学关系，从而推导出求两部相机相对位置的公式。三、符号说明 为相机的焦距为两部相机间的距离表示F点的横坐标，F为所给题目中图2右上角顶点表示F点的纵坐标，F为所给题目中图2右上角顶点四、模型的假设1、假设相机的光学中心就是相机内部凸透镜的光学中心，与相机的感光器件（相机成像的中心）的中心在同一直线。2、假设照相时相机的光学中心、数码相机显示屏的中心、靶标上图像的中心三点共线。即照相时相机就是正对这靶标来照相，但可以和图像成一定的角度。3、题目所给出的靶标的像（图3）就是在相机感光器件所成的像，它的大小比例没有变化。4、在求解像平面上发生畸变的图形的中心时，假设发生畸变的图形是椭圆。5、假设图三（即靶标的像）是图二（即靶标的示意图）在数码相机显示屏上的像。6、对于第四问，假设相机对称放置。五、模型的分析、建立与求解相机几何成像的过程，实际上就是利用一定的空间投影变换原理，把一个三维空间点，最后变换成为像平面上的2D像点。这个变换过程，可以分解为下述的四个变换：1、从物方空间像方空间由于物方空间坐标系的三轴分别平行于辅助空间坐标系的三轴，那么这两个坐标系之间仅存在平移变换。即对于任意物方点变换到坐标系中的坐标为，这里为投影中心S在中德坐标。而和像空间坐标系之间仅存在旋转变换。则有下式成立： (1)公式中R为旋转矩阵，它是相机3个独立方向角的函数，可以写为： (2)其中,2、象方空间理想象平面坐标系根据坐标系的定义，容易得出下属变换关系式： (3)3、理想象平面坐标系光学几何畸变坐标由(3)式计算的象点坐标是理想条件下的象平面坐标，实际上光学成象系统总是存在管光学畸变。这种光学畸变包括径向畸变和切向畸变。在通常情况下仅顾及径向畸变。由应用光学知识可知，径向畸变，和视场的三次方成正比，若忽略高次项，有： (4)其中为畸变系数，表示视场畸变系数的确定如下图所示，对于变形的象点在经过畸变改正后为，而应满足共线条件，这就是我们推求畸变系数的集合共线约束条件。图1 畸变系数的确定如果用表示畸变改正后点的象点坐标，用表示图像坐标，则对任意象点坐标可表示为： (5)其中： (6)若在中任选三个点，比如，他们的共线的条件可以写为： (7)则： (8)把式（5）、（6）代入（7）中，即： (9)其中： (10)进一步化简可得关于畸变系数的二次方程，为： (11)则畸变系数为： (12)式(12)表达的求解系数的公式是针对一条直线的情况，若象平面上存在多条直线时，可以采用参数一致性约束的方法，求得的最优解。由式(4)知，在两个方向的分量为： (13)1、问题一的求解：由假设圆的像变形为椭圆，因此我们只需要确定靶标像上各个椭圆的中心即可，而由定理15“定椭圆的内接平行四边形对角线的交点必定在这个椭圆的中心”或定理25 “定椭圆的外切平行四边形对角线的交点必定在这个椭圆的中心”我们可以得到确定靶标上圆的圆心在该相机像平面的像坐标的模型：第一步：在图2上分别做出各个椭圆的内接平行四边形；第二步：根据定理1找到各椭圆的中心，即内接平行四边形对角线的交点；第三步：以图三左下角顶点为坐标原点，图2长宽所在的直线为x,y轴，建立坐标系，找到各中心点的相对坐标；第四步：以该相机的光学中心为坐标原点，x,y平面平行于像平面，考虑像素以及像素单位，还原各中心点的实际坐标。2、问题二的求解：假设摄像机光学中心，摄像机屏幕中心（即光学中心）以及实物图片中心，三心共线（即o,o1,o2三点共线）。摄像机屏幕与摄像机镜头平面平行。物空间坐标系o-x,y,z;像空间坐标系o1-x1,y1,z1，如下图：图2相机照相示意图o o1即是物距，o2 o1即是相距。像图片上各中心点的位置及相对坐标：图3 椭圆中心以及各中心点相对坐标其中，A,B,C,D,E分别是各个靶标的像中心，F表示图片右上角顶点。上述坐标以图片的左下角为坐标原点，现以矩形图片对角线交点为坐标原点得到各点新坐标在上图可见，利用分辨率，得到原本图片靶心的坐标：A1(-50.95,52.87),B1(-23.66,51.57),C1(32.87,46.63),D1(18.17,-31.97),E1(-60.42,-31.79)注：其中, ，其它各点算法类似。其中，、分别表示F点的横坐标、纵坐标。而由假设数码相机的光学中心，数码相机显示屏中心（即光学中心）以及实物图片中心，三心共线，且数码相机显示屏与镜头平面平行，于是靶标像上各椭圆中心点在以该相机的光血中心为坐标原点，x,y平面平行于像平面的三维坐标系下的坐标如下：A2(-50.95,52.87,-417.2),B2(-23.66,51.57,-417.2)C2(32.87,46.63,-417.2)D2(18.17,-31.97,-417.2)E2(-60.42,-31.79,-417.2)，其中，417.2=1577/3.78是数码相机的光学中心与数码相机显示屏中心（即光学中心）的距离。3、问题三的求解：为了检验模型的精度和稳定性，我们用问题二求得的数据进行计算机模拟，实验步骤为:1. 人工构建一个三维模型，并构造两个相机投影矩阵。2. 将三维模型中的空间点通过相机的投影矩阵形成匹配的理想像点坐标。3. 将理想的像点坐标量化处理后得到象素点的坐标。根据该象素点的坐标和相机的投影矩阵进行三维重建。计算三维重建点和理想三维坐标点之间的偏差。用欧拉角表示的旋转矩阵为其中，为三个欧拉角:自转角 ,章动角 ,进动角4、问题四的求解：利用靶标的位置给出两部固定相机相对位置，我们考虑将靶标视为三维空间中的任意一点。若实际中的靶标和题目中所给的类似，是一张图片，则可以将图片视为点图，即图片是由一个一个的点组成的，那就可以利用下述所建立的模型。图4双目视觉定位原理图如图4是双目视觉定位原理图。双目视觉定位的基本原理是利用空间同一点在两相机画面上的视差来计算空间点的三维坐标。采用将双目传感器交向摆放即两光轴不平行,且允许两像面之间存在旋转。假设两个相机对称放置（如图4所示）。设两相机坐标系分别为、，轴与轴相交于, 两坐标系原点间距离为。相应像面坐标系为、。世界坐标系 与重合。轴、轴 与对称轴偏角为。假设两相机的焦距相等 ,为。空间上任意点 在中的坐标为对应像点坐标分别为 、。根据小孔成像原理及坐标变换理论可推得: (13) (14) (15)其中，为两部相机间的距离。将式子上式中（14）（15）中的、的表达式带入（16）式子中，经过变形即可得到的表达式,如下:正直摆放方式的双目视觉传感器只是上述情况的特例,只要令为0 即可得到该情况下的定位公式。六、模型的分析与改进我们考虑过用相机几何成像模型。具体描述见附录。这个模型可以正确标定相机或物体的位置。相机几何成像的过程，实际上就是利用一定的空间投影变换原理，把一个三维空间点，最后变换成为像平面上的2D像点。模型考虑了物方空间到像方空间的平移变换、旋转变换，光学成像系统总是存在光学畸变，以及坐标系之间的比例变换。但考虑到畸变系数确定的准确度，忽略了畸变系数的考虑。只考虑了平移变换、旋转变换、比例变换。如果时间充分的话，可以对这方面进行一定程度的改进，提高模型的精确度。该模型该可以应用到实际生活中。例如跟人系统：只需将问题反过来考虑，不是确定像坐标，而是利用像坐标求物坐标。当然具体操作时还要考虑全局位置估计和关节角度优化等问题。还可以应用于交通监管用来确定汽车的位置。参考文献1 马颂德，张正友，计算机视觉计算理论与算法基础，科学出版社，1998 2 仰颢，基于三维模型的路面车辆定位与跟踪，硕士论文，中科院自动化所，2001 3 曾智洪，不同环境下的实时形状跟踪，博士论文，中科院自动化所，2002 1 4 王洵, 计算机图形学基础.