数码相机定位.doc

数码相机定位盐城工学院 童立里摘要本文用几何的方法建立了相机标定的模型，由于靶标是一个矩形的4个顶点与一条边上的点，利用针孔模型。针孔模型是由投影中心，成像面与光轴组成，那么投影中心与靶标上的矩形构成了一个四棱锥。成像面成了该四棱锥的一个截面，如果我们知道了截面，利用几何中向量的方法，可以推导出四棱锥底面的坐标，于是该相机在世界坐标系中的坐标就出现了，所有的相机内部的参数也可以得出。对于问题1，2，我们还要找出不规则圆的圆心，我们认为如果圆是由一些像素方格组成，那么圆心就是到所有其他像素方格距离之和最小的一个像素方格，这就转化为一个极小值问题。我们求得圆A的像的像坐标系下的坐标为（190，325），其余的见表1。根据四棱锥模型，我们求出图像中心坐标。根据的值，就可以确定相机的坐标系，进而求出A、B、C、D、E在相机坐标系下的坐标以及它们的像的坐标。点ABCDE轴-31.844-30.425-27.11367.09779.241轴-47.798-19.54846.37030.585-55.892轴445.119465.445489.538522.121619.015题目图2中点A,B,C,D,E在照相机坐标的坐标点ABCDE轴-29.191-27.604-23.10653.61353.349轴-43.816-19.21239.51824.439-54.398轴417.196417.196417.196417.196417.196A,B,C,D,E的像点（原题目中图3）在照相机坐标的坐标对于问题3，相机参数的标定可以用经典的透视变换矩阵来做，我们利用该方法求出了相机的外部参数，与四棱锥模型的外部参数进行了比较，发现结果是吻合的。而且，我们知道估计的像在像素坐标系中的坐标是有一定的误差，通过对误差的分析，发现该误差对四棱锥模型是稳定的。对于问题4，两个相机相对位置的标定，我们利用两个四棱锥的几何模型，可以求出在同一个世界坐标体系下两个相机光心的坐标，这样它们的相对位置就确定了。此外，我们利用坐标变换，可以求出两个相机相对位置的坐标转换矩阵。（由于没有第2个相机的数据，我们只是提出了方法）关键词：相机坐标系 透视变换矩阵 小孔模型 四棱锥一、问题重述数码相机定位在交通监管（电子警察）等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部相机来定位。对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。标定的一种做法是：在一块平板上画若干个点， 同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的“点”。实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了。而它们的像一般会变形，如题中图1所示(图1略)，所以必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现。 有人设计靶标如下，取1个边长为100mm的正方形，分别以四个顶点（对应为A、C、D、E）为圆心，12mm为半径作圆。以AC边上距离A点30mm处的B为圆心，12mm为半径作圆，如题中图2所示。(图2略)用一位置固定的数码相机摄得其像，如题中图3所示。(图3略)（1） 建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；（2） 对由图2、图3分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距（即光学中心到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024768；（3） 设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论；（4） 建立用此靶标给出两部固定相机相对位置的数学模型和方法。二、问题分析本问题属于数码相机的标定问题。传统的相机标定是在一定的相机模型下，基于特定的实验条件，如形状、尺寸已知的标定物，经过对其图像的处理，利用一系列数据变换和计算方法，求取相机模型的内部参数和外部参数。然而，由于本问题靶标是一个正方形上的五个点，靶标的像也是同一平面上的五个点，因此我们可以利用针孔模型来处理。针孔模型主要由光心（投影中心）、成像面和光轴组成。在本问题中光心和靶标上的正方形组成了一个四棱锥，而靶标的像即是四棱锥上的一个截面。所以我们可以把成像图理想化为已知四棱锥的底面和截面，求四棱锥的顶点与光轴的问题，这是一个高中的立体几何问题。我们准备在下文中用向量的方法来求。此外，根据经典的相机标定方法，我们还可以用透视变换矩阵的相机标定技术来求，但是这些方法是普遍的方法，对本问题的标靶精确度并不是太高。我们可以用这种方法检验我们的立体几何模型，并且讨论精确度。由于在现实世界中几何上的点的概念是不存在的，我们只能用圆的圆心来代替。而成像面上靶标上的圆，已经变成了不规则圆，本问题要求的其圆心就只能用近似的方法来处理。在实际的相片(图3)中，图的像是1024768个像素所组成的，圆心实际上的就是这些每个独立圆像素区的正中心。我们可以采用聚点的理论，对若干个像素的网格所组成的图，其中，实际上可以看成是与其它网格点距离之和最近的一个网格点，这就变成了一个最短距离的问题。三、模型假设1、假设在计算机视觉研究中，三维空间中物体到像平面的投影关系，即为成像模型，理想的投影成像模型是光学中的中心投影，也称为针孔模型，本文假设题中的照相机成像是针孔模型。2、像素在、方向上的物理尺寸是，即单位长度的像素个数是3.78。3、本文中的长度单位是毫米。4、本文的世界坐标系是取靶标上A点为原点，AC为轴，AE为轴。垂直于平面ACDE的线为轴。（如图1）图 1 世界坐标系四、坐标系及其关系计算机视觉常用坐标系采用右手准则来定义，图1表示了三个不同层次的坐标系统：世界坐标系、照相机坐标系和图像坐标系（图像像素坐标系和图像物理坐标系）。在本文中，我们几何方法算出照相机的位置，也转化成世界坐标系中的点。所以，我们还是介绍一下这些通用的坐标系。1、世界坐标系：也称真实或现实世界坐标系,它是客观世界的绝对坐标。一般的3场景都用这个坐标系来表示。图 2 标定系统的坐标系2、 三个层次的坐标系统（1）世界坐标系（,）：也称真实或现实世界坐标系，或全局坐标系。它是客观世界的绝对坐标，任意定义的三维空间坐标系。一般的3场景都用这个坐标系来表示。（2）照相机坐标系()：以小孔照相机模型的聚焦中心为原点，以照相机光轴为zc 轴建立的三维直角坐标系。， 一般与图像物理坐标系的, 平行，且采取前投影模型。（3）图像坐标系，分为图像像素坐标系和图像物理坐标系两种：图像物理坐标系：其原点为透镜光轴与成像平面的交点，与 轴分别平行于照相机坐标系的 与 轴，是平面直角坐标系，单位为毫米。图像像素坐标系计算机图像（帧存）坐标系：固定在图像上的以像素为单位的平面直角坐标系，其原点位于图像左上角, , 平行于图像物理坐标系的和轴。对于数字图像，分别为行列方向。3、坐标系变换关系定义了上述各种空间坐标系后，就可以建立两两不同坐标变换之间的关系。（1） 世界坐标系与照相机坐标系变换关系世界坐标系中的点到照相机坐标系的变换可由一个正交变换矩阵R 和一个平移变换矩阵T 表示为： 齐次坐标表示为： 其中， 是世界坐标系原点在照相机坐标系中的坐标，矩阵是正交旋转矩阵，其矩阵元素满足正交旋转矩阵实际上只含有3 个独立变量，再加上，和，总工有6 个参数决定了照相机光轴在世界坐标系中空间位置，因此这六个参数称为照相机外部参数。（2） 图像坐标系与照相机坐标系变换关系如图1 所示，照相机坐标系中的物点P 在图像物理坐标系中像点 坐标为 （3）齐次坐标表示为： 将上式的图像坐标系进一步转化为图像坐标系 齐次坐标表示为： 其中， ， 是图像中心（光轴与图像平面的交点）坐标， ，分别为一个像素在 与方向上的物理尺寸， ， ，分别为与方向上的采样频率，即单位长度的像素个数。（在本文中）由此可得物点P 与图像像素坐标系中像点P 的变换关系。 其中，分别定义为X 和Y 方向的等效焦距。， 等4 个参数只与照相机内部结构有关，因此称为照相机内部参数。（3）世界坐标系与图像坐标系变换关系（共线方程）世界坐标系与图像坐标系变换关系： 齐次坐标表示为： 上式就是摄影测量学中最基本的共线方程。说明物点、光心和像点这三点必须在同一条直线上。这是针孔模型或者中心投影的数学表达式。根据共线方程，在照相机内部参数确定的条件下，利用若干个已知的物点和相应的像点坐标，就可以求解出照相机的六个外部参数，即照相机的光心坐标和光轴方位的信息。五、模型的建立与求解5.1确定图3 上各圆心的模型我们假设图2上A，B，C，D，E的像在图3上标记为A,B,C,D,E。我们一看到A,B,C,D,E是不规则的圆，那么如何确定各圆的圆心呢？由于数码相机的图片是由离散的像素组成的，我们建立一个离散的极小值模型来求圆心。依A圆为例，如图3，图3 圆A的像的像素图A圆是由一系列像素为黑的像素点组成（），该集合对应的矩阵指标集合我们记为A。我们知道图3是1024*786像素的图片（题目中把图片缩小成37%）。我们引入一个类似于最小二乘法的思想，如果以像素为单位，A的中心是距集合（）所有其他像素距离之和最小的像素点。第个像素（对应矩阵的指标为）到集合A中其与所有像素距离之和为（单位为像素）那么，我们要求的圆心坐标直接化为如下无约束的极小值问题 图4 标准圆心的距离图 注1：如图4，对图上的四个点A,B,C,D，圆心O到四个点的距离之和很明显小于圆内任意一点P到四个点的距离之和。这从直观上说明了我们用极小距离求圆心的可行性。我们的具体做法是，先用MATLAB把图3转化为像素矩阵，然后根据极小值公式（10），用MATLAB编程，就可以求出A圆心在图像像素坐标系上的坐标。详细程序见附录1。用同样的方法我们可以求出其余的点在图像像素坐标系上的坐标，结果见表1。ABCDE图像像素坐标系的坐标（190，325）（196，418）(213,640)(503,583)(502,285)表1 点A、B、C、D、E像的圆心坐标5.2标定的几何模型（问题1、2的解答）将图像平面与光轴的交点作为原点o并建立三维坐标系，也即平面为图像物理坐标系，再令光轴为轴，方向满足右手方向，为方便计算，单位采用像素（px）。根据Matlab计算得到照片中五个近似圆的中心在图像像素坐标系中的坐标分别为,.我们将这些坐标转化为图像物理坐标系中的坐标，即减去。此时，我们不知道图像中心坐标，因为它是一个相机内部参数，我们不妨把它看做未知数。于是在新的三维坐标系中，我们有等等。即,.延长,并设有平面与这五条射线相交于五点,（见图5）。图5 靶标的四棱锥模型于是,.假设三个未知量，使得，,.因此，三点的坐标为由于，三点即确定了平面，故可求出点的坐标，特别地，根据题目条件可知，是一个边长为的正方形，故.其中故特别的，也可以表示出来注意到平行于，故有 由于是边长为的正方形，故有方程组 我们发现方程有5个方程，5个未知数。我们只要通过解二次方程就可以求出参数，的数值。于是，照相机参数的标定就完成了。我们具体用MATLAB的程序来解这样的方程，程序见附录2。表2是具体的结果。参数数值300.3416490.62301.09091.17341.2515表2 参数的值有了如上参数的值，我们很容易求出A，B，C，D，E，A，B，C，D，E在照相机坐标系，具体的结果见表3、4。点ABCDE轴-31.844-30.425-27.11367.09779.241轴-47.798-19.54846.37030.585-55.892轴445.119465.445489.538522.121619.015表3 题目图2中A,B,C,D,E在照相机坐标的坐标点ABCDE轴-29.191-27.604-23.10653.61353.349轴-43.816-19.21239.51824.439-54.398轴417.196417.196417.196417.196417.196表4 A,B,C,D,E的像点（原题目中图3）在照相机坐标的坐标表3、表4分别是问题2、问题1的答案。此外，我们还求出了，（见表2），是图像中心（光轴与图像平面的交点）坐标，是照相机的内部参数。一般的，对于照相机的外部参数，我们利用前面介绍的坐标系变换关系(1),建立一个如图1的世界坐标系，那么，A，B，C，D，E，A，B，C，D，E在世界坐标系中的坐标可以求出来，利用最小二乘法的二项式回归，我们可以得到照相机外部参数。具体的结果见表5.0.04730.94210.22200.9417-0.15790.29710.34430.3257-0.8806-31.8444-47.7984455.1189表5 相机外部参数值5.3 两部固定相机相对位置标定的模型事实上，5.2节中的单个照相机参数标定模型已经可以求出，在相机1的相机坐标系中，靶标上各个点与靶标的像各个点的坐标。我们不妨设靶标上各个点的坐标为,。如果又在另一个固定位置加入相机2，同样我们可以求出靶标上各个点在相机2的相机坐标系中各个点的坐标, , , , 。见图6。图6 双目标定模型而且，在图6上我们发现，照相机的光心O、O”，第一个照相机的光心O在世界坐标系里的坐标为（31.844，47.798，455.119），如果加入第二个相机，用5.2节中模型的方法，我们也可以求出第二个相机的光心在世界坐标系上的坐标。这样，两个相机的相对位置就可以求出来了。此外，我们还可以利用坐标变换的方法，求出双目标定模型的相机相对位置。见文献1。由两台CCD 摄像机组成的空间三坐标测量传感器的数学模型和相应的各种坐标系如图7 所示。设摄像机1 位于传感器测量坐标系 的原点处且无旋转, 像面坐标系为, 有效焦距为, 像面中心为( , ) ; 摄像机2 坐标系为, 像面坐标系为, 有效焦距为, 像面中心为( , ) , 摄像机模型如前所述。图7双目体视传感器模型 设坐标系与坐标系的空间位置关系为 由式可知，传感器测量坐标系表示的空间点与两照相机像面点之间的对应关系为： （18）于是, 双目视觉传感器三坐标测量模型可用下式表示: （19）只要已知焦距、旋转矩阵和平移矢量，就可以得到被测物体点的三维空间坐标。焦距,旋转矩阵R平移矢量T的确定由式（19）得到 （20）令，因，选择，则有，利用式（19）对每个观测点求得带有比例因子的。（20）式是一个含有13个未知数，的非线性方程，用函数来表示。其中 （21）另外，构成的矩阵R是正交的，具有六个正交约束条件。由此构成如下罚函数： （22）其中为罚因子，从而得到无约束最优目标函数为： （23）最后由牛顿高斯法求得x。由（19）式求出。对于点的空间位置为，对应的像面坐标分别为。空间点的距离表示为： （24）因（19）式求得的带有比例因子，即。则（11）式变为： （25）由式（25）可求得 （26）的符号由坐标选取法决定。至此获得双目标定的所有参数。六、模型的检验与稳定性分析我们首先利用经典矩阵透视的方法，求出在世界坐标系下坐标变换矩阵的参数，将这些参数与表5中的参数作一个比较，借此对模型加以检验。具体的做法如下：根据公式（8），在本文中，公式（8）中的参数，那么公式（8）中有15个参数，而有5个点的坐标代入公式（8），可以得到10个方程，再利用旋转矩阵标准正交性，又可以得到6个方程，因此，我们用16个方程求解15个参数，利用 Matlab的方程求解工具，得到具体的参数结果见表60.04930.96330.23410.8987-0.13540.28990.31220.3198-0.8716-31.9004-47.7674454.0009表6 坐标变换矩阵的参数比较表5、6，我们可以发现这些参数的数值大致吻合，因此我们在5.2节中四棱锥的模型是符合实际的。我们知道，小孔成像原理保证了同一直线的A、B、C像理论上也应该在同一直线上，但是由于我们用圆心代替点，在5.1节的模型中A、B、C的像在图像像素坐标系中的坐标并非在同一直线上，因此存在一定的误差，我们把B的像在图像像素坐标系中做一个修正，新的数据见表7ABCDE图像像素坐标系的坐标（190，325）（197，390）(213,640)(503,583)(502,285)表7 修正后A、B、C、D、E像的圆心坐标下面我们利用表7的数据，代入5.2节中的模型，算出了修正后的坐标变换矩阵的参数，具体数据见表80.04080.95620.20760.9087-0.16540.29090.38020.3102-0.8411-31.9114-47.4564453，9879表8 数据修正后得到的参数从表8可以看出，5.2节的模型是稳定的。参考文献1周富强，邾继贵，杨学友，叶声华，张虎，双目视觉传感器的现场标定技术，仪器仪表学报，21（2）：142-145，2000。附录1：d=zeros(768,1024);for i=floor(50/0.37):ceil(90/