数码相机双目定位模型

1、数码相机双目定位模型摘要本文主要运用小孔成像原理和坐标的转换关系，在此基础上建立了三个坐标系：物平面坐标系、空间三维坐标系和像平面坐标系。通过坐标系将物体的特征点与照片中的像素联系起来，在已知多对对应点的前提下，运用数学软件编程运算求解结果，对数码相机双目定位问题建立数学模型，进行研究分析和改进。问题一中，首先建立了物平面坐标与像平面坐标之间的转换关系，利用一个特殊的空间三维坐标系便可实现。根据小孔成像过程中曲线交点的像就是曲线像的交点、切点的像就是像的切点等性质，画出靶标的外围公切线，求出公切点的物平面坐标。结合空问几何知识和像素的网格式结构，用Matlab软件分析图像，通过高次抛物拟合以及

2、迭代求出各圆像椭圆的公切线方程和公切点的像平面坐标。将公切点的物平面坐标X,Y和像平面坐标u,v代入坐标转换公式u,vaXdYm,bXeY-，求出cXfYppcXfYpp参数，即可确定靶标上圆的圆心在该相机像平面的像坐标。问题二中，通过模型一的建立，根据靶标设计时的数据，将各圆圆心的物平面坐标求出，代入坐标转换公式，即可求得靶标上圆的圆心在像平面上的像坐标。分别为：圆心ABCDE像平面坐标（，）（，）（，）（，）（，）问题三中，在模型的检验模型中，本文分别讨论了以上模型的精度和稳定性。在精度检验中，我们将公式求出的圆心像平面坐标系与图中直接找出的坐标进行比较分析误差。经过检验，二者之间的平均偏

3、差在较小的范围内，说明以上模型的精度很高。在稳定性检验中，借鉴函数的连续性的原理，运用、语言的思想来实现，即首先在靶标的任意一个圆内取一个点，再找到另一个与所取点的距离非常近的点，通过数学模型分别算出这两个点在像平面上的像坐标，检验其像坐标的距离是否也非常近，如果距离也很近那么说明模型具有很好的稳定性。通过对检验结果的讨论，体现了检验方法精度较高，稳定性较好。问题四中，根据题目的标定方法的提示：同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点与物平面坐标的几何转换关系就可以得到这两部相机的相对位置。本文建立两个相机的构图，分别通过数学模型求出靶标在像平面坐标系中的具体位

4、置，由此就可以分析出相机的相对位置。关键词：双目定位、小孔成像、坐标系转换、公切线、拟合迭代一、问题重述数码相机定位在交通监管（电子警察）等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部固定于不同位置的相机，对物体上一个特征点摄像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。双目定位的关键是如何精确地确定两部相机的相对位置，即系统标定。标定的一种实际做法是：在一块平板上画若干个圆（成为靶标），圆心即所要用到

5、的特征点，而它们的像一般会变形。同时用两部相机对其照相，分别得到靶标在像平面上的像，从中把圆心的像精确地找到，利用这两组像点的几何关系就可实现标定。现有靶标设计如下，取1个边长为100mm的正方形，分别以四个顶点（对应为A、C、D、E）为圆心，12mm为半径作圆。以AC边上距离A点30mmM白B为圆心，12mm为半径作圆，如图1所示。用一位置固定的数码相机摄得其像，如图2所示。图1靶标示意图II图2靶标的像利用以上数据与信息建立数学模型解决以下问题：(1)建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标，这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；(2)对由图2、图

6、3分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标，该相机的像距(即光学中心到像平面的距离)是1577个像素单位(1毫米约为个像素单位)，相机分辨率为1024X768;(3)设计一种方法检验模型，并对方法的精度和稳定性进行讨论；(4)建立用此靶标给出两部固定相机相对位置的数学模型和方法。二、问题分析问题一，由于正方形的大小以及各个圆圆心的位置与半径已知，则五个圆圆心在物平面的坐标能够很容易表示出。由题可知，光心坐标系原点取在该相机的光学中心，x-y平面平行于像平面，据此我们将像平面坐标系原点取在所摄像的中心，U轴、V轴分别与像的两垂线平行。模型的关键在于如何利用已知的物平面坐标表示出

7、各圆圆心的像平面坐标。由于照相机的成像过程是一个从3维空间到2维空间的退化的射影变换1,如下图所示：图1照相机成像简单过程为了便于表示，现假设一个虚拟的空间三维坐标系，其x-y平面与像平面坐标系的u-v平面平行，作为物平面坐标与像平面坐标之间进行转换的桥梁。坐标转化过程如下：空间三维平面坐标Xr-yZ物平面坐标UrV由小孔成像过程中直线的像仍是直线、切点的像就是像的切点等基本原理可知，转换过程中出现的方位参数可以利用切点的特殊性来求出。已经知道该相机的像距是1577个像素单位，相机分辨率为1024X768,利用网格式平行线标定方法计算出且点的像平面坐标，代入坐标转换公式便可求出参数。问题二，对

8、题目所给的标靶示意图和标靶的像，计算标靶上圆的圆心在物平面上的坐标，代入模型一，得出该标靶上圆的圆心在像平面上的像坐标。问题三，在如何检验模型的问题上，需要分两方面进行检验，一是精度，二是稳定性。按照以上的方法求出圆心在像平面上的坐标，并没有充分利用像平面上所有点的信息，因此可以利用这些点来检验模型的精度，即将利用模型求出的圆心像平面坐标与根据像素坐标得到的圆心的像坐标进行比对，模型的精度根据误差的大小来决定。对于稳定性问题，可以采用计算机模拟的方法，随机修改图形的轮廓，并用以上的方法再次进行求解，通过比较修改前后的结果来分析模型的稳定性。问题四，通过前三问的讨论，将建模型进行扩展，在同一个世

9、界坐标系中引入第二部相机，用相同方法对其所拍照片进行处理，根据模型一中的方法确定相机二像平面坐标与物平面坐标之间的转换，利用公切点的性质同时确定两部相机自身所需的方位参数，对特征点在两个不同的像平面坐标系下的坐标的比较之后，达到对两部相机的同时定位的目的。三、基本假设和符号说明基本假设1 .假设两个相机为相同的以小孔成像为原理的普通相机；2 .假设相机拍摄时未受到自然因素的影响，如天气、光的干涉；3 .假设拍摄过程相机和靶标未产生相对运动；4 .不考虑相机本身光学元件的畸变产生的影响；5 .假设图像中经纬方向的像素间距大小一样；6 .假设光线垂直摄入相机的光学中心，出射光刚好射在图像的中心上;

10、符号说明X,Y物平向坐标系下的某一个点的坐标；x,y,z空间三维坐标系下的某一个点的坐标；u,v相机一像平间坐标系下的某一个点的坐标；u',v'相机二像平间坐标系下的某一个点的坐标四、模型一的建立与求解基本原理1.数码相机摄像利用了透镜成像原理，即±±1fmn如上图，这里的f图2透镜成像原理图OB为透镜焦距，mOC为像距，nAO为物距。通常情况下，nf,此时有mf,即可以把相机成像近似看成小孔成像23O2.小孔成像的性质1:两条直线的交点的像就是这两条直线像的交点。证明:图3直线交点的像就是像的交点如图3所示，在平面上，直线AB与直线CD相交于点E,通过针孔

11、O成像，得到在平面上AB的像A1B1,CD的像C1D1,则平面ABA1B1与平面CDC1D1交与直线OE。又平面ABABi与平面交与直线ABi,平面CDCiDi与平面交与直线GDi,则直线AB与直线CiDi的交点为直线OE和平面的交点。设点E在平面的像为Ei,则Ei同时在直线OE和平面上。即ABi与直线C1D1的交点为直线AB与直线CD交点E的像E1。3 .小孔成像性质2:圆经小孔成像后在与物平面不平行的像平面所得像为椭圆。证明：平面上的圆Oi的小孔成像图如图4。平面与平面平行，由小孔成像原理知，圆Oi的像仍然是圆，如图中圆O2,圆在平面与平面之间的无数个平行面上的像即构成一个圆锥。圆Oi在与

12、平面不平行的平面上的像，可以看成是用平面去截由平行面上的像构成的圆锥。由圆锥曲线的定义可知，所截出的图形是椭圆。且由图中可明显看出，椭圆S的中心不是圆O1的像。图4圆经小孔成像在不平行面得到的像为椭圆4 .小孔成像的性质3:圆的某条切线的像，仍是该圆像椭圆的切线，且切点就是该圆像椭圆的切点。证明：由上面的性质1可推知，任意两条曲线的交点的像就是其像的交点。由于圆的切线与圆只有一个交点即切点，则切线的像与圆的像至少也有一个交点。若切线的像不再是椭圆的切线，那么假设有两个交点。根据光路可逆原理，另一个交点也必然是原像上两曲线的交点，即有两个切点。产生矛盾，假设不成立，证明像上只有一个切点，得证。坐

13、标系的构建由于拍照过程实际上是光学成像过程，可按照成像光线走向及坐标转换建立三个坐标系：物平面坐标系、空间三维坐标系、像平面坐标系。物平面坐标系是以正方形中心为原点0,以平行于直线ED直线EA的方向分别为X轴和Y轴建立的坐标系；空间三维坐标系是在空间中建立的一个三维坐标系，作为物平面坐标系和像平面坐标系之间相互转化的桥梁，其坐标原点设为Q,坐标轴分别为x轴、y轴、z轴，其中x-y平面平行于像平面；像平面坐标系坐标原点0在相机的光学中心，U轴、V轴分别平行于图像平面的两条垂直边；坐标系之间的转换设物平面坐标系上一点MX,Y,取其X、Y轴上的两个单位基向量（1,0）和（0,1）,则该点坐标可表示为

14、X,YX1,0Y0,1o为了方便的将物平面上点的坐标转化到空间三维坐标系中，首先将单位基向量进行转换。现假设有以下转换关系：1,0a,b,c0,1d,e,f其中（a,b,c）和（d,e,f）均为三维坐标系中的向量。则有X,YXa,b,cYd,e,faXdY,bXeY,cXfY即点M在空间三维坐标系中的坐标为aXdY,bXeY,cXfY。由于空间三维坐标系的x-y平面平行于像平面，则像平面坐标系的原点O可以用三维坐标来表示，设为（m,n,p）。则空间三维空间中的点（x,y,z）转换为像平面坐标（u,v）的关系如下：依此可以才t出，点M在像平面坐标系下转换后的坐标为:aXdYu,vcXfYpmbX

15、eYnp,cXfYpp(D参数的求解与模型一的建立由于物平面与像平面不平行,拍摄后的像较原图会发生畸变根据小孔成像性质3知，圆的切点的像就是像椭圆的切点。首先作出靶标中五个圆的周边公切线，得到九个公切点，如下图所示:图5物平面坐标系下五圆外围公切线图yY/mmX/mmM5公切点M至M的物平面坐标由题中所给数据均可得出，如下:切点坐标(-50,62)(-20,62)(50,62)(62,50)(62,-50)切点MMMM坐标(50,-62)(-50,-62)(-62,-50)(-62,50)由于切点的像就是像的切点，则公切点M至M的像也就是像中椭圆的九个切点M'至M',如下图所示

16、:图6像平面坐标系下五圆外围切线图根据像素的定义：用来计算数码影像的一种单位，如同摄影的相片一样，数码影像也具有连续性的浓淡阶调，若把影像放大数倍，会发现这些连续色调其实是由许多色彩相近的小方点所组成，这些小方点就是构成影像的最小单位“像素”。可知像素坐标系具有网格性，对此利用MTLA敢件阿5进行高次抛物拟合进而利用迭代求出切线方程并找到切点的像素坐标（程序见附录1）。其像素坐标如下：切点MMMMM坐标(149,328)(157,426)(176,649)(224,673)(494,617)切点MMMM坐标（535,576）（537,282）（502,246）（184,282）由于该相机的像距

17、（即光学中心到像平面的距离）是1577个像素单位（1毫米约为个像素单位），相机分辨率为1024X768,可以据此将切点的像素坐标转化为像平面坐标。转换后像切点的像平面坐标如下表所示：像切点M，M，M，M，M，坐标(,)(,)(,)(,)(,)像切点M，M，M，M，坐标(,)(,)(,)(,)工1u,vaXdYcXfYp把这九个切点的物平面坐标与像平面坐标分别代入转换后的像平面的坐标转换公m,bXeY-中去，通过对九个方程进行非线性拟合、pcXfYpp迭代，可将公式中的九个参数的近似值求出，其拟合残差平方和为，近似认为既是参数的精确值（程序见附录2）。求得参数分别为：a88.7,b2.7,c0.

18、1,d11.6,e91.2,f0.1,m1373.2,n741.3,p112.8。综合以上，建立模型一实现物坐标系与像坐标系之间的转换，公式如下:(2)88.7X11.6Y1373.22.7X91.2Y1373.2u,v,0.1X0.1Y112.8112.80.1X0.1Y112.8112.8问题二的求解题目所给靶标设计如下:取1个边长为100mm勺正方形，分别以四个顶点（对应为A、GDE）为圆心，12mW半径作圆。以AC边上距离A点30mnft的B为圆心，12mm%半径作圆。通过简单的几何计算可以得知五个圆圆心的物平面坐标分别为（用A、B、C、DE来代表圆心）：A50,50,B20,50,C

19、50,50,D50,50,E50,50,代入模型一中，计算后得到这五个圆的圆心在像平面坐标系下的像平面坐标分别为：圆心ABCDE像平面坐标五、模型的检验和结果分析模型精度检验5.1.1 误差产生原因的分析1 .镜头畸变误差以上根据坐标系变换建立的模型，并没有考虑图形产生的畸变。实际相机拍的照都是有畸变的，这些畸变的产生一部分是由于透镜成像的原因，另一部分是由于空气等的折射因素，此外还有极其复杂的其他原因。以上模型建立在没有畸变的基础上，难免会对精度产生影响。2 .图形连续性被离散化误差被拍摄的物体一般是连续的，然而物体拍摄到数码相机后，原来连续的点被离散化，会丢失很多图像边缘的信息。在以上模型

20、中，求解切线就严重依赖于图像的边缘。而这些图像边缘丢失的信息会影响切线的形状，进而影响求得的靶标的相随位置以及最后求得的圆心。3 .求解误差求解误差与上述误差不同之处在于来自模型本身当中。比如我们以上的模型是建立在“假设两个相机为相同的以小孔成像为原理的普通相机”等一系列假设条件之上的，这些假设不一定符合事实。在大多数情况下，这些假设总是近似符合事实的（否则模型就会出现不符合实际的错误，而不是误差），这里的“近似”符合事实也会产生误差。5.1.2 检验算法及求解在模型假设的前提下，镜头畸变误差、图形连续性被离散化误差可以忽略，这里模型的精度主要由模型本身的求解误差来决定。STEP1将A、C、D

21、E四个圆圆心的物平面坐标代入模型一中的公式，直接求出的其像平面坐标；STEP2通过像素坐标系找到AC、DE这四个圆圆心的像素坐标，利用像素坐标里的网格特征求出其像平面坐标；STEP3又tSTEP和STEP分别求出的四圆圆心的像平面坐标进行比较，分析误差；结果如下表所示：圆心公式法所求坐标像素法所求坐标AC(,)(,)D(,)(,)E(,)(,)经上述分析，误差范围在5%：内，说明公式所求出的坐标与根据实际图像中的像素找出的坐标基本一致，故而模型较为精确。模型的稳定性分析由于种种原因，像上的点很多情况下是难以确定的，而这些难以确定的点常常会影响模型求解的结果。一个好的模型不仅要精确，而且要能够在

22、图形出现些微变化时，模型的结果变化不大，即要求模型的稳定性要好。根据函数连续性原理，给定相机的位置和拍摄方向，取靶标中任意两点，设为Xi,Yi,X2,Y2,使其距离较近，则理论上像的距离d也比较接近。用数学的语言表示即对0,0使得当，XiX22YiY22时，d。通过假设相机的坐标和拍摄角度，给定靶标上相近两点坐标，求解像点坐标这里定义差异度为:物平面点距离像平面点距离物平面点距离100%经过多次对物平面坐标与像平面坐标重新赋值，得到多组数据比较发现符合连续性原理，即物像坐标差异度基本恒定，说明模型比较稳定六、模型的修正建立双目定位模型的分析要用此靶标给出两部固定相机相对位置，即完成两部相机的标

23、定，必须将两部相机放到同一个世界坐标系下处理。以靶标为准建立一个物平面坐标系，用两部相机分别对靶标拍照，用模型一的处理方式，能够确定出物象的特征点在空间三维坐标系下的坐标，利用模型一中坐标之间转换的方法，即公式（1）,能够得到两组不同的切点的像平面坐标，从而确定两个不同的坐标转换公式，反过来求出每一个相机的光心在物平面坐标系中的坐标，从而确定出两个相机的相对位置，两相机标定的示意图如下：m相机一相机二双目定位模型的建立假设模型一中的相机为相机一，对应的有像平面坐标系一，则双目定位模型即在模型一的基础上添加相机二的像平面坐标系二，与相机一得像平面坐标系类似，原点O'在相机二的光学中心，其

24、U'轴、V'轴分别平行于图像平面的两条垂直边，像平面与空间三维坐标系的x-y平面平行。设像平面二中的原点在空间三维坐标系下的坐标为m',n',p',根据模型一中的坐标转化公式(x,y,z)在像平面二坐标系下的坐标为：xmuzpp可知，空间三维空间中的点ynv-zpp,xmu'zp'p,yn'v'zp'p'类似的，点M转换成像平面坐标系二下的坐标为:(3),aXdYm'bXeYn'u,v,cXfYp'p'cXfYp'p'利用模型一中求参数的方法可类似求出式(3)

25、中的未知数m'、n'、p'o因此，双目定位模型如下：aXdYmbXeYnu,v-,-cXfYppcXfYpp,aXdYm'bXeYn'u,v,cXfYp'p'cXfYp'p'要确定两部固定相机相对位置，只需对两个像平面坐标原点进行比对，可知相机二相对于相机一的坐标为m'm,n'n,p'p,即实现对两部相机定位七、模型的评价模型的有点1、运用几何图像对靶标的像进行分析，简单易懂；2、通过利用数学工具和MATL编程的方法，严格地对模型求解，具有科学性，且可信度较高。3、采用已经成熟的数学理论建立模型，能

26、与实际紧密联系，结合实际情况对所提出的问题进行求解，使模型更贴近实际，通用性、推广性较强。4、模型经过修正，综合考虑到了题中已知的各种资料，能够比较准确实现数码相机的定位。模型的缺点1）本文以小孔成像为基本原理，而相机实际原理是透镜成像，远离图像中心处，镜头畸变相对较大，从而会产生一定误差；2）在建立模型过程中，理想化了许多因素，具有一定的局限性，得到的预测数据可能与实际有一定的出入。八、模型的改进和推广模型的改进对于模型一得建立还是有着一些不足，有些条件过于硬性的赋予，同时考查数码相机的实际情况比较小，不能很充分的、完整的将数码相机最优定位作用发挥最大。止匕外,在双目定位的策略上存在一些单一

27、，可能会导致误差的增大。镜头径向畸变是镜头产生误差因素之一，相机畸变误差是由于相机本身性质造、成的误差。一般采用建立检验场法来改正，：立一个有足够多已知点的检验场，相机摄影该检验场的影像，过软件，算摄影坐标与已知点之间的误差进行改正。本文的模型中没有考虑到镜头畸变系数，这点是需要改进的。模型的推广目前数码相机定位在交通监管等方面有广泛的应用，在相机进行拍照时，只有当相机的光学中心与焦点所构成的直线与靶标的平面垂直时所产生的像才不会发生变形。然而在实际的交通状况中是几乎不可能满足这个条件的，即在实际的交通中所拍下的照片一定都会有一定的变形。通过本文所建立的模型，可以结合变形的照片与固定相机的位置

28、的信息，还原出真实的不扭曲的实物图片信息。止匕外，该模型除了能应用到交通监管的数码相机定位中外，还能够用于电子警察、防火防盗等等方面，同时应用该模型可以更准确的计算和分析出光学中心平面的倾斜程度和以及误差，该模型对我国的安保方面工作的准确性有了进一步的提升。参考文献：1吴毅红视觉基础介绍2010年8月26日2吴斌等，基于三维测量模型的立体视觉传感器的现场标定技术，光电子？激光，第14卷第8期，2003年8月；3李琳、王忠义，基于共面靶标双目立体视觉传感器标定，传感器世界，2007年05期；4谭千蓉等，数学实验与数学模型，成都：西南交通大学出版社，2009年；5胡晓东、董辰辉，MATLAB入门到

29、精选，北京：人民邮电出版社，2010年；附录：附录1:取边界算法temp_i=0;logic_image1=logic_image=2;logic_image2=logic_image=2;forj=1:1024;fori=1:768;if(logic_image(i,j)if(temp_i=0)temp_i=1;elseif(logic_image(i+1,j)logic_image1(i,j)=1;elsetemp_i=0;endendendendtemp_i=0;endtemp_i=0;fori=1:768;forj=1:1024;if(logic_image(i,j)if(temp_i

30、=0)temp_i=1;elseif(logic_image(i,j+1)logic_image2(i,j)=1;elsetemp_i=0;endendendendtemp_i=0;endlogic_image3=logic_image.*(logic_image1.*logic_image2);求切线算法Ya=Y1;Yb=Y4;xa1=170;xa2=210;xb1=470;xb2=530;ya1=270;ya2=290;yb1=240;yb2=260;%a图截取x=Ya(:,1)>=xa1&Ya(:,1)<=xa2;y=Ya(:,2)>=ya1&Ya(:,

31、2)<=ya2;Yap=Ya(x&yx&y);Yap=Yap(1:sum(x&y)Yap(sum(x&y)+1:2*sum(x&y);%b图截取x=Yb(:,1)>=xb1&Yb(:,1)<=xb2;y=Yb(:,2)>=yb1&Yb(:,2)<=yb2;Ybp=Yb(x&yx&y);Ybp=Ybp(1:sum(x&y)Ybp(sum(x&y)+1:2*sum(x&y);%多项式拟合Polya=polyfit(Yap(:,1),Yap(:,2),6);Polyad=po

32、lyder(Polya);Yap=Yappolyval(Polyad,Yap(:,1);Polyb=polyfit(Ybp(:,1),Ybp(:,2),6);Polybd=polyder(Polyb);Ybp=Ybppolyval(Polybd,Ybp(:,1);%搜索切点min=inf;fori=1:size(Yap(:,1);forj=1:size(Ybp(:,1);pian=abs(Yap(i,2)-Ybp(j,2)/(Yap(i,1)-Ybp(j,1)-Yap(i,3)+abs(Yap(i,2)-Ybp(j,2)/(Yap(i,1)-Ybp(j.1)-Ybp(j.3);if(pian<min)min=pian;Qiea=Yap(i,1)Yap(i,2);Qieb=Ybp(j,1)Ybp(j,2);endendend计算圆心P1=polyfit(Qiea(2)Qieb(2),Qiea(1)Qieb(1),1);P2=polyfit(Qiec(2)Qied(2),Qiec(1)Qied(1),1);P1(2)=Qiec(1)-P1(1)*Qiec(2