利用仿射变换建立双目定位模型

1、利用仿射变换建立双目定位模型摘要：本文介绍了利用仿射变换理论来建立双目定位的数学模型，以仿射变换为理论基础，综合应用仿射矩阵、坐标变换和matlab编程作图建立两个坐标系之间的关系的数学模型。可以得到物坐标系与像坐标系之间的点坐标的相互转换，利用两台相机拍得同一实物的相片即可实现精确定位。相机照相时发生形状变形，但直线还是直线，符合仿射变换。这里我们采取两种方法来建立模型：方法一建立三个空间坐标系：物坐标系，物原像坐标系和像坐标系，由仿射变换得到物坐标系与物原像坐标系相对应的3*3的矩阵，矩阵可由最小二乘法再进行求导得到表达式，而物原像坐标系与像坐标系可由透镜成像公式得到，即可建立一个确定像平

2、面坐标的数学模型的算法。方法二直接得到物坐标系与像坐标的仿射矩阵变换关系。解决了问题一。再用matalab求得像坐标系中作为特征点的圆心坐标，可以求得模型的3*3的仿射矩阵，解决了问题二中求解物圆心坐标对应的像平面上的坐标。精度是由一个像素点对应的实物坐标系下的大小和算法中通过矩阵范数求得的两部分组成，进行分析比较得到：方法一的误差主要出现在仿射变换中，误差小;而方法二的误差在经过放大的情况下还有仿射变换带来的误差，误差大。所以可以得到方法一的精度与稳定性明显高于方法二。这就解决了问题三中的精度与稳定性的讨论。在这里双目定位是由两部相机对同一实物拍照，得到两个相应的坐标系。将像平面的坐标代入建

3、立的模型可以得到物坐标系中的坐标，这里可以得到两部相机的相对距离，由此问题四得到了解决。同时我们还能根据这两部相机实现定位，达到了双目定位的目的。本文中的模型具有简单，直观的将物坐标定位到像坐标，而且精确度高，误差小的特点。关键词：仿射变换，物坐标系，物原像坐标系，像坐标系，圆心坐标，特征点1.问题的重述当今社会，利用数码相机进行双目定位在交通监管等方面有着广泛的应用。双目定位是指用两台固定在不同位置的相机摄得物体的像，从而获得物体特征点在像平面上的坐标。这里运用仿射变换可以建立对实物坐标与像平面坐标的对应关系，只要知道了两部相机精确的相对位置，就可由几何方法得到特征点在固定的一部相机坐标中的

4、坐标。由此确定两部相机的相对位置就成了双目定位的关键，而这一过程即为系统标定。系统标定的实际做法：取1个边长为100mm的正方形，分别以四个顶点（对应为a、c、d、e）为圆心，12mm为半径作圆。以ac边上距离a点30mm处的b为圆心，12mm为半径作圆。（1） 建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的焦点，x-y平面平行于像平面；（2） 计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距（即透镜中心到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024768；（3） 设计一种方法检验模型，并对方法的精度和

5、稳定性进行讨论；（4） 建立用此靶标给出两部固定相机相对位置的数学模型和方法。2问题分析这里主要研究的是双目定位的问题，即利用两台固定位置的相机拍得实物的像，建立了三个坐标系：物坐标系x，物原像坐标系y和像平面坐标系z，实际的圆在物原像上会发生变形成为椭圆（非标准椭圆）。直线还是直线，这符合仿射变换特征。由仿射变换原理，可以假设存在一个3*3的仿射变换矩阵，将物坐标变换成物原像坐标（或像坐标）。由标定的特征点可以求得一个从物坐标系到物原像（或像）坐标系的仿射变换的3*3的矩阵。再由像距可以得到物原像与像的相似关系，即可得到一个确定像平面坐标的数学模型，可以求得物平面上圆的圆心在像平面上的坐标。

6、而在相机分辨率一定的情况下，可由算法求得像上一个像素对应的物的实际距离就是精度，在本文建立了两种求解方法中进行比较，并对稳定性和误差进行分析。对于求解两部相机的相对位置。可以由另一部相机用同样的方法建立一个数学模型，最后由两个模型的像之间对应的实际距离可以求得两相机的相对位置。3假设与符号3.1假设照相中实物发生变形，但直线变直线，符合仿射变换的条件.所以模型中可以运用仿射变换原理。 可以将各空间xyz坐标系投影到平面xoy坐标系中，z坐标统一取为0。假设模型中相机的参数为：实物到相机的距离d（即拍摄距离）是5m.镜头尺寸取为1/2英寸。3.2符号说明x 表示靶标平面上的坐标,x =(i=15

7、)为圆心；y 表示物原像上的坐标y =（i=15）为圆心；z 表示靶标像平面上的坐标z =（i=15）为圆心；a表示从靶标平面到物镜平面的仿射矩阵；q表示矩阵a的范数；m表示靶标像的中心到焦点的距离；n表示焦点到透镜中心的距离；k表示靶标平面到靶标像平面的仿射矩阵；f为 镜头的焦距长度；v为拍摄对象的纵向尺寸；h为拍摄对象的横向尺寸；d为镜头至拍摄对象之间的距离；v为 镜头纵向尺寸；h为镜头横向尺寸；d为两相机的相对距离；h ,h ,h 为圆心连线的中点。4.模型的建立与求解4.1 问题（1）的模型与算法这里可以由两种方法来建立模型。图1 相机成像原理图图1是反映物坐标系，物原像坐标系，像坐标

8、系之间的关系方法一在原实物图即靶标上建立xx平面坐标系，并且取25个特征点 x=（x,x,0） i=125。（即各圆中心和上下左右距点为特征点）在物镜所成的像上建立yy平面坐标系，取与x轴上的特征点相对应的 25个特征点 y= (y,y,0) i=125。（即各圆中心和上下左右距点为特征点）由仿射变换建立如下对应关系y=ax （1.1）其中矩阵a就是我们建立的仿射变换矩阵。设a=由于我们先是在平面上面讨论变换问题，所以设a a a，故所以 （1.3）令 =|y-ax|= （1.4）（1.4）式是用精度误差较小的最下二乘法来解出矩阵a我们先来求q的最小值minq，其中q=。 首先用q对a求导得并

9、且令。 （1.5）首先对一个分量求导即=0。 （1.6）建立方程组的系数矩阵常数项矩阵变量矩阵 l=可以看到经过求导后展开式中有三个变量在计算过程中消去原因是我们建立模型的时候是在平面坐标系中讨论变换，所以第三维的坐标为0.由于要保证矩阵a满秩可逆，所以我们令 a, a, a。所有特征点对应的式子相加便是能够解出a中未知变量的线性方程组 （1.7）运用matlab中的矩阵命令计算出矩阵 ，的值。即可解得l= (1.8)前面说过，由于第三维的坐标假设是零而且要保证矩阵满秩可逆，所以a矩阵可以写为a= （1.9）由于现在题目没有给出y的坐标值，所以现在在相机所成的像平面上建立一个坐标系z-z来确定

10、y和z的关系。同样在其上确立25个点，z=(z,z,0) ，i=125。我们来找这个坐标系和物镜所称坐标系的对应比例关系。照相机的成像原理可得靶标的像与物原像的比例为m:n即就是z:y=m:n， z:y=m:n，且。可得 y=n*z/m y=n*z/m。 (1.10) 现在可以得到z的坐标值z= i=125，可以求得y=，将计算结果代入（1.8）式l= （1.11）解出4个坐标值，得到矩阵。方法二在方法一中保持坐标系不变，改为z=kx （1.12）同理因为我们是讨论平面上的问题所以第三维坐标为零，且为了保证矩阵可逆，所以置 直接求得物坐标系与像坐标系的关系令w=|z-ax|同样运用最小二乘法求

11、min（w）解出k。对w求导 。得出的25个方程组相加把系数矩阵求逆的到j= 同样的方法求得k矩阵。4.2 问题（2）的解法将靶标的像导入软件matalab中，由程序qiuyuan.m(见附录4.2)得到五个圆的圆心像素坐标,如图2所示。图2 matalab程序求得的圆心坐标图2即将每个圆的范围找出导入qiuyuan.m程序可以得到各个圆心的坐标，在将其转换成1024*768像素坐标。五个圆心分别为z01,z02,z03,z04,z05。由图2得(这里的单位是像素点)z=（142.9091，250.9364） z=(161.5528，94.4878) z=(212.0085，98.4746)

12、z=(320.4818，106.5273) z =(275.1304，254.0000)这里需要将图像左下角标定为坐标原点，得到在1024*768像素下的坐标分别为z=(285.8182,298.1272) z=(323.1056,611.0244) z=(424.0170,603.0472) z=(640.9636,586.9454) z =(550.2608,292.0000)图3特征点圆心o为原点建立坐标系图3即将o点为圆心的坐标系再经过仿射变换建立一个以圆心z即o为原点的坐标系（这里的单位已经化为毫米）z=（0，0，0） z zz z而在靶标坐标系x中对应圆心的特征点为 x x x x

13、 x4.2.1方法一的求解f=v d/v (2.1)f=h d/h (2.2)f: 镜头的焦距长度v：拍摄对象的纵向尺寸h：拍摄对象的横向尺寸d：镜头至拍摄对象之间的距离表1 相机参数表格式v（纵向）h（横向）1英寸9.6mm12.8mm2/3英寸6.6mm8.8mm1/2英寸4.8mm6.4mm1/3英寸3.6mm4.8mm1/4英寸2.7mm3.6mm假设相机的参数3为：实物到相机的距离d（即拍摄距离）是5m.镜头尺寸取为1/2英寸，代入式（2.1）和式（2.2）得焦距f=320mm，像距v=417.196mm。由图1得m/n=(v-f)/f=0.3037代入式(1.11)得a= (2.3

14、)由y=ax得到靶标平面系和物镜所成像的片面系的仿射变换关系由一问知z=即得到对应的数学模型。代入靶标坐标系x中对应圆心的特征点为 x x x x x得到像中对应的圆心坐标为z z zz z4.2.2方法二的求解由方法二，得k=由此确定像平面和实物平面的关系z=kx4.3精度的确定与稳定性讨论4.3.1 精度性讨论在相素为1024*768的相片中，对于精度的分析我们可以认为是由一个相素点，坐标是（1/3.78，1/3.78，0）在像坐标系经过变换z=kx到物坐标系和算法中通过矩阵范数求得的精度两部分组成。仿射变换造成的误差需要用到变换矩阵的向量范数来定量求得。用解法(一)中的数据代入（一）中的

15、式子，解出矩阵a后，计算出g=g=，用一个像素点分析误差取z=令xaz=|x|=0.4274 这就是我们所确定的精度，由单位像素点到原点的距离便是精度4.3.2 稳定性讨论假设相片上测量的误差是 那么通过仿射矩阵计算后在实物上有h=a若|a|比较大，|h|越大则稳定性差，反之则小。若直接用方法二解出仿射变换矩阵k，由于实物图像和相机成的像的大小有一定程度的变化，所以矩阵k在仿射变换的同时带有把坐标放大或者缩小的功效，具体的倍数由矩阵k的范数所决定，|k|很大，能造成坐标测量时带来的小偏差放得很大，例如会带来k或者k附加在kx或者k上，所以造成较高的误差。我们现在认为解法一的可行性更高，因为其误

16、差小和稳定性较好，原因是先是由实物坐标系按照原尺寸的比例大小仿射变换到物镜成像坐标系中，y=ax，这样a的范数基本接近与1，由于自身很小，再由物镜成像坐标系和相机成像坐标系用成像公式建立线性的比例关系，这个比例关系所确定的系数也很小，所以误差基本控制在比例系数c所确定的式c之内，这样便提高了稳定性。4.4确定两相机相对位置的数学模型假设另外一个相机的仿射变换方程是y=bx (4.1) 且对第一部相机有 y=ax (4.2)做变换有 (4.3)x是第一部相机在实物坐标系中的位置，x是第二部相机在实物坐标系中的位置。两相机的相对距离为：d= (4.4)5.模型的检验根据仿射变换具有定比的特性，我们

17、可以在图2和图3选取适当的比例点来检验我们模型的正确性。如图4所示图4取两圆心中点进行检验图4对于模型精确度检验，各两个圆心连线的中点分得线段比例不变符合仿射变换，可以代入检验。我们取点a和点e的中点，点e和点d的中点以及点b和点c的中点并计算出它们的坐标值，同样，在像平面上一样的处同样取三个对应的点，计算出其坐标值。ae=（0,50,0）线段ae的中点；ed=（50,0,0）线段ed的中点 ；bc=（65,100,0）线段bc的中点。对应像平面上的点h=（0,41.68135,0） h=(34.9885,0,0) h=(55.55485,83.3627,0)g=将实物图中的三个中点坐标代入变

18、换z=gx中，求得相对应的三个点的坐标h=(6.4800,39.4500, 0) h=(35.7600,6.2400,0) h=(59.4480,87.0120,0)求平均值计算出误差率p=0.16pp这个就是我们的模型在像平面上产生误差的平均值，由此我们可以计算出模型的精确率是12.7% ，由于是6mm误差左右，而像平面是1024*786分辨率的图，换算后是271*203（mm）的图，这样误差差了两个数量级，所以很小，说明我们的模型基本可以解决这个问题。6. 模型的优化（1）对于变换中我们采用的z坐标为0，可以说是比较优化了，但更好的办法是利用三部相机在不同的方位照相，采用在每一个候选位置，

19、详细地模型拟合以确定位置和尺度。根据稳定性选择关键点通过拟合三维二次函数以精确确定关键点的位置和尺度，同时消除低对比度的关键点和不稳定的边缘响应点以增强匹配稳定性、提高抗噪声能力。（2）对于稳定性，每个关键点周围在选定的尺度下测量局部图像梯度。为了增强匹配的稳健性，对每个关键点使用44共16个种子点来描述，这样对于一个关键点就可以产生128个数据，最终形成128维的sift（尺度不变特征变换）特征向量（注：sift特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定）。（3）对于精度分析，要求大测量范围和较高测量精度的场合，采用基于双摄像

20、机的双目立体视觉系统比较合适；对测量范围要求比较小，对视觉系统体积和质量要求严格，需要高速度实时测量对象，基于光学成像的单摄像机双目立体视觉系统便成为最佳选择。另外基于双摄像机的双目立体视觉系统必须安装在一个稳定的平台上，在进行双目视觉系统标定以及应用该系统进行测量时，要确保摄像机的内参(比如焦距)和两个摄像机相对位置关系不能够发生变化，如果任何一项发生变化，则需要重新对双目立体视觉系统进行标定。为了得到更高的精度，应该使摄像机的焦距以及基线长度增大，同时应该使被测物体尽可能的靠近立体视觉系统。另外这个精度和视差的精度有直接的关系。 7.模型的优缺点71 模型的优点（1）本题采用的两种方法，法一在利用三个坐标系的变换时，物坐标和物原像坐标之间的仿射变换其线形宽度是不变的，只是在角度方面存在变换，并且在物坐标系和像坐标系之间存在光学的相似变换，利用这两方面的线形关系可以做平面