数码相机定位模型.doc

数码相机定位模型摘 要本文依据靶标的像图与原图的点线关系，建立了公切线模型；通过拟合切点连线求交点的方法,得到圆心的坐标。在模型实现上，我们首先对图像数据进行了除噪点、二值化和边缘检测的处理，可以将畸变看成误差，然后将割线在区域内单方向移动，判断其与图像各点的关系，最后得出公切线。我们引入了DLT模型来对问题一的模型进行检验。问题一：在进行有关图像处理和相机标定时，大部分模型都是采用了坐标转换的方法，即由世界坐标、相机坐标向图像坐标转换或逆转换。而在这个问题中，我们发现从原图到像图的变化中，点和线的位置关系（点是否在线上）不变，连接圆上两条平行切线切点的直线必经过圆心，因此我们建立了公切线模型。这个模型是通过做平行于连结圆心的正方形的8条切线，并在靶标图像上寻找与之对应的这8条切线而建立。考虑到畸变对图像的影响，将得到的各个切点，线性拟合，并找出其交点，即是圆心。问题二：我们首先对图像进行了预处理，即除噪点、二值化和边缘检测，然后将5个图形划分在5个不相交的矩形内，在两个矩形内各取一点，连结这两点的直线必是两圆的公割线，再让公割线沿一个方向在靶标点上移动，当不能移动时，公割线即是公切线，同时得到各个切点的坐标。拟合各个切点对应靶标原图正方形的连线，连线的交点就是圆心。最后通过MATLAB编程，可得A,B,C,D,E对应靶标像图各点的坐标分别是：(-186.383,197.253) (-91.250,189.178) (132.353,170.198)(78.000,-118.478) (-224.73,-116.581)(注：单位是像素)问题三：我们采用了基于DLT模型的一种数码相机检验方法，首先将问题二中得到的切点作为已知控制点，然后利用二维DLT变换求解出内外元素初值，再得到像中心的坐标，最后与第二问中得到的像中心坐标对比，发现相对误差都在5%以内，这说明问题一中的模型精度很高。问题四：首先利用传统方法对单个相机的内参数进行标定，然后将靶标当作双目匹配点来用,表示出两相机与匹配点的矩阵转化关系，列出矩阵方程，从而线性地求解“本质矩阵”,最后根据“本质矩阵”的原理找出相机的相对位置。关键词 公切线 畸变 DLT标定 双目标定 本质矩阵一、 问题重述数码相机定位在交通监管（电子警察）等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部相机来定位。对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。标定的一种做法是：在一块平板上画若干个点， 同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的“点”。实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了。而它们的像一般会变形，所以必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现要求解决下列问题：（1） 建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；（2） 对图中分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距（即光学中心到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024768；（3） 设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论；（4） 建立用此靶标给出两部固定相机相对位置的数学模型和方法 。二、问题的分析问题一：建立模型确定靶标的圆的圆心在该相机像平面的像坐标。首先用PHOTOSHOP图像处理软件将靶标的像图读取为数据矩阵，然后求出靶标像的公切线，再通过对畸变因素的分析，进而利用所求的切点的数据求出靶标中心点在像素坐标系中的坐标，最后利用解析几何中的坐标平移，得出靶标的圆心在相机像平面上的坐标。问题二：在已经给定的靶标原像图和靶标的像图的条件下，确定靶标的圆的圆心在该相机像平面的像坐标。将上述问题一的模型在MATLAB中实现，得出靶标的圆心在相机像平面上的坐标。问题三：寻找另一种方法得到圆心坐标，并与之对比得到两种方法的相对精确度。同时代入多个点，分析其稳定性。问题四：题目要求给出两部固定相机相对位置的数学模型和方法。首先建立单个摄像机模型，再建立双目模型，最后通过本质矩阵可以求出两部相机的相对位置。三、模型的假设1. 假设靶标原图在世界坐标X-Y 平面内。2. 假设靶标是精确制造的3. 假设相机是固定的4. 光照等客观条件不变四、模型的建立与求解4.1 凸透镜的成像原理如图一图一 其中u为物距，f为透镜焦距，V为像距，三者满足下列关系: （1）这里uv,由（1）式可取。4.2 靶标的像的公切线模型的建立 4.2.1 图像预处理(1) 用PHOTOSHOP图像处理软件将RGB图像转化为亮度图像；(2) 对图像进行去噪处理；(3) 将图像二值化；(4) 对图像进行边缘检测，做出检测后图像；(5) 建立图像坐标系，如图二。图二4.2.2公切线算法的建立首先用五个尽量小的矩形将五个圆的图像框起来,具体数据见表一。然后设点和点分别为步骤三所求的其中两个图的行和列的平均值. 最后以求两个图形上方的公切线为例来说明求公切线的方法（如图三）：表一：五个矩形边缘的值上（行）下（行）平均（行）左（列）右（列）平均（列）A538620579282365323.5B532612572383464423.5C517593555604677640.5D233298265.5549618583.5E231302266.5246324285图三具体实现求公切线的算法如下：（1）建立通过点和点的直线L1方程（2）利用点与直线位置关系：点(x,y)在直线上方的条件为， f(x)0。在圆周上进行搜索，若(x,y)满足f(x)0，则将直线L1向上移动到经过(x,y)，另一个经过的点不变。一个圆周搜索完毕，则在另一个圆周上搜索。如此一直重复下去。（3）当平移至不满足（2）中的条件时，也就是平移至o1”和o2”时，就会得到直线L2,此直线即为两个图形的公切线。其他各切点，切线均可按该搜索算法得到。求两个图形下方，左方，右方的公切线的方法同上。这样，我们便求出了所有的切点的坐标和公切线，如图四所示。其中H1、H2、H3、H4、H5、H6、H7、H8、H9、H10为公切线；a, a1,a2,a3, a4, a5, a6, a7, a8, a9, b,b1, b2, b3, b4, b5, b6, b7,b8,b9为切点，切点的坐标见表二。表二：靶标像切点的坐标上切点下切点左切点右切点Aa（361,618）a7 (309,538)a3 (284,609)a4 (365,572)Ba1 (433,612)a8 (400,532)Ca2 (670,592)a9 (628,517)a5 (609,588)a6 (677,554)Db2 (618,298)b6 (618,233)b2 (554,297)b3 (618,233)Ea1 (324,302)a7 (324,231)a4 (248,291)a5 (324,231)图四4.3 畸变因素在近轴光线和近轴物的条件下，垂直于主轴的物所成的像仍然是垂直于主轴的，如图五。定义像的横向大小与物的大小之比值为横向放大率，即。OyPSQS1P1O1y1图五 当离轴远近不同的物点成像时，横向放大率不一定相同，这就形成了像差，称为畸变。畸变并不影响成像的清晰程度，只改变像的几何形状。例如物面是垂直于主轴且具有正方形网眼的平面如图六（a），它的像仍是平面的，但成为由曲线组成的网。当物点与主轴间的距离增大时，如果放大率随之增大，则称为枕形畸变如图六（c）；如果随之减小，则称为桶形畸变如图六（c）。图六从图四可以看出，图A、C的切线为直线。如图七，上、下两条直线分别为A、C的上公切线和下公切线,应用点到直线的距离公式：设上公切线直线方程为,B的切点的坐标为a，则点a到上切线的距离d1为：.同理可求d2的长度。通过MATLAB编程，得到d1=0.158319448273571，d2=0.319058614126851。和原图中的A、B、C的公切线比较，可以看出其误差非常小。所以，可以将畸变看成”误差”。 图七4.4 靶标像的中心坐标模型如图四，首先通过MATLAB中的regress命令，对，(b2,b3,b4,b5), (a1,a8),(a2,a9,b1,b7), （a6,a4,a5,a6）,( a,a7,b,b6),分别进行拟合，得出直线K1,K2,K3,K4,K5的方程，方程如下。然后通过MATLAB中的solve命令求出上述直线的交点。也就是A、B、C、D、E五点在像素坐标系中的坐标，见表三。置信区间取0.5，概率值p见下表p0.00950.03370.01470.0019从上表数据可以看出：通过拟合得到的直线方程误差很小，所以得到的靶标像的中心在像素坐标系中的坐标也比较准确。表三：靶标像的中心在像素坐标系中的坐标 (以单位像素为单位)图形ABCDE坐标(325.617,581.253)(420.750,573.178)(644.353,554.198)(590.000,265.522)(287.270,267.419)4.5 平移转换坐标模型（问题1、问题2）将像素坐标系设为oxy,像平面的坐标系设为oxy,如图八。xYXyOo图八为方便称oxy为旧系，oxy为新系，设o在旧系下的坐标为(x0,y0), 由于相机分变率为1024768，所以x0=1024/2,y0=768/2.则可以得到.将4.4中所计算出的坐标带入上式，则可以得到靶标上圆的圆心在该相机像平面的像坐标。也就是A、B、C、D、E五点在像平面的像坐标，见表四。表四：靶标像的中心在像平面坐标系中的坐标(以单位像素为单位)图形ABCDE坐标(-186.383,197.253)(-91.250,189.178)(132.353,170.198)(78.000,-118.478)(-224.73,-116.581) 4.6 DLT模型（问题3） 对数码相机的检校，我们采用的方法是直接线性变换(DLT)模型法，其基本思想是在空间设置足够数量的控制点，事先测定每个控制点的空间坐标位置，用相机对控制点进行拍摄，将像点坐标和空间坐标代入构像方程，就可计算出该相机的内外方位元素。DLT方法最大的优点是解算过程不需要迭代，标定速度快。对一般精度要求来说，DLT方法是一种比较好的标定方法。二维DLT与光束法平差法是首先利用二维DLT变换求解出内外元素初值，然后用摄影测量中常用的光束法进行相机标定，即一步法。二维直接线性变换解法的基本关系式为：式中, 为直接线性变换系数对上式进行适当变换，求解出内外方位元素初值。这里，我们将问题一中求得的切点作为已知控制点，将控制点的世界坐标和像素坐标坐标带入上式中，可以得到，若再将世界坐标中A、C、D、E圆心的坐标带入，可得到相机各参数的数值和像素平面内各圆心的坐标分别如表五、六。表五：相机各参数的数值a1a2a3a4a5a6a7a83.3540.1518497.79750.16632.7749447.66840.0007-0.0006表六：像素平面内各圆心的坐标(以单位像素为单位)图形ACDE新像素坐标(X1,Y1)(331.312,577.957）(638.435,544.880)(587.151,264.931)(294.857,266.620)像素坐标(X2,Y2)(325.617,581.253)(644.353,554.198)(590.000,265.522)(287.270,267.419) 数码相机在x, y方向上像素的大小dX和dY是一样大的，但也存在加工过程的误差造成在x、y方向上像素的大小dX和dY,不一致的现象。如果没有系统误差改正数时，d、和d5,的不等，并不影响像点的正确位置。相对误差 经过计算， A C D E 0.009877 0.013151 0.004517 0.019191 相对误差都小于5%. 同DLT模型得到的结果比较可以看出，问题一的模型的精确度和稳定性还是比较高的经检验，相对误差都在5%以内，这说明方法的精度很高。4.7 确定两个相机相对位置模型（问题4）4.7.1单个相机模型：图九所示的是单个相机的成像模型，其中使用了4个坐标系;1) 世界坐标，即图中的。在世界坐标系中3维空间中的一点可以表示为.2) 相机坐标，即图中的。该坐标系以镜头的光心为原点，光轴为z轴。相机坐标系上的一点可以可以表示为。3) 相机成像平面坐标，即图中的.这是基于成像平面建立的2维坐标系，成像平面与光轴垂直，与光心的距离为相机的焦距f.4) 计算机图像坐标系。这是以像素为单位长度的一个坐标系，图像上的某一点记为。图九找出3维世界坐标的点与2维图像坐标的点的对应关系，就是单个相机标定所要解决的问题。其对应关系可以分为4个步骤。1.世界坐标到相机坐标的变换。由于两个坐标系都是3维直角坐标系，变换的形式满足, （1）其中，是一个的矩阵，反映旋转关系，是一个的矩阵形式，反映平移关系。2.相机坐标到成像平面坐标的变换。利用针孔模型可以将3维的相机坐标变换为理想的（不考虑畸变的）图像坐标，其转换关系为 （2）其中f是相机的等效焦距。.3. 真实的图像坐标到计算机图像坐标转换。其转换关系为 (4)其中是主点在计算机图像坐标系中的坐标，反映了两个坐标系转换时横、纵坐标分别满足的线性关系。以上都是单个相机标定所要求解的参数。其中称为外部参数，反映的是相机的空间位置，称为内部参数。4.7.2双目模型 在双目相机系统中, 每个相机都分别符合4.7.1 所描述的成像模型。而通过单个相机模型，可以分别知道左、右相机的图像点与3 维世界坐标的点的对应关系。即，的对应关系已分别知道。而双目标定所需要解决的问题是两个相机坐标系之间的对应关系，即与之间转换关系。而由于它们分别属于 3 维直角坐标系, 因此它们之间的转换包含有旋转以及平移的关系, 形如 其中, 旋转矩阵 R以及平移向量T 就是双目定标所要求解的内容4.7.3本质矩阵的基本原理4.7.3-1符号说明1. 对左相机成像平面的2维坐标，对应与相机坐标系的点，将其改写为其次向量的形式；同理，对右相机2. 把3 维的世界坐标亦记作齐次向量的形式3. 依照式 (1)、（2） , 世界坐标到成像平面的2维坐标的变换都是线性的, 因此可以把左右相机的针孔成像过程写成以下的矩阵形式:，其中，都是矩阵；4. 为下面讨论方便起见, 把看作是一个方阵与一个向量的组合, 即和，其中是的方阵，是的向量；5. 运算符号：向量，定义运算定义表示两个矩阵只相差一个比例因子，即，k为实数不难看出，这样定义的符号“”满足交换性和传递性。4.7.3-3利用本质矩阵标定双目相机 上一节的定理反映了一个事实:两台相机的相对位置关系与本质矩阵几乎是等价的。即给定了两台相机的相对位置关系R和T，就给定了系统的本质矩阵Q；反之，给定了本质矩阵Q，两台相机的旋转平移关系 R和T也几乎确定了, 最多相差一个比例常数因子。“几乎”的意思。就R和T 的确定还需要标定一个比例因子k 。这里给出一个方便的通过Q求解 R和T的方法, 即先把 Q 进行特征值分解（SVD），得,根据4.7.3-2定理一，得到，,其中，,而t是把平移矩阵T的3个元素看成向量。 如此, 我们确定了旋转和平移关系的基本形式 R , T 。而R, T 与 R , T 相差一个比例因子k ,即R=kR,T=kT, 可以借助世界坐标中已知距离的两个点和4.7.4标定过程 标定的具体步骤如下：1.利用传统的方法分别对左右两台相机的内参数进行标定。控制点通过靶标图案提取，该图案沿平行于光轴方向多次放置 ,精确记录下各次放置的位置。2.把已完成单目标定的两台相机安装到实际系统中,固定。3.分别在左右像中确立匹配像素对 ,列出方程。4.根据