数字相机的定位问题.doc

数码相机定位摘要 本文主要是针对用双目定位法，关于实物的世界坐标、像平面坐标及照相机坐标三者的关系，主要用在交通监管等方面，对社会管理起到了非常重要的作用，有利于维持社会稳定对于问题(1)，在合理的假设基础上，利用小孔成像原理分析通过某一点光线的光路图，构造出相似三角形，得出相应线段的比例关系，从而得到任意点的像坐标的求解公式(1)和(2)，以此建立数学模型对于问题(2)，由于数码照相机固定不动，通过观察图2与图3知道，不管靶标怎么平移或旋转，都要使得只有圆A到数码照相机的镜头的距离比圆D到数码照相机的距离近才能照出与图3形状逼近的相片，再分别求出因靶标平移或旋转所得到的圆心的新坐标，再将新坐标及已知条件中的像距代入公式(1)和(2)中即可得到靶标上各圆心的像坐标对问题(3)，我们用照相机单机三维测量的快速定标原理，根据已知条件得到照相机的内参数04074， 05432而外参数可先通过取定靶图中某些基点，照相机获取的图像传入计算机，采用程序提取靶图基点在位图上像素坐标值，用最小二乘法取出透视投影矩阵元后，在根据计算出的投影矩阵，用以求得的像素平均值（即在用像素单位表示像平面上的点的坐标）和(8)式反求其在世界坐标系的坐标（计算值），再于实际值进行比较，分析它们的误差，得到，的值都很小该方法只须保持照相机镜头与平面模版垂直，保证共Z轴，而且在本题中原点取在该相机的光中心，大大减少了投影矩阵的未知矩阵元，简化了算法问题(4)的求解中，我们运用了简单可行的双目照相机标定神经网络法，因为要求两相机的相对位置，故把它作为BP神经网络输出结果，把与其对应的2个图像坐标和物点的世界坐标作为输入结果为了避免较大的误差，我们对靶标上多个点进行神经网络分析，最后求其平均值差作为两相机的相对位置本文中还运用matlab软件等方法对图形进行了处理，通过方差对数据进行了分析，最后讨论了模型的优缺点及改进方向关键词：小孔成像；三维测量的快速定标；投影矩阵；神经网络分析1问题的重述数码相机定位在交通监管（电子警察）等方面有广泛的应用所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置最常用的定位方法是双目定位，即用两部相机来定位对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定标定的一种做法是：在一块平板上画若干个点， 同时用这两部相机照相， 分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的“点” 实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了而它们的像一般会变形，如图1所示，所以必须从靶标的这些圆的像中把圆心的像精确地找到，标定就可实现 有人设计靶标如下，取1个边长为100mm的正方形，分别以四个顶点（对应为A、C、D、E）为圆心，12mm为半径作圆。以AC边上距离A点30mm处的B为圆心，12mm为半径作圆，如图2所示 图 1 靶标上圆的像图 2 靶标示意图用一位置固定的数码相机摄得其像，如图3所示。图3 靶标的像问题为：(1)建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；(2)对由图2、图3分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距（即光学中心到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024768；(3)设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论；(4)建立用此靶标给出两部固定相机相对位置的数学模型和方法2模型的假设与符号说明21模型的假设(1) 假设照相机的镜头与靶图平面保持垂直，由已知照相机的位置是固定的，把问题简单化(2) 设照相机平面的c点到世界坐标系的原点o距离为单位1(3) 镜头与靶图之间的距离为1(4) 假设数码相机的镜片由一块凸透镜组成22符号说明(1) u 表示以像素为单位的点i在像平面的横坐标值（i=A,B,C,D,E）；(2) v 表示以像素为单位的点i在像平面的纵坐标值；(3) k 表示物理像平面上每个像素（即照相机的分辨率）的长；(4) l 表示物理像平面上每个像素的宽；(5) K 表示相机的内参数矩阵；(6) P 为p点在世界坐标系中的齐次坐标；(7) R 表示相机的旋转矩阵；(8) t 表示相机的平移矢量；(9) M 表示相机的透视投影矩阵；(10) 表示矩阵的直积；(11) 表示该相机的像距；(12) ( X,Y,Z) i=0时表示圆心的原坐标； i=2时表示圆心的新坐标； i=3时表示圆心的像坐标；3问题的分析 由于照相机的非线性畸变以及照相机的景深等复杂问题，要通过光学路径来求出三维坐标中某一点在像平面上具体的像坐标是很难得到的，所以在误差允许范围内可以采用针孔模型来来描述相机成像模型，世界坐标、像坐标也可以特殊化减少计算机的复杂转换，以简化模型空间中的一个圆从不同视角在像平面产生的像的形状不同，但可以通过针孔模型的几何关系算出它的平面图形对于求模型的精度的测量，通过实际测量摄取特征点真实的像坐标，在把实际的物坐标代入算出其像坐标，实际的像坐标代入模型算物 坐标不仅可以检验模型的精度，还可以以此来修正模型的参数，提高模型的精度最后，由于不同位置的照相机拍摄同以物体的在像平面中的坐标不一样，可根据对某些特征点从世界坐标到像平面坐标的转换关系来确定两照相机的相对位置 4建模前的准备41 像平面、照相机坐标系以及世界坐标系三者的关系由已知条件照相机坐标平面（cuv）要与像平面(cuv)平行,且共Z轴，也就是照相机的光轴c点到o点的距离为1，由透视方程可得到： u=x/z和v=y/z 其中p(x,y,z,1) 为图4中世界坐标系（oxyz）的齐次坐标，p(u,v,1) 为图4中照相机坐标系（cuv）的坐标，p(u,v,1) 为图1像平面坐标系（cuv）的坐标 42 问题(4)的模型准备 在题目中给出的靶标上，取靶标的中心为坐标原点，平行于水平方向为X轴，建立xy平面，其中0x50，0y50，运用matlab程序做网格，这样可得到网格上任意点的坐标（即我们所要的世界坐标）5模型的建立与求解51问题(1)的解决方案及模型照相机镜头上都附有一个大小可改变的光阑，光阑对景深有一定的影响，即照相机只能使某一个平面上的物体成像在CCD（相当于照相机的底片）上，在此平面前后的点成像在CCD前后，来自它们的光束在CCD上的截面是一个圆斑在此方案中我们忽略圆斑现象，假设在照相机的视场范围内的任何一点的成像都在CCD上设光学中心为三维坐标系原点，凸透镜镜面与x-y平面平行，光轴为z轴，光轴过 像平面中心且垂直于像平面，像平面与凸透镜的距离已知，设任意点（x,y,z） 在第三卦限，通过点A的光线的光路图如图所示：由图可知RtCBORtCBO所以有=得到= (1)在RtCBO中=在RtCBO中 =由图可知RtAC ORtACO所以有= 得到= （2）所以A点的坐标（BC,AC,OB）此坐标即为各点在像平面上的像坐标52 问题(2)的求解过程及模型设照相机固定不动，图2的靶标的中心过光轴且靶标平面垂直于光轴，要在像平面上得到如图3所示的画面，靶标可以通过平移和旋转的到，从图3可知圆A比圆D大，所以平移或旋转停止后要使圆A到照相机镜头的距离比圆D到照相机的距离近方案一：只考虑靶标的平移在靶标平面上建立以靶标中心为原点的坐标系O-XYZ,Z轴即光轴，为了使圆A到照相机镜头的距离比圆D到照相机的距离近，设靶标在O-XY平面上向右下方平移距离R, R与X轴负方向的夹角为，则各圆心的新坐标变为 X=XRcos Y=YRsin Z= Z将各原点的新坐标及像距代入(1)(2)中即可求得各点的像坐标确定参数的值，可以得到参数不同时，各圆心的新坐标不同，如下表1所示：的单位：，其他参数单位： RXYZXYZXYZ2030505010032.6840100-136.3377-0.2015417.19852045505010035.8635.86100-417.1985-0.1875417.1985206050501004032.68100-166.8794-0.1974417.19854030505010015.3630100-64.0817-0.1318417.19854045505010021.7221.72100-417.1985-0.0998417.1985406050501003015.36100-125.1596-0.0756417.1985方案二：只考虑靶标的旋转假设靶标绕过靶中心的任意一条直线旋转，但最终要使圆A到照相机镜头的距离比圆D到照相机的距离近，当要求某一圆心的新坐标使，把靶心和该圆心的连线当成转轴，设转轴与Y轴的夹角为，转轴与X轴的夹角为，靶心与圆心之间的距离为R,则靶标上各原点的新坐标变为 X= Rsincos Y= Rsinsin Z= Rcos将各原点的新坐标及像距代入(1),(2)中即可求得各点的像坐标，同理可得到像表1一样的数据方案三：同时考虑靶标的平移与旋转靶标的平移与旋转最终要使圆A到照相机镜头的距离比圆D到照相机的距离近，先分别考虑平移与旋转，得到两种情况的圆心的新坐标，再把两种情况的各圆心的新坐标加起来的和及像距代入(1),(2)中即可求得各圆心的像坐标 531 照相机的内参数 照相机的坐标系与世界坐标系之间的映射关系为： (3)式(3)中，表示以像素为单位的图像坐标值，令=kf,=kl,由于原点c在相机的光学中心（即光轴上），故(3)可表示为 (4) 将（4）式改写为齐次坐标形式 =1/z=(K 0) P (5)其中532 照相机的外参数 世界坐标系的一点p在照相机坐标系表示为： p=(R)代入(5)式，可得P (6)式(6)中透视投影矩阵可改写成为（） (7)式(7)中，由此可看出投影矩阵有6个外参数 533求投影矩阵题目已知z，在平面靶图上人为选定多（大于3）个基点，采用程序提取靶图基点在位图上像素坐标值，而这多个基点的世界坐标值是已知的，再根据这两个坐标系的影射关系，算出投影矩阵可归纳为以下几步骤：(1)在靶平面上标定坐标：靶图是由100100的正方形构成，在靶图上取11黑白相间的方块（运用matlab实现）(2)靶图放置在数码相机的镜头的前方，并保持平面靶图垂直于数码相机的镜头的光轴，镜头与靶图之间的距离为，目的是固定z，让世界坐标系与照相机共轴(3)相机固定，保持镜头光轴与靶图平面垂直重复拍照数张通过计算机处理图像，可找到靶图任意一点在照相机CCD像面上的像素坐标（，）；在上面连续找数个固定点在照相机坐标系上的坐标（，）(4)重复此次过程，在数张照片上确定这数个点的像坐标（，）(5)采用平均法提取这数个固定点所对应的像素平均值（，）(6)用这数个点的物像坐标一一对应关系就代入式(4)就可输出投影矩阵M(7)用计算出的投影矩阵检验世界坐标系与照相机坐标系的映射关系（即(6)式），计算出误差由求出的投影矩阵可求得其逆矩阵，代入(6)式得到 (8)521具体数据的求解由于问题2中已经告诉了照相机的内参数，即由已知照相机的像素和像距可求，则投影矩阵只有6个外部参数未知世界坐标中每一个点对应两个线性方程只需选取世界坐标系上的点的坐标值（，）和相应的照相机坐标系上的图像坐标，如下图：由图像坐标推算世界坐标（误差mm）（u,v）计算值(x,y)实际值(x,y)(3227968,188.8954)（0.0492，0.0354）（0，0）-0.0492-0.0354（420.893，197.0012）（2.9977，0.0574）（3，0）0.0023-0.0574（640.897，212.6970）（10.0823，0.1019）（10，0）-0.08230.1019（583.246，510.7824）（10.0203，9.9643）（10，10）-0.02030.0357（285.128，500.9871）（0.0486，9.9795）（0，10）-0.04860.0205其中u,v为像素单位，x,y单位为mm，的值等于实际值减去计算值54双目视觉照相机神经网络标定方法对问题4的解决方案541 有关神经网络的相关介绍 根据透视投影原理，两台照相机拍摄的两幅图中同一空间点的图像坐标与空间点的世界坐标之间是一一对应的，并存在某些非线性映射关系（问题(3)中以给出），可以用于网络训练而BP神经网络是由输入层、隐层和输出层组成，其中隐层可以是1层也可以是多层，在大多数情况下，可以采用隐层的3层BP神经网络 图1所示为3层的BP神经网络，设输入层有n个节点，输出层有m个节点，隐层有l个节点，样本数为N，输入向量为，w为隐层节点与输入层节点的链接权值则隐层节点的输入和输出为 NET= (9) O=f( NET) (10)隐层节点的作用函数f通常选取S型变换函数，设输出层节点k与隐层节点j的链接权值为w,输出节点的作用函数f通=常选用线性变函数，则k的输出为 y= f (11)误差函数采用平方型误差函数，对所有样本，总误差为 E=1/2 (12)542 双目视觉摄影机标定神经网络的建模 BP神经网络不需要预先建立精确的成像和标定模型，也不需要预估初始值，而是将与三维空间物点对应的2个图像坐标以及物点的世界坐标作为神经网络的输入，两相机的位置(x,y)、(x,y)作为BP神经网络的输出利用BP网络多次学习、训练，直到得到满意的输入与输出的映射关系 采用3层的BP神经网络定标模型，由网络输入层（4个节点）、隐层（5个节点）和输出层（3个节点）组成隐层的传递函数采用tansig函数，输出层的传递函数采用purelin函数网络的输入样本为三维空间物点在两个图像坐标系上的坐标及物点的世界坐标，输出样本为两部照相机的位置坐标对靶标上多个点重复运用次方法，得到这两相机的多个位置坐标，取它们的平均值（,）,(,)，对其作差得（，），即我们要求的两相机的相对位置6模型