数码照相机的双目定位方法-论文.doc

数码照相机的双目定位方法-论文数码照相机的双目定位方法数码相机定位方法是双目定位方法，双目定位能精确地确定两部相机相对位置，该方法只需在物体表面标定靶标，从靶标上把圆心的像精确地找到，标定就实现。对物体上一个特征点，用两部固定于不同位置的相机拍摄物体的像，分别得到点在两部相机像平面的坐标。确定靶标上圆心的像的坐标时，由于圆是椭圆的特例，从而用椭圆来处理更具有普遍性，但是椭圆的图象中心并不是椭圆中心所对应的像点，因此，我们建立坐标系，利用空间椭圆的透视变换，空间椭圆在照相机像平面上投影椭圆的中心坐标与空间椭圆中心的实际投影像点坐标的空间几何关系，再结合椭圆拟合法利用计算机编程求解出在照相机像平面上投影椭圆的中心坐标。在确定两台照相机的相对位置时，首先分析简单的平视双目立体视觉的三维测量原理，再对两个照相机的摆放位置不做特殊要求时利用照相机的透视变换对模型进行分析，用两个相机定位是利用空间点在两照相机像面上的透视成像点坐标来求取空间点的三维坐标。为了简化分析，设两台照相机水平放置，视觉系统的坐标原点为其中一台照相机的投影中心。对模型检验时考虑到精度和稳定性对模型的影响，建立了双目定位系统精度模型，从系统结构参数对精度的影响和照相机焦距对精度的影响两方面进行了分析，检验结果符合预期目标。最后用靶标的坐标得出了两部固定照相机的相对位置。关键词：椭圆拟合；几何关系；透视投影变换；双目定位；非线性最小二乘，无约束化问题一 问题的重述数码相机定位在交通监管（电子警察）等方面有广泛的应用。所谓数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的定位方法是双目定位，即用两部相机来定位。对物体上一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。于是对双目定位，精确地确定两部相机的相对位置就是关键，这一过程称为系统标定。标定的一种做法是：在一块平板上画若干个点， 同时用这两部相机照相，分别得到这些点在它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。然而，无论在物平面或像平面上我们都无法直接得到没有几何尺寸的“点”。实际的做法是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点了。而它们的像一般会变形，如图1所示，所以必须从靶标上的这些圆的像中把圆心的像精确地找到，标定就可实现。 图 1 靶标上圆的像有人设计靶标如下，取1个边长为100mm的正方形，分别以四个顶点（对应为A、C、D、E）为圆心，12mm为半径作圆。以AC边上距离A点30mm处的B为圆心，12mm为半径作圆，如图2所示。 图 2 靶标示意图用一位置固定的数码相机摄得其像，如图3所示。 图3 靶标的像（1）建立数学模型和算法以确定靶标上圆的圆心在该相机像平面的像坐标, 这里坐标系原点取在该相机的光学中心，x-y平面平行于像平面；（2）(2) 对由图2、图3分别给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标, 该相机的像距（即光学中心到像平面的距离）是1577个像素单位(1毫米约为3.78个像素单位)，相机分辨率为1024768（3）设计一种方法检验你们的模型，并对方法的精度和稳定性进行讨论；（4）建立用此靶标给出两部固定相机相对位置的数学模型和方法。二 问题的分析我们的目标是建立一个合理的数学模型和算法，运用系统定位的方法，即用两部相机在不同位置对物体上特征点进行照像，分别获得该点在两部相机像平面上的坐标，只要知道两部相机的相对位置就可利用几何知识确定该特征点在固定一个相机坐标系中的坐标。为了完成这个目标先用一台照相机进行标定，因为无论物平面或像平面上我们都无法找到没有几何尺寸的点，因此在物平面上画若干个圆，他们的圆心就是几何的点。所以重点就是必须从靶标上的这些圆的像中把圆心的像精确的找到。我们通过对问题的分析，由照相机的成像原理，它们的像距，焦距，物距之间有一定的数量关系即：977数码照相机的双目定位方法再利用利用照相机的透视投影变换原理和几何的相似性的有关知识进行求解，得到椭圆中心在像平面上的坐标。用数码照相机定位最常用定位法是双目定位，即用两部相机来定位，为了获得某点在两部相机像平面上的坐标，通过建立模型，设置适当的位置，使两部相机固定，通过两部相机固定不同位置的相机摄取物体的像。根据照相机上椭圆的中心在像平面上的像坐标就可求解两照相机的相对位置。三 模型假设1、假设照相机的光学中心与物面中心处在同一水平面上，照相机的位置不影响所成像的清晰度。2、相机内部结构正常，圆经照相后由于所处位置的不同一般发生变形。3、人的视觉不会影响像的形状，假设两台相机的焦距一样且是一定的。4、照相机对被测物体所在地点，环境状况不会干扰定标操作及精度，对被测物表面特征也无特殊要求。四 符号说明、 分别表示两个照相机、 为照相机 、 的有效焦距P 物平面上的靶点 靶点在 的像平面上的坐标 靶点在 的像平面上的坐标Y 特征点P的图象坐标B 基线距 的比例因子 的比例因子R 照相机的坐标系与照相机的坐标系之间的旋转矩阵T 照相机 坐标系原点与照相机 坐标系原点之间的平依变换矢量。 靶点在 照相机中的图像坐标 投影距阵 分别是照相机的投影内空间点在世界坐标系中的三维坐标H 3乘3级正交单位矩矩 三维平移向量 零向量五 模型的建立与求解为了解决数码相机定位的问题，建立如下模型，由于圆是椭圆的特例，因此在这里以椭圆来讨论。椭圆拟合法有两个过程，一是椭圆边缘的检测，另一是对边缘点进行拟和，以确定椭圆的中心。椭圆图象的一般表达式为f( x)=ax2+bxy+ay2+dx+ey+f=0 引入约束条件 。建立如下目标函数：(2)其中M为罚因子，于是椭圆的拟合转化成极小化F( )即非线形最小二乘问题。这是一个外罚函数无约束优化问题，可以利用牛顿-高斯法，levenberg-marquardt法等求解出a,则精确的中心点（ , ）由下面的公式得到： = ， = （b2-4ac 0） 图一 空间椭圆中心透视投影前后的变化 图二 空间椭圆透视投影变换求取椭圆图象中心点往往作为空间椭圆的中心的对应图象点，通常用作标定点或着由其通过视觉检测模型得到空间椭圆的中心点三维坐标。实际上，再做上述用途时已经做了一个假设：空间椭圆的中心点在照相机像平面上的透视投影像点就是空间椭圆对应的投影椭圆的中心像点。然而，由于透视投影变换所固有的特性，只有在空间椭圆所在平面与照相机像平面平行时，这种假设才是准确的。在大多数情形下，存在一定的偏差。如果直接用像平面上投影椭圆的中心像点代替空间椭圆中心的实际像点，必然在标定或者测量中引入误差。通常，空间椭圆的中心并不是椭圆中心对应的像点。图1显示了空间椭圆经过透视投影变换后中心点的变化。可以看出，透视投影前后的中心点并不一致。针对这一问题，透视投影变换和空间解析几何理论，建立了透视投影下空间椭圆中心在照相机像平面上的像的坐标。空间椭圆的透视变换如图二。O为投影中心，即光学中心。 为空间椭圆中心。O- xyz为照相机坐标系， 称为空间椭圆坐标系，其它的几何关系如图所示。设O 在O -x y z 坐标系中的坐标为（x ,y ,z ）,矢量 在O -x y z 坐标系中的方向角分别为 。空间椭圆 的某一轴 与矢量 正交，另一轴为 。通过透视中心O形成一个斜椭圆锥面，数码照相机的双目定位方法在 坐标系下记为 ，在O-xyz坐标系下记为 。则 的外形线 为一等腰三角形，设 。又假设当 大于90度时；则令 ;当 大于90度时,责令 ；当 时，责令 。令矢量 与x轴的正向沿逆时针方向的夹角为 。空间椭圆 在像平面 上的投影曲线 的方程建立过程如下。在平面 内，椭圆 在 下的方程可以表示为 把（2）和（3）代入式（1），并用 代替 ，则得到在 坐标系下椭圆锥面 的方程为 （4）由图二可见，坐标系O-xyz与坐标系 只存在旋转关系，设由下式形式给出 （5）令 ，利用式（5），则式（4）转换为在坐标系O-xyz下斜椭圆锥面 的方程为 (6)将像平面 ：z=f 代入式（6），并令则得到在O-xyz坐标系，空间椭圆O -A B C D 在像平面上的透视投影曲线的方程为（k2+n2-r2+2(kl+np-rs)xy+(l2+p2-s2)+2(mk+nq-rt)x+2(ml+pq-st)y+m2+q2- t2=0 (7)表达式为二次曲线，但在实际的视觉检测系统中，被测物体总是处于像平面的前方照相机的视场之内，且一般不与照相机平行。因此，空间椭圆O -A B C D 在像平面上的投影曲线为一椭圆曲线。于是，空间椭圆在像平面上的投影椭圆曲线的中心坐标（a,b）可写为：空间椭圆O -A B C D 的中心O 在像平面上投影像点的坐标可以利用直线OO 与像平面的交点来求取。结合图（7），由空间解析几何的知识容易得到直线OO 在坐标系o-xyz下的方程为 （8）直线OO 与象平面：z=f的交点即为O 点的实际像点。把z=f代入式（9），得到O 点的投影像点的坐标（a ,b ）的表达式为 (10)其中 k =r cos -r cos , l =r cos - r cos , m = (r cos -r cos )f = r cos -r cos , p = r cos -r cos , q = (r cos -r cos )f根据下面的编程 model: sets:n/1.4/:x,y;endsets data:x,y=-620.5 635.0 -295.0 611.5 -746.0 -350.0 226.5 -387.5; 413.0 534.5enddatafor(n:x2*b+x*b+y2*c+y*d+x*y*e+f0);a*c0;end得到像中心的坐标（-620.5,635.0）, (-259.0,611.5) , (-746.0,-350.0), (226.5,-387.5) ,(413.0,534.5)六 模型检验采用两套对称平面反射镜和单照相机，从对称的两个角度同时采集物体同一特征点的两幅图象。这实际上是相当于单一照相机通过两套平面镜像出两个完全一致的虚拟照相机，而包含物体特征点的两幅图象也相当于从两个虚拟照相机采集到的。这相当于传统的由双照相机组成的双目视觉，从两个不同位置获取的被测物体的两幅图象，因此，他具有双目视觉的功能。设反射镜 , 的交点为坐标系的原点，则照相机的投影中心坐标为(o,-d ),反射镜 所在直线方程z=tan , 所在直线方程为z=tan *(x-l),则o关于 的对称点 的坐标为：(-dsin2 ,dcos2 )。 关于 的对称点为数码照相机的双目定位方法(dsin2( )+2lsin ,-dcos2( lsin2 ),则 =|-dcos2( -lsin |-d,因而基线距B=2(dsin2( +2lsin ),如d=50mm,l=100mm, =70 , =80,则基线距为422mm。因此，通过改变平面镜的摆放角度，就很容易得到大基线距的结构配置，而系统结构的体积却没有增大，同时成本也降低了。(1)测量范围1)深度方向H。 (1) 2)x,y方向测量范围 。 （2）(2)反射镜 长度 = （3）反射镜 的最短长度 = =| 从以上分析可以看出，镜像式双目视觉系统的结构可以做的很小，但却可以获得很大得基线距，从而提高测量的精度。通过改变两组平面镜的摆放角度，就可以改变两虚拟照相机之间的距离，即使增大视觉系统的基线距，也不会导致视觉系统体积的增大。两个虚拟照相机是由同一个照相机镜像来的，因此，采集图象的两个照相机的参数完全一致，具有极好的对称性。另外，对物体特征点的三维测量，只需一次采集就可以获得物体特征点的两幅图象，从而提高了测量速度。总之，基于单照相机镜像式双目视觉系统配置具有以下优点：成本低，结构灵活及测量速度快。但是这种结构的一个最大缺点是：由于一幅图象包括了被测物体的特征点“两幅”图象，允许的图象视差减少了一半。因此，视觉系统的测量范围至少减少了一半。同样在图象的中央是“两幅”图象的相交处，图象变的不可利用，而对一个照相机来说，图象中央应该是成像质量最好和受镜头畸变影响最小的地方。七 确定两部相机的相对位置模型的建立与求解 在像平面上建立直角坐标系U-V，每一象素坐标（u,v）分别是以象素为单位的图象坐标系坐标，又建立以物理单位（如毫米）表示图象坐标系）。该坐标以图象内一点O为圆点，轴轴分别与，轴平行。如图其中（u,v）表示以像素为单位的图象坐标，（x,y）表示以毫米为单位的图象坐标系的坐标，在-Y坐标系中，原点 定义在照相机光轴与图象平面的交点，该点一般位于图象中心处，但由于某些原因也会有偏离，若 在U-V坐标系的图象中任意一个像素在两个坐标系下的坐标有如下关系用齐次坐标与矩阵表示为逆关系为3） 如图，O与x、y、z 轴组成以直角坐标系为像坐标系，O 为照相机焦距。O与x、y、z 轴组成以直角坐标系为像坐标系，O 为照相机焦距。由于照相机可安放在环境中的任意位置，在环境中的任意位置，在环境中选择一个坐标系来描述照相机的位置，并且用它描述环境中任何物体的位置，该坐标系成为世界坐标系，由X，Y，Z轴组成，照相机的坐标系与世界坐标系之间关系可以用旋转矩阵R与平移向量T来描述，因此空间中某一点P在世界坐标系与照相机坐标系下齐次 坐标，如果分别是R=（X，X，Z,1）T与X（X，Y，Z,1）T。存在如下的关系式 （4）（1）两个照相机位于同一平面上 两照相机的投影中心连续的距离，即基线距B，两照相机在同一时刻观看空间物体的同一特征点P，分别在两照相机上有点，取 ， ，假定两照相机相同像再同一平面上，则P点图象坐标的Y轴相同，即 . 则视差为D= .由此可计算出特征点P在照相机坐标系下三维坐标为数码照相机的双目定位方法因此在照相机像面任意点只能在右A2像面上找到对应的匹配点，就可以确定出该点的三维坐标这方法点对点的运算，像表面所有点只要存在相应的匹配点，就可以参与上述运算，从而就获得其对应的三维座标双目立体视觉的数学模型在分析了最简单的平视双目立体视觉的三维测量原理基础上，现在考虑一般情况，对两个照相机的位置不做特别要求。如图三所示，设左照相机O-xyz位于坐标系的圆点处且无旋转，图象坐标系为 ,有效焦距为 ;右照相机坐标系为 ，图象坐标系为 ，有效焦距为 ,由照相机透视变换模型有 图三（3） （4）而O-xyz坐标系与 坐标系之间的相互位置关系可通过空间转换矩阵 表示为 （5）其中， 分别为o-xyz坐标系与 坐标系之间的旋转矩阵和原点之间的平移变换矢量。由式（3）-（5）可知，对于O-xyz坐标系中的空间点，两照相机面点之间的对应关系为（6） 于是，空间点的三维坐标可以表示为 （7）因此，已知焦距 ， 和空间点在左右照相机中的图象坐标，只要求出旋转矩阵R和平移矢量T就可以得到被测物体点的三维空间坐标。如果用投影矩阵表示，空间点三维坐标可以由两个照相机的投影模型表示，即 （8）其中， ， 分别为空间点在左右照相机中的图象坐标， ， 分别为左右照相机的投影距阵 为空间点在世界坐标系中的三维坐标。实际上，双目立体视觉是匹配左右图象平面上的特征点并生成共轭对集合 每一个共轭对定义的两条射线，相交于空间中某一场景点。空间相交的问题就是找到相交点的三维坐标 对该模型的精度分析 双目立体视觉是利用两台照相机模仿实现人眼的功能。利用空间点在两照相机成像点坐标来求取空间点的三维坐标。为了分析双目视觉系统的结构参数对视觉系统的结构参数对视觉精度的影响，建立如图1所示恶毒精度分析模型，为简化分析，设两台照相机水平放置，视觉系统的坐标原点为其中一台照相机的投影中心。设照相机的有效焦距为f1、f2，光轴与x轴的夹角为 、 ， 、 为小于照相机的视场角的投影角。由几何关系得到p的三维坐标为 （1）1系统结构参数对精度的影响下面分析双目立体视觉系统的结构参数以及P点的位置对视觉系统视觉精度的影响。由式（1），有设两台照相机X方向的提取精度分别为