数码相机定位

1、2008高教社杯全国大学生数学建模竞赛承诺书我们仔细阅读了中国大学生数学建模竞赛的竞赛规则.我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。如有违反竞赛规则的行为，我们将受到严肃处理。我们参赛选择的题号是（从A/B/C/D中选择一项填写）：A我们的参赛报名号为（如果赛区设置报名号的

2、话）：所属学校（请填写完整的全名）：重庆师范大学参赛队员(打印并签名) ：1.唐莲 2.骆盼盼 3.王斌指导教师或指导教师组负责人 (打印并签名)： 杨志春 日期：2008 年 9月22日赛区评阅编号（由赛区组委会评阅前进行编号）：2008高教社杯全国大学生数学建模竞赛编 号 专 用 页赛区评阅编号（由赛区组委会评阅前进行编号）：赛区评阅记录（可供赛区评阅时使用）：评阅人评分备注全国统一编号（由赛区组委会送交全国前编号）：全国评阅编号（由全国组委会评阅前进行编号）：数码相机定位的数学模型摘要：本文研究了双目定位法确定物体的相对位置。在模型一中：首先，对摄像机进行了高精度的标定，建立了双目立体视

3、觉系统模型；其次，通过左右摄像机拍摄的二维图像，将两幅图像中的点进行匹配，并建立了三个坐标系，一个是在靶标上建立的三维系统坐标，另两个是分别以两摄像机光心为坐标原点建立坐标系，和将这三个坐标统一到一个世界坐标系中，建立三维坐标系与两个像平面坐标系的映射关系，得到一个函数关系式，即可得到相机平面上的像坐标，并获得平板上靶标中心（即圆心）的三维坐标。模型二中：用Lambertian反射模型，对两幅图像的所有像素点逐个建立相应的关于物体表面方向的反射图方程，进而得到其方向向量的一次代数方程组，求得物体表面的唯一梯度向量，然后构造了由梯度恢复高度的迭代算法，从而得到物体表面的三维形状，用模型一所得的结

4、果代人验证了模型一的精确性与稳定性。最后我们用几何方法算出已知给定的靶标的圆心在像平面上的坐标，与模型一中的进行比较。关键词：网格靶标；最小二乘法；三角法；重心法；双目立体视觉；三维重建；重建数学算法；迭代算法一、 问题的重述数码相机定位是指用数码相机摄制物体的相片确定物体表面某些特征点的位置。最常用的方法是双目定位，即用两部相机来定位。对物体上的一个特征点，用两部固定于不同位置的相机摄得物体的像，分别获得该点在两部相机像平面上的坐标。只要知道这两部相机精确的相对位置，就可用几何的方法得到该特征点在固定一部相机的坐标系中的坐标，即确定了特征点的位置。我们要精确的确定两步相机的相对位置，要通过系

5、统标定法来实现。 标定的一种做法是：在一块平板上画若干个点，同时用这两部相机照相，分别得到这些点在它们像平面的像点，利用这组像点的几何关系就可以得到这两部相机的相对位置。因为，无论在物平面或者像平面上我们都无法直接得到没有几何尺寸的“点”。实际做法就是在物平面上画若干个圆（称为靶标），它们的圆心就是几何的点。但由于相机拍摄物体的角度不同，这些圆所成的像一般会变形，不再会是圆，可能变成椭圆，所以我们必须从靶标上的这些圆的像中把圆心的像精确的找到，标定就可以实现。根据题目设计的靶标示意图和和用一固定的数码相机摄得的像，要我们解决一下四个问题：（1） 建立数学模型和算法，确定靶标上圆的圆心在该相机像

6、平面上的像坐标。（2） 对题目给出的靶标及其像，计算靶标上圆的圆心在像平面上的像坐标。（3） 设计一种方法检验我们所建的模型，并对方法的精度和稳定性进行讨论。（4） 建立用此靶标给出两部固定相机的相对位置的数学模型和方法。 二、 问题的分析题目中用两部相机来实现双目定位，而数码相机里的一个重要部件就是（Charge-Coupled Device ,也叫电荷耦合器件）。它是一种光电转换器件，用集成电路工艺制成，用电荷包的形式储存和传送信息，主要由光敏单元，输入结构和输出结构等部件组成。CCD上的感光单元将接收到光线转换为电荷量，而且电荷量大小与入射光的强度成正比。这样矩阵排列的感光单元构成的面阵

7、CCD便可以传感图像。所以，可以直接研究CCD摄像机的工作原理，用两部相机摄得物体的像，通过分析物体的三维空间与相机摄得的两幅二维图像在空间上特定的几何关系，三幅图像建立映射，根据题目给定的靶标的位置坐标，我们可以求得它在该相机像平面的像坐标，由它们像平面上的像点，利用这两组像点的几何关系就可以得到这两部相机的相对位置。三、 模型的假设1 把CCD摄像机的成像透镜近似当作线性摄像机模型来处理，以透镜中心为原点建立摄像机的坐标系。2 照相时我们把物体看成是均匀散射体，即物上各点的漫反射均匀向各方向传播，与视点无关，即理想漫反射。3 假设物体的密度均匀。四、 符号的说明V 光学中心到像平面的距离，

8、即像距K 为CCD摄像机的成像透镜放大倍数E(x,y) 为点(x,y)的灰度图像 （p(x,y),q(x,y)） 是物体的表面在点（x,y）的梯度向量R(p(x,y),q(x,y) 是图像的反射图 五、 模型的建立及求解（一） 模型一：把CCD摄像机的成像透镜近似当作线性摄像机模型来处理，以透镜中心为原点建立摄像机的坐标系。若有一物点p(x,y,z)在此坐标系中，成像于摄像机的像平面上，其像点坐标为（m,n），而透镜中心到像平面中心的距离即像距表示为v，令k为CCD摄像机的成像透镜放大倍数，则有以下关系：系统坐标系的统一：在整个系统中，把三角法面的坐标系作为系统坐标系并将两个型号相同的CCD摄

9、像机的坐标系和统一到系统坐标系下，可通过系统坐标系的平移和旋转来实现与世界坐标系的。系统坐标系轴与2个摄像机坐标系和轴同相，且与共面，2个摄像机透镜的光轴（轴）与Z轴的倾斜角分别为，假设2摄像机处于对称关系，简化都为A,且不考虑正负，.从三维面形出发建立映射关系 现假定空间物点p在系统坐标系下为（），成像于左右CCD摄像机的光面上，其像点和在各自的坐标系下的坐标为（），和（）。摄像机CCD-L坐标系的原点坐标在系统坐标系下为（-a,b,c）, 摄像机CCD-R坐标系的原点坐标在系统坐标系下为（a,b,c）,以逆时针旋转为正，则左右摄像机到系统坐标系下的变换关系为 （1） （2）由（1）（2）式

10、可得到该像点对应的左右CCD摄像机成像镜头放大倍数的关系式为 (3) (4)同时坐标系下物点对应的左右CCD摄像机坐标系和下的像点坐标（）和（）可表示为 (5) (6)因此，在三角法面与2个CCD摄像机的共同视场范围内，可通过三角法面采集到的深度图上任一点利用（5）（6）找到2幅CCD图像上的对应点，查二维数据获得该点对应空间物点的亮度，颜色等信息；同时2幅二维CCD图像也可由此分别附上距离信息，从而建立了三者间的映射关系。不同分辨率下的映射关系：当CCD摄像机的分辨率比三角法在X,Y轴方向上的分辨率高MN倍时，在同一深度方向上，三位面形数据库中的元素代表的水平和垂直方向上的范围比CCD摄像机

11、的二维图像数据库中的元素代表的X,Y轴方向上的范围大M和N倍，故从深度图出发建立映射关系的方法，总可以通过三维面形数据（）找到CCD-L和CCD-R上最接近的二维坐标映射点（）和（），可以认为该映射点所在的MN数据区域对应三维面形数据库中的1个元素。 以2个CCD摄像机的像平面中心和连线方向为X轴，以2点的中心建立双CCD摄像机子系统坐标系OXYZ.Y,Y1和Y2轴三者垂直于纸面，指向有里向外。则可知（7）在2幅CCD摄像机的二维图像已经找到相互对应像素点的前提下，系统参数a,A和v已知，则在次坐标系下的对应物点的三维坐标即可由（7）式求得.2.求解靶标上圆的圆心在像平面上的像坐标由题意知，像

12、距v为417.196mm;根据光学知识，透镜球面的放大率的公式为（其中为物距），由题目所给的图像，可算得其放大率为0.319；cosA=.把已知数据带入公式可得ABCDE的像坐标分别为A（0,20）,B(6.75,6),C(22.5,45),D(0,-20),E(-22.5,0)（单位均为毫米）。（二）、双目立体视觉三坐标测量算法1. 系统的组成与工作原理该系统的总体结构包括完全相同的两个面阵CCD摄像机（分别固定于不同的两个位置）和一个平板（上面由若干个靶标）。靶标设计为圆形，他们的圆心就是几何点。两个面阵CCD摄像机组成双目立体视觉系统，对靶标进行拍摄，将两幅图像中的点进行匹配，获得靶标上

13、圆心的三维坐标。利用拟合直线法和已知的靶标到光心的距离，可得出靶标的三维坐标。2. 双目立体视觉系统的建立与标定对两个摄像机进行标定，计算摄像机的内外参数和结构参数（两摄像机的相对位置），然后通过双目立体视觉系统模型，得到点的三维坐标。在标定前建立摄像机的模型。摄像机模型的建立:为三维世界坐标系，为摄像机坐标系，原点为光学中心，z轴与光轴Z重合；OXY是中心在O点（光轴Z与图像平面的交点）且平行于x轴和y轴的图像坐标系，定义OXY平面为参考像面。为理想成像的有效焦距。图像在计算机中的坐标的单位是像素（pixel）,设（）为计算机图像中心坐标，P为待求点。由各坐标系之间的几何关系可推得世界坐标系

14、中的点到计算机图像坐标系的透视变化关系为（1）所示其中，为比例系数，为图像平面上单位距离上的像素点数。为旋转矩阵R的系数，为平面矩阵T的系数；（）是点P在世界坐标系中的坐标，镜头焦距以及主点（）为待求内部参数；旋转矩阵R,平移矩阵T为待求外部参数。摄像机的标定： 在标定过程中，采用自行设计的平面网格靶标来获取相应的标定点。对测量空间内的平面网格靶标进行拍摄，并对其图像进行光条中心提取，直线拟合处理，然后求取所得直线的焦点，即为所需的定点。由于成像镜头往往带有带有不同程度的畸变特性，故所得的实际图像较理想的透视投影图像由畸变。这里只考虑径向畸变，其径向畸变模型为 （2）式中，（）为摄像机像面的理

15、想坐标；（）为考虑径向畸变后的摄像机像面坐标；为畸变系数。利用交比不变原理可得出畸变参数，同时获得较高精度标定点。为了建立统一的系统模型，左右摄像机应选用同一个世界坐标系作为基准，为了便于标定，将平面=0取为靶标所在平面。这里采用提出的共面条件下的基于径向排列约束标定方法，简称为RAC两步标定法，来对摄像机的内部参数和外部参数求解。世界坐标系中三维坐标的获取： 现在完成了摄像机参数的标定，则式（1）中的各个参数均已知，为了便于表示，我们把（1）式化为以下形式：式中，（），（）分别为P点在左右摄像机的计算机图像坐标系中的坐标。 将（3）和（4）式经过变换可得到关于（）的超静定线性方程组：（），（

16、）通过对摄像机拍摄的图像进行处理可以直接得到，可利用最小二乘法解这个超静定线性方程组，从而得到（）的值，即P点的三维坐标值。靶标测量系统原理： 在拍摄过程中，两个相机一般不与靶标正对，所以在图像中，靶标所成的像一般呈椭圆状。考虑到密度均匀的圆或椭圆的中心与质量重心是重合的，那么圆形或椭圆形的的图像的中心也可以通过求取图像在像平面上的灰度重心来得到，于是采用重心法提取靶标的图像中心。重心法提取图像中心：设各个椭圆形的图像所占得像素数量约为Num=mn,其中，m,n分别为行方向和列方向的像素数。于是重心法计算各椭圆形重心的公式可以表示为则通过以上公式计算就可以得到椭圆的重心，也是靶标圆心成像的点。

17、即靶标上圆的圆心的像被精确的找到，实现了标定。（三）、模型二：三维重建的数学算法：我们可以利用不同视点上拍摄的两幅或更多幅图像提供的信息重构三维图像。简单的说，就是利用两个摄像机同时拍下两幅图像。这样我们就可以通过对获得图像建立点点对应的关系，求出二者之间的差值而获得图像的深度信息，再经过进一步的处理就可以获得三维空间的景物。本算法基于Lambertian反射模型（均匀漫反射模型，对三幅图像的所有像素点逐个建立相应的关于物体表面方向的反射图方程，进而得到其方向向量的一次代数方程组，求得物体表面的唯一梯度向量，然后构造了由梯度恢复高度的迭代算法，从而得到物体表面的三维形状。反射图方程对于曲面上的

18、任一点的方向向量可以用其切表面法向向量表示。若表面方程为zz（x,y）的梯度为, （1）方向梯度向量为。设光源方向向量为，摄像机的方向向量为，曲面上任意点的方向梯度向量记为。对于各向同性的Lambertian表面反射模型，反射图的方程为 （2）其中是Lambertian表面反射系数。归一化可得： （3）令为获得的图像灰度（线性函数），则归一化可得： （4） 令,则,再联立（3），（4）得： （5）2.3 确定梯度向量设图像的分辨率为，图像上的一点为（）。然后由CCD相机从三个不同的方向采集数字图像（为简单化数据在此我们特殊地采用共线光源的图像作为三幅图像中的一幅，即）。分别归一化数据可得： （

19、6）简化得：求解即可得三维表面的梯度向量。2.4 由梯度向量恢复高度函数设正则化约束条件的目标泛函为 （7）令，则由变分法得Euler方程（8）使用离散差分近似微运算这个微分方程，得 （9）其中h,k是像素的大小。归一化计算，令h=k，可得迭代公式（10）（10）即为高度函数。在得到像素点的高度函数后，即可在相关计算机软件代入数据实现对三维物体的描述。模型三：用几何法求解数码相机定位的问题一 根据图一: 物体平面A M 照相 P 机内部模型 F SKH L 成像平面图一 物体和相机俯视图二 P为光心，F为焦点，我们可以设d,而光心到焦点的距离为f,焦点到屏的距离为根据平面几何关系可得，于是有P

20、H=f+,AL=AN+NL,AN=AP设A点在照相机像平面上成的像的坐标为,那么。而,.从而可解得=根据图二： A T P G F F R 图二三 .我们根据物理光学知识可知，凸透镜前的点可以通过平行于凸透镜和经过凸透镜的两条直线唯一确定。其中RG=,AT=d,PF=,=FG;于是我们接合平面几何可得等式：，解得=.,)有四个点。其它如B,C,D,E类似可求出每当取定一个物体上的点就对应一组。对应的像点也就能够算出。（2）第一种情况：假设相机和物体之间正对且相机的焦点处在物体平面的中心的d=100mm,相机的一般焦距是7.8mm-23.8mm,我们取均值f=15.8mm.,d=.如图：由此可算

21、得如图：BCADE可算得217.5,-10.8)，同理可得87，-11），-217.5，-10.8），-217.5，10.8），217.5，10.8）；第二种情况，相机平面的焦点没有对应物体平面的中心时，成像平面的图将在原有正常图形的基础上发生变化。比如说从圆变化成类椭圆。此种情况下A,B,C,D,E的像的坐标（比如A和C）不再对称，呈现一般性。如下图所示：这时我们设,焦点到物体平面的距离为100mm此时d=137.5mm,代入坐标可得104.4，-10.5），19.8，-19），-26.1，-10.7），-23.7，90.6），90.2,86.3) （3）.现在我们来讨论一下模型的误差问题：=,我们单对取正值进行讨论。对求全微分可得=同理d+=d+,比如取，同理的误差也可用同样的方法求出。（4）通常我们可以根据两部相机分别对同一个物体拍照来确定这两部相机之间的关系。具体做法如下；首先通过这两张照片来确定各自的点坐标：，其中；设，根据图一可得能唯一确定两个相机之间在平面上的投影之间的夹角，且=。tan()=,tan=,tan()=tan=