从单幅图像恢复目标的三维坐标.docx

从单幅图像恢复目标的三维坐标 视觉的理论和消失点以及几何物体之间的约束关系，从单幅汽车的图像中恢复车厢定点的三维坐标的思路如下：第一步：从车轮半径已知的条件中，恢复出车轮圆心所在的三维坐标和车轮所在平面的法向量（此时车轮所在平面有两组解，要根据其他的约束条件确定出唯一的解）。第二步：根据车厢四方体的几何关系，利用消失点的性质，进行相机内外参数的标定。第三步：卡车的车轮与车厢在同一平面上，车轮所确定的平面方程已知，根据摄像机成像的矩阵表达公式和屏幕上二维的像素坐标，恢复出三维空间中对应的坐标点。一 车轮平面的确定 1 车轮平面法向量的确定空间中任何一个不与相机轴垂直的圆，在相机平面的透视投影是一个椭圆，设相机投影平面的椭圆方程为： （1-1）其中表示椭圆方程在像平面中的坐标。根据小孔成像的原理 (1-2)其中为相机的焦距，将式（1-2）代入式（1-1）中，得到下式 (1-3)表示为过相机的光心和成像椭圆所组成的锥面方程，其中 式（1-3）可以写为 (1-4)其中 为了计算的简便，将椭圆锥面方程转换到标准坐标系下令,代入到式（1-4）中则有由式（1-4）可知Q为对称矩阵，所以可以对Q进行酉相似对角化，其中P为酉矩阵且P的列向量为单位向量且两两正交，Q可以酉相似对角化为标准坐标系下的方程为： （1-5）为Q的三个特征值，可以验证三个特征值为两正一负，令为特征值的最小值，即其为负。在x y z所确定的三维空间中存在一个平面方程，使得该平面与标准坐标系下的椭圆锥面相交的交线方程为一个圆。假设该平面在标准坐标系下的一般方程为： （1-6）将椭圆锥面再做一次坐标的变换，令 （1-7）将式（1-7）代入到式（1-6）中可得平面方程如下 （1-8）在 所确定的坐标空间中式（1-8）所确定的平面方程与椭圆锥面方程的交线为圆。将式（1-7）式（1-8）代入式 （1-5）中得到空间平面与椭圆锥面的方程为可以简写为： （1-9）式（1-9）要满足圆的方程，由此可得 既有 （1-10） （1-11） （1-12）由式（1-11）可知，上面三式的解存在四种情况：情况1：l=0,解出 此解在时成立。情况2：m=0时，解出 此解在时存在情况3：n=0时，解出 此解要求，所以这种情况不存在。情况4：当=时：n=1,m=0,l=0;存在平面法向量的二解问题，需要其他条件来判别真实的圆平面最后，将圆平面的法向量从标准坐标系转换到相机坐标系下。 2 车轮圆心所在相机坐标系下的坐标求解车轮的半径已知，并确定车轮平面法向量l,m,n后1） 考虑的情况圆在过渡矩阵下的方程可以表示为 （1-13）即可表示为 （1-14）假设车轮的半径为R,则有在过渡矩阵下的圆心坐标为将圆心坐标从过渡矩阵下变换为标准矩阵下，在变换回相机坐标系下，取为正值的做为圆心坐标。2） 当时，在标准坐标系下平面的方程为求出k值后，其余步骤和上述类似。综上，在理论上确定了圆心坐标与法线方程。二 相机内外参数的标定消失点的性质：过相机光心点与成像平面消失点的连线与空间中生成此消失点的直线平行。1） 消失点的求解假设空间中有n条平行线投影到图像平面，它们对应的投影线段的端点为和，像平面投影线段所在的直线方程为，其中，可通过投影线段的端点计算出。空间中n条平行的直线在像平面无穷远处相交为一点，假设消失点的坐标为，消失点到各平行直线的垂直距离为：其中，已知，那么消失点到投影直线的距离和为 （2-1）要使得消失点到个直线的距离之和最短，设，由于为已知，所以求距离之和的最短转化为求的最小值问题。令，则有由上可以看出矩阵A是有多条投影直线方程的系数构成的对称矩阵，对其进行特征值和特征向量分解，其最小特征值对应的特征向量即为所求消失点的齐次坐标，对应图像平面上的齐次坐标为。2） 利用消失点进行相机的标定相机的内参的标定：（考虑摄像机的纵横比为1）相机的内参矩阵可表示为 其中主点坐标为 假设与世界坐标系三个坐标轴相平行的三个方向的消失点分别为由消失点的性质可得到如下的方程组（考虑主点坐标O） （2-2） （2-3） （2-4） 联立式（2-2）（2-3）（2-4）可以计算出和f，从而得到内参矩阵K。利用消失点进行相机外参矩阵的标定（旋转矩阵与平移向量）旋转矩阵的解算采用的方位角为系统 对于系统，相机的外参矩阵可以表示为 （2-5）由消失点可求出，再由式（2-5）可求出相机的旋转矩阵。平移向量T的求解（以车轮的圆心为原点建立世界坐标系，其深度信息已知）相机由世界坐标系到相机坐标系的矩阵运算可以表示为，其中为世界坐标系坐标，为世界坐标系中的点在相机坐标系中的坐标。摄像机光心点的世界坐标在相机坐标系下的坐标为零，即 （2-6）为相机的光心点在世界坐标系下的坐标值，可由射影变换求出。射影变换的公式为 （2-7）其中（X,Y,Z）为空间点在世界坐标系下的坐标，（，）为相机光心在世界坐标系下的坐标值，（x,y）为空间点在像平面上的坐标值，为空间点的深度信息。取原点的坐标代入式（2-7），因为车轮圆心在相机坐标系下的坐标已知，所以可以求出深度值，从而可以求出相机光心在世界坐标系下的坐标值，代入式（2-6）后可以求出相机的平移向量T。三 空间坐标点的计算摄像机成像过程的矩阵运算可表示为 （3-1）其中，为内参矩阵，为外参矩阵将M矩阵写成如下形式：将M矩阵代入式（3-1），并展开可得将上式消去后可得到下式： （3-2