第2章 摄像机成像中的若干重要空间关系.doc

第二章 摄像机成像中的若干重要空间关系摄像机模拟人眼成像几何把三维场景空间关系投影到二维图像上，这一过程可以利用射影几何来刻划。借助射影几何以及齐次坐标、矩阵等代数工具，我们可以描述三维空间到二维图像的成像原理、两幅图像之间的极几何关系、空间中的特殊对象（例如平面等）的投影性质以及由图像重构三维空间物体形状的计算等。由于摄像机成像原理、极几何以及多视图几何等是计算机视觉研究的重要理论基础，因此有大量文献和著作给予讨论，其中比较系统的有Hartley等所著的“Multiple View Geometry in Computer Vision” 1、马颂德等所著的“计算机视觉计算理论与算法基础” 2等。在本章中，我们仅就后续章节所用到的若干重要空间关系作一个扼要介绍。2.1 视觉坐标系与成像几何原理2.1.1 图像坐标系、摄像机坐标系和世界坐标系 为了定量描述摄像机成像过程，首先定义以下三个坐标系。图像坐标系:图2-1 图像坐标系摄像机摄取的图像在计算机内以数组的形式存储，数组中的每一个元素称为象素（pixel），其值表示图像点的亮度(或称灰度，若为彩色图像，则图像的象素亮度将由红绿蓝三种颜色的亮度表示)。如图2-1所示，在图像上定义直角坐标系u-v，每一象素的坐标分别是该象素在图像中的列数和行数。所以是以象素为单位的图像坐标系的坐标。由于只表示象素位于图像中的列数和行数，并没有用物理单位表示出该象素在图像中的物理位置，因而需要再建立以物理单位(例如毫米)表示的图像坐标系x-y，该坐标系以图像中某一点为原点，x轴、y轴分别与u轴、v轴平行，如图-1所示。在后续章节中，如不加特别说明，表示以象素为单位的图像坐标系的坐标，表示以物理单位度量的图像坐标系的坐标。在x-y坐标系中，原点定义为摄像机光轴和像平面的交点，该点一般位于图像的中心处，称为图像的主点。但由于摄像机制作的原因，也会有些偏离。若在u-v坐标系中的坐标为，每个象素在x轴和y轴方向上的物理尺寸为dx，dy，则图像中任意一个像素在两个坐标系下的关系如下：用齐次坐标和矩阵形式可表示为： （2.1）逆关系可写为： （2.2）摄像机坐标系:所谓成像模型是指三维空间中的物体到像平面（视平面）的投影关系。理想的投影成像模型是光学中的小孔成像模型，图2-2是小孔成像模型的示意图。在此模型中，摄像机将场景点P经过C点投影到像平面上的像点m，其中点称为摄像机光心，轴和轴与图像坐标系的x轴和y轴平行，轴为摄像机的光轴，和像平面垂直，光轴与像平面的交点为，由点与轴组成的直角坐标系称为摄像机坐标系，记为，为摄像机焦距。世界坐标系:由于摄像机可安放在环境中的任何位置，我们在环境中还选择一个基准坐标系来描述摄像机的位置，并用它描述环境中任何物体的位置，该坐标系称为世界坐标系，记为，如图-3所示。摄像机坐标系和世界坐标系之间的关系可用旋转矩阵R与平移向量t来描述。因此，如果空间中某一点P在世界坐标系和摄像机坐标系下的齐次坐标分别为与，则存在如下关系： （2.3）其中R是旋转矩阵，t是三维平移向量，是矩阵，表示两个坐标系之间的关系。ZcP(Xc,Yc,Zc)图2-2. 小孔成像模型C1xyYcXcIC f(m(x,y) 图2-3 摄像机坐标系与世界坐标系问题：如何表示图像坐标与之间的关系？2.1.2 成象几何原理从小孔成像模型(如图2-2)中，不难看出，摄像机坐标系与成像平面坐标系之间存在以下关系：其中，为像点m在像平面坐标系下的坐标，为空间点P在摄像机坐标系下的坐标。和分别用齐次坐标表示为和，上式可写成矩阵形式： （2.4）其中为常数因子。这是摄像机最理想的简单模型。将（2.4）代入（2.1）式： （2.5）令 （2.6）则（2.5）式可简略地表示为： （2.7）其中：、分别称为u轴与v轴方向的尺度因子，称为主点坐标，矩阵 K 称为摄像机内参数矩阵，通常我们称它为四参数模型。如果离散化后像素不是矩形方块或像平面不与光轴正交，则使用下述五参数模型： （2.8）其中：s称为畸变因子，这是摄像机的一般线性内参数模型。像平面归一化坐标如果已知内参数矩阵K，对像平面作坐标变换： （2.9）我们称为像平面的归一化（规范化）坐标。此时，有使用归一化坐标，相当于内参数矩阵是单位矩阵，即摄像机的焦距为1。2.1.3 世界坐标系与摄像机投影矩阵以上讨论都是以摄像机坐标系为参考系。通过式（2.3）和（2.7），我们可以得到以世界坐标系表示的P点坐标与其像点m坐标的关系。由式（2.3）可得即 （2.10）其中，式（2.10）表示摄像机坐标系与世界坐标系之间的运动为（R，t），R 为旋转矩阵表示旋转分量，t 是一个三维向量表示平移分量。将（2.10）代入（2.7）式，我们有： （2.11）写成矩阵形式： （2.12）其中：称为空间点的齐次（世界）坐标，式（2.12）也称为摄像机投影方程。记 （2.13）称为摄像机投影矩阵，称为摄像机外参数。问题：已知图像点m坐标，如何求解K（称为摄像机标定）？如何求解R、t（称为运动分析）？如何求解（称为三维重构）？2.2 极几何与基本矩阵2.2.1 极几何如果摄像机内参数矩阵为K，场景点 投影到像平面上的像点齐次坐标，则我们有：（可以理解为第一个摄像机坐标系为世界坐标系） （2.14）当摄像机作刚体运动，旋转矩阵为R，平移向量为t 时，新的摄像机坐标系为,它与初始坐标系C-xyz之间的关系为（摄像机移动过程中K保持不变），则场景点在当前像平面上的象素坐标为 （2.15）与称为一对匹配点。现在考虑摄像机在两个视点下拍摄同一场景的情况，如图2-4所示。令分别为第一与第二个摄像机的光心位置，在第一个像平面上的投影为 e，C在第二个像平面上的投影为，它们称为外极点。像平面上通过点 e（）的直线称为外极线。e(R,t)CmxI图2-4 两幅图像的极几何关系外极约束：像平面上任一点 m，它在像平面上的匹配点 必位于外极线 上；类似地，像平面上任一点 ，它在像平面上的匹配点 m 必位于外极线 上。与 称为对应的外极线。2.2.2 基本矩阵在射影空间内，像平面上的直线 可用射影坐标来表示。令点 m 与的外极线与的射影坐标为与，则与m之 间满足一个线性变换：F 是一个秩 2 的矩阵，称为基本矩阵，它是两幅图像之间极几何的代数刻划。因 m 的匹配点 在外极线 上，故有 （2.16）将（2.16）式转置 （2.17）它表明对应的外极线可由表示。基本矩阵有下述基本性质：（1）F为基本矩阵当且仅当F满足式（2.16）且；（2）极点 e 满足 Fe = 0，极点 满足；（3）F 在相差一个非零常数因子情况下是唯一的。基本矩阵的表示令为任一场景点，是一对匹配点，由式（2.14）、（2.15）在相差一个非零常数因子的情况下，有所以 即由向量定义的反对称矩阵为：即，所以又因，所以代入左式得到因此 由于，故基本矩阵可表示为： （2.18）2.2.3 由匹配点求基本矩阵对于两幅图像之间的匹配点、，它们必然满足极约束，即，该方程是关于F的9个末知参数的线性齐次方程，由于F在相差一个常数因子的意义下是唯一的，所以可以将其中的一个非零参数归一化而变为8个末知参数。这样如果事先能知道8对匹配点，就可以线性地确定F，这就是所谓的八点算法(8-point algorithm)。在实践中，由于匹配点存在误差，通常选取多于8对匹配点(n8)，来求解下述线性最小二乘问题： （2.19）即解线性超定方程组 （2.20）式（2.20）的解为最小特征根所对应的单位特征矢量。2.3 本质矩阵2.3.1 本质矩阵如果已知内参数矩阵K，像平面使用归一化坐标，则称归一化坐标下的基本矩阵为本质矩阵。记本质矩阵为E，则 （2.21）因为所以 （2.22） （2.23）式（2.22）给出了本质矩阵与基本矩阵之间的关系。从式（2.23）可以看出：本质矩阵与内参数无关，仅由摄像机的运动（R t）所确定。2.3.2 本质矩阵的性质（1）；（2）；（3），也就是仅仅由平移决定，这是因为（4），这里表示Frobenius范数。2.4 单应矩阵2.4.1 单应矩阵令P是空间任一平面，、为两幅图像之间的任一对匹配点，如图2-5所示。如果矩阵H使得 （2.24）其中是常数因子，则称H为平面P关于两幅图像之间的单应矩阵，简称平面P的单应矩阵。在一个相差非零常数因子的情况下，单应矩阵是唯一的。2.4.2 单应矩阵的表示令平面P关于第一个摄像机坐标系的方程为： （2.25）其中n是平面的单位法向量，d 是平面到坐标原点的距离。 （2.26）在（2.26）中令，我们有 （2.27）并称它为无穷远平面的单应矩阵。（R，t） P x I 图2-5 P是空间任一平面，x为P上任意点，C与之间的运动为（R t）2.4.3 单应矩阵与基本矩阵之间的关系令F为两幅图像之间的基本矩阵，H为任一平面的单应矩阵，为第二幅图象上的极点，则有 （2.28）事实上，因为，所以有 2.5 三维重构在第一章中，我们已经说明本论文研究的重点是“未标定”条件下的三维重构问题，但摄像机投影矩阵已知情况下的三维重构是理解“未标定”条件下三维重构的基础。因此，作为后续章节的基础，本节主要介绍在摄像机投影矩阵已知情况下的三维重构以及内参数已知情况下的运动分析。2.5.1 空间点的重构如图2-6所示，从单幅图像我们不能确定空间点在世界坐标系中的位置。因此，要从图像确定空间点的位置，我们至少需要二幅图像，如图2-7所示。令两个摄像机投影矩阵分别为、，空间点在世界坐标系中的齐次坐标为，两幅图像之间的匹配点为、，于是我们有 （2.29）这样，可得到下述线性方程组： （2.30）从方程（2.30），求出x，再将x最后一个坐标归一化，可得空间点在世界坐标系中的坐标。2.5.2 求摄像机的运动在三维计算机视觉中，令摄像机作刚体运动，获取（运动前、后）两幅图像，如何根据图像求解摄像机运动，称为运动分析。显然，如果摄像机投影矩阵已知，这是一个很容易解决的问题，因为由摄像机投影矩阵可以求解出摄像机关于世界坐标系的位置，从而可确定摄像机的运动。由于内参数是已知的，因此，在本节中，图像坐标均使用归一化坐标。由本质矩阵求运动:如果E为本质矩阵，则一定存在一个旋转矩阵R和一个向量t，使得，因此有。因此，E的奇异值为，于是有奇异值分解（SVD）：即 （2.31） （2.32）从本质矩阵我们可以得到运动的两组解，但仅有一组解是合理的，即重构的空间点位于摄像机前方的解是合理的。另外，由于本质矩阵可以相差一个非零常数因子，所以求解的平移向量与摄像机的真实平移相差一个非零常数因子。由单应矩阵求运动令摄像机的运动为，平面关于第一个摄像机坐标系的方程为（n是平面的单位法向量，d为坐标原点到平面之间的距离），则平面关于两幅图像的单应矩阵为 （2.33）如果已知H（可从4对以上匹配点求出），则式（2.33）构成的方程。从式（2.33）利用奇异值分解（SVD）可以求解。方程（2.33）一般有4个解。当且仅当H有两个相同的奇异值时，有两个解；当且仅当有三个相同的奇异值时，有不定解。2.5.3 三维重构运动参数一旦被恢复，我们就得到两个摄像机在欧氏坐标下的投影矩阵，于是根据空间点的重构方法，就可得到物体可见表面的三维重构。总结上述讨论，具体算法如下：（1）由对应点估计基本矩阵；（2）估计摄像机内参数矩阵(摄像机运动前、后内参数保持不变)；（3）计算本质矩阵；（4）由本质矩阵恢复运动参数（R t）（平移向量与摄像机的真实平移相差一个非零常数因子）；（5）利用两个摄像机投影矩阵、重构匹配点对应的空间点，得到物体的三维形状。由于我们只能在相差一个非零常数因子的情况下恢复摄像机的平移向量，所以重构的物体只能保持其形状（即重构的物体与真实物体相似），而不能恢复真实物体的实际尺寸。参 考 文 献1R.Hartley, A.Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press 2000.2马颂德，张正友，计算机视觉计算理论与算法基础，科学出版社，1998.3O.Faugeras, Three Dimensional Computer Vision: A Geometric Viewpoint, Boston, MIT Press, 1993.4Q.T.Luong, O.Faugeras, The Fundamental Matrix: Theory, Algorithms, and Stability Analysis, International Journal of computer Vision, Vol.17, No.2, pp.43-75, 1996.5R. Hartley, Kruppas Equations Derived from the Fundamental Matrix, IEEE-T PAMI, Vol.19, No.2, pp.133-135, 1997.6M.Pollefeys, L.V.Gool, Euclidean 3D Reconstruction from Image Sequences with Variable Focal Lengths, In Proc. of ECCV96, pp.31-42, 1996.7P.Torr, D.Murray, The Development and Comparison of Robust Methods for Estima- ting the Fundamental Matrix, International Journal of Computer Vision,Vol.24, No.3,pp. 271-300, 19978Z.Zhang, Motion and structure from two perspective views: From essential parameters to Euclidean motion via fundamental matrix, Journal of the Optical Society of America, Vol.14, No.11, pp.2938-2950, 1997.9R.Hartley, In Defense of the 8-point Algorithm, IEEE-T PAMI, Vol.19,No.6, pp.580 -593, 1997.10R.Hartley, Estimation of relative camera positions for uncalibrated cameras, LNCS 588, ECCV92, pp.579-587, Springer-Verlage, 1992.11O.Faugeras, What can be seen in three dimensions with an uncalibrated stereo rig, ECCV92, pp.563-578, 1992. 12吴福朝，于洪川，韦穗，视觉基本矩阵的表