第9讲 摄像机模型与标定3 (1) 深圳大学 机器视觉及应用 课件

1、2/3/Slide source: Seitz4/Slide source: Seitz5/6/p=(X,Y,f)P=(x,y,z)7/),(vu),(YX8/),(zyxzfyYzfxX1101000000001zyxPzyxffYXs11010000000010010011100zyxMzyxffvdYudXvus摄像机内参摄像机内参9/111012wwwwwwTZYXMZYXtRzyx摄像机外参摄像机外参10/11/OriginalCreated12/13/14/15/16/17/18/19/20/21/22/23/24/25/26/Photo credit: GazetteLive.c

2、o.uk27/28/29/30/31/直接线性变换是将像点和物点的成像几何关系在齐次坐标下直接线性变换是将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式：写成透视投影矩阵的形式： 11143wwwwwwZYXZYXvusPtRK其中其中 为图像坐标系下的点的齐次坐标，为图像坐标系下的点的齐次坐标， 为为世界坐标系下的空间点的欧氏坐标，世界坐标系下的空间点的欧氏坐标， 为为 的透视投影矩的透视投影矩阵，阵， 为未知尺度因子。为未知尺度因子。 1 ,vuwwwZYX,Ps4332/34333231242322211413121143pppppppppppppijP34333231242

3、3222114131211pZpYpXpspZpYpXpsvpZpYpXpsuwwwwwwwww消去消去 ，可以得到方程组，可以得到方程组: :s0034333231242322213433323114131211vpvZpvYpvXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww33/当已知当已知 个空间点和对应的图像上的点时，可以得到一个个空间点和对应的图像上的点时，可以得到一个含有含有2 2* * 个方程的方程组：个方程的方程组： 0AL其中其中 为为 的矩阵，的矩阵， 为透视投影矩阵元素组成的为透视投影矩阵元素组成的向量向量 。 12*2NLATpppppp

4、pppppp343332312423222114131211,NN0034333231242322213433323114131211vpvZpvYpvXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww34/ 像机定标的任务就是寻找合适的像机定标的任务就是寻找合适的 ，使得，使得 为为最小，即最小，即 | ALL|minALL给出约束：给出约束： 134pBCCCLTT1)(为为 的前的前1111个元素组成的向量，个元素组成的向量， 为为 前前1111列组成的矩列组成的矩阵，阵， 为为 第第1212列组成的向量。列组成的向量。LCABALL向量的比例有意义向量的比例

5、有意义0034333231242322213433323114131211vpvZpvYpvXppZpYpXpupuZpuYpuXppZpYpXpwwwwwwwwwwww35/100001000000133323123222113121100333231242322211413121134zyxyxtrrrtrrrtrrrvupppppppppppp3334rpp3341ppzTzyyTTyzxxTTxzTyTxTyxTTTtrtvtrvrtutrurtrtrtrvupppppp3030203013210032421413410010000001r3是正交单位矩阵的第是正交单位矩阵的第三行，行

6、列式为三行，行列式为136/zTzyyTTyzxxTTxzTyTxTyxTTTtrtvtrvrtutrurtrtrtrvupppppp30302030132100324214134100100000013223431234322343302031234330103343)()(ppppppppprrvrvppprruruppryxTTTyTTTx341103342203343414034240()()()()xyzxxyyprpu pprpv ptmptpuptpv37/134p是否合理？是否合理？ 约束约束 不具有旋转和平移的不变性不具有旋转和平移的不变性, ,解将随着世解将随着世界坐标系的

7、选取不同而变化界坐标系的选取不同而变化. .134p证明：证明：世界坐标系作刚性坐标变换世界坐标系作刚性坐标变换10tRPP则则3433323213134ptptptpp显然在一般的情况下显然在一般的情况下3434pp38/另一个约束另一个约束 具有旋转和平移的不变性具有旋转和平移的不变性1233232231ppp1coscoscos322212由1321R3P3R2R312111,rrr332313,rrr322212,rrr),(333231ppp向量向量 , , , , 是两两是两两垂直的单位向量垂直的单位向量1R2R3R39/ 80 80年代中期年代中期TsaiTsai提出的基于提出的

8、基于RACRAC的定标方法是计算的定标方法是计算机视觉像机定标方面的一项重要工作，该方法的核心是机视觉像机定标方面的一项重要工作，该方法的核心是利用径向一致约束来求解像机外参数，然后再求解像机利用径向一致约束来求解像机外参数，然后再求解像机的其它参数。基于的其它参数。基于RACRAC方法的最大好处是它所使用的大方法的最大好处是它所使用的大部分方程是线性方程，从而降低了参数求解的复杂性，部分方程是线性方程，从而降低了参数求解的复杂性，因此其定标过程快捷，准确。因此其定标过程快捷，准确。像机模型 径向一致约束 标定算法 40/理想图像坐标到数字图像坐标的变换理想图像坐标到数字图像坐标的变换（只考虑

9、径向偏差只考虑径向偏差） 0221002210)(1)()(1)(vvvukvvuuvukuudddddd(ud, vd)为一个点的数字化实际坐标，（为一个点的数字化实际坐标，（u, v）为理想的数字化坐标，（为理想的数字化坐标，（u0, v0）为畸变中心）为畸变中心（u0, v0）(ud, vd)（u, v）41/理想透视投影成像坐标理想透视投影成像坐标),(uuYXp真实透视投影成像坐标真实透视投影成像坐标),(ddYXp在图像平面上，点在图像平面上，点 ， 共线。共线。),(uuYXp),(ddYXp42/世界坐标系和摄像机坐标系的关系世界坐标系和摄像机坐标系的关系cox ozOwywz

10、wxuvzwwwywwwxwwwTzryrxrzTzryrxryTzryrxrx987654321y由径向约束由径向约束ywwwxwwwddTzryrxrTzryrxrYXyx65432143/移项得：移项得：yddwdwdwxddwdwdwTXrXzrXyrXxTYrYzrYyrYx654321yTdydwydwydwyxdydwydwydwXTrXzTrXyTrXxTTYTrYzTrYyTrYx154321dyyyyxyyydwdwdwddwdwdwXTrTrTrTTTrTrTrXzXyXxYYzYyYx/654321同除以同除以 得：得：写成矢量形式得：写成矢量形式得： 1010dxxd

11、dydus dXuvd Yv44/1.利用径向一致约束来求解利用径向一致约束来求解 和和 yxTTR,s定标步骤定标步骤:2.求解有效焦距求解有效焦距 、 方向上的平移方向上的平移T T3 3 和畸变参数和畸变参数 fz1k1,0,0,0,0,00vfusfK45/123456/xyxyxyxxywidiwidiwididiwidiwidiwididiyyys r Ts rTs rTs TTx Yy Yz YYx Xy Xz XXrTrTrT1.1.求解像机外参数旋转矩阵求解像机外参数旋转矩阵 和和 、 方向上的平移和方向上的平移和 Rxyxs 1010dxxddydus dXuvd Yv（1

12、）（2）46/11,22,33,4,54,65,76,2221/21212121/25674562221/2456/()()()() | ()xyxyxyx xyyyyyyyyas rT as rT as rT as rTarTarT arTaaaTrTrTrTrrr令由于2221/ 24562221/ 2567()1|()yrrrTaaa根据正交性，即：，则有：2221/2123ys()|xaaaT（3）（4）47/1111221133144123155456166()/,()/()/,()/(),(),(),yxyxyxyxyxyxxyxxyxyywwwxyywwwxyyrTsrTsrTs

13、rTsrTsrTsrTsrTsrTrTxrxr yr zTrTrTyr xr yr zTrTrT714825936rrrrrrryy （5） 确定确定 的符号并得到的符号并得到yTxTrr及91假定假定 为正，在标定点中任意选取一个点，进行如下计算为正，在标定点中任意选取一个点，进行如下计算yT若若符号为正，否则为负则符号相同与符号相同且与yddTyYxX,计算计算48/diiiYyfz00() ()idiidizfydy vvwdy vvT21217892456789()(1)()()(1)()wiwiwixdiwiwiwizwiwiwiYdiwiwiwizf rxr yrzTXkr xr

14、yr zTf r xr yr zTYkr xr yr zT标定算法步骤二2. 求解求解Tz, f, k（1）（2）49/张正友方法 0,YXMcXcZcYvum ,wXwZwYwOO50/基本原理：基本原理：123120111XuXYs vA r r r tA r r tY 其中，其中， 为摄像机的内参数矩阵，为摄像机的内参数矩阵， 为模为模板平面上点的齐次坐标，板平面上点的齐次坐标， 为模板平面上点为模板平面上点投影到图象平面上对应点的齐次坐标，投影到图象平面上对应点的齐次坐标， 和和 分别是摄像机坐标系相对于世界坐标系的旋转矩阵和分别是摄像机坐标系相对于世界坐标系的旋转矩阵和平移向量平移向

15、量ATvum 1TYXM 1t321rrr0ZH 不失一般性，假定模板平面在世界坐标系不失一般性，假定模板平面在世界坐标系 的平面上的平面上51/12312Hh h hA r r t1120TTh AA h111122TTTTh AA hh AA h根据旋转矩阵的性质，即根据旋转矩阵的性质，即 和和 ，每，每幅图象可以获得以下两个对内参数矩阵的基本约束幅图象可以获得以下两个对内参数矩阵的基本约束021rrT121 rr由于摄像机有由于摄像机有5个未知内参数，所以当所摄取得的图象数个未知内参数，所以当所摄取得的图象数目大于等于目大于等于3时，就可以线性唯一求解出时，就可以线性唯一求解出A1111

16、2211,rA hrA hsmHM52/53/54/55/张正友方法所用的平面模板56/算法描述1. 打印一张模板并贴在一个平面上2. 从不同角度拍摄若干张模板图象3. 检测出图象中的特征点4. 求出摄像机的内参数和外参数5. 求出畸变系数6. 优化求精57/张正友的平面标定方法是介于传统标定方法和自标定方法之张正友的平面标定方法是介于传统标定方法和自标定方法之间的一种方法。它既避免了传统方法设备要求高，操作繁琐间的一种方法。它既避免了传统方法设备要求高，操作繁琐等缺点，又较自标定方法精度高，符合办公、家庭使用的桌等缺点，又较自标定方法精度高，符合办公、家庭使用的桌面视觉系统面视觉系统(DVS

17、)(DVS)的标定要求。的标定要求。张的方法是需要确定模板上点阵的物理坐标以及图像和模板张的方法是需要确定模板上点阵的物理坐标以及图像和模板之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不之间的点的匹配，这给不熟悉计算机视觉的使用者带来了不便。便。58/()()()()()()()()()()()()acbdbcadacbdbcadacbdbcadxxxxCRxxxxyyyyCRyyyyzzzzCRzzzzXxfzYyfz对于空间中同一直线上的四个点：对于空间中同一直线上的四个点：),(),(),(),(dddcccbbbaaazyxDzyxCzyxBzyxA、交比：交比：空间点透空间点透视关系：视关系：59/对于空间四个点对应的理想图像点为：对于空间四个点对应的理想图像点为：),(),(),(),(ddccbbaaYXYXYXYX、()()()()()()()()acbd