机器视觉及其应用实验报告

1、HarbinInstituteof Technology实验报告课程名称： 机器视觉及其应用 实验名称： 摄像机标定上机验证院系：自动化测试与控制系班级：1036103实验 人：胡洋学号：6100100311教师：陈凤东实验时间： 哈尔滨工业大学机器视觉及其应用实验报告实验名称：摄像机标定上机验证 实验人员： 胡洋三、 实验日期： 四、 实验目的：上机验证摄像机标定方法五、 实验原理：摄像机标定是一个确定摄像机内部参数 (包括几何与光学参数 )和外部参数 (包括摄像机相对世界坐标的位置及方向 )的过程。摄像机标定的目的是建立摄像机世界坐标系中坐标(xw,yw,zw)T 与其相应图 像像素坐标

2、(u,v)之间的关系。 最终实现利用计算机采集得到的二维图像来恢复待 测物体的三维信息的目的。摄像机标定方法是视觉系统实现的前提和基础。目前现有的摄像机标定技术 大体可以分成两类：传统的摄像机标定方法和摄像机自标定方法。传统的摄像机标定方法是在一定的摄像机模型基础上，基于形状、尺寸已知 的特定参照物，利用参照物上的特征点的世界坐标和相应的像素坐标之间的关 系，通过一系列数学变换和计算方法， 求取摄像机模型的内外参数。 传统的摄像 机标定方法需要高精度的已知结构信息， 过程复杂， 但是标定精度高， 适用于多 种摄像机模型。而摄像机自标定方法则不依赖特定的标定参照物， 仅仅利用摄像机获取的一 系列

3、图像信息来确定摄像机参数。 摄像机自标定方法对环境适应较好， 可以无人 参与下完成标定，但是精度低，鲁棒性不足，不适用于测量场合。传统的摄像机标定方法按其求解的方法可分为三类： 线性方法、 非线性优化 方法和考虑畸变补偿的两步法 15 。(2-18)线性方法不需要迭代， 速度较快。 但是定标过程中忽略了摄像机镜头的非线 性畸变，使得定标精度受到影响。 一般的线性求解方法是透镜变换方法和直接线 性变换 (DLT)方法，他们都是利用一定数目的已知特征点的成像信息和公式 (2-18) 的投影变换矩阵求解。xwm00m01m02m03ywm10m11m12m13zwm20m21m22m23u sv11

4、本实验采用传统的摄像机标定方法。在传统的标定方法中，标定参照的标准件的精度对标定结果的影响较大。但 3D 立体靶标的制作成本较高，且加工精度受加工条件的限制。基于 2D 平面靶标提出了摄像机标定方法避免了一般传统方 法对设备要求较高，操作繁琐等缺点，同时标定精度高。在标定过程中，要求平面靶标至少有两个不同的姿态，摄像机和平面靶标都可以自由的移动， 不需要知道运动参数， 且不论摄像机从任何角度拍摄靶标， 摄像机内部参数都为常数，只有外部参数发生变化。该标定示意图如图 7 所示。第一步：求解测量平面与图像平面之间的单应性矩阵。 测量平面上的三维点 记为 M (x,y,z)T，其相应图像平面上的二维

5、点记为 m (u,v)T ，则相应的齐次坐标分别为 M% ( x, y, z，1)T 与 m图像点 m 之间的关系为：(2-19)sm AR|TM图 7 二维平面标靶标定示意图其中，s 为一任意的非零尺寸因子，A 矩阵称为摄像机的内部参数矩阵，定义为：(u0,v0) 为主点坐标，垂直因子。旋转矩阵xu0A0y v0001xy 分别是 u 轴和 v 轴的尺度因子，(2-20)是u轴和 v轴的不R 与平移向量 T 称为摄像机的外部参数矩阵(u,v,1)T 。摄像机基于针孔成像模型， 空间点 M 与为了不失一般性，可以假设测量平面位于世界坐标系的 Zw 0 平面。记旋转 矩阵的第 i列为 ri ，则

6、由式 (2-19)可得式(2-21)s v Ar1 r2 r3 TyAr1 r2 T y0111(2-21)将式子 (2-21)进一步简化，得到：sm HM(2-22)uxx其中，H 就是 要求得的 测量平面 与图像平面之间 的单应性矩阵。则 H A r1 r2 T 为一 3*3 的矩阵，为一个常数因子。由于摄像机图像平面的点的坐标可以通过图像处理的方式获取。 所以每张图 片都可以计算出一个 H 矩阵。第二步：摄像机内部参数的求解。记 H h1 h2 h3 ，则有：(2-23)(2-24)(2-25)h1 h2 h3 A r1 r2 T因为 r1和 r2 是标准正交的。所以可以得到关于内参的两

7、个限制条件：h1TATA 1h2 0T T 1 T T 1h1 A A h1 h2 A A h2设B A TA 1B12 B13B11B21(2-26)可知 B 矩阵是一个 对阵 矩阵 ，所以可以写 成一个六维向量形 式：b B11,B12,B22,B13,B23,B33 。设H中的第i列向量为 hi公式(2-24)改写为：hi1,hi2,hi3 ，那么可以将hiT Bhj vijb(2-27)vijhi1hj1,hi1hj2hi 2hj1,hi2hj2,hi3hj 1hi1hj3,hi3hj2hi2hj3,hi 3hj3(2-28)最后根据内参限制条件 (2-24)、(2-25)得到：Tv1

8、212 T b 0(v11 v22)T(2-29) V 矩阵是 2*6 矩阵，也就是说每张图像可以建立起两个方程， b 矩阵有六个 未知数，也就是说至少三张图片就可以求出 b 矩阵。 b矩阵的解出，相机内参矩 阵 A 也就可以解出来了，而从每张图像的 R 矩阵、 T 向量也就可以得到了。 双目摄像机与单目摄像机的区别是： 双目摄像机中还需要确定两个摄像机之 间的位置关系，其中， R0和 T0分别表示旋转矩阵和平移向量。通过标定确定两个摄像机的内部参数以及外部参数，其中， R1、T1与 R2、T2 分别表示左、右摄 像机与世界坐标系的相对位置。假定空间中任意一点在世界坐标系、 左摄像机坐标系和右

9、摄像机坐标系下的 非齐次坐标分别为 xw、 x1、x2，则有：x1 R1xw T1,x2 R2xw T2(2-30)消去 xw，得到：x2R2R1 1x1 T2 R2R1 1T1(2-31)两个摄像机之间的位置关系 R0、T0 可以用以下关系式表示：R0 R2R11,T T2 R2R1 1T1(2-32)第三步：参数优化。因为初始的参数已经求解出来了，所以将每张图像的控 制点根据求解的参数重新投影回三维空间， 最小化与真实值的差异， 其实就是建 立非线性最小化模型。这里用的是 Levenberg-Marquardt 迭代算法，从而计算出 所有参数的准确值。第四步：使用 HALCON 软件工具，

10、验证上述标定过程。六：实验结果：# # Camera : Parameter#>Focus#>Kappa#>Sx#>Sy#>Cx#>Cy7#> ImageWidth#> ImageHeight#ParGroup: Camera: Parameter;"Internal camera parameters"Focus:foc: DOUBLE:0.0:; "Focal length of the lens"Kappa:kappa: -640.051221234071;DOUBLE:;"Radial d

11、istortion coefficient"DOUBLE:0.0:;"Width of a cell on the sensor"Sy:sy: 7.4e-006;DOUBLE:0.0:; "Height of a cell on the sensor"Cx:cx: DOUBLE:;"X-coordinate of the image center"Cy:cy: 244.960933309793;DOUBLE:;"Y-coordinate of the image center"ImageWidth:imgw: 652;INT:1:32768;"Width of the images"ImageHeight:imgh: 494;INT:1:32768;"Height of the images"# HALCON Version 11.0 - Fri Nov 01 14:33:1