基于正方形模板的摄像机自标定新方法kdh

基于正方形模板的摄像机自标定新方法基于正方形模板的摄像机自标定新方法kdhkdh 学术研究Academic Research基于正方形模板的摄像机自标定新方法陈西黎宁周建江 南 京航空航天大学信息科学与技术学院 南京 210016 摘要利用正方 形模板的两组相互正交方向的消失点 本文提出了一种新的摄像机 自标定方法 根据射影几何中的交比关系以及调和共轭性质 该方法只需拍摄三个 不同方向的正方形模板图像来计算正方形平行边与对角线方向的消 失点 利用消失点与光心的连线平行于该组平行直线的特性 摄像机所有 的内部参数便可以线性地求解出来 实验结果表明 新方法标定精度高而可靠 使用起来简单而方便 关键词 摄像机标定技术 自标定 正方形模板 消失点 内部参数 TN911 23A1673 1131 xx 01 027 04摄像机标定方法大体分两大类传统的摄像机标定方法和摄像机自 标定方法 传统的标定方法需要有一个标定物 在很多实际应用中往往难以实现 自标定方法不需要放置参照物 只利用摄像机在运动过程中的周围 环境及图像之间的对应关系便得到摄像机的内部参数 6 因此成为 标定技术的研究热点 7 10 作为射影几何中一个非常重要的特征 消失点被广泛应用于摄像机 标定 11 14 本文利用射影几何中的调和共轭特性 并结合消失点对摄像机内参数 的约束 给出了一种基于正方形模板的摄像机自标定方法 该方法由于充分利用了正方形对角线相互垂直的性质 根据一副图 片便可以得到两组相互正交的消失点连线 所以只要拍摄三幅图像 就可以 一 引言摄像机标定是计算机视觉中的一个基本问题 是利用物体 的二维图像获取三维信息的关键步骤 主要是获得摄像机几何参数和 光学参数 内部参数 以及摄像机相对于世界坐标系的空间位置 方 向关系 外部参数 的过程 现有的线性求取全部内参数 从而大大地降低了标定的复杂度 与其他方法相比 该方法对摄像机运动没有什么要求 也无需知道 正方形的任何几何信息 由于不涉及图像匹配问题 避免边缘检测和直线拟合所带来的误差 因此该方法计算精度比较高 A NovelApproach forCamera Self calibration Based on VanishingPointsCHEN Xi Li Ning Zhou Jian jiang College ofInformation Scienceand Technology Nanjing Universityof Aeronauticsself calibration square template vanishingpoint intrinsic parameter陈西黎宁周建基于正方形模板的摄像机自标定新方法xxNo 127Information信息通信O P1 1 G H O P2 1 D B O P3 1 二 基本原理摄像机的成像模型通常可以用针孔模型来表示如图1Y w Z w 是三维世界坐标系中物体点P的三维坐所示 设 X w Y c Z c 标 X c 是同一点P在摄像机坐标系中的三维坐标 定义摄像机坐标系的中 心在O c点 光学中心 z c轴与光轴重x c轴 y c轴分别平行于X轴 合 Y轴 定义OXY平面为图像平面 则空间点与图像平面间构成理想的透视对 应 f为理想成像系统的焦距 u v 是计算机帧存图像坐标系中坐标 单位是像素 设 u0 v0 为计算机图像中心坐标 即O点的帧存图像坐标 1 空间点P的三维坐标 xw y w z w T和对应的图像平面的像素点坐标 u v T之间的投影关系可以表示 为 1 T T是任意常数 u v l 和 Xw Yw Zw 1 是 u v T和 F E O P 1 2 4 根据摄像机透视变换相应顶点的对应性和交比不变性 将 2 转化为下面一组等式 3 A m C m O m p1 1 G m H m O m p2 1 D m B m O m p3 1 F E O p 1 3 m mm4图3 a 正方形模板 b 正方形模板在图像平面的像式中在图3 b 中 设A m B m C m D m E m F m G m H m O m的坐标 u B v B u C v C u D v D u E v E u F v F u G v G 为 u A v A P 2 P 3 P4的坐标分别是 u p1 v p1 u H v H u O v O 设P 1 v p2 v p3 和 u p4 v p4 u p2 u p3 因此 在正方形的图像平面上检R Xw Yw Zw T对应的齐次坐标 M 是对应的3 4投影矩阵 和T分别对应摄像机坐标系在世界坐标系中的旋转矩阵和K则定义为 摄像机的内参数矩阵 平移矩阵 即 2 f u f v分别表示u和v方向上的焦式中 u0 v0 是主点坐标 距 单位为像素 s是描述图像平面两个轴之间的偏斜系数 欧氏空间中两平行直线永不相交 但在射影几何中两平行直线相交 于无穷远处一点 该点在图像平面上的投影点称为消失点 在射影几何中 消失点有无限多个 不同方向的平行线在投影面上 形成不同的消失点 在摄像机针孔模型中 B C D E F G H O的坐标后 测出点A 根据等式 3 即v p2 v p3 可求出两组正交方向消失点的坐标 u p1 v p1 u p2 u p3 和 u p4 v p4 3 2摄像机内参数的线性求解方法假设空间中存在一对垂直方向上的 平行线段 它们的无P2 P2 穷远点分别为P1 相应的消失点为P1 根据成像原理可得 7 7 将 7 做简单的变化得到下面的方程 8 与 9 28xxNo 1陈西黎宁周建基于正方形模板的摄像机自标定新方法 学术研究Academic Research 8 9 由消失点的重要性质可知光心和消失点的连线方向与无穷远点的 坐标矢量方向一致 即光心O与P1 的连线OP1 和O与P2 的连线OP 2 相互垂直 因此可以得到下面一个通用的等式 10 本文中由于采用的是正方形模板 因此可以得到下面两个等式 11 令 则C的真实含义是无穷远平面上绝对二作为标定模板 图像 分辨率为16001200 我们对正方形模板从不同角度拍摄了图片 给出其中的四幅图片 如图4所示 图中A B C D E F G H分别表示正方形的4个顶点以及四条边 上的中点 O表示的是正方形的中心点 我们将这15幅图片分成5组 每组分别做6次实验 对6次实验结果取 平均值 再将5组计算结果取均值就得到摄像机的内部参数 利用相机在不同方位拍摄的图片之后 重要的步骤就是求取正方形 的角点A B C D E F G H O 角点提取一般都是通过边缘检测和直线拟合方法来完成的 即首先 通过Canny算子进行边缘检测 然后对结果进行霍夫变换 通过拟合出 的直线参数来求得直线的方程 再求取直线的交点 为了避免较大的误差 我们采用手工操作提取角点的方法 对每个角 点手工操作3次 然后对3次提取出的角点坐标取平均值作为该点的 图像坐标 提取出正方形角点A B C D E F G H O之后 我 12 次曲线在图像平面上的像 C是一个对称矩阵 包含6个量 将 11 写成线性方程形式对正方形模板从不同位置拍摄N幅图片 建 立N组类似于式 12 的方程A2N 6C6 1 0 A2N 6是关于第i幅图像的u p1 u p2 u p3 u p4的函数 C6 1 C1 C2 C3 C4 C5 C6 T 当N 3时 C6 1的解就是我们可以用最小二乘法求解出C6 1 的 最小特征值所对应的特征向量 也是将矩阵异值分解时所对应的第2 N列奇异向量 相应的对称矩阵C也可以得到 进一一旦计算出C6 1 步就可以求 解出所有的内部参数 通过矩阵C计算内部参数的常用方法是对矩阵C进行Cholesky分解 即先分解出K 1 然后再对K 1求逆得到K 但是这个方法比较复杂 而且精度不是很高 本文采用了Zhang提出的较为简单 灵活摄对矩阵C的计算进行了简 化 根据点阵模像机标定方法 4 板数据和摄像机在三个不同方位拍摄 获得的图像数据计算出图像与模板间的单应矩阵 从而确定矩阵C 最后 利用下面的一组公式 14 逐个地求解摄像机全部的内参数内参数f u 14 f vu0第一组1641 11680 3798 9592 82 7图4数码相机拍摄的正方形模 板的四幅图片们根据前述算法求解出摄像机内部参数 表1给出了5 组实验的计算结果 为了比较 我们还仿真了文献 14 中的算法 还是用这些图片来标 定这个相机 表2给出了两种方法运算结果的比较 表1摄像机内部参数标定结果第二组1639 11646 5801 6576 70 7第 三组1607 71645 2755 9640 5 36第四组1619 81601 9861 3558 163 4第五组1644 71645 4801 656 4 50 7平均值 计算结果 1630 481643 86803 86586 526 3奇 四 实验结果及分析为了验证算法的有效性 我们进行了一系列实 验 使用的是Canon PowerShot G5数码相机 利用地面的正方形地砖v0s陈西黎宁周建基于正方形模 板的摄像机自标定新方法xxNo 129Information信息通信 municatio nsuncalibrated cameras A Second EuropeanConference onComputer s6 311 3Vision C London Springer Verlag LNCS588 1992 579 587 6 Maybank SJ Faugeras OD A theoryof self calibration ofa movingcamera J International Journalof ComputerVision 1992 8 2 123 151 7 雷成 吴福朝 胡占义 Kruppa方程与摄像机自标定 J 自动 化学报 xx 27 5 621 630 8 Hartley R Zisserman A 计算机视觉中的多视图几何 M 韦穗等译 合肥 安徽大学出版社 xx 9 Wang GH Hu ZY Wu FC Novel approachto fu1630 481642 3f v1643 861621 55u0803 86790 8v0586 52557 25表2本文方法和文献 14 中标定方法计算结果的比较方法本文方法文献 14 方法从两组 数据的比较可以看出 本文方法计算出来的偏u 0 v0相对于文献 14 中拟合直线方法斜系数s是比较理想的 更加 接近标准值 因此本文的方法计算误差更小 更加有效 具有优越性 虽然存在一定的误差 但是基本上可以通过改善试验环境和实验设 备来减少这些误差 五 结论本文从消失点知识入手 结合射影几何中的交比以及调和 共轭理论 提出了一种新的摄像机自标定方法 该方法不需要知道正 方形的尺寸 位置信息 只需要对正方形模板从不同位置拍摄3幅图 片 就可以线性求解出摄像机的所有内部参数 充分利用了正方形 模板平面和消失点的特性 与已有的基于消失点的标定算法相比 本文的方法减少了摄像机的 运动次数 计算过程简单 不需要精心制作标定模板 不涉及图像 匹配和直线拟合 有高精度性 有效性和实用性 circular pointsbased camera calibration A Proceedings ofthe2nd International Conference ofImage and Graphics C Hefei Wei Sui SPIE vol 4875 xx 830 837 10 毛剑飞 陈利红 刘晓峰 等 机器人视觉系统的自标定新算 法 J 浙江大学学报 xx 37 3 283 287 11 Ma SD A self calibration technique for activevision systems J IEEE Trans Robotics and Automation 1996 12 1 114 120 12 陈泽志 吴成柯 一种新的手提相机自标定方法 J 中国图 像图形学报 xx 8 3 341 346 13 Liu Y Wu YX Wu MP et al Planar Vanishing参考文献 1 马颂德 张正友 计算机视觉 计算理论与算法基础 M 北京科学出版社 1998 2 邱茂林 马颂德 李毅 计算机视觉中摄像机定标综述 J 自动化学报 2000 26 1 43 55 3 Tsai RY A versatilecameracalibrationtechniqueforhigh auracy3D machinevision metrologyusing off the shelf TVcamera andlenses J IEEE Journalof RoboticsandAutomation 1987 3 4 323 344 4 Zhang ZY A flexiblenew techniqueforcameracalibration IEEE Transactionson PatternAnalysis andMachine Intelligence 2000 22 11 1330 1334 5 Har