（电路与系统专业论文）特征点拍照测量的误差控制.pdf

独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得西南科技大学或 其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究 所做的任何贡献均已在论文中作了明确的说明并表示了谢意。 签名：互文戏 日期：加、d 文哆 f 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校 有权保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论 文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 一手姒翩虢参1 杉乎舢- 多夕 西南科技大学硕士研究生学位论文第1 页 摘要 论文根据三维关键点测量的需求和应用，分析了国内外典型三维测量系 统的原理和特点，并针对特征点拍照测量系统t n f p ，着重研究了相机标定和 三维重建过程中的误差来源及控制方法。 在分析了t n f p 现行相机标定算法的基础上，给出了基于因式分解的摄 像机标定方法，并根据现有光学畸变模型提出了一种反向畸变校正法，实现 了图像检测坐标到理想图像坐标的直接线性转换，经实验证明，改善的相机 标定法可以使得测量精度得到明显改善。 在三维重建中，为了消除累积误差的影响，提出了基于标准视网的重建 策略，可以有效减小坐标转换中引入的累积误差。同时，在大型物体的三维 测量中提出了拓扑约柬和先定向后重建策略，使得累积误差得到了进一步控 制。在结合了联合平差技术的基础上，使得系统在4 m 3 m 2 m 的测量范围 内，整体测量误差控制在0 2 m m m 以内。 关键字：相机标定光学畸变累积误差拓扑约柬 西南科技大学硕士研究生学位论文 第1 i 页 a b s t r a c t b a s e do nt h ed e m a n da n da p p l i c a t i o no f3 dc r i t i c a lp o i n t sm e a s u r e m e n t ， t h i sp a p e ra n a l y z e st h ep r i n c i p l ea n df e a t u r e so ft h es y s t e mo ft y p i c a l3 d m e a s u r e m e n ta th o m ea n da b r o a d d i r e c t e dt o w a r d st n f p ，t h ef e a t u r ep o i n t o p t i c a lm e a s u r e m e n ts y s t e m ，t h i sp a p e rf o c u s e so nt h ee r r o rs o u r c ea n dc o n t r o l m e t h o di nt h ep r o c e s so fc a m e r ac a l i b r a t i o na n d3 dr e c o n s t r u c t i o n o nt h eb a s i so fe x i s t i n gc a m e r ac a l i b r a t i o n a l g o r i t h mo ft n f ean e w c a m e r ac a l i b r a t i o na l g o r i t h mg r o u n d i n go nf a c t o r i z a t i o ni s p r o p o s e d ，f u r t h e r m o r e ，ar e v e r s ed i s t o r t i o nc o r r e c t i o nb a s e do ne x i s t i n go p t i c a ld i s t o r t i o nm o d e l i sp r o p o s e d ，t h i sc o r r e c t i o na c h i e v e sd i r e c tl i n e a rt r a n s f o r m a t i o nf r o mi m a g e d e t e c t e dc o o r d i n a t e st oi d e a ld e t e c t e di m a g ec o o r d i n a t e s e x p e r i m e n t ss h o wt h a t t h em e a s u r e m e n ta c c u r a c yc a nb eo b v i o u s l yi m p r o v e db yo p t i m i z i n gt h ec a m e r a c a l i b r a t i o na l g o r i t h m i nt h ep r o c e s so f3 dr e c o n s t r u c t i o n ，ar e c o n s t r u c t e ds t r a t e g yb a s e do n s t a n d a r dv i e wi sp r o p o s e dt oe l i m i n a t et h ei m p a c to fa c c u m u l a t e de r r o r t h i s k i n do fr e c o n s t r u c t e ds t r a t e g yc a ne f f e c t i v e l yd e c r e a s et h ea c c u m u l a t e de r r o r c a u s e df r o mc o o r d i n a t et r a n s f o r m a t i o n i nt h e3 dm e a s u r e m e n tt ol a r g eo b j e c t s ， t o p o l o g i c a lc o n s t r a i n ta n dt h es t r a t e g yo fo r i e n t a t i n gf i r s tt h e nr e c o n s t r u c t i n ga r e p r o p o s e dt of u r t h e rc o n t r o lt h ea c c u m u l a t e de r r o r b ya d o p t i n gt h ec o m b i n e d a d j u s t m e n tt e c h n o l o g y ，t h em e a s u r e m e n tr a n g eo ft n f ps y s t e mi sw i t h i n 4 m x 3 m x 2 m ，w h i l et h eo v e r a l lm e a s u r e m e n te r r o ri sl e s st h a n0 2 m m m k e y w o r d s ：c a m e r ac a l i b r a t i o n ：o p t i c a ld i s t o r t i o n ；a c c u m u l a t e de r r o r ； t o p o l o g i c a lc o n s t r a i n t 西南科技大学硕士研究生学位论文第1 i i 页 目录 1 绪论1 1 1 近景数字摄影测量的发展及应用2 1 1 1 近景数字摄影测量的发展2 1 1 2 近景数字摄影测量的应用6 1 2 数字摄影测量关键技术的研究现状及难点7 1 2 1 标定技术及误差分析现状8 1 2 2 镜头畸变校正及误差分析现状9 1 2 3 三维重建技术及误差分析现状1 0 1 2 4 大范围重建技术及误差分析现状ll 1 3 本文研究现状及内容1 2 2 近景摄影测量系统实现流程以及误差来源分析一1 4 2 1t n f p 的工作流程1 4 2 1 1 布置测量场景1 4 2 1 2 图像采集16 2 1 3 三维计算1 6 2 1 4 精度评价方法1 7 2 2t n f p 的算法实现流程1 8 2 2 1 相关知识介绍1 9 2 2 2 相机标定2 2 2 2 3 确定相机外参数2 4 2 2 4 三维重建2 7 2 2 5 平差优化2 9 2 3t n f p 系统的主要误差来源分析3 0 2 3 1 标定算法本身的误差3 0 2 3 2 相机镜头的畸变3 1 2 3 3 坐标系转换误差3 3 2 3 4 无约束平差3 4 2 3 5 计算误差3 4 2 4 本章小结3 4 3 相机标定中的误差控制3 5 3 1 射影重建3 5 西南科技大学硕士研究生学位论文第1 v 页 3 2 欧式重建3 7 3 3 获取相机参数3 8 3 4 实验验证3 9 3 4 1 模拟实验一3 9 3 4 2 真实图像实验4 2 3 5 本章小结4 5 4 相机畸变校正4 6 4 1 相机畸变及数学模型j 4 6 4 2 图像的畸变校正4 7 4 3 畸变系数的求解4 9 4 4 实验验证4 9 4 4 1 模拟实验5 0 4 4 2 真实图像实验5 2 4 5 本章小结5 4 5 三维重建中的误差分析和控制5 5 5 1 误差传递分析5 5 5 2 基于标准视陶的重建方式：5 9 5 3 优质图像网络的构建5 9 5 4 实验验证6 l 5 4 1 模拟实验6 l 5 4 2 真实图像实验6 2 5 5 本章小结一6 4 6 大型物体测量的误差分析和控制6 5 6 1 误差分析一6 5 6 2 先定向后重建法6 7 6 3 拓扑约束6 9 6 4 联合平差7 0 6 5 实验验证7 2 6 5 1 模拟实验7 2 6 5 2 真实图像实验7 4 6 6 整个系统改进实验验证7 6 6 6 1 汽车实验一7 7 6 6 2 汽车实验二一7 8 西南科技大学硕士研究生学位论文第v 页 6 7 本章小结8 0 结 论一8 1 致 射8 4 参考文献8 5 攻读硕士学位期间发表的论文及科研成果9 0 西南科技大学硕士研究生学位论文第l 页 1 绪论 随着中国制造业的快速发展，许多行业的产品大量采用了中大型和复杂 曲面工件，特别是在汽车、飞机、船舶、军工、风电等行业中比较普遍。目 前，对于小于1 米长度工件的三维尺寸质量检测，基本不存在问题，多采用 三坐标测量机。3 、关节臂2 “朝、激光扫摘- 5 ：等完成。而对于大尺寸的物体测 量，传统的方法多采用龙门式三坐标机n 1 、激光跟踪仪驯、关节臂沁 【、 经纬仪伯m 钔等来实现。目前在国外已有相关产品出现，比如：( 1 ) 、l e i c a 公司 的经纬仪测量系统，虽然它在2 0 m 范围内的坐标精度可达到l o um m ，但它 通过手动照准目标逐点测量，速度慢、自动化程度不高；( 2 ) 、l e i c a 全站仪 测量系统，在大于1 0 0 米测量范围内测量精度优于0 2 m m ，但它在短距离 ( 0 的 条件，则这些组所对应的解即为物理可实现解。从而实现了相机之间的相对 定向。 依据以上分析，只要已知本质矩阵e ，相对定向即可实现，关于e 的求 解方法可以通过5 点算法拍引阳引、6 点算法、7 点算法5 3 或8 点算法哪3 等来实 现。 ( 2 ) 绝对定向 假没存在四个相机，1 - 2 相机组成双视图、3 - 4 相机组成另一组双视图， 每一组双视图进行重建和相对定向时均将世界坐标系建立在当前组的第一 个相机上，即分别建立在相机l 和3 上。目标是将相机3 和4 与相机l 对齐， 使得相机3 和4 具有的外参数信息是针对与相机l 所在的世界坐标的，以此 类推，如果存在多个相机，将所有栩机均统一到第一个相机上( 或均统一到 其他的任意一个相机上) 即实现了相机的绝对定向“引。 具体的理论推导如下： 假设空间点工，在1 2 视图和3 - 4 视图下重建出来的点分别表示为： m 和m ：。o 一 一 ： i ， 一 对于1 - 2 组视陶，世界坐标系建立在第1 个相机上，则： 吨2 g f 西南科技大学硕士研究生学位论文第2 6 页 叫】阱碱 他1 3 鸭“ 蜀互】i 仆k r 。m 嘲 - 1 4 ) 其中，s ，五为第2 个相机相对于第1 个相机的旋转和平移。 对于3 - 4 组视图，世界坐标系建立在第3 个相机上，则： “】| 仆姒 他。1 5 畔【足晰 ；州+ 碣 他。1 6 其中，r ，不为第4 个相机相对于第3 个相机的旋转和平移。 假设m 、m ：之间的刚体变换关系为： 。 m l = r m 2 + r ( 2 1 7 ) 将式( 2 - 1 3 ) ( 2 1 4 ) ( 2 - 1 7 ) 带入式( 2 - 1 5 ) ( 2 1 6 ) 可以得到： = 刎：= k r - l ( m 棚= q 舯 吲 他- 1 m 。= k _ r ：m ：+ 觋= k r ：( m 棚嘲= 足眇1 郴一m 吲汜。9 ) 由式( 2 - 18 ) ( 2 - 1 9 ) 可知，将第3 、4 个相机转换到第1 个相机的坐标 系下发生的刚体运动为： 墨= r ，五= 一r - i t( 2 2 0 ) r ，= 足r 一，= 一心r + 互( 2 - 21 ) 从而完成了绝对定向，如果有更多的相机依据上述原理变换即可。 ( 3 ) 点云拼接 在绝对定向公式( 2 - 17 ) 中提到两片点云实现拼接时需要进行的冈0 体运 动：旋转r 和平移t ，为了最终确定相机之间的绝对位置，就必须获得两片 点云之间的转化关系，此关系可以通过拼接算法拍3 j 来实现。 假设存在两片点云h 和 t ，i = 1 ，2 ，nt 其中， ”) 和 巧 具有相同的比例， 且存在n ( n 3 ) 个公共点。现要将点云溉 对齐到点云 t 】所在的坐标系下， 。： 即：。 。7 。： ： 4。 4 ：r 历，+ r + 砟 ( 2 2 2 ) 西南科技大学硕士研究生学位论文第2 7 页 其中，巧是一个噪声矢量。为了获取最优解 页_ 常常采用最小二乘法最 小化如下关系式： 2 = 芝卜觑一爿： ( 2 2 3 ) 因为，点集h ) 和 d i 具有相同的重心，依据此约束可以获得以下方程关 系式： d 2 专蔷刃 矗2 z j ( 2 2 4 ) 小2 专善竹 2 一脚 式( 2 - 2 3 ) 可以被重写为： 2 = 姜l k 一岛_ 1 2 = 吾n ( 吒+ 吒- 2 胁。) ( 2 2 5 ) 方程的最小化对应于最后一项的最大化，它等同于最大化t r a c e ( 页，日) ，其 中h 定义为如下关系矩阵： 胃= 芝致。d 。r ( 2 - 2 6 ) 假设h 经s v d 分解为何：u a i ”，那么旋转矩阵页可以按照下式获得： 页：v u r( 2 - 2 7 ) 则： 亍：孑一r m( 2 2 8 ) 由此可以得到两片点云之间的转换关系矩阵。 2 2 4三维重建 三维重建主要依据的是三角测量原理碍鬟：已知不同位置的两幅图像上的 一组对应点、肼：，那么它们与各自相机的光心连线丽、一o m l , 必定交与空 间一点m ，此点即为此组对应点的空间物点，如图2 - 9 所示。 但由于误差和噪声的存在，往往丽、甄并不能精确相交，而是存在 一定的距离d ，因此空间点m 的求解要借助于最小二乘方法，尽量运用冗余 信息来实现解的最佳近似。 、 岛 图2 一g 三角测量原理 f ig 2 - 9 t ria n g uia ti0 1 1 具体实现方法如下： 假设空问点m = k 。l r 在两幅图像上的投影分别为：hml r 、 = p ：吃1 l ，且第一个相机投影矩阵为f i = 墨【j r l 正】，第二个相机投影矩阵为 昱= 局【尼五】，则根据透视投影公式可得： 僻u 1 只圈j ( 2 - 2 9 ) ( 2 3 0 ) 。m ，；：m ：， ，l 1陬，矗，以玎z 三1 其中， 鼻= 旧，脚；：聊：，所三| ，最= f ，蠢，瘴刀，i ，乏| ，小岛为非零比例因子。 将只、曼带入式( 2 - 2 9 ) ( 2 3 0 ) 并消去昏五，整理成矩阵形式后为： 其中，肚篓-；三系2篓-三囊篓,三囊2-1 2 ，膏=窿，6=妻-irai-i囊-+4。 其中，肚l 勰二囊茏二案墨二瓮| ，膏= 引，6 - f 案二：! 蔫| o l v 二，心】一，2 j 匕乃2 一”k 匕”7 3 ；一刀j 。”。 册毛一b 仂三i 依据最小二乘原理即可得出：一 如果一个点在多个相机上( 2 ) 成像，只需将它们添加到矩阵4 和6 上 西南科技大学硕士研究生学位论文第2 9 页 即可实现空间点的重建。 2 2 5平差优化 光束法平差，又称为搁集调整随 。其本质上说是一种优化，一般采用最 小化某个代价函数，不断迭代调整参数，使目标函数余差不断下降，从而实 现待定参数的优化处理。光束法平差实际属于非线性优化范畴，一般在优化 开始前需要获得待测参数的初始值，同时要确定迭代中止的条件，来保证平 差运算的稳定运行。 在三维重建的过程中，本文采用的目标函数为： m i n c ，( d ( 口，岛) ，勺) ： ( 2 3 3 ) ，= lj = l 其中，q ( a s ，岛) 是第f 个点在第，个视图上的像点预测值，口，表示一个相机 参数向量，6 l 表示一个三维点向量。是第i 个点在第，个视图上的观测值。 d ( 剐，) 表示x , y 之间的欧式距离，目标函数具有的几何意义是：反投影残差最 小。从该定义可以看出，光束法平差是允许图像中有消失点存在( 即并不要 求视场中的每一个点在每个视图上都有投影像点) 。如果口，大小为膏，4 大小 为五，则优化参数个数为m k + n 2 。 传统光束法平差是基于摄影测量的，本文中将平差应用到计算机视觉领 域中。针孔相机模型的透视投影变换为： ，巧x l 恐y + 巧z + f 。4 - s ( r 4 x + q y + z + ，) 忙面鬲再雨i 押7 。7( 2 - 3 4 ) 。“ y + ，；y + z + f ： ” () ，x + ，；y + 吃z + ， v 2 虿百万云瓦“。 其中，以，工幽v o s 为相机内参数元素，参见式( 2 - 3 ) 。相机外参数为： 】7 z 】表示空间三维点坐标，p ，1 表示与 xyz 】对 应的像素点坐标。 。一假设相机内参数已知，待优化的参数包括：相机外参数元素，三维点坐 ，一： 。 标。由此，可利用泰勒公式将( 2 - 3 4 ) 展开，取第一阶偏导数，将透视投影方 程线性化： 西南科技大学硕士研究生学位论文第3 0 页 = ，+ 鲁斫，+ 薏以+ 睾啦+ 鲁d 国+ 嚣咖十象旅+ 导硝+ 骞d ，r + 是忽娟归西，( 2 3 5 ) v - ( v ) + 毒以+ 署以+ - 塞z - - - d + 一意如+ 嚣如+ 罢撒+ 詈科+ 嘉d y + 亳以= ( v ) + 咖 将其整理成矩阵形式为： fy = 【召c x 一三 t 善：尝尝：三 y = 享：主 2 3 6 其中， b ： e h孤魏锄|勃t a | 8 8 争蚤k8 t 。a | 。o t ： 加加加加加加 e 8 牵瓠a t 。a t ，a ： 甜一瓴面r 2 x 瓦+ r y 而+ r , z + t 7 + ) 州工篝糍 o u ，c ：i 瓦 i 加 l 瓦 o u 5 u o yo z 苎 伪g v 万瓦j ， z = 国r ，：r y z 7 通过不断迭代式( 2 - 3 6 ) ，使得反投影残差y 最小，直到残差满足一定 的阈值要求或者迭代次数超过设定的最大次数中止迭代，完成平差运算。从 而实现了待定参数的求精处理。 2 3t nfp 系统的主要误差来源分析 2 3 1 标定算法本身的误差 在2 2 2节中介绍的标定算法，存在几个缺陷，也是这几个缺陷使得 t n f p 的标定精度受到了一些不利影响。 ( 1 ) 在射影重建中，本质上采用的是双视图重建方法，在每次重建时 一个点的恢复都只定位于当前两幅视图，而一般情况下，同一个点在不同的 多幅视i 訇上成像，如果利用双视图重建三维点，就会浪费其他视图提供的冗 余信息，。也就使得重建的结果只满足当前两幅视图的精度范围，但不一定适 “ - 一 合于其他视图，从两降低了三维点重建的整体精度。 ( 2 ) 在欧式重建中，假设了内参数的相关信息，但是一般实际情况下， 西南科技大学硕士研究生学位论文第3l 页 除了纵横比已知外，其他条件都很难满足，比如，畸变因子一般不为0 ，主 点坐标不精确位于图像中心等。因此，在以上假设情况下，求解出来的初始 值一般更加粗糙，使得优化收敛速度慢，收敛精度不高。 ( 3 ) 再将式( 2 - 1 0 ) 整理成a x = 0 的形式用最小二乘求解时，达到了 最小值但不受任何约束限制，所以得到的解不能准确满足所需要的条件。而 实际上绝对对偶二次曲面嵋0 1 的秩为3 ，即行列式为0 ，但是采用上述方法得 到的解一般不满足此条件。由此使得标定精度不高。 据此本文引入了基于因式分解的方法，它可以有效避免上述弊端。 2 3 2相机镜头的畸变 t n f p 系统采用的相机成像模式是线性的小孔成像模型。在理想情况下 此种假设能够被很好的满足，但是在实际情况下，相机的镜头受到制造工艺 的影响，存在光学畸变8 。，虽说随着制造工艺的不断提升，可以极大的降低 光学畸变，但是不能够完全的消除，因此，使得三维点信息映射到图像上时， 不再是绝对的线性变换，忽略畸变的影响将直接损害标定的精度。 光学畸变的形式有很多种，其中最重的有两种：径向畸变b 掣和切向畸变 泊钔，如图2 - 1 0 所示。径向畸变是由镜头的径向弯曲引起的，负向径向弯曲 使外部点向内部靠拢，呈现桶状，称为桶形畸变：正向径向弯曲将引起外部 点向外扩展，呈现枕状，称为枕形畸变。如图2 1 l 所示。而切向畸变引起 点在切向方向上的偏移，如图2 1 2 所示。就两者而言，径向畸变起着决定 作用，切向畸变中包含有径向畸变的成分。 一般光学畸变引入的误差在0 几一几个像素的误差，边缘地方误差大， 越接近于图像光心畸变越小。在高精度测量中，一般要求图像点坐标的定位 误差在亚像素级，因此，由光学畸变引入的误差必须考虑并进行校正，否则 很难实现高精度测量。本文提出了反向求解光学畸变的方法并对原始图像进 行线性畸变校正，保证了高精度测量的需求。 西南科技大学硕士研究生学位论文第3 2 页 “ 理想点位嚣厂蛾 厂么麓 l fv 7 7 4 ：径向畸j z ：切向畸j f ig 2 1 0 图2 10径向和切向畸变1 位置 r a d ia ia n dt a n g e n t i a ld is t o r t i o n 【2 3 】 、一、一一一7 、， f ；g 2 11 图2 - 11径向畸变的影晌m 1 t h ei n f i u e n c eo fr a d ia id is t o r t io n 【2 3 】 变变 畸 畸 形 形椭枕 一水 一水表襄 a b 西南科技大学硕士研究生学位论文第3 3 页 题 八 f 入 切向暖 绉。 疑萝唆 图2 12切向畸变的影响m 1 t h ei n f i u e n c eo ft a n g e n t i a id is t o r t i o n f 2 3 】 2 3 3坐标系转换误差 在图像坐标检测精度一定的条件下，图像之间的相对定向得到的相机姿 态以及三维点包含有阁像检测引入的部分误差，因此，当前的相机姿态和三 维点均含有除计算误差以外的检测误差。在整个系统进行绝对定向时，采用 的是双视图组得到的三维点之间的公共点，通过拼接算法计算绝对定向时需 要进行的刚体变换参数，从而实现相机和三维点的绝对定向。这就势必将各 组之间存在的误差通过不断的坐标转换累积到待转换的相机和三维点上，而 且这种误差的累积随着图像序列的不断增长而加大，有时会导致重建的失 败。 基于上述原因，如果坐标转换次数降低，将会使得误差累计变小，从而 提高系统的重建精度。本文提出了基于标准视图的重建策略，可以有效降低 坐标转换次数。 同时假如两片点云之间的同名点同时参与求解拼接转换矩阵，就会出现 这样一种情况：如果其中一个点的误差比较大，将会使得整个转换求解精度 、 受到负面影响，因此，如何找到精度比较高的点进行转换矩阵的求解也是控 一制误差的关键。对此，本文提出了拓扑约束来实现高精度坐标转换。 一 j 一一 西南科技大学硕士研究生学位论文第3 4 页 2 3 4 无约束平差 在相机定向完成时，往往采用光束法平差进行优化处理，但是此优化只 是以最小化反投影残差为目标，没有添加任何约束条件，但是场景中往往存 在一些已知的信息，如果忽略这些信息，优化出的结果有时不能满足已知场 景的实际情况，从而引入较大的误差。因此，平差优化最好结合一些场景已 知信息进行，会使计算更加稳定，结果更加精确。本文通过联合平差来实现 普通平羞和场景知识的结合。 2 3 5计算误差 在整个系统的计算中包括一些小的计算模块：本质矩阵的计算，由本质 矩阵进行相对定向，三角测量原理，点云拼接计算等，都对系统或多或少的 引入了误差，但它们的主要误差形式是计算机的舍入误差和截断误差，此部 分的误差是不可避免的，而且影响很小，可以忽略不计，因此，不是系统误 差的主要来源，本文不作为研究内容。 2 4 本章小结 本文对t n f p 系统的整个操作流程和重建流程进行了详细分析，对每一 步中所采取的算法进行评估，找出了一些主要的误差源，主要包括：标定算 法的不完善、盲目忽略光学畸变、绝对定向时坐标系转换次数过多，光束法 平差没有添加约束信息等。而关于一些细小模块的计算只是存在很小的数值 计算误差，是不可避免的，不属于主要误差源。本文后文将对主要误差源采 用一定措施，对其引入的误差进行控制和补偿，以此来提高系统的整体精度。 西南科技大学硕士研究生学位论文第3 5 页 3 相机标定中的误差控制 相机标定就是确定相机的内部几何和光学参数以及相机在世界坐标系 下的位置和姿态参数的过程。相机标定的精度直接影响着计算机视觉重建的 精度，迄今为止，已有诸多标定算法的出现“埔，但它们各自有各自的应用 领域。对相机标定的研究来说，当前的研究工作应该集中在如何针对具体的 实际应用问题，采用特定的简便、实用、快速、准确的标定方法。 t n f p 本着操作简单、快速、实用、准确的原则，采用了分层自标定算 法。在硬件配备上：它不需要任何标准物，从一定程度上降低了硬件成本： 在操作上：只需要用户从不同角度对被测物同一区域采集多于3 幅图像，程 序即可自动解算，不需过多的人员干预，用户不需要有很高的测量技术即可 实现操作；在计算速度上：可以很快的实现标定，一般采集4 幅图像只需要 一分钟左右的时间即可获得标定结果：在测量精度上：略有一些不足，稳定 性有待于提高。针对t n f p 现行标定算法，在2 3 1节给予了相关分析， 对标定算法中误差的来源进行了研究。本章将对2 3 1节分析得到的误差 源引入的误差进行控制，并用粱栋提出的因式分解标定法5 = 对误差进行补 偿，从而提高系统标定的整体精度。 3 1射影重建 基于对极几何的射影重建由于只关注于当前两幅视阁的信息，它浪费了 其他图像对该点提供的可用信息，而且后续加入的图像定向是用前面图像计 算出的三维点通过d l t 算法得到的，因此，三维点中含有的误差会传递到后 续图像的定向和重建上，往往得到的重建结果精度不高。为了解决此问题可 以采用多视图重建的方式，多视图重建是基于矩阵分解的一种重建方式，是 由t o m a s i 埔：3 等于1 9 9 2 年提出的，但是在正交投影相机模型的基础上实现的， 后来被m e ih a n 阳3 1 应用到透视投影相机模型上，可以通过对由图像点坐标组 篡：成的测量矩阵进行矩阵分解获得射影矩阵和射影空间下的三维点坐标，实现 射影重建。 一 假设9 。为射影空间下未知的三维点齐次坐标，只是未知的3 4 的i 割像 西南科技大学硕士研究生学位论文第3 6 页 投影矩阵，q 妒是测量的图像点的齐次坐标，p = l ，表示点的编号， 示图像的编号，基本的图像投影方程可以写成： 勺= 只g 其中，奄为射影深度。 将所有图像点的投影方程整合成一个3 m xn 的矩阵方程为： ( 3 一1 ) 【q i 伤q 】 ( 3 - 2 ) 了一 矩阵w 称为测量矩阵，它的秩最大为4 。如果得到了射影深度，按照 t o m a s i 和k a n a d e 的方法，即可通过s v d 分解w 同时获得射影空间下的所有 投影矩阵p 和所有三维点坐标q ，如下： 耐( ) = l r d u 7 尸= ，q = d o u ：( 3 - 3 ) 其中，圪表示v 的前四列，d 0 表示d 前四行四列，砜表示u 的第四列。 可见，整个计算过程应用所有图像一次性进行，且对所有图像平等对待， 可以有效地利用所有i 翁像提供的信息计算相机在射影空间下的位置信息和 三维点信息，同时此种计算方法可以避免如基于对极几何方法出现的误差累 计问题，进一步保证了精度。但此方法，必须要求测量矩阵的点同时所有视 图上可见，这在一般在大型物体测量中不能满足，但是本文是将此算法应用 到标定中，标定时采集的图像是对空间同一区域拍摄的多幅图像，因此这些 图像同时存在多个公共点是很容易满足的。 实现矩阵分解法进行射影重建的一个关键就是射影深度的估计。图像点 的射影深度可以利用s t u r m 和t r i g g s 哺e 建议的对极几何方法来实现： 勺= 导掣等型 ( 3 - 4 ) 2 1 产 、 l 勺 l 其中，式( 3 - 4 ) 表示对p 点进行射影深度估计。c ( q r f g q ，= 0 ) 表示图像i 和j 之间的基础矩阵，表示第j 幅图像上的极点，与q 驴分别表示图像i 和图像j 之间的对应点坐标。 + 一。具体实现方法：j ：。 二： 一 一 j 一。一 ( 1 ) 假设第一幅图像所有点的射影深度为：二，：1 。 ( 2 ) 带入式( 3 - 4 ) 即可找到测量矩阵中其他图像对应的所有点的射影 印鼍，钿 n 翌 以蝈刃；饵 五五 厶 n 暮舟；阿 五 0 矿 西南科技大学硕士研究生学位论文第3 7 页 深度，从而完成射影深度的估计。 3 2欧式重建 在欧式空间下，第i 个相机的投影矩阵足可以表示为： 兄= 墨f 弓】 ( 3 5 ) 其中，墨表示第f 个相机的内参数矩阵，r 表示第f 个相机的旋转矩阵， 它是一个3 3 的单位正交阵，糟曼示第，个相机的平移向量，足和共同描述 了相机的方位和位置。 由式( 3 2 ) 可知，插入任意一个非奇异的4x4 矩阵h ，式( 3 - 2 ) 依然 成立： w = p q = p h h + 1 q ( 3 - 6 ) 如果h 描述的是一个欧式变换即可将射影空间下的相机参数和三维点 信息转换到欧式空间下，这样，式( 3 - 5 ) 和式( 3 - 6 ) 之间可以建立以下关 系式： ( 3 - 7 ) 其中，珥为任意的非零实数，由式( 3 7 ) 可知，只要确定了转换矩阵h 就可以将射影空间下的孝鹾机运动和场景结果直接升级到欧式空间下，完成欧 式重建沁副。 为了求解h 矩阵，可以根据旋转矩阵的单位正交性将式( 3 - 7 ) 改写成 一个新的关系式，如下所示： 其中，风表示h 矩阵的前三列。由于t n f p 采用的是单相机固定参数测 量，所以k ：巧：k ，假设k 的初始值通过以下方式获得：假设主点坐标为 ：、，j ：，图像昀中p ，畸挛因于s 己9 ，丘- - 工= ，f 为相机的焦距。由于t r a 疗= n o , , - 0 7 是4 一4 的对称矩阵，含有1 0 个未知数，每增加一幅图像同时增加一个未知数， 因此至少需要3 幅图像即可求解出t r a 聆的值。 墨 弓 ，_【l 墨；e 口 口 = = 厅 日 日 只 r，l 一 碍 砰 局 k ，町 ，町 = l i 甲 甲 啊 懈 只 只 西南科技大学硕士研究生学位论文第3 8 页 t r a 行表示的是对偶绝对二次曲面，它的值为3 ，即d e t ( t r a 疗) ：0 ，为了在此 约束下实现凰的求解，可以采用s v d 分解的方法，强制将胁押的第四个奇异 值设置为0 ，从丽获取满足约束的e 。矩阵。 t r a n ：a d i a g ( o ：，口：，o ，o ) a l = a d i d g q 6 l 、l a ! 0 a l ，o ) d i o g ( 4 a , ，_ o ：! 、l a j 霹a l t r r 。一r 一 一r 。一，一 t j( 3 - 9 ) h 。= a o d i a g (，i ，i ) 其中，4 i 为的前三列。 为了获得转换矩阵日的第四列矾，可以通过设置世界坐标系的方法实 现，如：从q 中任选一点作为参考点，设置欧式空间坐标系的原点与该点 重合，则可以得到h x o = ( o 0 0 1 ) 7 ，则可以得到以= 而。至此，确定了欧式转 换矩阵h 的所有参数。将应用到式( 3 - 6 ) 中可以即可得到欧式空间下的 相机运动数据和空间结果数据。 ，2 竺， ( 3 1 0 ) i q = 日。9 一 由上述推导可见，这个求解过程没有对内参数各元素做任何特殊的假 设，而且，添加了对偶绝对二次曲面秩为3 的约束，相比t n f p 现行算法更 加鲁棒。 3 3 获取相机参数 基于欧式空间的相机运动参数，可以通过q r 分解获取射影空间下单个 相机的旋转矩阵和平移向量，将旋转矩阵转换成欧拉角，通过光束法平差优 化算法同时优化相机内参数矩阵、外参数( 欧拉角和平移向量) 、三维点坐 标，从而获取内参数的最优解。 优化的代价函数如式( 3 11 ) 所示，表示的几何含义为，空闻点的重投 影余差最小。 嘶n d ( 而( 4 增k ，乞，k ，乌) ，q f ) ： ( 3 1 1 ) i * l 。i 其中，矗表示欧式空问下的第，个点在第i 个相机上的重投影坐标，a n g l e d 乞表示第f 个相机对应姿态的欧拉角，o 表示第f 个相机对应平移向量，岛表示 欧式空间下的第，个三维点，表示从图像上检测到的第个点在第i 个相机 上的投影坐标。 西南科技大学硕士研究生学位论文第3 9 页 3 4 实验验证 为了验证算法的改进程度，分别对新算法和t n f p 的现行算法进行模拟 实验和真实图像实验的验证和比较。主要关注于精度的改善。 3 4 1模拟实验 本实验的目的是验证改进算法和t n f p 现行算法在稳定性和精确性上的 改善程度。特设置以下实验进行观察。 实验设置： f l o o o 0 5 0 0 1 假设相机内参数矩阵为：k = l 01 2 0 04 0 0i ，用此相机对空间一物体从不 【0 0lj 同方向拍摄五幅图像，五个相机的姿态用欧拉角进行描述，相机外参数的设 置如表3 - 1 所示。 空间点的三维结果如图3 - 1 所示，它由一个正方体中的几个点组成，点 的各坐标的单位为“单位”，即可以用户自动设置，当单位为m m 时，各坐标 描述的长度就是以m m 为单位的。 为了验证算法的稳定性，给五幅图像分别添加0 - 2 5 个像素的随机噪 声，每种噪声水平下进行3 0 次实验取其均值作为最后的标定结果。观察两 种算法在每种噪声水平下的稳定性和精确性。 1 一j一。图3 1 仿真三维结构 西南科技大学硕士研究生学位论文第4 0 页 实验结果： 由于相机内参数中的纵横比往往是可以已知的，而且畸变因子一般很接 近于0 ，因此，此处主要关注于内参数的另外三个主要元素：焦距和主点坐 标。三个关键参数的实验结果如图3 - 2 图3 - 3 图3 4 所示。 表3 1 相机外参数 t a b 3 1e x t e r n ai p a r a m e t e r so fc a m e r a s 盘 碧 暑 图3 - 2 焦距厂误差随噪声变化的情况 f ig 3 - 2t h ee r r o rc h a n g e so ff o c ai ie n g t h ，wit h1 3 0is e ，t 。i 一+ 一? ”1 + 一一一 fig 3 3 轻 暑 宅 暑 图3 - 3 二 j 一一一一o 主点坐标随噪声变化的情况 t h ee r r o rc h a n g e so fp r i n c ip a ip o i n t w i t hn o is e 西南科技大学硕士研究生学位论文第4 l 页 f ；g 3 - 4 癣 密 g 磷 苍 善 图3 - 4主点坐标v o 随噪声变化的情况 t h ee l - r o tc h a n g e so fp r i n c lp a ip o i n t v 0 w i t hn o is e a ) 焦距厂误差随图像数量变化情况 掣 警 宅 善 善 宝赣的攻 b ) 主点坐标误差随图像数量变化情况 掌转向攻缸 c ) 主点坐标v 0 误差随图像数量变化情况 图3 - 5 o 一 ： + - 一情一：一。一， 。“+ 一 j f ig 3 - 5r e s u i t so f 实验分析： 现行t n f p 标定算法结果 一 ，+：一2 + 一：一一 t h ec urr e n tc ai ib r a tio naig o rjt h mo ft n f p 西南科技大学硕士研究生学位论文第4 2 页 由上述实验结果可以发现，随着噪声的不断增大，两种方法的标定误差 都在上升，但是改进的方法比t n f p 现行方法误差增长速度慢，而且在每种 噪声水平下，改进算法均比