（航空宇航科学与技术专业论文）基于摄像测量的路面平整度检测和起吊设备的智能视觉研究.pdf

国防科学技术人学研究生院硕+ 学何论文 摘要 本文以摄像测量技术在工程测量中的应用为背景，设计了路面平整度摄像检 测系统和起吊设备的智能视觉系统，通过仿真和模拟实验，验证了设计方案的可 行性。 论文的主要工作包括： l ，介绍了摄像测量的相关技术基础。对几种常用的摄像机标定技术进行了讨 论，比较了它们的优缺点和适用范围，在此基础上介绍了适用于路面平整度摄像 检测系统和起吊设备的智能视觉系统的标定方法。介绍了亚像素定位技术的原理， 对人工合作标志的亚像素定位技术进行了研究，通过实验分析了亚像素定位的误 差。分析了镜头畸变对测量结果的影响。 2 ，将摄像测量技术应用于路面平整度的测量，设计了一种路面平整度摄像检 测方法。叙述了其测量原理，并给出了系统模块和系统流程。通过仿真及模拟实 验，验证了原理的可行性。该方法利用双标志点互差消去基准平台震动的方式， 取代现有仪器中采用加速度传感器来测量平台震动，克服了加速度传感器测量震 动时的局限性和不足，减少了传感器的使用，降低了成本，是一种适合普及使用 的路面平整度测量的有效方法。 3 ，针对起吊设备作业的自动引导问题，设计了起吊设备的智能视觉系统。该 系统采用摄像测量技术通过人工合作标志点智能确定起吊方位，并自动寻找起吊 目标，引导设备自动起吊，将物品搬运到预定地点。给出了系统组成和工作流程。 通过模拟实验，验证了原理的可行性。 4 ，对以上系统的数据处理方法进行了研究，选用白噪声观测数据多项式最优 滤波器，并对其滤波效果进行了分析。 5 ，最后简要分析了今后工作的进一步研究方向 主题词：摄像测量亚像素定位像机标定路面平整度智能视觉 第i 页 国防科学技术人学研究生院硕十学位论文 a b s t p a c t 1 1 1 i sp a p e r ，b a s e do nt h ea p p l i c a t i o no fv i d e o g r a m m e t r yi ne n g i n e e r i n gs u r v e y ， d e s i g n sav i d e o g r a m m e t r ys y s t e mf o rp a v e m e n tr o u g h n e s sd e t e c t i o na n d a l li n t e l l i g e n t v i s i o ns y s t e mf o rh o i s t i n ge q u i p m e n t ，b o t ho fw h i c ha r ev e r i f i e dt h ef e a s i b i l i t yt h r o u g h s i m u l a t i o ne x p e r i m e n t s n 砖m a i nc o n t e n t so f t h i sp a p e ra r el i s t e da sf o l l o w s ： 1 t i l i sp a p e ri n t r o d u c e ss e v e r a lc o m m o nc a l i b r a t em e t h o d so fv i d e o g r a m m e t r y a n dd i s c u s s e st h e i ra d v a n t a g e sa n dd i s a d v a n t a g e sa n da p p l i c a t i o n s t l 始c a l i b r a t i o n m e t h o d so fv i d e o g r a m m e t r ys y s t e mf o rp a v e m e n tr o u g h n e s sd e t e c t i o na n di n t e l l i g e n t v i s i o n s y s t e mf o rc a g eh o i s t a r ci n t r o d u c e d s u b - p i x do r i e n t a t i o nt e c h n o l o g y ， p a r t i c u l a r l yt h ep r i n c i p l eo fs u b - p i x e lo r i e n t a t i o n , i s s t u d i e df o ra r t i f i c i a lm a r k m e a n w h i l e ，i ta n a l y s e s t h er e s u l t sf r o mt h ee i t o i so fl e n sd i s t o r t i o nt h r o u g h e x p e r i m e n t s 2 i tp r o p o s e st h ea p p l i c a t i o no fv i d e o g r a m m e t r y 谢t l ls p e c i f i cm e t h o d si n p a v e m e n tr o u g h n e s sm e a s u r e m e n t s s t u d y i n gp r i n c i p l e s , i tp r o p o s e st h es y s t e mm o d u l e a n dp r o c e s s t h ep r i n c i p l e sa n df e a s i b i l i t ya r ev e r i f i e dt h r o u g hs i m u l a t i o ne x p e r i m e n t s 1 1 km e t h o dw i t hc l i o - m a r km u t u a ld e v i a t i o ne l i m i n a t e st h ej o u n c eo fr e f e r e n c ep l a t f o r m s ot h a tt h ec u r r e n tw a yo fu s i n ga c c e l e r a t i o ns e n s o r sc o u l db er e p l a c e db y t h i sm e t h o d , w h i c hn o to n l yc o n q u e rt h el i m i t a t i o na n dd i s a d v a n t a g e so fu s i n ga c c e l e r a t i o ns e r l s o r s b u ta l s or e d u c ec o s tb yl e 豁u s i n go fs e n s o r s ，i sp r o v e dt ob ea l le m c i e n ts o l u t i o na n d p r a c t i c a lp o p u l a r i z a t i o nf o rp a v e m e n tr o u g h n e s sm e a s u r e m e n t s 3 i td e s i g n si n t e l l i g e n tv i s i o ns y s t e mf o ra u t o m a t i cl e a d i n go fh o i s t i n ge q u i p m e n t s s t u d y i n gp r i n c i p l e s ，i tp r o p o s e st h es y s t e mm o d u l ea n dp r o c e s s t h cp r i n c i p l e sa n d f e a s i b i l i t ya r ev e r i f i e dt h r o u g hs i m u l a t i o ne x p e r i m e n t s t l l i sm e t h o dc a nd e t e r m i n eh o i 或 d i r e c t i o nw i t ha r t i f i c i a lm a r ki n t e l l i g e n t l yt h r o u g hv i d c o g r a m m e t r yt e c h n o l o g y ， t h e r e f o r es e a r c h i n ga n dl i f t i n gt a r g e t st od e s t i n a t i o nc a nb ea u t o m a t i c 4 i ts t u d i e st h ep r o c e s s i n gd a t ab o t ho ft h es y s t e m s i ta n a l y z e st h er e s u l t so f c h o o s i n gw h i t en o i s eo b s e r v e dd a t ap o l y n o m i a lo p t i m a lf i l t e r 5 f i n a l l y ，i tg i v e sc o n c l u s i o n sa n da n a l y z e st h ef u r t h e rr e s e a r c hd i r e c t i o nb r i e f l y k e yw o r d s ：v i d e o g r a m m e t r y ；s u b p i x e lo r i e n t a t i o n ；c a m e r ac a l i b r a t i o n ；h i g h w a y r o u g h n e s s ；i n t e l l i g e n tv i s i o n 第i i 页 国防科学技术人学研究生院硕+ 学位论文 表目录 表4 1 空问目标定位误差结果4 7 表5 1 中心平滑效果数据对比5 9 表5 2 滤波效果数据对比6 l 表5 3 预测效果数据对比。6 3 表5 4 观测数据中心平滑效果数据对比6 7 第l v 页 国防科学技术人学研究生院硕十学位论文 图目录 图1 1 火箭待发段箭体倾倒角度实时测量图像分系统示意图3 图l - 2 长距离轨道几何参数检测的摄像测量装置4 图2 1 中心透视投影模型6 图2 2 亚像素定位示意图。1 3 图2 3 多摄像机三维交会17 图2 4 镜头畸变示意图。2 0 图2 5 透视变形示意图2 0 图3 1 路面平整度摄像测量原理结构图2 6 图3 - 2 路面平整度摄像检测系统成像模型2 6 图3 3 摄像机测量关系图。2 7 图3 - 4 像机测量值高程曲线图2 8 图3 5 有倾角时参数关系图2 9 图3 - 6 车辙计算方法示意图2 9 图3 7 路面平整度摄像测量系统流程图。3 0 图3 8 路面平整度摄像测量系统结构框图3 l 图3 - 9 单个人工合作标志图像3 2 图3 1 0 理想十字丝模板图3 2 图3 1 1 相关系数矩阵图一3 2 图3 1 2 不加入误差的仿真结果与理想路面曲线3 3 图3 1 3 加入陀螺测角误差的仿真结果与理想路面曲线3 3 图3 1 4 加入标志点定位误差的仿真结果与理想路面曲线。3 3 图3 1 5 国际平整度( i 刚) 结果图3 4 图3 1 6 标志点在垂直方向的像素坐标结果3 4 图3 1 7 模拟测量得到的路面曲线图3 5 图3 1 8 人工合作标志中心垂直方向上的定位3 5 第v 页 国防科学技术人学研究生院硕十学位论文 图4 1 无线遥控原理图3 7 图4 - 2 基于摄像监控的起吊装置结构示意图3 8 图4 3 起吊设备智能视觉系统示意图4 0 图4 4 起吊设备智能视觉系统成像模型4 0 图4 5 起吊设备的智能视觉系统流程图。4 2 图4 _ 6 起吊设备智能视觉系统结构框图。4 3 图4 _ 7 起吊设备的智能视觉系统的摄像机标定。4 4 图4 8 摄像机标定图。4 4 图4 9 单个人工合作标志图像4 5 图4 - 1 0 模拟实验运动曲线4 5 图4 1 1 人工合作标志中心水平方向上的定位。4 6 图4 1 2 人工合作标志中心垂直方向上的定位4 6 图4 - 1 3 人工合作标志的空间定位4 7 图5 1 位置中心平滑数据对比图5 7 图5 2 速度中心平滑数据对比图5 7 图5 3 加速度中心平滑数据对比图5 8 图5 4 位置中心平滑数据对比图5 8 图5 5 速度中心平滑数据对比图5 8 图5 6 加速度中心平滑数据对比图5 9 图5 7 位置滤波数据对比图6 0 图5 - 8 速度滤波数据对比图6 0 图5 - 9 加速度滤波数据对比图6 l 图5 1 0 位置预测数据对比图6 2 图5 1 l 速度滤波数据对比图6 2 图5 1 2 加速度滤波数据对比图6 3 图5 13 位置观测数据图：“ 第v i 页 国防科学技术人学研究生院硕十学位论文 图5 1 4m - - 0 、n = l l 时的速度平滑数据图6 4 图5 1 5m - 0 、n = i i 时的加速度平滑数据图“ 图5 1 6m = l 、n = l l 时的速度平滑数据图6 5 图5 1 7m = l 、n = l l 时的加速度平滑数据图6 5 图5 1 8m - - 0 、n - - 2 3 时的速度平滑数据图6 5 图5 1 9m - 0 、n - 2 3 时的加速度平滑数据图。6 6 图5 2 0m = l 、n - 2 3 时的速度平滑数据图6 6 图5 2 1m = 1 、n - 2 3 时的加速度平滑数据图6 6 第v l l 页 独创性声明 本人声明所呈交的学位论文是我本人在导师指导下进行的研究工作及取得的研究成 果尽我所知，除了文中特另0 加以标注和致谢的地方外，论文中不包含其他人已经发表和撰 写过的研究成果，也不包含为获得国防科学技术大学或其它教育机构的学位或证书而使用过 的材料与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示 谢意 学位论文作者签名：差2 生 学位论文版权使用授权书 本人完全了解国防科学技术大学有关保留、使用学位论文的规定本人授权国防科学 技术大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档，允许论文被查阅 和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印，缩印 或扫描等复制手段保存、汇编学位论文 ( 保密学位论文在解密后适用本授权书) 学位论文题目：一基王摄篮测量煎整亘壬整廑撞趔狸嫠遮釜数蟹篷趣鲎煎窀一 学位论文作者签名：量丛 作者指导教师签名：墨拯生趁一 日期：年，f 月彳日 日期：占年，f 月刀日 国防科学技术人学研究生院硕十学位论文 第一章绪论 1 1 课题来源及研究意义 摄像测量是利用数字图像、序列图像对物体的位置、尺寸、姿态特别是运动 参数等进行精密测量和运动测量的学科技术。是近年来快速发展的信息领域的高 科技、前沿学科，具有自成体系、硬件体积能耗小、测量精度高等优点。在美、 德、日等发达国家，摄像测量技术已广泛应用于先进加工制造、安全监测、地形 地貌勘测、人体形态和运动分析、精确制导、近距离导航等生产生活领域【l - 5 1 ，并 已在航天器交会对接、深度撞击、火星着陆等最新空间技术中应用。研究发展摄 像测量技术的应用，将对国民经济建设发展有重要提升，起到重要的推动作用。 目前，世界各国，尤其是发达国家非常重视工程自动化和智能化，将摄像测 量技术在工程中的应用作为一个重要的发展方向，积极开展研究并建立了许多重 要实验基地和研究规划。最有影响的是日本“智能制造系统国际合作计划 ，日 本、美国等6 个国家和8 4 个制造业组织参与了此项计划。 在现代自动化生产过程中，已将摄像测量、机器视觉系统广泛地用于工况监 视、成品检验和质量控制等领域，提高生产柔性和自动化程度。在一些危险工作 环境或人工视觉难以满足要求的场合，在大批量工业生产过程中，常用机器视觉 来替代人工视觉，大大提高生产效率和生产的自动化程度，而且易于实现信息集 成，是实现计算机集成制造的基础技术。随着摄像测量和机器视觉技术自身的成 熟和发展，将在现代和未来制造企业中得到越来越广泛的应用。 本文主要对摄像测量技术在路面平整度检测的和起吊设备的智能视觉控制中 的应用进行了研究。 随着我国高等级公路的快速建设发展，开发推广使用适合长距离、大范围、 可连续测定、精度高、可靠性好，价格便宜的路面检测技术显得极为迫切。此外， 我国经济发展迅速，各港口、仓库、建筑工地的货物搬运量大大增加，如何提高 工作效率，保证物流环节的畅通成为一个急需解决的问题。近年来，以计算机技 术和数字图像处理技术为核心的信息技术得到飞速发展，数字摄像机制造工艺水 平和摄像测量方法的精度等性能大幅度提高，因此将摄像测量技术应用到对路面 的平整度检测及工程的自动化和智能化成为可能。 针对以上两大需求，本论文分别设计了路面平整度摄像检测系统和起吊设备 的智能视觉系统。经过实验验证，其原理可行，精度符合需求。两项设计方案已 经申请了国家发明专利，并与中联重工科技发展股份有限公司达成了合作意向。 1 2 摄像测量技术发展及其在工程测量中的应用 众所周知，摄像测量发展到今天，已经进入了它的第三个阶段数字摄像 第l 页 国防科学技术人学研究生院硕十学位论文 测量阶段，它对整个摄像测量的教学、科研、生产都产生了极其深远的影响。这 种影响不能简单地认为仅仅是一种技术的发展、教学内容的更新、生产设备的改 造、生产效率的提高。摄像测量的许多概念、与其他学科的相互关系及其对整个 地理信息产业的影响，都远远超过了以前从模拟到解析摄像测量的变革。它掀起 的是一次产业的革命，直接与2 l 世纪我们对人类共同家园的认识，即与数字地球 紧密地联系在一起。 数字摄像测量学 6 - - l o l 开始并将不断深入地利用计算机代替作业员的眼睛，毫无 疑问，它已经与计算机视觉紧密联系在了一起。使得摄影测量学和计算机视觉构 成了摄像测量学的两个重要根基。美国美国俄亥俄大学的s c h c n k 教授在其著作数 字摄像测量学的序言中指出：材数字摄像测量是一门相对年轻的、并且迅速发 展的学科。它的许多基本概念与方法来自影像处理与计算机视觉。但是不管它们 对她( 它) 的影响有多强烈，数字摄像测量还是- - f l 有自己特色的学科【l 。一 摄像测量学属于一门交叉学科，涉及的内容多，范围广。其内涵主要包括两 个方面：一是物体的空间三维特性与成像系统间的成像投影关系，这方面主要是 测量学方面的知识；二是从单幅和多幅图像中高精度自动提取、匹配图像目标， 这方面主要是计算机视觉方面的知识。 摄影测量学利用照相机记录对象场景进行各种二维和三维的测量。摄影测量 学是一门有近2 0 0 年发展历史的学科，可以说从摄影技术诞生起，就开始了用照 片进行各种测量的应用与研究。摄影测量学围绕着提高精度这一测量中的永恒主 题进行了长期大量的研究，经过模拟摄影测量、解析摄影测量阶段，现在已进入 数字摄影测量阶段，有非常完备的高精度测量的理论和方法体系。由于传统摄影 测量要求的硬件设备繁杂、昂贵，测量算法复杂、计算量大，摄影测量学研究和 应用主要集中在国家、军事和大结构层面上，特别是航空摄影测量和卫星照片测 量，并且这种航测和卫测已形成了庞大的测绘产业。而在普通民用领域的中近景 摄影测量开展却少得多。 计算机视觉作为一门学科成形于八十年代，至今仍可以说是一门新兴学科。 计算机视觉以及与之紧密相关的数字图像处理、图像分析、图像理解等现代学科 是信息时代信息科学的重要代表。计算机视觉自形成以来从其基本理论、算法到 相关的硬件，特别是应用上都得到了迅猛的发展，有了许多成熟、成功的应用。 计算机视觉领域大多数是以目标识别、图像理解以及显示、监控等应用为主，有 丰富的图像处理、分析算法，简单、灵活、快速、适应性强，但通常对于测量精 度的要求不高。 对于两者交叉融合形成的摄像测量学，测绘界称其为v i d e o g r a m m e t r y ，计算 机视觉界称其为v i d e o m e t r i c s 。然而，两个学科大方向都是通过图像来定量观察和 认识客观世界，其研究任务在本质上是一致的。 摄像测量技术已经广泛应用于各种精密测量和运动测量，涉及到航空航天、 第2 页 国防科学技术人学研究生院硕十学位论文 国防试验、勘察勘测、交通运输、建筑施工、体育运动等各个领域【i 引。这罩举几 个摄像测量技术在工程中的应用实例。 1 ) 集矿作业车实时跟踪系统 水下集矿作业车目标实时跟踪系统主要用于通过对海底行走装备着底行走机 理、实验室行走技术试验载体设计技术、行走技术实验室试验体系的研究，重点 解决基于行走装备操纵性和稳定性检验的实验室试验技术、稀软海底底质上履带 车辆工程设计技术。 该系统主要通过对两部高速摄像机采集到的水面上运动的目标的图像文件进 行处理分析，实时获得水面上运动目标的位置、速度等6 个运动参数，生成目标 运动轨迹和试验数据文件。考核集矿作业车的性能以及操作手的控制和操作能力。 2 ) 火箭待发段箭体倾倒角度实时测量 载人航天飞船发射过程中，在火箭飞离塔架前的待发段，需要实时监测箭体 的倾倒角度，如果箭体偏离竖直方向超过某一角度，逃逸飞行器就要点火，承载 航天员逃离火箭。 “火箭待发段箭体倾倒角度实时测量图像分系统 是“待发段应急救生系统 的分系统之一，是载人航天工程的安控关键子系统之一。该系统用两台摄像机从 不同角度对箭体进行拍照，如图1 - 1 。系统在实时图像上自动提取箭体上的各种标 志或箭体的边缘，从而实时交会测量出箭体上几个合作标志的空间位置或箭体中 轴线的空间姿态，从而给出箭体的倾倒角度，当倾倒角度超过安全范围时就发出 警报。该系统在“神舟三号 至“神舟六号 载人飞船发射中正式使用，并将在 后续的载人航天任务中继续使用。 图1 1 火箭待发段箭体倾倒角度实时测量图像分系统示意图 3 ) 长距离轨道几何参数检测 第3 页 国防科学技术人学研究生院硕十学位论文 铁轨几何参数检测是铁路铺设和养护的重要内容和| j 提条件。我国列车运行 速度越来越快，对铁轨几何参数检测的精度和效率要求越来越高。 如图1 2 ，该轨道几何参数检测方法与装置用实时变焦摄像机拍摄在铁路轨道 上行走的测量小车上的合作标志通过分析图像实时测量出钢轨的轨距、高低、 超高等轨道参数。该研究在国际上首次将摄像测量技术引入到铁轨几何参数的测 量，比国外进口的技术，结构和操作简单、精度高、价格明显低，已在两个工程 上实施。 一 测量小车 田1 - 2 长距离轨道几何参数植测的摄俸测量装置 摄像测量技术具有非接触，可静态、动态测量，实时性好，自动化，信息数 据直观，成本相对较低，便于实施等诸多优势。随着摄像机和计算机成本的降低 和性能的提高，这些实时摄像测量应用正在从航天、国防等高端应用向普通民用 扩展。 目前国际上在许多不同应用领域中已有很多摄像测量方面的商品化产品。摄 影测量学的发源地德国在这方面仍处于领先的地位。例如在对轿车三维外形进行 高精度检测时他们的做法是在轿车的表面贴上大量的合作标志，然后用普通数 码相机随意从四周拍摄轿车的十几至几十幅图像，通过自动地对这些图像进行摄 像测量处理( 识别、提取合作标志，重建三维结构，优化处理结果) ，可以现场 得到整车的三维外形数据，精度达到0 0 2 00 5 m m 。 我国在这方面的研究，尤其是产品化方面的工作还很不够。在国际有关摄像 测量的产品博览会上，各种知识产权的应用产品林林种种。但是中国有自主知识 产权的应用产品却相对甚少。因此，必须加快我国摄像测量学的研究和推广更 好地实现摄像测量的产品化和实用化。 1 3 论文的主要工作 本文分别设计了一套路面平整度摄像检测系统和起吊设备的智能视觉系统 通过仿真和模拟实验，验证了设计方案的可行性。本文的主要工作如下： 第4 页 国防科学技术人学研究生院硕+ 学位论文 l 、介绍几种常用的摄像机标定技术，讨论了它们的优缺点和适用范围。介绍 了路面平整度摄像检测系统和起吊设备的智能视觉系统的标定方法。详细 介绍了亚像素定位技术的原理，对人工合作标志的亚像素定位技术进行了 研究，通过实验分析了亚像素定位的误差。分析了镜头畸变对测量结果的 影响。 2 、将摄像测量技术应用于路面平整度的检测和起吊设备作业的自动引导，分 别设计了路面平整度摄像检测系统和起吊设备的智能视觉系统。给出了其 测量原理，并设计了系统模块和系统测量流程。通过仿真和实验，验证了 系统原理的可行性。 3 、对系统的数据处理进行了研究，选用白噪声观测数据多项式最优滤波器， 并对其滤波效果进行了分析。 以上两个系统的创新点具体归纳如下： l 、提出了一种平整度检测的摄像测量方法，该方法利用双标志点互差消去基 准平台震动的方式，取代现有仪器中采用加速度传感器来测量平台震动。 此方法不仅克服了加速度传感器测量震动时的局限性和不足，还减少了传 感器的使用，降低了成本，是一种适应国情适合普及使用的路面平整度测 量的有效方法。 2 、提出了一种基于摄像测量的起吊定位方法，并设计了起吊智能视觉系统。 该方法根据摄像测量技术通过人工合作标志点智能确定起吊方位，并自动 寻找起吊目标，自动起吊。 第5 页 国防科学技术人学研究生院硕十学何论文 第二章摄像测量相关技术研究 本文中的两个摄像测量系统采用中心透视投影成像模型，运用到三大关键技 术：摄像机标定、人工合作标志的亚像素定位和双目交会测量技术。本章对成像 模型及三个关键技术进行了研究和分析，并对镜头畸变误差进行了分析。 2 0 l 摄像机成像模型 要通过用摄像机、照相机拍摄的图像来得到目标实体的空间信息，首先要建 立描述目标实体与图像之间映射关系的成像模型【1 3 l ，这是摄像测量中各种方法和 算法的基础。常用的针孔模型或称为中心透视投影模型如图2 1 所示。 o 图2 1 中心透视投影模型 d r 为摄像机光心，佛乙为光轴，s 平面为正片位置，s 平面为反片位置。为 了表达直观，本文中取正片图像进行研究。( x o ，) 为主点的图像坐标，p 为物点， p 为p 的像点，它们的连线为p 点成像的光线。 物点p 在世界坐标系一耳z 0 中的坐标为( 嘞，蜥，锄) 。p 经中心透视投 影得到的像点p 的图像坐标为( i ，歹) 。由于非线性镜头畸变的存在，实际成像会存 在畸变，所以实际像点的位置会较中心透视投影的像点位置有偏差，因此，也称 中心透视投影像点( 叠，尹) 为理想像点。 设j p 在摄像机坐标系中的坐标为( t ，欺，z ( ) ，则可以将( t ，欺，五) 与 ( h ，蜥，锄) 的关系用旋转矩阵和平移向量描述成 第6 页 国防科学技术人学研究生院硕+ 学位论文 阡蚧阱 p t ， 依据中心透视投影模型中的三角关系，像点p 的图像坐标( 文，夕) 与物点p 的像 机坐标系坐标( k ，y c ，z c ) 的关系是 磁 z c y c z c ( 2 - 2 ) 其中，( ，) 为图像主点，( 正，) 为横、纵向等效焦距，是实际光学焦距分 别与像元的横、纵向尺寸之比。 主点和等效焦距也被称为摄像机的内参数，描述的是摄像机本身的特性，式 ( 2 2 ) 也可以用齐次坐标形式表达为 料暖 0 x o 0 o l 010i j 磁 y c z c l ( 2 - 3 ) 其中， 佐磊 q 呦 式中，为摄像机镜头的物理焦距，文、s 分别为摄像机靶面上沿图像坐标 系中o x 方向和o y 方向上单位长度的像素个数。 又，式( 2 - 4 ) 可9 1 齐次坐标形式表达为 - - 1 。r 0 1 r l 珞 y w z w 1 么 i = 雕簟x o x w y w z l ( 2 - 5 ) ( 2 - 6 ) 第7 页 ：；l无边 舅一 _ y 一 ，li-lli-，、illil =l三i三i裹裹l=l童三警xom m 2 0 ；0 l - w ，c - ( w 00o f c 2 乃 = 1 i 2 所2 3 所2 4l - l i in 7 1 i ( 2 7 ) l 鸭l 鸭2 3 ，jl l _ 1 一 l 正吒l 时+ x o r 3 i 孵 六一2 胛+ x o r 3 2 收!六3 瞅! + x o r 3 3 时 六收+ x o t w t l m = l 乃吃l 孵+ 吩l 孵 乃吒2 孵+ y o r 3 2 眦吒3 孵+ y o r 3 3 孵 f , t j ，孵+ y o t = w cl ( 2 - 8 ) l 巧l 孵 v 3 2 孵 v 3 3 孵乞孵j 五圈 ：m ly w l 了 ( 2 9 ) 其中，五作为比例系数，其物理意义是指物点到光心的距离在光轴方向的投影， 因而五0 。将式( 2 9 ) 展开成标量形式并消去a ，就得到描述中心透视投影成像中 物点、像点、光心三点共线关系的共线方程 lx - x o = r l l w c x w + r 1 2 w c y w + r 1 3 w c z w + t _ r w c , j 以 r s l w c x w + r 3 2 w c y w + r 3 3 孵知+ ，：孵 ( 2 1 0 ) l 歹一 r 2 1 w c x w + r n w c y w + r 2 3 w c z w + t y w c 、 【丁2r3wcxw+r32wcyw+r33wczw+t,wc 因为中心透视投影关系是线性的，因而以上描述中心透视投影关系的摄像机 的内、外参数也称为摄像机的线性参数。 在摄影测量和计算机视觉中，除中心透视投影模型，还有弱透视投影、平行 透视投影、双平面模型等投影模型【1 4 1 。本文采用线性的中心透视投影叠加非线性 镜头畸变的成像模型 1 2 , 1 5 1 ，这是实际测量任务中通常使用的模型。 2 2 摄像系统标定 在摄像测量中，为了从图像中提取空间物体的几何信息，必须建立图像中像 点位置和空间物体表面点位置的相互对应关系。这种相互对应关系由摄像系统成 像模型来决定，摄像系统成像模型中的参数即为摄像机参数。但是由于摄像机的 光心和光轴并不是物理上的实体，是看不见摸不着的，因此这些参数需要通过实 验与计算来确定。这种实验与计算的过程就称为摄像系统标定。二维摄像系统标 定比较简单，只要确定好物面和像面之间的成像关系即可，而对于三维摄像系统 的标定则比较复杂，从式( 2 1 0 ) o - - i 以看出，在已知像点p 的图像坐标为( 舅，夕) ，要 求得物点p 在世界坐标系瓯一以乙中的坐标( 斯，y w ，锄) ，就必须先得到式 ( 2 1 0 ) 中的其它参数，而这些参数可以通过摄像系统标定得到。下面对三维常用的 第8 页 国防科学技术人学研究生院硕+ 学位论文 摄像机标定技术做个简单介绍。 由于实际成像系统中存在着各种误差因素，如透镜像差和成像平面与透镜光 轴不垂直等。这样像点、光心和物点在同一条直线上的前提假设不再成立，这表 明实际成像模型并不满足线性关系，而是一种非线性关系。因此为了获得较高的 测量精度，必须采用非线性模型来对摄像系统进行标定。 采用非线性成像模型进行摄像机标定就是根据物点和像点的已知坐标求解出 摄像机内外参数。根据求解非线性成像模型方法的不同，目前国际上常用的摄像 测量系统标定方法主要有如下几类： 1 ) 直接非线性求解法【1 6 1 直接非线性求解法首先建立标定点的空间三维坐标与图像坐标的投影关系， 然后用迭代算法对非线性方程组求解。该方法的优点是可以覆盖所有的像差变形， 即可选定任意的系统误差模型。因此若提出的估计模型比较好，且能很好地收敛 时，可达到很高的精度。但因采用迭代算法，若初始值提供得不好，稳定性可能 会很差，处理很有可能导致错误；摄像机的内外部参数共有l o 个，若再引入像差 修正参数作为迭代变量，如果迭代步骤设计不当，像差参数与摄像机位置参数互 相干扰，可能导致无意义的解。 2 ) 线性求解法【l m l 】 线性求解法是将非线性方程的变量组合成一组新变量，称之为中继参数。原 非线性方程也转化为中继参数的线性方程，利用最小二乘法解出中继参数后，再 求得原变量的值。该方法的优点是不需要进行迭代运算，速度较快；缺点是不能 考虑摄像机的系统误差，因而不能进行系统误差的修正。另外由于中继参数间互 相存在约束，它的维数大于原参数的维数，加上存在噪声及镜头像差的影响，使 得标定精度不高。直接线性变换法( d l t ) 就是一种典型的线性求解法。它直接 用共线方程进行标定，是基于针孔模型的标定。这种算法由于没有考虑镜头的误 差，所以通常精度不够高。 3 ) 分步法 分步法是目前得到较好应用的方法。t s a i 首先提出一种两步法 2 2 1 1 2 a 1 ，该方法 第一步解线性方程，得到部分外部参数的精确解，第二步再将其余外部参数与畸 变修正系数进行迭代求解。该方法迭代参数较少，且能自动提供较好的初始值， 求解速度快，考虑了部分像差，精度比较高。缺点是像差修正只能是轴对称的， 且对图像原点没有修正。w e n g 提出了另一形式的两步求解法1 2 引，使之可以修正像 平面原点，且增加了对非对称像差的修正。由于该方法人为地将摄像机参数和畸 变修j 下系数的求解分开，两步问要进行多次重复；且第一步的摄像机参数的求解 运用的是第二步的方法，文献1 2 4 l 中对其精度的提高虽提出了改进方案，但都是以 增加较大的运算量为代价的。 在精密摄像测量应用方面，目前国际上较多采用和推崇的是t s a i s 方法和 第9 页 国防科学技术人学研究生院硕十学何论文 w e n g s 方法，它们不但能较方便地标定出摄像机系统参数，而且能较准确地进行 镜头误差修正。下面对其做个简单介绍。 1 ) t s a i s 万能摄像机标定法 t s a i 在1 9 8 7 年的s p i e 会议上首次发表了他的摄像系统万能标定方法【2 2 1 1 2 引。 该方法被大会评定为杰出论文。这个方法由于具有精度较高、方法相对简单和应 用方便等优点，因而很快在国际近景摄像测量领域被较多地使用。 t s a i s 标定法的主要原理是对空间位置已知的标准网格用摄像机进行采图，并 用亚像素图像定位技术对图像网格节点进行提取定位。由于网格节点可以适度的 密，故可以得到足够多的空间点和对应像点，用以进行摄像机标定。 t s a i 认为摄像机镜头的畸变误差中起主导作用的是径向轴对称误差，因此可 以仅取轴对称误差模型。这样可以既满足精度要求，又大大简化计算模型。该方 法采用下述的轴对称误差模型： j 瓯= 局( 毛“2 一t j ( 2 - 1 1 ) i 万y - - - 匕( k t p 2 + k 2 p 4 + ) 其中：p = 鬈+ 砖是图像点到原点的距离，毛，屯是轴对称误差的系数。 ( 2 - 1 2 ) 将式( 2 1 1 ) 代入到式( 2 1 2 ) 中，就形成了t s a i s 标定方法的基本公式： l x d ( 1 + k l p 2 + k 2 p 4 + ) ：型尊丝粤磐 ，3 l x - + r 3 2 y w + r 3 3 z v + f 。 ( 2 1 3 ) l 匕( 1 + 毛p 2 + k 2 p 4 + ) ：型譬型啐磐 、。 l r 3 1 工- 十r 3 2 y , , 十r 3 a z w 十j z 上式将物点、光心、光轴、实际像点和镜头误差系数都联系起来了。在物点 和像点位置已确定的条件下，上述方程还包括了光心位置t 三个未知量、光轴方 向矩阵九个未知量( 实际三个独立未知量) 、图像中心两个未知量、方向等效焦 距两个未知量、镜头畸变误差系数两个未知量。至少共有1 2 个未知量。如何求解 上述方程，需要一定技巧。t s a i 提出了应用中间参数的二步求解法：第一步先忽 略镜头的误差，利用中间变量将标定方程化成为线性方程组求解出摄像系统的外 部参数；第二步根据已求得的外部参数，再来求解系统的内部参数。 ( 1 ) 求解系统的外部参数t 和r 忽略镜头误差后标定方程( 2 1 3 ) 可改写成如下用中间变量形式的线性方程组： 第1 0 页 盐m 旦q乙一乙乙一乙舻一舻舻一舻一姚坝一枞一塌一岷 一 o h一一 = 一 笋旦厂 艺一 匕一 -。i。l 国防科学技术人学研究生院硕十学何论文 t匕x们圪y卵圪，一x讲x们一x折yr至 = x 曲( 2 - 1 4 ) 上式未知数有五个，而标定目标点的个数远大于未知数。因此上式是一个超 定线性方程组，利用最小二乘法即可求解出上式中的五个中间变量。从这五个中 间变量可求得摄像机系统的外部参数t 和r 。 ( 2 ) 计算内部参数有效焦距z ，工和镜头畸变系数七l ，也 令气，乞的初值为零，z 和兀的初值取为不考虑镜头畸变的估计值，对基本 公式( 2 1 3 ) 进行最优迭代求解，最终解得各个内部参数的值。 实际具体算法根据实验条件的不同而有所不同，例如具体可采用单视场共面 点阵、单视场非共面点阵和多视场等不同的标定条件。不同的条件下采用不同的 具体算法来求解上式。 2 ) w e n g s 标定法 t s a i s 万能标定法提出后，受到广泛重视。但是t s a i s 标定法中仅考虑了镜头 的轴对称误差，这在误差模型上显得有些粗糙。w e n g 在1 9 9 2 年针对t s a i s 标定 法的不足，提出了更为全面的标定与误差修正模型1 2 4 1 。他认为在许多实际摄像系 统中，除了轴对称的镜头误差外，非轴对称误差也有一定影响，是不能忽略的。 w e n g s 标定模型分别考虑了三种误差情况：轴对称畸变，偏心畸变( d e c e n t e r i n g d i s t o r t i o n ) 和薄棱镜畸变( t h i np r i s md i s t o r t i o n ) 。 ( 1 ) 轴对称畸变 w e n g 采用的轴对称畸变模型与t s a i 采用的轴对称畸变模型一致，可表示为： = 墨矿+ 乞p 5 + 岛p 7 ( 2 - 1 5 ) 表示为x 和y 两个方向的分量形式为 艮8 , , , = k i x 匕a k l 。翳篇曼翁 p 峋 i 万矿= 匕( x ：+ 巧) + d 【( 爿0 ，匕) 5 】 、7 ( 2 ) 偏心畸变误差 偏心畸变误差模型可表示为： j 如= 硝邝簟+ 譬+ 2 p ：蜀匕+ o ( x o ，l ：1( 2 1 7 ) i 万州= p 2 x ，( x ：+ 3 巧) + 2 p l x ，巧+ d 【( x ，匕) 4 】 、 ( 3 ) 薄棱镜畸变误差 窿篮二荔：! ：芸：篙 p 坳 i 万炉= j 2 ( x ：+ 巧) + d 【( x ，匕) 4 】 、。 第l l 页 国防科学技术人学研究生院硕十学何论文 综合上述各种镜头畸变，w e n g s 标定模型表示为： 瓯= ( g