（通信与信息系统专业论文）基于图像的模拟相机标定方法的研究.pdf

摘要 相机标定是计算机视觉中第一步，目前己缀成为计算机视觉研究中的热点。 如果要将二维图像精确地进行三绒重建，或是进行精密测爨以及空间运动分析， 裁必矮撞确标定稳撬。 本论文详细论述了相机标定的基本理论，包括相机的理想数学模型和实际数 学模型，分析了成像过程中的畸变因素，。并介绍了几种常用的相机标定方法， 包括纛接线性标定努法、二步振楚法和基于棚搬缝旋转的自标定方法，讨谂了它 们豹优缺点和适溺魏圈。为了提凝测试精度，本文使用了受像素细分算法。在亚 像素细分算法部分，对比了几种常见的亚像素绷分算法之后，本文采用了一种最 为有效的细分算法，试验表明甄像素级数据比像素级数据精度大大提高。最后， 套绥零文使用豹壤壤振定方法，擐器毙学孛，貉楚夔像素嚷变楚零鞋及瓣糗残缘 的原壤，通过引入全数字经纬仪，无需相机作镪何运动即可嶷现相机内参数的标 定，从而解决了c c d 摄像系统的畸变校正问题。实验结果表明，本文相机标定方 法应用藏围广泛，怒一静简单、窍效、实用的标定方法。 本文在张+ 6 0 较件平台下瑙数字图豫鲶壤方法编程蜜现，数字图豫疑理方 法补偿了光学系统的几何畸变问题，这使得低精度光学测量系统能够满足商精度 测量要求。 关键谰：相机标是图像处理艇像素细分最小二乘法碲变校正 a b s t r a c t c a m e r ac a l i b r a t i o ni st h ef i r s ts t e po fc o m p u t e rv i s i o na n do g l eo ft h em o s ta c t i v e r e s e a r c hf i e l d sn o w a d a y s w i t ha na c c u r a t ec a l i b r a t e dc r m e r aw ec a nc a r r yo u t t h r e e - d i m e n s i o nr e c o n s t r u c t i o n ，m o t i o na n a l y s i sa n dp r e c i s em e a s m e m e n t t h i sd i s s e r t a t i o nw a s f i r s t l y d i s a 呱；s c dt h er a d i c a l t h e o r yo f t h ec ；h l l e g a c a l i b r a t i o ni nd e t a i l i n c l u d i n gt h ei d e a lm a t h e m a t i c sm o d e lo ft h ec a m e r aa n dt h e a c t u a lm a t h e m a t i c sm o d e lo ft h ec a m e r a ，a n a l y z e dt h ef a c to fd i s t o r t i o ni nt h e p r o c e s s i n go fi m a g i n g s e c o n d l y ，i n t r o d u c e ds e v e r a l c o m n l o nc a m e r ac a l i b r a t i o n ， t h ed i r e c tl i n e a ra l g o r i t h m ，t h et w o - s t e pm e t h o da n ds e l f - c a l i b r a t i o nb a s e do n r o t a t i o n o t h e r w i s e ，d i s c u s s e dt h e i rv i r t u e sa n df l a w s t h i r d l y ，i n t r o d u c e dt h p s u b - p i x e ls u b d i v i s i o nm e t h o dt oi m p r o v et h et e s tp r e c i s i o ni nt h ec a m e r ac a l i b r a t i o n i nt h es e c t i o no ft h es u b - p i x e ls u b d i v i s i o nm e t h o d ，w ei n t r o d u c e ds e v e r a le o m m o n s u b p i x e ls u b d i v i s i o nm e t h o d sa n dt h e na d o p t e das i m p l ea n de f f e c t i v em e t h o d a c c o r d i n g t ot h er e q u e s to f p r e c i s i o na n d t h ec o n d i t i o no ft h ee x p e r i m e n t i ti sp r o v e d t h a tt h em e t h o dw ea d o p t e dw a sm o r ee f f e c t i v et h a np i x e lm e t h o d f i n a l l y ，i tw i l l i n t f o d u c co u ro w nc a m e r ac a l i b r a t i o n w ea d o p t e dt h e o d o f i t et of i n i s ht h ec a m e r a i n t e r n a lp a r a m e t e r s c a l i b r a t i o nw i t h o u tt h ec a m e r a sr o t a t i o na c c o r d i n gt ot h et h e o r y t h a tt h ed i s t o r t i o ni sc l o s e dt oz c r oi nt h eo p t i c a lc e n t r ea n dt h et h e o r yo fc a m e r a s i m a g i n g i ti sp r o v e dt h a tt h em e t h o do ft h i sc a l n e r ac a l i b r a t i o nc a ng r e a t l ym e e tt h e r e q u e s to fp r e c i s i o na n di ti sa ne f f e c t i v e ，s i m p l ea n dw i d e l yu s e dm e t h o d t h es o f t w a r ei sb a s e do nv c 斗+ 6 0w i t hi m a g ep r o c e s s i n g d i g i t a li m a g e p r o c e s s i n gi sa d o p t e dt oc o m p e n s a t et h eo p t i c a ls y s t e mg e o m e t r yd i s t o r t i o np r o b l e m ， w h i c hm a k e sl o w e rp r e c i s i o no p t i c a lm e a s u r e m e n ts y s t e ma l s oc a ns a t i s f yt h e h i g h a c c u r a c ym e a s u r er e q u i r e m e n t k e yw o r d s ：c a m e r am h b n f l o ni m a g ep r o c e s s i n gs u b - p i x e ls u b d i v i s i o n l e a s t - s q u a r e sm e t h o d d i s t o r t i o nc o r r e c t i o n 长春理王大学颈士学位论文攥创性声明 本人郑重声明：所呈交的硕士学位论文，熬于图像的模拟相机标定方法的 磷究燕本久程指导教绛豹指警下，猿轰进行赣究工佟掰取得的成果。豫文串 融经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的 譬品成巢。对本文的研究徽出重鼗贡献的个入和集体，均西在文巾以明确方式标 明。本人完全意识到本声明的法德结果由本人承摁。 作蠢签名：墨3 生盎生绎苎月鱼髫 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教烬究全了麟“长誊瑗工大学硕士、媾士学位论文版 权使用规定”，同意长春理工大学保留并向国家有关部门成机构邀交学位论文的 复印辞帮魄子舨，兔诲谂文被查翱秘售溪。本人授权长誊壤王大学霉鞋垮零学霞 论文的全部或部分内容编入有关数据库进行检索，也可采用影印、缩印或扫描等 笈露l 手毅保存窝 编学彼论文。 作者签名：i 竖鸳 坦年- 月三舅 指导导师执墼挚边年土脞日 1 1 研究背景及意义 第一章绪论 人类麸辨赛繇壤获取豹菇惠中，8 满采鑫子视觉。入黩壤翡麸自己援弱瓣环境获取 大量酶信惠，莽传入大髓螽，鑫太麟檄据知识耨经验，辩倍怠送行藤工、猿遴等处理 工作，最后识剐并理解周围环境。现实世界的物体都感三维的，而人眼所获得的景物 图像是二维的，但是人类视觉系统能够从二维图像中感知三维世界，获得三维世界的 信息。计算机视觉就是用各种成像系统代替视觉器官作为输入手段，利用计算机从二 壤匿豫中提取缀物静二维或三维结构粒属性的撞述劳劫以理解。计算机视擞楚以视觉 爱理瑾论为孛心，耩手天王饔戆蕊酶豹一今囊簇装，窀怒疆踅豫整理、模式谈羯：谤 算机技术和生瑗学为基础的信怠簸瑕科学中的一个重要分支。计算机视擞的研究目的 和内容有两个方硒：一是开发从输入豳像数据自动构造场景描述的图像理解系统：二是 理解人类视觉机理，以便用机器代祷人去做人类难以然茔u 或根本无法达到的正作。这 二方面使得计算枫视觉豹研究既带旃罄础性，又带有缀强麴应用特征和工稷饿质。计 算瓠撬觉是当今靛为涎跃数学蛰之一，是一令重要覆又囊骞撬羧意义戆骚炎镶自鼓“1 。 计算梳褫贸露着广泛的应用，誉仪用在文字、指纹、弱部、商标、染色体识别以 及集成电路芯片检测、图像数据库镩= 维图像方面，述用在产品的自动装霸已、焊接和 工业检测，智能机器人自动导航、避障，遥感照片的自动解释和c t 图像的器官内部重 建等三维物体的定位、识别与重建上。如今，计算机视觉的应用已经渗透捌机器人、 天文、建理、羧攀、铯学、物理等宏裁及羧麓蓬赛豹各个磅究矮壤砖，有入该害，诗 算橇视觉是实蠛智能诗算撬帮第露代谤算梳静关键霹豢乏。 近年来，隧赭数字化技术的不断进步，硬件装置价格的不断下降和计算机性能的 不断提高，数码相机也得到了普及，为计算机视觉技术的应用准备了条件。随着应用 系统的自动化獠度和智能水平要求的不断提高，许多实际应用系统都希望增加机器视 嚣功能。毽就辩诗算规程觉豹研究誉仅其有重要的理论懑义，丽且具有璧黉瓣实舞l 徐 篷。 由于视觉系统采用的是普通非爨测摄像机，首先要解决的是三维物点军二维像点 之间的对应关系问题，因此必须进行相机标定。相机标定，就是通过建立融知物像点 对应关系模型，计算成像系统内外几何及光学参数，从而获取模型参数。旦建立了 这种对应关系，辘可以通过二维像患坐标推出轫点三缎糖赛坐标，或相反鹩，从己知 浆三缍蓬塞攘壅二缍售意。由筵霹翔，程撬标定是谤冀嘏撬觉实凌夔羲撵黧慧零翊嚣。 随着计算梳裰爨暾精盼不断普及，籀梳标定技术作为橇髓系统不可缺少的籍罐和基礁 部分，受到国内外学者的广泛关波，对相机标定技术的研究作为计算机视骶中首先必 须解决的芙键课题，有潜很重要的意义，为计算机视觉在相关的各个领域的广泛应用 奠定了坚蜜的基础。 1 2 翻内外研究现状 随着离耪度的计算概视觉系统凌翟能枧器人、工业自动化象产、近景摄影测量和 军事领壤豹广泛应用，班及对计算瓤橇觉系统获凝三维景秘倍感耩度要求豹逐渐撵高， 相机标定融经成为计算机视觉的基础王作和首先必须努力解决的熏要问题。2 0 多年来， 许多学者对应用于计算机视觉的相机标定方法进行过研究，并取得了很大成果。 早期豹稳税耩定避瑗罴要弱爰一令参鼹对象；该凌髂夔形牧羁坐掭己疑。由参考 对象在图像中的投影坐标和该对象猩世界坐标下的坐标，可以确定真实的相机投影矩 阵，三维点和投影点的关系被确定，从而实现了相机的标定。上述方法存在以下缺点： 1 需要事先对相机遴行标定，且栎定工作往往比较麻烦，鬻要由专业人员操作； 2 对影莱鳖痘焉，麴深海撬器入箨泣、危险环境下熬税器入作监等，穗梳豹焦距 需要经常调节，相机的位置也根据周豳的环境而移动，此时就獗法利用上述方法进行 相机的标窳。 这些缴溺摇动硪究入受讨论蘩铐蠖霜蚕像叁费瓣痿塞麴特筏蠢、壹线孩及轮露线 等得到相梳的内部参数躐相机投影缀阵，瓢丽产嫩了实现相机标定的另一种方法：相 机的自标定。相机的自桥定问题就是仅利用图像的测量值来获取相机内部参数的过程， 而不需要关于图像帧以及被观测场景的任何先验傣怠。近年来，自标定的理论研究和 实嚣算法豹 受诗越来越受到计算橇浚燮和梳器入镁域豹硪究入爨的重筏。一个成功豹 相机自标窳算法包含两个方面的因索：既要消除对外部标定对熬的依赖，又鼹能够实 现在相机内部参数不断变化下的在线标定。后者对于活动视觉系统尤为重要。 为7 降低求解的复杂姓，入钢掇獭了基于主动援蹙懿相极爨标定技本8 。透过利 用主动视觉系统控翻相机骰特定运动来求取内参数，在运动参数已知的情况下，可瑷 寻求一些比较简单的算法，但是它鬻求具有主动视觉平台，实现起来价格比较高。马 颂德研究员和m o o n s 镣提出的相机作纯平移运动、i l a r t l e y 掇如作纯旋转运动以及 a r m s t r o n g 等疆窭獒哭在一令平瑟上逡动都嚣予这范薅。 除上述的自标定方法外，z h a n g 还发展了立体视觉系统的相机自标定算法。 目前融有的各种标定方法，各脊其特点，分别适用于不同的场合。其中标定效率 和标定赣发之离存在饕矛蘑，选取凭秘掭定方法，霉要根据特定匏饪务，采翅不同鳆 标定方法，戳满足实鞴疲拜j 的需要。测量范围和溯薰精度之两旃时也是一对矛盾，在 一定像素大小的条件下，测量精度的鼹求是对测墩范围的一种约束。 不同的应用背景也对标定技术掇出了不同的簧求。在立体计算机视觉中，如果系 绞豹廷务怒物体镣爱，翔锈薅稳踺予莱一令参考登褥系熬绝霹定垃显簿著苓褥爨重要， 更重要的怒物体特征点间相对位置的精度；如果系统的任务是物体的定位，相对于某 2 个参考嫩标系的绝对定位精度就特别重要。c c d 相机的特点和威用问题的要求使得标 ：技术、精度和实时性镣问题的研究驻得特别重要，同时也导数了研究成果的多样性。 1 3 相机标定过穰 如圈l 。l 是一幅怒索尼公司进移毫援标定的繁准匿像，楚一幄无畸变的凝像。将 l1 。l 溺建，当我翻期c c i ) 相辊对黼1 i 送雩亍拍摄成豫对，由予各方面原因，会产生 定的光学畸变，即同样大小的拍摄图像与基准图像相比较，同一像素点的俄置会产 ! 偏移，相机标定所完成的工作就是骚通过某一算法标校某些参数，然后通过这些参 来校委嫩拣产生攘嫠豹像素，镬撩壤图像孛懿镣令像素轰秘艇菰在误差灸诲范霾蠢 可能的接近于基准图像的相应坐标。 1 毒疆究酶主要逡骞 囤1 1 标定基准闵像 计算机视觉的基本任务就是从相机获取的图像信息出发计算三维空间中物体的几 可信息，弗由此重建和识别物体，箍窆闻物体表磷的三维几何馒霪与其在图像中的对 蔓蠡之溜熊楣互关系楚囊稳撬残像豹氕餐穰登决定蠡冬。穗撬轹建是在建立豹藏豫攘整 砉础上，确定相机的谯溉、属性参数，以便确立空间坐标系中物体点坐标和物体点同 三在图像点之间的对应关系 对糖橇遴露振定步骤如下： 1 需黉建立接近实豁情况系统的数学模型，确定参数。 3 2 选择合适的算法标定相机，建立相机标定。 3 在试验室条件下，精确地测量辑种试验数搦。 4 。霹标定结莱逶行分辑，霉蜀拣霆耩疫。 论文燕要共分为赢章： 第一颦绪论。首先介绍课题研究的背景、意义。接着叙述了国内外相机标定技术 磅兖的瑗状。骜单奔终了嚣翦存在懿足耱常惩熬轹定方法：传统豹据机标定方法、叁 标定法等。 第二章相机的数学模型。对相机进行标定，菌先需要建立接近实际系统的数学模 型，确定滞要标定的相机内外参数。只有数学模烈越接近实际系统，才能得到越精确 弱参鼗。本章在分辑了耱筏理想数学模登懿羞磁上，充分考瘩了籀穰霹戆存巍豹畸变， 得到了比较接近实际系统的数学模型。 第三肇相机标定原理与方法。本章介绍几种常用的相机标愆技术，主蒙包括传统 相机标定技术、自标定方法移基予童动税觉的蠡据定方法。讨论7 它髓豹优缺点和适 用范嚣。 第四章基于亚像索细分的相机标定。本章介绍几种常用的艇像素细分算法，主要 包括形心法、灰度重心! 虫、曲线拟仑法等，并根攒精度要求，结合曲线拟合法和5 点 投影震，豁法对手字丝孛，貉豹裳素缀嫩稼送行细分。 第五章相机标定试验。结合谍聪要求，本文掇出了一种简单有效的相机标定方法， 进行标定试验。通过试验得到了良好的标定结果之后，需要把所得到的相机的标定参 数运用到安际的误题中去。 最麓总结与震望。瓣全文避镎戆结并在标定方法试验酌纂硝上指出不怒之处，并 对标定方法的发展前景进行展望。 4 2 1 引言 第二章榴机的数学模型 谤簿瓤褫觉豹麦簧任务是秘箍诗算瓶按拳实现对三维豢耢静搐述、谈涮帮理解， c c d 相机是对物理世界进行三维羹建的一种基本测量工具，c c i ) 相机所获取的三维物体 的二维豳像是以像素为单位的，如何确定物体的三维空间坐标和二维图像的对应关系 是稠橇标定工佟爨癸艇决夔翅透。窆闯秘俸表瓣菜点嚣三维足 霉整要与其在图像孛黠 应点之闽的相互关系是由相机成像的几何模型决定的。这臻几何模型参数就是相机参 数，为了得到这些参数而进行的实验与计算的过程称为相机标定。 棚帆标定的概念蓠先来自于一门称为摄影测量学8 1 ( p h o t o g r a m m e t r y ) 的技术学科。 豢影测蓬学串掰篌翔豹方法是数学解耩分褥豹方法，在标寇逶程孛遥鬻蘩稠弱数学努 法对从数字图像中挟得的数据进彳予处理。通过数学处理手段，相机标定提供了专业测 量相机岛非量测相机的联系。所谓的非量测相机是指这样棠相机，其内部参数完全 未知、部分未知或豢爨则上不稳楚。鞫枫豹内部参数撵豹麓攘氍或缳的基本参数，熬 主点( 蠼论上是图像帧的中心点，襁在实际上，由于相机制僚的原因，圈像实际中心与 帧存中心并不重含) 、实际焦距( 岛标称焦距值衡一定差距) 、径向镜头畸变、切向镜头 畸变以及其它系统谖菠参数；而棚机的外部参数指的是相机相对于外部馓界坐标系的 方位。糨蕊舞定魏嚣豹羲是获取逡望蠹舞参数。 相机标定在如下应用中起着羹礞的作用： 1 从计算机图像嫩标中导出三维几何信息由相机标定所确定的相机模型和参数能 够提供一秘给定某爨标点斡图像搬标，确定一条实际目标点必在其上鲍交阕壹线的穷 法，；f i | 耀两幅这稃豹阉像，藏霹幽两条壹线鹃交点确定这一嚣标点的空蠲位置。这种 极为薰要的信息可以应用于立体测量、机电元件的自动装配、机器人视僦等重要领域 中。 2 程翅撬器褪凳熬模壅戆硷溅窝装配瘦弱枣，关于魏薅三缝窒露笾警秘方鑫翡一令 假设可以利用相机横型和参数转化为对其所成图像的一个假设，对比该假设图像和实 际拍摄的图像即可拒绝或确认对物体及其空间能置的假设。 城窍懿相机标是技术大俸可以分失廷类：传统的相机椽定方法和楣税融标定方法。 传统酌稻瓿标定方法是在一定的稳规模壅下，在籀辊藏藏甏一个己知的拣定参照勃， 利用已知物体的一嬲点的己知三维坐标和它们的图像坐标，求取相机模激的内部参数 和外部劳数。而自橼定方法不需要已知标定参照物，仅利用相机在运动过程中周围环 境懿辫缳及鋈像藏鹣鼹癍关系砖簇梳逶嚣标定。 本章我们首先介绍一些了解计算机标定技术所必须韵一些基本理论知识，然后介 5 绍几种有代激性的标定技术的原理和方法。 2 。2 程橇标定蓖毽恕数学模叠针毳线缝壤壅) 为了描述相机成像过程，首先定义以下四个参考坐标系如图2 1 所示： 匿2 。i 擐搬小琵透撬变换模型 l 。世界嫩标系( 仉一膏，匕z ，) ：一经选择就确定的坐标系。设某点p 的坐橼为( 置， 巧，z ) ； 2 稠飘坐标系( 馥一置砭乏) 瑷楣梳的聚焦中心隽原点吼( 光学中心) ，叛相机先 轴为以轴建立的坐标系。设点p 在相机坐标系中的嫩标为( 以，k ，z 。) ； 3 。残像平瑟坐标系( o - xy ) ：塔透镜毙辘窝残像乎瑟戆交轰为漂点0 ，x 辘窝y 辘 分别平行予相机坐标系的石。轴和k 轴，有效焦距f 就是光学中心到成像平颟的距离 点p 在理想小孔透视交羧模型下的圈像坐标为只( 以，匕) ，考虑到透镜存在畸变，它 的实际成像坐标为日( 篡。，匕) ；在瓒愆模型中，不考虑相机镜头畸变，己和船重合； 4 图像坐标系( 0 一uv ) ：相机采集的数字图像在计算机内可以存储为数缀。数组 孛静每一令元素黎为像素，像素豹馕朝为图像轰豹亮度或称为灰度，羞为彩恕露像， 煲i j 图像的像素亮度将由级、绿、蓝三种颜色的亮度表示。如圈2 2 所示，在蠲像上定 义直角坐标系u v ，每一像素( u 。v ) 的坐标，分别是该像素弦数组中的列数和行数。 所以，( u ，v ) 是以像素为单位的图像搬标系坐标。 6 b ( “o ，p o ) r ， v y 圈2 2 图像坐标系和溅像平面坐标系 由空间三维坐标系ix ，匕，z j 剁计算机图像嫩标系( u ，v ) 的相机理想变换模测可以通过以 下步骤蓉褥： l ，墩界坐标系劐相机坐标系豹交换 世界坐标系仉一篡。匕z ，中的嫩标p ( x ，匕，z 。) 转换为相机坐标系 g 一羔。z 。孛熬爨轹p ( 疋，嚣，z c ) ，篷会警移霹旋转辩耱交换，羯簇薛形式表示 为： 匿】= r 医】丰零 瞧1 ) 冀一融”r 制 坐标( 并。，z 。) 变换为图像坐标系下的二维嫩标( 毛，儿 ，有几何关系： j ，等吒 ( 2 ：) i ，詈- y 。 7 3 ，残像平霜坐标系翔诗雾梳坐标系之蠲豹转换 由相机获得的被测物体的图像，最终由图像采集卡变成数字图像并输入计鳟机。从 耜辊潮像坐标( u ，v ) 翻诗算机图像搬标( x d ，) ，。) 之阕豹转换为： i x ：- d ，x ( u - u o ： ( 2 3 ) l ，d = d ，v - v o ) u 制 或中，( 秘，勤) 舞耀懿垒栝系实鼯残像堑拣，或簿l 矗，努溺为承警方囱耧骧 直方向的像素长，( 群。，) 为计算机图像的光学中心嫩标。 在理想情况下，只和只重合，得到： ”毛 ( 2 4 ) l 以。) ，o 综合以上的变换邋程，相机的理想变换模型为： l 箦r 74 器- r s 兹r g z 兰号如。i x ， y 。+ w + f ： ， l 老r 7 嚣兹4 - r g z 等号训 lz 。+ 穗y 。+ 毛 ， p i 】。f 1 荨ii 习臣芝蔓芝 2 3 相机标定的燕际数学模型 石_ y 。 z 1 ( 2 5 ) ( 2 。6 ) 理想情况下，由公式2 6 可知，给定一组足够数漂的点，已知它们精确的世界坐 标值秘对应的图像坐橡僮，可以求出楗极的内终参数。实验表明，理想的针我线性横 型不能准确地描述成像几何关系，尤其在使用广角镜头时，夜远离图像中心娥会有较 大的嗨变，使褥所量测的像点坐标产嫩误差。它造成像点、投影中心秘相应的空间点 之间的共线关系受到破坏，箕结果直接影响世界坐标的计算精度，必须对其进行校正。 2 。3 1 将详细介绍畸变产生的原因及数学表达。 2 3 1 三种畸变类裂 相机镜头是非理想光学系统，存在加工误差和装配误差，物点在相机像懒上实际 8 所成的像与理想成像之间存在光学畸变误差。主要的畸变类型谢三种：径向畸变、偏心 畸变和薄棱镜畸变。径向畸变仅使像点产生径向能置偏差，而偏向畸变 秘簿羧镶穗交傻豫鑫蒺产生径爱毽萋壤差，义产生锈囊短鬻镄差。蚕2 ，3 掰示为 理想像点和实际像点之间的位置关系。咖是径向畸变，出是切向畸变。 建想穰 点缀鬻 蜜际像 点位置 图2 3 理想像点和实际像点之问的位置关系 1 径两畸交( r a d i a ld i s t o r t i o n ) 襁向畸变是由于透镜形状不满足理论要求造成的，存在柽向畸变时像点会相对 于理想位置沿径向偏移，像面上避光轴的直线还是直线，只不过变长或变短了。这 稀跨燮差要是塞予蠲辘透镜系绕存在袋隆黪警l 逮翡。一令缘焘浍径囊终延鹤歪璃 变，域枕形畸变( 如图2 4 ) ；沿径向内缩叫负畸变，或桶形畸变( 如图2 5 ) 。这种 畸变拥对于光轴是严格对称的，也是畸变的主要分量。 国2 4 受瓣径囱畸变产生豹枕形图像 9 圈z 5 厩鹊径自畸变产燕的橘形图像 箕数学模蛰为： 茗- - z 。! ! + 七，r ：! ( 2 7 ) ly 。一y 。( 1 + k 2 ，2 ) 式中，- 矗2 + y 2 为像煮到像平面中心的较径，瓠、k ：为径自畸变参数； 和y 。分别是与实际图像中的坐标为和儿相对应点畸变校正后的坐标。 2 。镶心穗交( d e c e n t e r i n gd i s t o r t i o n ) 偏心畸变主要憝由光学系统光心与几何中心不一致造成的，即各透镜的光轴中心 不能严格共线。这类畸变既含有径向畸变，也禽有切向畸变。忽略高阶项艏，其数学 模型可以用下式来表达： 肛嘲黑2 翟? + 2 跳妇 ( 2 8 ) l d 州一p 2 也2 + 批) + 2 p l x d y 4 一 其中ta 、p 为偏心畸交参数，( ，强) 是实际的黼像点嚣坐标。 上斌中的参数p 。、p ：与光学中心的位置有直接的关系，因此可以遇过使用变焦 距镜头方法准确估算光心来克服。一个好的遗镜，中心偏移失真非常小，通常只有 5 x1 0 。糯。孛心编移失囊氇受焦疑交琵豹影鹅，毽影翡缀，l 、；在一簸戆掇影溺量系统 中可以忽略不计。 3 薄棱镜畸变 这秘鹜交主要麓霾隽残像嚣不平整遥或豹失褰，镄麴透镶戆竞辘与鞠撬豹瑟终平 面之阐存在倾角误麓。成像面不甲整会影响掇影系统三角剖分的精度，铝可看成是在 成像过程中入射光线角度的函数。因此，当相机采用普通镜淑和长焦距时，这种类型 的误麓较小。这种类撼鲍畸变透避向光学系统巾加入薄透镜可以建立数学模型，它会 逵残建数量懿经囱糖交和甥南酶交，忽磅裔输矮螽可戳鞠f 疆豹公式袭涿： 挣：鸭粤：q 一2 ( 2 9 ) 1 6 ，o ，y ) 一j 2 2 + y j 2 ) 怕。7 其中，尚、屯为薄棱镜畸变参数，( 粕，乃) 是安际的图像点的坐标。 2 3 2 弓l 入畸变豹相机数攀模型 摇壤采鬃图像懿逑缘楚存在较大豹磅交误差，采弱罄逶豹援撬摄缘野，蔟透缘瓣 畸变大小约为几个像索。在建立相机数学模型时需要考虑畸变因素的影响；在进行精 确稠凝标定懿迄要考患冬秘嘛交懿黪翅，修羹三畸变弓l 起豹误蓑。 综合上顽三种畸变，则相机的非线性模型可用下列公式来描述： 以一菇g + 6 。善，y )， 1 y 。_ y d + d ，( 工，) ，) ( 2 1 0 ) 其中，钒，必电铮魏线性模蘩诗算出来熬晷缀蠢坐猿瓣瑾落壤；( 】【d ，妫是实耩 图像点的坐标，6 。与d ，是非线性畸变值，可用下式来表达： 揣二篾致+ y d 苌黪鬻) 锄+ 2 p r c a y n a 卜) + 毛s 2 荽端 亿 l 啦国力- 露幽瓴2 ) + 慨簖+ 舰2+ 致。) 、 其中，d ，与6 ，的第一项称为径向畸变，笫二项称为偏心畸变( 或离心畸变) ，第三 项称为薄棱镜畸交，k 。、k ，、p 1 、p ：、 、s ：为j # 线性畸变系数。 一般情况下，上述非线性模型的第一项即径自畸变已能足够满足描述非线性畸变， t s a i “3 指出，在对相机进行标定对如果考虑过多韵非线性畸变会引入过多的非线性参 数( 如上述横跫中的第二项岛第三项) ，这样徒往不仪不能提褒标定精度，反丽会引起 解酌不稳定。在工鼗视觉中，一般必需要对径向畸变进行修蔽。僵当使用广角镜头时， 考虑上述模型中的第二项与第三项对提高精度是有益的“”。 如果只考虑径淘畸变，t 式( 2 1 0 ) 与( 2 1 1 ) 可简纯为： 毛- x d ( l + k l r 2 ：) 、( 2 1 2 ) | 咒- y d ( 1 + 七2 ，2 ) 其中，r - 善丽。该式表骥，x 方囱与y 方囱的畸变穗对蠖( 钐。 与径向半径的平方成正比，也就是说图像边缘处的饺向畸变最大。 2 4 需要标定的参数 1 外部参数 巍蘸瑟霹翔，稳掇豹舞部参数是箱来搐述槎辊坐标系与麓赛坐标系的关系，它表 明相机在世界嫩标系中的位置和方位，可用3 3 的旋转矩阵r 和平移向量r _ 来表示， 蘩式2 一1 ) 掰蠢圣。其串内手霆为莘建歪交矩薄，宓矮满是6 令鞭交约素，敌实麓主旋转 矩阵r 只有三个独立参数，加上平移向量r 的三个参数，故一拭有6 个独立的外部参 数。 2 内部参数 痣罄参数廷与疆撬痰部络掏有关，瑟与秘辘霞鬟纛关，圭簧惫括鼙像圭熹坐标， ) ，熙像纵横比，相机的纛效焦鼹，和透镜的畸变失真系数等。 相机的内部参数肖时也可以从制造商提供的说明书中查到，但是熊精确性不能满 足要求，投霹揍为参考。实际应用中鬟要鼹它髓进孳亍振定。+ 烹点坐标( ，v 。) ：理论上主点搬标一般位于图像中心处，但实际上由予相机制 终帮搜焉鞠税豹镜头掰转动和拆茚等淼因，便褥c c d 箍阵安装并不畿缣证塔透镜先辅 为中心，且图像采集数字化窗口的中心不一定与光学中心重台，这就使得主点不一定 在图像豹正中心，敲需要标寇( ，) ，豹值。 遴镜的畸变失真系数：前面讲至4 理想的透镜成像才满足线性关系，实际上透镜存 在多种菲线谴畸交，需要根据实际情况对它们进行修溉。 2 5 本章夺结 辩程辊遴行耘定，蓄先鬻要建立接近实舔系统豹数学模羹，确定霈要标窥的褶税 内外参数。只有数学模型越接近实际系统，才能得到越精确的参数。本章在分析了相 撬理戆数学模鍪懿基勰主，充分考虑彳箨撬萄髭存在懿跨变，褥到了院较按：i 瑷实际系 统的数学模型。 第三章相机标定原理与方法 3 1 栩辊标定方法的分类 从过丧躲二卡多年来在摄影测量学靼桃器镁域内握桃敷标定努法摄到了深入的磅 究，许多学者提出了不同的标定方法，而且基于不同的出发点和恩路取得了一系列的 成果，对予不同的问题背景它们酃寅其各彝的应用价值“。目前棚机标定领域学术思 憋非常活跃，新技术新方法不断涌现。 从广义上来分，可将相机标定分为三类：传统的相机标定法，相机自标定法和基 予主动视獭的相机标定法 1 传统的相机标定法：该法篙要使用尺寸已知的标定参照物( 简称为标定物) ，通 邋建立标定参照耪上三维嫩标己翔的点与蒺图像煮之问静对应，翻用一定的算法获得 相机模型的内外参数。标定物可以是三维的“，也可以悬二维共颈的。在具有三维标 定物条锌下，哭嚣要一辐毅像裁蜀绫求毒疆辊豹全部肉舞参数，然孬雹撬整个溺囊空 间的高精密立体标定物，其加工和维护是非常困难的。= 维共面点标定物的加工和维 护中势慈纂，嚣纛褥裂了叛丈豹笈最，毽辐霭像不是绫标窭器蠢懿耜撬参数“， 因此必须简化相机的模型，或者从不同角度获取多幅图像来同时标出所有的参数，不 道其难点憝获取躅像的不阉整耋瓣匏稿蔓荚系。传统豹穗援振定法霹叛获缮较裹豹标 定精度，但不适成于不可能使用标定物的场合。当应用场合要求的精度很高而且相机 的参数不缀豢变化时，传绫的标定法应为嚣选。 根据相机标定所需要浆解的参数，w e i 和m a 将传统的相机标定法分为显参数和隐 参数标定法。显参数标定法是指标定需要计算出攘机的物理几何参数，如匿像主点坐 标，相机有效焦躐以及相机的位谶和方向等，即需要解出相机的内外参数，大多数文 献中提出的标定方法属于这一类。在有些废用场会，相枫的内部参数并没有具体的甥 理崽义，阂而不需要分解出相机的内井参数，可以采用隐参数标宠法。 w e n g m 等人根据标定参数的求取方法又将传统的标定法分为如下三类 1 ) j 线性优纯法( 直臻j # 线毪求解) 在这类方法中，建立标定点的空问三维坐标如图像点擞标的投影关系，用迭代算 法对菲线往方程求瓣。摄影溺畿肉豹大多数经獒标定方法都鬣于这一类。这类方法 的优点是可以覆盏所有的像差变形，即可以选定任意的系统误差模型，因而如果提出 豹话算模爨磁较辩，磊基麓够穰好缝羧敛时，霹戳达羁穰藏弱耩壤：箕姣点是嚣簧豹 计算量非常大，而且由于采用迭代算法，稳定性麓，相机的内外参数共有1 1 个或1 t 令瑷上，黧羞霉弓l 入像茇修正参数痒受迭谯变量，当初毽选择不囊或迭我熬步骤没谤 不当，像蒺参数岛相机位鬻参数相互干扰，很可能导致无意义的解。 1 3 2 ) 线饿法解析法 这类方法不需要迭代，它将非线憔方程的变爨缀合成一组新的变量，称之为中间 参鼗孛溺变量) ，覆 线往方疆遴裁转纯为孛蓠参数懿线整方程。弱霜最奎二乘法簿 出中间参数后再求得原变量的值“删。 该方 去的优点是不需要迭代，标宓速度快，缺点是没有考虑相机的系统误差和镜 头畸变，阏酵由于中阕参数阈互相存谯约束，它懿维数大于愿参数戆维数，鸯瑟上存在 噪声等影桷，教标定精发不是狠高。 3 ) 两步法( t w o s t a g et e c h n o l o g y ) 如果! 兜利用直接线性变换方法或赣透视变换矩阵方法求解相机部分参数，再以求 褥豹参数为凌始篷，考纛碡交霆素，舞翻耀最霞纯簿法进一步键褒定标赣发，这就形 成了所谓的两步法。两步法是基于非线性优化法和线性法的不足，同时又将这两种方 法相结合的基础上发展起来的，其中以t s a i ，z h a n g 嘲1 提出的相机标定法为代寝，得到 了广泛的成用。 该方法迭代参数穗对菲线经优化法来说较少，丽且能够叁渤提供较好的初始值， 同时又考虑了部分畸变( 主要是镜头饺向畸变) ，敞萁同时具有线性求解的速魔快和非 线性优化的精度高的优点。缺点是由于该方法人为地将相机参数和畸变修正系数的求 艇分瑟，鼹薤第二步戆裳舞要曩刭繁步豹缍栗，疆步润要透露多次重复，璞麴了一 定的运算激。 2 相机的自标定法( s e l f - c a l i b r a t i o n ) ：自橼定方法克服了传统方法的不足，它 不需要标窳甥，仅仅依靠多幄图像对艨点之闻的关系直接进行瓠定。二十世纪丸+ 年 代初，f a u g e r a sa n dl u o n g m j ，l d a y b a n k t ”3 等入蓄毙提出了自标宛豹概念，镶褥在场景 未知和相机运动任意的般情况下标宓成为可能。由于自标定仪需要建立图像对应点， 标定方法灵活性强，潜谯的应用范围广。但是，囱标定方法最大的不足在于其算法鲁 捧性差防。这主要是由于鑫标定方法苓警鞋舞静形式出现，均蹩蓥予绝黯= 次麴线或 者绝对二次曲面的方法，需要直接或间接地求解所谓的k r u p p a 方程洲。从本磺上来说， 所有的自标定都只是利用了相机内部参数自身存在的约束，而与场景和相机遴动无关， 这是该法的灵活所在。良标定方法的主要应用场食是精度要求誉赢的场合，如通讯， 囊菝凌实接术等等。 3 基于主动视觉的相机标定法：浆于传统方法和自标定方 去的不足，人们提出了 基于主动视觉的相机标定方法。所谓的基于主动视觉的相机标逡就是指“已知相机的 菜些运动镶怠”下茨稳辍耘定，与叁撂定一样，窀也是一秘仪麸强像对应煮遴簿标定 方法，因黼也不需要标短物，但需要控制相机徽浆些特殊运动，比如围绕光心旋转或 纯平移叫“1 。利用这种运动的特殊性可以计算出相机的内部参数。 现有的自标定方法瓤分为： 1 ) 穰溺本凌矩箨秘萋磁矩阵豹耀辊标定方法。翻矮对应熹豹关系，蓄先浓鼹本震 瓶阵或基础矩降，然后得到相机的内参数。 1 4 2 ) 利用绝对二次曲线和极线变换饿质的相机标定方法。利用k r u p p a 方程将极线 变换与绝对二次曲线的像联系起来，酋先根据相机多次运动求取极线变换，然厝求得 二次夔线瓣馕，最磊羧攒二次莛线数缘舄秘撬参数懿联系求解耪辘戆痰参数。 3 ) 利用艇动视觉系统的相机标定方法。先控制棚机做特定的运动，然后椴据特定 运动的约束条件求解方糍，从而得到相机的内参数。 4 ) 利用多幅图像之阙的壹线对应关系的相极橼迩方法。该类算法利用三糍或三幅 以上的图像泉求解楣梳静内参数，莛邋瓣静一类磷究方囱。 5 ) 分朕逐步标定法。该方法首先对图像序列做射影重建，辫通过绝对二次曲线施 加约束，定出仿射参数即冤穷远平面方程和相机内参数，近年来张成为自标定研究的 熬熹。 该类方法的优点是算法简单，往镀能够获得线饿解，故鲁棒性较高，缺点是系统 的成本高，安验设备昂贵，实验条件嚣求高，不是一般的个人和单位所能够承受的， 两且不适合母运动参数拳翘或无法控制的场合。 3 2 相机标定方法 3 。2 1 誊接线性交换穷法国0 玲 a b d a l - a z i z 和k a r a r t 于7 0 年代初提出了直接线性变换相机淀标的方法，他们 从摄影测量举的角度深入的研究了相机图像和环境物体之间的关系，建立了相机成像 足鹰弱线毪模銎，这秘线缝模型参数瓣售谤完全蕞黻塞线性方毽懿求簿来实瑗。 将像点和物点的成像几何关系在齐次坐标下写成透视投影矩阵的形式： m k s 盯离 ，r 1 4 1 屯酝如4l 嘞j x l ￥ z 1 ( 3 。1 ) 箕孛，( x l ，鼍，荔) 受第i 令熹农毽秀坐嚣系孛瓣赛次垒撩，毪，毪凳第i 令 点在图像坐标系中的图像嫩标，0 为投影矩阵r 的第i 行第j 列冗素，s 为未知尺度因 子。 将上述矩痒方程震嚣： f 5 u 攀 l x f + 2 誓+ 3 z j + ，1 4 川- r 2 1 置+ r 2 2 x + r 2 3 z f + k ( 3 2 ) ls * 强鼍+ 嚣+ r 3 3 z i + k 将上武中的第一式除以第三式，擀二式除以第三式分别消去s ，可以得到两个关于 1 5 白鹃方程： 黟一翌：+ 蛩q t 一唑t 噬狰唱r 3 3 - i 甜 ( 3 - 3 l k r 2 l + r ，叠+ z ；k + ，缸一u 五b l k l ；- v i z i r 3 霉u 。叫 将主式皆静两逸分嗣除瑷o ，褥蜀下瑟方程： 照j 能舄峨蝻专孳孳曹加嗨 ( 3 l j ：，置+ 并+ 工菇= r , - i ，- - 1 r , f 娟i一蜗并一 缇，叶y 一- - i r f , 遥遭这转藜交形，上述穷程缝毯含骞致五1 刭| ；装l l 今参数，它察与稚橇豹内部参 数和外部参数有一定的关系，我们把这些参数称为d l t 参数，该方稷就是d l t 方程。 鲡莱空润孛共镌1 1 个瓣标点，浅翻知遂了它们在整界缀标系和图像垒标系中静坐 标，就可以求解出遮1 1 个参数。将上式写成矩阵形式： 五kz l 100 0 0 - - u l 镌一拄石一辞，墨 000 0 五kz ii 一屹以一喘一y z t 鼍乏lo 00 0 - - u 。以一。k 一z 。 00 00 以k 乙l k 以- - i m k 一z ( 3 。国 将上式德写成b l = e ，那么b 疆参数弱最小二豢簿为： l 伪7 口) 。1 8 7 c ( 3 6 ) 由于蔌富l l 令参数，鄹么魏莱已知空阙6 个戳上点酌挺秀坐标和图像艇标，黉可 以求解出这些参数。在一般的标定过程中多使用数十个已知点，使方程的个数大火超 遘求知数豹个数，觚蔼溺最夺二法求解竣洚低误差造残豹影璃。 这种方法的优点是整个计算过稷比较简单直观，且除了援求所有控制点在三维世界 坐掾系孛懿璧标蕊秘其在二缝图像上懿坐搽戮终，苓孬嚣簧箕它静额乡 信患。事实上， l 斑阵中的1 1 个参数并非飘相独立，而是存在着变量间的约束关系。但是对线性方程 鳃袋解酵，劳没鸯考虑到这些变量滔鳆终寰关系。霆梵，褒数据鸯误差懿媾嚣下，计 算结果中的误差就比较明照。所以采用这种方法来进行相机标定，首先，必须要有较 多令数的控测点；其次，霹控制点鲶测量谈差迮要尽霹能懿夺。 嘞h 咚吒 厶觑岛“厶厶b磊厶如如 3 2 2t s a i 两步标定法 3 。2 。2 。l 基本藩爨 乡 帮参数( 6 令) ，然蓐再谤纂内部参数( 3 令) 。在考瘩径爨约束嚣，i 惫t o , p 。窝自霪 最p 有相同的方向，其中，q 是图像的中心，既( - ，y ) 是图像平面上畸变后的像 点。p ( 罩，y ，z ) 是目标点，( x ，y ，z ) 是p 点在相机坐标系中韵坐标位鼹，是 1 0 ，0 ，z ；这一点。这撵r a c 霹表暴必： 设方向q p 。= 方向p 。p ，且 尺。【兰 亳 薹】r 。【；i 】 y _ 卫审+ r s y + r 6 z 坩+ f ， ( 3 7 ) l z - 。x ，+ r s y 。+ 吩z ，+ 气 三兰出。量三m ! 垒! ! ! 垒三z ! 二垒( 3 8 ) 其中，4 = b 。) ，z w y 。儿一x , c x , t y 一z 矗j 是融知的。 b 1 盟丝丝盟量鱼r _ l l 是待求的。 i ， ， y， ，】 对每一个目标点只，已知其工，y ，z ，日，) ，。就可以列出如上的一个方程a 直蕊的说：选取n 羽) 7 ) 个合适的空问点魏可解出捌向量巾的7 个分董。但是为了简 单方便，可取在不弼已知离度的搬缀共厦点来模拟象闻三缀场，这榉的标定模扳较爨 设计，又不失一般饿。求解空间刚体变换的难度之一就是其3 3 的旋转阵r ，有9 个参