（模式识别与智能系统专业论文）三维激光和单目视觉间的联合标定与数据融合.pdf

大连理工大学硕上学位论文 摘要 对于二l ：作在复杂场景中的移动机器人系统，如何使其具有良好的场景理解能力是一 个极具挑战性的课题。近年来随着机器人学以及相关领域技术的快速发展，自主移动机 器人逐渐从室内环境过度到室外环境，从结构化环境过度到非结构化环境。这一发展趋 势对移动机器人性能和技术提出了更高的要求。为了取得高层次智能行为，信息感知， 挖掘以及融合是其关键组成部分，决定了信息有效利用的程度。本文主要针对室外大场 景下移动机器人三维激光和单目视觉问的标定和数据融合进行了研究。 本文首先对单传感器的弱点进行了探讨，指出了其在信息提取和功能上的局限性。 进一步分析给出了配备有多传感器室外移动机器人系统在传感器信息融合方面的前沿 和实用化技术，指出多传感器融合技术是获取有用信息的有效手段。然后针对移动机器 人平台上装配的三维激光和单目视觉传感器间的标定方法进行了重点研究。采用两级标 定方法，对单日摄像机进行了在线标定。 通过对已有的激光和视觉传感器间标定方法的分析，设计实现了新的自动标定方 法。利用设训的标定装置完成三维激光和单日视觉之间的自动联合标定。标定过程中激 光数据特征角点的提取过程分为检测与校正两阶段。检测阶段将原始三维激光数据与二 值化后的测距数据矩阵进行映射关联与统计分析；校正阶段通过与由标定板中黑白格角 点所构造的标准模板相匹配，提高了角点提取精度，进而采用迭代优化方法进行求解。 该方法克服了手动操作误差不可控，且仅限于近距离标定及对噪声敏感等不足。通过三 级误差分析手段保证了标定结果的正确性。 本文最后从三个不同角度给出了室外大范围场景r ，三维激光和单目视觉间数据相 融合的方法，分别是利用图像渲染三维激光点云数据形成的彩色激光图，将三维激光投 影到二：维平面生成的深度图以及利用激光的深度信息对场景图像提取的局部描述符的 校正。该丁作为移动机器人窀外复杂环境下增强建模、信息深度融合及虚拟现实技术奠 定了基础。 关键词：多传感器信息融合；室外环境建模；三维激光；单目视觉；自动标定 三维激光和单目视觉问的联合标定与数据融合 c a l i b r a t i o na n dd a t af u s i o nb e t w e e n3d l a s e rs c a n n e ra n dm o n o c u l a r v i s i o n a b s t r a c t p o s s e s s i n gg o o dc a p a b i l i t yo fs c e n eu n d e r s t a n d i n gi sag r e a tc h a l l e n g ef o ra u t o n o m o u s m o b i l er o b o t sw o r k i n gi nc o m p l e xe n v i r o n m e n t n o w a d a y s ，w i t ht h ef a s td e v e l o p m e n to f r o b o t i c st e c h n o l o g ya n dr e l a t e da c a d e m i cd o m a i n ，a u t o n o m o u sm o b i l er o b o t sg r a d u a l l ys t e p f r o mt h ei n d o o ri n t ot h eo u t d o o ra n df r o mt h es t r u c t u r e de n v i r o n m e n ti n t ot h eu n s t r u c t u r e d e n v i r o n m e n t s ot h i s d e v e l o p i n gt r e n dr a i s e sh i g h e rd e m a n do nn e wr e s o l u t i o n sa n d t e c h n o l o g yb r e a k t h r o u g h s i no r d e rt oa c h i e v et h eh i g h e ri n t e l l i g e n tb e h a v i o r s ，i n f o r m a t i o n s e n s i n g ，m i n i n ga n df u s i o nw o u l db ek e yp a a sw h i c hd e t e r m i n et ow h a te x t e n ti n f o r m a t i o n c a nb ee f f e c t i v e l yu s e d t h ei n t e n t i o no ft h i sd i s s e r t a t i o ni st od or e s e a r c ho nt h ec a l i b r a t i o n a n di n f o r m a t i o nf u s i o nb e t w e e n3 d 1 a s e ra n dm o n o c u l a rv i s i o n t h ed i s s e r t a t i o nf i r s td i s c u s st h es h o r t c o m i n g so ft h es i n g l es e n s o rw h i c hp r o v i d e s 1 i m i t e di n f o r m a t i o nf o rm o b i l er o b o ta n dg i v eo u ta d v a n c e dm u l t i s e n s o rm o b i l er o b o t s y s t e m sw i t hc u t t i n g e d g ea n dp r a c t i c a lt e c h n o l o g i e st o i l l u s t r a t et h a ti n f o r m a t i o nf u s i o n b e t w e e nd i f f e r e n ts e n s o r sp r o v i d e sa ne f f e c t i v ew a yt oc a p t u r et h ev a l u a b l ei n f o r m a t i o n n e e d e d t h e nh i e r a r c h i c a lc a l i b r a t i o nm e t h o di sa d o p t e dt oc a l i b r a t et h em o n o c u l a rc a m e r a o n l i n e t h ee x i t i n g3 d 1 a s e ra n dm o n o c u l a rv i s i o nc a l i b r a t i o nm e t h o d sa r ea n a l y z e db a s e do n w h i c han e wa u t o m a t i cm e t h o di si n v e n t e dt oo v e r c o m et h es h o r t c o m i n g s s u c ha se r r o r s c a u s e db ym a n u a ls e l e c t i o n ，c o n f i n e dd i s t a n c ec o n f i g u r a t i o n ，n o i s es e n s i t i v i t y ，e t c d u r i n gt h e c a l i b r a t i o n t h el a s e rc o m e rp o i n t sa r ea u t o n o m o u s l ye x t r a c t e dt h r o u g hd e t e c t i o na n d c o r r e c t i o ns t a g e s a f t e rt h a ti t e r a t i v eo p t i m i z e dm e t h o di sa d o p t e dt of i n dt h ep a r a m e t e r s t h r e es t a g e se r r o ra n a l y s i sa p p r o a c hi su s e dt og u a r a n t e et h ec o r r e c t n e s so f t h er e s u l t s f i n a l l y 3 d 。l a s e ra n dm o n o c u l a rv i s i o ni n f o r m a t i o na r ef u s e di nt h r e ed i f f e r e n tw a y si n o u t d o o rl a r g es c a l ee n v i r o n m e n t t h ef u s i o nr e s u l t sa r ec o l o r e dl a s e rp o i n tc l o u dm a p ， d e p t h m a pc o n s t r u c t e db yp r o j e c t i n gl a s e rd a t ao n t oi m a g ep l a n ea n di m a g el o c a ld e s c r i p t o r e x t r a c t e db yc o m b i n i n gd e p t hi n f o r m a t i o n t h i sw o r kl a y sas o l i df o u n d a t i o nf o rf u t u r e r e s e a r c h e so ne n h a n c e ds c e n em o d e l i n g ，d e e p e ri n f o r m a t i o nf u s i o na n dv i r t u a lr e a l i t yi n c o m p l e xs c e n e sf o ro u t d o o rm o b i l er o b o t k e yw o r d s ：m u l t i - s e n s o ri n f o r m a t i o nf u s i o n ；o u t d o o rs c e n em o d e l i n g ；3 dl a s e r ；m o n o c u l a r v i s i o n ；a u t o m a t i cc a l i b r a t i o n 大连理工大学学位论文独创性声明 作者郑重声明：所呈交的学位论文，是本人在导师的指导下进行研究 工作所取得的成果。尽我所知，除文中已经注明引用内容和致谢的地方外， 本论文不包含其他个人或集体已经发表的研究成果，也不包含其他已申请 学位或其他用途使用过的成果。与我一同工作的同志对本研究所做的贡献 均已在论文中做了明确的说明并表示了谢意。 若有不实之处，本人愿意承担相关法律责任。 学位论文题目：三维邀左塑望旦塑鲎闻煎送佥盘塞塑熬堡融佥 作者签名：一丝拉查一一 日期：4 年勘上日 大连理工大学硕士研究乍学位论文 大连理工大学学位论文版权使用授权书 本人完全了解学校有关学位论文知识产权的规定，在校攻读学位期间 论文工作的知识产权属于大连理工大学，允许论文被查阅和借阅。学校有 权保留论文并向国家有关部门或机构送交论文的复印件和电子版，可以将 本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印、或扫描等复制手段保存和汇编本学位论文。 学位论文题目：圣亟i 堡塾奎堑丛垒丝四鱼翌羞厶盎i 莲墨挝必 作者签名： 堑：堑： 日期：211 年盈月厶日 导师签名：痘壬日期：盟年金月厶日 大连理工大学硕士学位论文 1绪论 1 1 选题的背景和意义 如何保证室外移动机器人稳定地工作于复杂环境，有效地理解周围的场景信息是关 键环节之一。而场景信息理解包括信息采集与感知，信息表达，信息融合，信息处理， 信息挖掘等方面。早期在相对结构化的室内环境中，借助于单一传感器，已经初步实现 了简单场景信息获取和处理，在充分发挥单一传感器功能的前提下，通过复杂算法和体 系架构的设计也可以文现简单室内环境下的感知与理解。然而由于移动机器人具有高度 的运动性，这就对机器人系统的环境认知与环境适应能力提出了更高要求，所以依靠单 一传感器已经无法满足复杂场景下移动机器人的工作要求。 伴随着传感器与检测技术的快速发展，激光雷达、立体视觉系统、陀螺仪、差分 g p s 等高性能传感器已逐渐应用于工作在复杂环境的机器人系统中。近年来移动机器人 ( 包括自主无人车) 的研究与应用正逐步从室内结构化环境向野外完全非结构化环境进 行扩展。而多种传感器协同t 作是保证移动机器人系统具有稳定性，安全性，可靠性等 的重要手段。多传感器协同工作在架构上可分为串行工作，并行工作和分布式工作等工 作方式，无论何种工作方式为了达到信息充分有效利用的目的，需要融合来自不同传感 器的信息，比如激光传感器可以获得环境的深度信息，但却缺少对环境的表现力度，而 单目视觉传感器可获得场景的色彩信息，却缺少对场景深度信息的表达，将二者所获得 信息进行有效合理的补充和组织，从i 佰达到融合两传感器信息的目的，进而保证移动机 器人对场景感知和理解的充分性及运行的安全、稳定性。 1 2 国内外研究现状 早期的室外移动机器人虽然也借助于多传感器保证系统运行的稳定性，但是各传感 器往往孤立运作，在某种程度上还是较大地依赖于单传感器的性能，p o m e r l e a u l l l 、 j o c h e m 【2 l 利用离线训练得到的人工神经网络模型完成了室外道路环境下较低层次的理 解。2 0 0 0 年以来，以d a r p a 主办的室外无人车挑战赛【3 】为代表，不断的推动者相火领 域的技术进步。由于挑战赛所在环境的复杂性以及移动机器人所需完成任务的艰巨性， 多种传感器系统的装备和传感器问的协同工作成为能否鹿对挑战的重要环节。在2 0 0 5 年d a r p a 的野外无人车挑战赛中，斯坦福大学的s t a n l e y 【4 5 】无人车夺得了冠军。该比 赛要求参赛者在1 0 小时内完成1 7 5 英堆的沙漠之旅，s t a n l e y 无人牟( 如图1 1 所示) 首先采用激光对近处的地而进行可通过性什计，然后利用视觉传感器对该区域进行采 ：维激光和单口视觉问的畦合标定7 数择融音 样，得到的数据作为训练样本，从而对7 0 米外的自然场景进 j ：分析与预测，确定呵行 和非n ，行区域。 阁1i f a ) s m n l e y 尢人车 f i g ii f a ) s t a n l e yu n m a n n e dg r o u n dv e h i c l e 糜 ( b ) s t a n l e y 九人1 激光桃觉触台模拟圈 ( b ) s i m u l a t e d m a p o f l a s e ra n dv i s i o n f u s i o n f o rs t a n l e y 除了d a r p a 的无人车挑战赛外，d a r p a 最近3 年的l a g r ( l e a m i n ga p p l i e d1 0 g r o u n dr o b o t s ) 研究项目共资助了8 个十目荚的研究组来进行室外不规则环境下移动机器 人自导航软件的，f 发。所开发的系统较多的采用自监督学习方法。废膏法建立在两种以 l 传感器信息融合的基础之上。首先通过较可靠的传感器( 如激光雷达、立体视觉等) 获得近处可通过区域的数据，升利用该数据进打在线训练从而实现对大范罔场景的辨 识。s o f m a n 【6 3 4 _ h j 机器人获取的卫星图像和馓光测距数据进行存线训练，从向得到工作 场景的概率模型，并用f 环境可通过性的预测。s t a v e n s p 】采用 i 监督学习对地血粗糙度 进行预测。 # 耐些梅隆太学的p e r c e p t o r 团队， r 发了、- f 1 主的无人车系统【”，视觉传感器主 要使用红外、立体摄像机和彩色摄像机，并利用多视觉传感器融合技术对树木、灌木丛 干小同地形进彳1 i _ 榆删乖盼类，使之能在复杂环境中无人驾驶。美国市卡罗束纳大学的研 究人m 开发rj i d o k a 系统【”，该系统使卅多传感器触台技术，从激光苗达、加速度计 和摄像机获得不同地表的信息，采用基于规则的方法对覆盖有冰、水、雪的沙地、右子 地进行分类。系统u r 选到9 0 以e 的辨识率，且有高n 勺实时性。德吲凯洋斯劳滕大学机 器人学实验室杠r o b u c a r 甲台上丌发的室外无人车系统l l i 。该系统利用立体视觉获得场 景的深度信息，进而检测岩石、树木、水坑等非连续地形信息，并将其视为障碍物，从 而对啦安全冈素实现自主适席与判断。k a r l s o n | l _ 】等人利用f 轮振动传感器获得午辆和l 地 表们交且曲线，与c 制像数据扪匹配获得地嵌可通】胜程度的仙训，从l n l 达到拧制车辆速 度的t 的。s a x e n a _ | ”经过三维激光干竹【1 m 髓数据融合乍成的椿世仇且削，采j h 图惮 大连理工大学硕士学位论文 纹理作为特征，建立马尔可夫随机场模型来对深度信息进行训练，从而达到了由单一图 片进行深度感知和三维重建的目的。m i c h e l s l l 4 】利用存激光和单目视觉数据融合的基础 上，实现了单目视觉对一维深度信息感知，完成了室外非结构化环境下移动机器人的高 速壁障。国内清华大学智能技术与系统国家重点实验室主要以准结构化和非结构化的道 路环境为研究背景，所研发的t h m r 系列无人车系统 1 5 , 1 6 装备有彩色摄像机、激光测 距仪、磁罗盘光码盘定位系统等多种传感器，系统具有较高水平的行动决策与规划能力。 1 3 本文的工作内容与安排 本文创新性地提出了一种三维激光和单目视觉问的自动标定方法，实现了室外准 结构化和非结构化大范围场景下三维激光数据和二维图像信息问的相互补充及有机融 合，论文的具体内容如下： 第二章首先介绍了单同摄像机模型的线性标定方法，实现了在线单目摄像机标定程 序，通过实验获得了摄像机的内部参数，并给出实验结果的误差分析。 第三章给出了一种三维激光和单目视觉问的自动标定方法。提供了自动提取三维激 光数据和单目视觉图像数据中特征匹配对的方法，实现j 维激光和单目视觉之间的自动 标定，解决了手动点选匹配对所引入的人为误差不可控和时间开销大问题，提高了匹配 对提取精度。同时减小了距离与偏转角对标定的影响，克服了标定只能限定在近距离范 围内这一局限性。最后给出了标定误差定量和定性的验证分析结果。 第网幸基r 第三章的标定结果，在室外结构化和非结构化环境下，实现了三维激光 数据和二维图像数据的相互补充和有机融合，主要包括对激光数据点染色形成的彩色激 光，三维激光数据投影剑二维图像平面形成的深度图以及利用三维激光和单目视觉间的 变换关系实现图像中局部描述符较高精度的提取。以上工作为室外复杂_ 环境下增强建 模，信息深度融合及虚拟现实技术奠定了基础。 1 4 实验用三维激光环境建模系统的组成 三维激光环境建模系统主要包括三维测距系统，单目视觉摄像头以及相关附属设备。 ( 1 ) 三维测距系统：主要包括二维激光传感器和云台电机 s i c kl m s2 9 1 型激光测距传感器( 如图1 2 所示) ，二维激光传感器工作原理如图1 3 所示，激光测距系统按照一定的时间间隔发射光脉冲，在发射的同时，内部计数器开始 计时，激光束经过乖直高速旋转的反射镜甲行反射，与目标物体梢遇产生反射，传感器 维激光和单目视赏问的联音标定与数据融台 接收到反射信号时，计数器停止计数，从而利用发射和接收脉冲的时间问隔米训算日标 物体的距离。 三维测距系统的主要参数如下表所示： 表11一维测距系统的主要参数 1 nil t h e m a l n 口a m m d e h f o r3 dr a n g e f i n d e rs y s t e m 三维测距系统参数参数范围和取值 维激光传盛器横向扫描范围 一维撇光传感器纵向f i 描范围 8 米，1 6 米，3 2 米( 距离分辨宰为l 毫米) ；8 0 米( 距离分辨率为1 厘米) 一维激光传感器十l 描角度分辨牢 电目l 旋转如度分辨率 01 9 26 、02 8 8 。、04 8 0 和09 6 0 。 u 机旋转起始如3 0 4 电机旋转终l l 角度起始角+ 分辨率5 1 2 。 电机扫捕范围分辨率+ 5 1 2 。 ( a )( b ) 图l2 ( a ) 一维激光日l 单u 视觉蚪境数蝌采集设备( b ) 怔携j 可折盛町伸缩三脚架 f i g 2 ( a ) 3 d l a s e ra n d m o n o c u l a rc a m e r ae q a i p l n e a t f o rs c c f l ed a l aa c g e i i t i e n ( b ) g e t a b l e ，f o l d a b l e a n da d j u s t a b l e tr i p o d 丈连理工大学硕士学位论文 群 图1 3 = 维檄光测距忙感器工作砸理 f i g 13 w o r k i n gp r j n c l p l eo f 2 d l g e f i n d e r ( 2 ) 单目视觉传感器：采用f l y c a p t u r e 单目摄像头( 如| 墨l l4 所示) 该摄像头的主要参数表1 2 所示，奉文选用1 0 2 4 7 6 8 r g b 图像，秉集速率为 8 7 5 f p s 。 表i2f l y c a p t u r e 堆日摄像头上盅参数 t a bl2t h e m a i np a m m e t e r s f o rf l y c a p t u r c c a m e r a f l y c a p t u r e 单日摄像头参数 参数取值和范围 1 6 0 0 i2 0 0 ，1 0 2 4 7 6 8 ，8 0 0 6 0 0 3 2 0 2 4 0 ， 阿像尺寸可选 1 6 0 l2 0 等 采集图像格式可选r g b ，b g r ，y u v 4 2 2 ，y u v 4 4 4 等 采集速率- 选 6 0 f p s ，3 0 f p s ，i5 堆s ，75 f p s ，37 5 巾s ，i8 7 5 f p s 幽i4f l y c a p t u r e 摄像虫 f i g l4 f l y c a p l u r e c a m e r a j 维激光和单日视觉问的联合标定与数据融合 ( 3 ) 其他附属设备包括便携式可折叠可伸缩j 脚架( 如图1 2 ( b ) 所示) ，激光云台三角 架( 伸缩范围0 9 0 厘米) ，单日视觉摄像头三角架( 伸缩范围o 3 0 厘米) ，笔记本数 据处理单元。系统的软件开发环境为v i s u a lc + + 2 0 0 5 ，o p e n g l ，o p e n c v 。 大连理工大学硕士学位论文 2 单目视觉摄像机的标定 对于工作在室外大场景下的移动机器人，由于场景中存在的复杂及小确定囚素，使 得无法依赖单一传感器完成相应的任务，正是由于单传感器的功能限制，多传感器的架 构及传感器间信息融合技术的使用对于确保室外移动机器人具有稳定性，安全性，自适 应性等性能是不可或缺。其中室外较为常用的两种传感器是激光测距传感器和视觉传感 器，本文主要针对三维激光测距系统和单目视觉传感之间的标定和信息融合加以研究探 讨。 激光测距系统和视觉传感器信息融合的首要任务是解决传感器本身以及传感器之间 的标定问题，标定效果的好坏直接影响信息融合的效果，所以标定技术是多传感器之间 信息交互的桥梁。如何在最大程度上发挥单一传感器功能，进一步超越单传感器的功能 在较大程度上依赖于传感器间信息组织与融合。在计算机视觉中标定的本质是不同数据 集间的变换估计，给定x = ( i ，只) i i r ，只r m ，l i 刀 是n 维空间到m 维空间 的点对应集，估计一个变换m 使得对应点集尽可能的接近该变换，即使下式成立： m = a r g m 。i n 崎一聊( 吼( i ，只) x ( 2 1 ) 。 j = l 其中q 是q 范数，几何上表示空间距离的度量。 本文用到以下了三种变换估计： 1 ) 二维射影变换 二维射影变换是指从某一测量下的二维平面剑另一测量卜- 的二维平面间变换，主要 用于单目视觉摄像头问内外参数的标定。 令m = h 3x 3 ，二维映射变换的问题转换为寻找二维单应矩阵h 使得： h 3 。，= a r g 毋i n 8 只一砸i i 。 ( i ，只) x “3 t = l ( 2 2 ) 此处i ，或分别对应不同测量下二维平面点的齐次坐标向量。 2 ) 三维射影空问至u - - 维射影空问的投影变换 主要用于三维激光和单目视觉摄像头之问外参数的标定，即将三维窄问点投影变换 到图像半面，令肌= 飓4 ，问题转换为找到变换阵日使得： h ，。= a r g m ! nz l f , 一砸忆 ( i ，只) x( 2 3 ) 一i = l 此处，i ，是三维空间的齐次坐标，多是二维图像平面的齐次坐标 三维激光和单目视觉问的联合标定与数据融合 3 ) 三维射影变换 三维射影变换是指某- n 量下的三维审问坐标问的变换。主要用于两组或多组三维 激光点云数据的匹配，从而达到三维场景匹配重构的目的。 令m = h 4 4 ，问题转换为找到变换阵日使得： h 。= a r g m h i n 悦一甄0 q ( 墨，歹，) x ( 2 4 ) 4 。4 i = 1 此处i ，谚分别对应三维空间点的齐次坐标向量。 本章针对单目摄像机的标定问题，即二维射影变换，予以研究和探讨，并给出实验 结果及误差分析，第三章和第四章分别就所涉及到的其余两种变换加以分析研究。 2 1单目摄像机模型 2 1 1 线性摄像机参数 针孔摄像机模犁是普遍采用的视觉成像的理想模型( 如图2 1 ) ，以下对该模型 进行探讨并给出基木投影变换关系。 ：一 。： i i z 图2 i 针孔摄像机模型 f i g 2 1 p i n h o l ec a m e r am o d e l 由该模型得到成像的比例关系如图所示为： 一厂孝 ( 2 5 ) 其巾为摄像机的焦距，z 为摄像机到物体的距离，x 为物体的高度，工为像的高度。 为了表达上的方便，对图像半而的位置进行调整，如图2 2 所乃，将图像平面置于针孔 的前面，称针孔为投影中心，光轴和图像平面的交点为主点，所以得到变换关系为： 大连理工大学硕士学位论文 仁 五( 考) 地 ( 净“y ( 2 6 ) 其中阮力为图像空间的像素坐标，e z ) 为三维空间中物体的坐标，五是x 方向的焦距， 单位为像素，即实际物理焦距长度与单位长度像素值的乘积。同理乃是y 方向的焦距。 ( 圾，蜥) 是主点相对于图像中心的偏移向量。魄石u xu y 是单目摄像机的内部线性参数。 i 正一正c o t y 蚝i 令m = l0 f ，s i n rl f yf l0 01j 其中y 为图像平面与光轴之间的央角，为了简化计算，令y = 9 04 ，以下是投影变换的 矩阵表示形式： x y w 五0u 。 0 lu ool x 】， z = m x y z 其中：w = z ，为归一化系数，图像坐标采用齐次坐标的表达方式。 图2 2 调整后的图像平面 f i g 2 2i m a g ep l a n er e a r r a n g e d ( 2 7 ) 2 1 2 非线性摄像机参数 由于实际加t 过程中摄像机镜头及成像元件设计的彳：精确性，会使成像效果产生畸 一9 一 三维激光和单目视觉间的联合标定与数据融合 变( 如图2 3 所示) ，畸变的的种类主要分为径向畸变( r a d i a ld i s t o r t i o n ) 和切向畸变 ( t a n g e n t i a ld i s t o r t i o n ) ，对摄像头畸变参数的标定属于对摄像头内部非线性参数的标定 问题。 r a d i a le 。l r i 呻n e 憎o fl h ed i s t o r l m nm o d e l t a m g e n t i 甜c o m p o n e 哺o r 伽ed i 科雠i o nm o d e l ( a )( b ) 图2 3 ( a ) 径向畸变模型( b ) 切向畸变模裂 f i g 2 3 ( a ) r a d i a ld i s t o r t i o nm o d e l ( b ) t a n g e n t i a ld i s t o r t i o nm o d e l 径向畸变主要是由于透镜边缘的光线扭曲程度大于中心而产生的桶效应，其矫正公 式为： xj名co。r：r。e。c。t。=：11-意kjl，,22+-i-七k22，,441 + p 七k 3 r 6 jflyx c 2 8 ， 其中k l , 如幻称为径向畸变系数 切向畸变丰要是由于镜头制造过程中透镜和图像平面不平行所引起的，如图2 4 所 示。矫j f 公式如下： i 甏。t = x + 2 p l x y + p 2 ( r 2 + 2 x 2 ) 】 1 眦。：y m l ( r 2 + 2 y 2 ) + 2 p 2 砂】 q 9 其中p ，p 2 称为切向畸变参数 联合考虑径向和切向畸变的坐标矫正： 纛 = ( 1 + 矿岫叫北2 p 渺, x y + p 门2 ( r 伽2 + 2 x ：捌2 ) 亿。， 大连理工大学硕上学位沦文 ( 1 e d d dfo 幽24 透镜和图像平面不甲行引起的切向畸娈 f i g2 4t a n g e n t i a td i s t o r t i o nr e s u l t l n g f r o mn o n p a r a l l e lo f t h e l e n s i o t h e i m a g ed i a n e 213 摄像机的补参数 单目视觉的成像过程可归纳为两级变换过程。首先经过坐标变换，使得世界坐标 系与摄像机坐标系相重合( 盘图2 5 所示1 ，该过程主要是通过计算旋转和平移变换矩阵， 由什t 界坐抽：下的物点坐托、计算得到摄像机坐标系f 的物点坐标，然后进一步经过式f 27 1 内参矩阵变换计算得到图像平面上的二维像点坐标。 图2 5 引j l 摄像自l 雠型中的州个坐标系统：物体坐标( 世界坐标) 系w 搓像机业标系c f i g2 5 p i n h o l e m o d e lo f t h ep e r s p e c t i v e w i t h c o o r d i n a t es y s t e m s ：e x t o l l wa n d i n t a l c 如图所示p w 表示在世界坐标系下测量得到的物点坐标，只表示在摄像机坐标汞 f 测量得到的物点啦标，r ，t 分别表示由世界坐标变换到摄像机毕标的旋转矩阡和、p 移矩阵，f n ：】量j 基掉关系褂： 只= r ( p - 9 - t ) 或p = r 只+ r( 2 1 1 ) 三维激光和单日视觉问的联合标定与数据融合 其中r = 墨i 薹主 粥，t = q q = 医t y 蜘 其中= lr 。足：足，l ， = q d w = li 【- 尾-尼： 色，j ，。，【f z j 蜘 旋转矩阵r 满足r r r = i ，采用欧拉角表示可分解为绕x , y , z 轴的旋转矩阵凡，马，飓： 擀1 ooi 0 sing州啦0。10 s i n 呼o 0 i 7 足( ”= ，b ( 纠= i l = 旯雕斗 一s i n 纠 0 i ，足： l e o s 6 p j = 2 m rt 1 lj x l ， z 1 e o s o s i n 0 一s i n 0c o s o o0 其中a 为归一化常数，世界坐标和图像坐标分别采用齐次坐标表达。 如不作特殊说明，文中所使用的符号前后一致。 2 2 摄像机的线性标定方法 ( 2 1 4 ) 2 2 1线性摄像机模型的线性标定方法 传统的摄像机标定方法【1 9 1 是采集放置在摄像机前的立体标定靶上的特征点，利用这 些点的二维图像坐标和三维空间坐标建立方程组，通过解方程组获得摄像机的内外参 数。f a u g e r a s 2 0 】提出的摄像机内外参线性标定方法是传统的标定方法，在这之后许多标 定方法都以此标定方法为基础。以下就f a u g e r a s 的线性标定方法予以简要介绍。 三维世界华标和二维图像举标的变换关系如下： = 五m 设i x , f z 】为世= 界坐标，k y 】为图像坐标。 x y z 1 ( 2 1 5 ) 嗡 ” - ，l q 亿 j 0 o l 大连理工大学硕士学位论文 其中变换矩阵为m = 啊im 2m 1 34i m 2 im 2 2m 2 3m 2 4f 1 2 鸭3m 3 4 j i 所以f a u g e r a s 线性标定方法是通过求解1 2 个未知变量获得三维空间到二维空间的变换 关系。易知受归一化条件的约束，可令m 3 4 = 1 ，所以得到的方程组共有11 个自由度。 将上式展开得： 龆mx 嚣m ：朋m 毫z z m l 2 4 4 1 m 3 3 1 麓兹嚣m 4 3 二y 亿旧 【 2 l + 2 2 】，+2 3 + 4 一l y y 一，吩2 y 】，一3 少z2 4 一 q 个空间坐标点联立得到2 q 个方程： 令彳= 一x l y l x l x q x q y q x q x l 一z l z l y l iy i z i x q 一x q z q y q k y q z 。 五xz l 10000 一而五一五k一z l 000 0 五z l1 一咒五一y 。k y lz l ： 五kz q 1000 0 一吒k 一吒一x q z q 0000 k 匕z q1 一虼五碍匕一蚝z q 阵，b ：i x i ，y l ，虬 7 为2 q x l l 矩阵， r m2 【l 铂2 朋1 3 朋1 4m 2 1m 2 2 2 3 m 2 4 m 3 1m 3 2 所以得： a m + = b 利用最小二乘法解得： 7 1 + = ( 彳，彳) 叫彳，b 1 3 一 ( 2 1 7 ) 为2 qx l l 矩 ( 2 1 8 ) ( 2 1 9 ) q 10 l o互；o乙0；o匕q o x ；0 l 0 ；l o互o ；乙o k 0 ；_ o 五o ；k o i 维激光和单目视觉问的联合标定与数据融合 由式( 2 1 4 ) 中的变换矩阵改写得到： i 六 o “x m = 10 u y i j l0 0 1 利用旋转矩阵的正交性， f 正= 慨脚，0 j = 0 朋：朋，8 i “x2 7 m 3 【u y = m 2 r m 3 17 t l 吃r乞 吩r 毛 六一7 + z f 。r 3 7 + 甜，r 3 7 r 3 7 f 。六+ 甜。f ： f y + 甜y t ： 乞 朋1 7 m ： m ； 所1 4 m 2 4 m 3 4 ( 2 2 0 ) = ( 聊l u x m 3 ) 六l 气= ( 朋1 4 一聊3 4 ) 正 r 22 ( 所2 一u y 朋3 ) 勺2 ( 聊2 4 一u y m 3 4 ) f y ( 2 2 1 ) 。 玛2 朋3 【 乞2m 3 4 通常由于空间坐标测量误差的影响，不能保证旋转矩阵尺为单位正交阵，所以 f a u g e r a s 线性标定方法存在较大的误差。虽然可以通过多种手段进行改进，如施加i i n i i = j 约束条件，但假设摄像机模型为线性模型仍4 i 够准确。 2 2 2 非线性摄像机模型的线性标定方法 z h a n g 2 1 1 提出的非线性摄像机模型的线性标定方法广泛应用于单日摄像头的标定过 程中。标定过程是，首先，不考虑单目摄像机畸变情况对摄像机的4 个线性参数进行标 定，得到内参的初始值，由于没有考虑畸变的存在，所获取的内参精度较低。随后利用 该初始值对非线性参数即畸变参数进行标定，同样得到精度不高的非线性畸变参数，利 用该参数重新计算线性参数，按照上述进行迭代计算，直剑所求得的线性和非线性参数 值收敛为止。 根据前面的摄像机投影变换模型，标定过程的数据是通过从不同的视点采集标定板 图像，进而提取标定板图像角点坐标所获得的，由于采用格式同定的黑白格标定板作为 标定装置，可令标定板二维平面的世界坐标系中分晕z = o ，利用图像角点与已知：维标 定板平而坐标点形成的匹配对，建立世界坐标系平而到俐像平而的j g r 射影变换，从而 实现对单目摄像头的标定。 设r l ，功分别为旋转矩阵的列向量，成像模型简化为： = 五 正0 蚝 0 凡u y 0ol 【吒吃r 3f 】 x 】， z l = 允m 【r 2 r 3= 五m 【眨，】 x 】， 1 大连理工大学硕士学位论文 ( 2 2 2 ) 令胙l m y i 心印= 【办，h 2 h 3 称为单应矩阵，j l ，仍，厅j 为单应矩阵的列向量。标定的实质也 就足单应矩阵中参数的求解。 由前可知，需要标定6 个内部参数，包括4 个线性参数五石魄u y ，5 个非线性参数， k l ，七2 ，岛，p l ，p 2 ；6 个外部参数，包括3 个旋转参数( 彬驴，矽) ，3 个平移参数f y ，必。 设黑白格角点数为，采集的图像数为心在不考虑畸变参数的条件下满足下述约束关 系： 2 n k 6 k + 4 ( 2 2 3 ) 而每幅图像的有效信息为4 个角点，所以k 至少为2 ，为了提高标定精度往往采用较多 的标定图片，本文使用1 5 幅不同角度和位置采集的在线标定图片。 具体的标定算法如f ： 由a m r ，2 f 】：【厅，h 2 ，h 3 | 1 4 ，i ： m 一- 矗，吃： m t 红，吩： m 一一吃 由旋转矩阵的正交性：，i 7 r e = o ，7 吒= 眨7 吃 所以有 ij l z i7 m 刁m - 1 风= 0 t 啊r m 一一t 扛：红r 矗一r m 一，吃 2 2 4 b = m 。m = l 蜀2 岛2 i 昼。 马： l 尽s 岛， 提出b 矩阵元素得到参数向量形式： 瞳b h j = v 口r b = 蜀， 岛，i ： 马，j 囊l 办，l 办订乃z + 囊：勺。 曩2 厅，2 曩，勺。+ 曩- ， 曩3 h ，2 + 曩2 办，3 曩。哆， f 2 2 5 ) ( 2 2 6 ) 羔露羔露嘻 一露 。 上兰彳 土露。 兰七 三维激光和单同视觉问的联合标定与数据融合 综合式( 2 2 4 ) # 3 l 助= l ( v i i - - v 2 2 ) t v 2 2 6 = 0 亿2 7 ， j 卜叫 通过求解v r v r d , 征值对应的特征向量得到b 的初始值，作为迭代法求解的初始 值，实质上此处对b 的求解f a u g e r a s 2 0 1 线性标定法中对m 矩阵的求解。 根据b 矩阵和内外参之间的关系式( 2 2 5 ) 得： 正= 1 “五e 。) = 蜀。五( 局。岛：一磋) u 。= 一兄b 3 蚝：( 骂：且。一旦。垦，) ( 尽，岛：一瑗) ( 2 2 8 ) 1 2 = 忍，一( 磁+ 故( 局2 且，一蜀。色，) ) 蜀。 ，j = m 一7 j l 2 r 2 = m 。1 吃2r 3 = 巧吃f = m 叫吃2 得到参数的初始值之后，采用迭代技术对目标函数 m = a r g m 。i n 慨- m ，( 琊 ( 2 2 9 ) ” f i 进行优化，取得较高精度的参数，其中厩，弼( 歹) 分别为图像坐标和标定板空间坐标， 本文使用的是l e v e n b e r g m a r q u a r d t 迭代优化算法，具体参数和算法详见后两节。 综上非线性摄像机模型的线性标定方法的算法步骤如下： 1 ) 采集不同角度和位置下的黑白格标定板图像，提取图像交点 2 ) 估计摄像机内外参数的初始值 3 ) 估计畸变参数的初始值 4 ) 利用l m 算法对目标函数迭代求解，提高参数精度 2 3 求解标定参数的迭代方法 考虑q 个方程。n 个未知数： p 2 ，p 。 p 2 ，p 。 p 2 ，p 月 = = 0 = = 0 = 0 ( 2 3 0 ) 珐a a ll，l 肋肋 腑 ，(1【 大连理工大学硕士学位论文 求式( 2 3 0 ) 的未知参数等价于求解非线性最优化问题，该问题通常采用迭代优化技 术来求解【2 2