（控制理论与控制工程专业论文）基于视觉的自主移动机器人控制策略研究.pdf

摘要 摘要 自主机器人导航是最近二十年来移动机器人领域最为活跃的研究方向。 本文提出了一种在非结构城市环境下，基于视觉的自然路标跟踪和机器人自 主定位技术。该技术使用新型的复合焦距视觉系统，能够保持宽阔的视野并 同时拥有较高的测量精度。自然路标由局部图像特征s c a l ei n v a r i a n tf e a t u r e t r a n s f o r i l l ( s i f t ) 表述，因其具有高度的独特性及对尺度变化、旋转和视角 的不变性。在机器人运动过程中，自然路标的跟踪由广角照相机获取的图像 基于s i f t 特征的逐帧匹配实现。随后，路标在广角图像中的定位映射至长 焦图像中。该映射基于构建的复合焦距视觉系统的数学模型。左右长焦图像 间的立体匹配应用光流技术，并由此计算得出路标和机器人的相对位置关 系。最终，机器人自定位于世界坐标系中，直到其达到目的地。该算法分别 于实验室环境和城市环境下，在a c e 机器人平台上进行了测试实验。实验 结果充分证明了算法的有效性和稳定性。最后，关于进一步工作的方向进行 了简要的讨论。 关键词：路标跟踪，机器人定位，复合焦距视觉系统，s i f t 特征点，光流 技术 a b s t r a c t a b s t r a c t a u t o n o m o u sr o b o tn a v i g a t i o ni so n eo ft h em o s ta c t i v er e s e a r c hf i e l d si n m o b i l er o b o t i c sf o rt h el a s tt w od e c a d e s t l l i st h e s i sp r e s e n t sav i s i o n b a s e d a p p r o a c hf o rn a t u r a ll a n d m a r kt r a c k i n ga n dr o b o ts e l f - l o c a l i z a t i o ni nu n s t r u c t u r e d u r b a ne n v i r o n m e n t s am u l t i f o c a lv i s i o ns y s t e mi su s e d w h i c hh a st h ec a p a b i l i t y o fk e e p i n gw i d ef i e l do ft h es c e n ei nv i e wa n ds i m u l t a n e o u s l yh i g hm e a s u r e m e n t a c c u r a c y a sl o c a lf e a t u r e sr e p r e s e n t i n gt h en a t u r a ll a n d m a r k s c a l ei n v a r i a n t f e a t u r et r a n s f o r l t l ( s i f t ) f e a t u r e sa r ec h o s e n ，s i n c et h e ya r eh i # d yd i s t i n c t i v e a n di n v a r i a n tt oc h a n g ei ns c a l e ，r o t a t i o na n dv i e w p o i n t d u r i n gt h er o b o t n a v i g a t i o n ，t h en a t u r a ll a n d m a r ki st r a c k e dt h r o u g hm a t c h i n gs i f tf e a t u r e sf r a m e t of r a m eu s i n gw i d e - a n g l ec a m e r a t h e nt h el o c a t i o no fl a n d m a r ki sp r o j e c t e d o n t ot h et e l e p h o t oi m a g eb a s e do nt h ec o n s t r u c t e dm a t h e m a t i c a lm o d e lf o rt h e m u l t i f o c a lv i s i o ns y s t e m t h eo p t i c a lf l o wt e c h n i q u ei s a p p l i e df o rs t e r e o t e l e p h o t oi m a g em a t c h i n ga n dt h er e l a t i v e3 dp o s i t i o no ft h el a n d m a r kw i t h r e s p e c tt ot h ec u r r e n tp o s eo fr o b o ti sc a l c u l a t e dt h r o u g hs t e r e ot r i a n g u l a t i o n a l g o r i t h m f i n a l l y , t h er o b o tl o c a l i z e si t s e l fi nt h ew o r l dc o o r d i n a t ef r a m eu n t i l t h ed e s t i n a t i o ni sa r r i v e da t e x p e r i m e n t so nt h er o b o ta c ei nb o t hl a h o r a t o r y e n v i r o n m e n t sa n du r b a ne n v i r o n m e n t si n d i c a t et h a tt h ep r o p o s e da p p r o a c hi s r o b u s ta n da c h i e v e s h i g hp e r f o r m a n c e o nl a n d m a r kt r a c k i n ga n dr o b o t s e l f - l o c a l i z a t i o n i nt h ef i n a l i t y , t h ep r o b l e m sr e q u i r i n gf u r t h e rs t u d i e sa r ed i s c u s s e d k e yw o r d s ：l a n d m a r kt r a c k i n g ，r o b o ts e l f - l o c a l i z a t i o n ，m u l t i f o c a lv i s i o ns y s t e m ， s c a l ei n v a r i a n tf e a t u r et r a n s f o r m ，o p t i c a lf l o wt e c h n i q u e 学位论文版权使用授权书 本人完全了解同济大学关于收集、保存、使用学位论文的规 定，同意如下各项内容：按照学校要求提交学位论文的印刷本和 电子版本；学校有权保存学位论文的印刷本和电子版，并采用影 印、缩印、扫描、数字化或其它手段保存论文；学校有权提供目 录检索以及提供本学位论文全文或者部分的阅览服务；学校有权 按有关规定向国家有关部门或者机构送交论文的复印件和电子 版；在不以赢利为目的的前提下，学校可以适当复制论文的部分 或全部内容用于学术活动。 学位论文作者签名： 年月日 同济大学学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下， 进行研究工作所取得的成果。除文中已经注明引用的内容外，本 学位论文的研究成果不包含任何他人创作的、已公开发表或者没 有公开发表的作品的内容。对本论文所涉及的研究工作做出贡献 的其他个人和集体，均已在文中以明确方式标明。本学位论文原 创性声明的法律责任由本人承担。 学位论文作者签名： 年月日 第1 章引言 1 1 选题背景 第1 章引言 自主机器人导航是移动机器人研究中最为活跃的研究方向之一。许多使用 声纳( t h r u n ，1 9 9 8 ；z a r d o s ，2 0 0 2 ) 或激光( g u t m a n n ，1 9 9 9 ；h a e h n e l ，2 0 0 3 ；b o s s e ， 2 0 0 3 ) 的机器人系统已经在室内、结构化环境中取得了良好的性能。在过去的二 十年中，得益于计算机性能的快速发展和越来越多的高效数字信号处理算法的 提出，研究的焦点逐渐转移至基于机器视觉的导航技术。相比于传统的传感器 设备，视觉设备能够提供更加丰富的环境信息并因此在很大程度上提高机器人 在自主导航方面的性能。此外，在无结构、户外环境下的长期导航则被认为是 另一发展趋势。但是，因为户外环境的复杂性和动态性，很多相关问题仍未得 到解决。 在此背景下，德国慕尼黑工业大学自动工程学院展开了名为a u t o n o m o u s c i t ye x p l o r e r ( a c e ) 的自主城市导航机器人项目。a c e 项目旨在拓展机器人在 人口稠密的城市环境中的自主导航能力。在不具有对环境的任何先验知识的情 况下，a c e 机器人将通过与人的交互而获得必要的信息以向预先定义的目的地 运动。其根本理念是模仿人类的行为。 本文所涉及的工作为a c e 项目的一部分。主要任务是实现面向户外环境 的、基于图像特征的可靠自然路标跟踪。该图像特征必须具有高度的特殊性和 对于尺度变化、旋转和视角变化的不变性。此外仍须对由天气或建筑物的阴影 而产生的光照明亮成度的变化具有足够的鲁棒性。同时，机器人和路标的相对 定位须能够准确的估计并实现机器人的自定位。 1 2 发展现状分析 1 2 1 视觉同时地位与地图创建( s l 圳) 在机器人领域，真正的自动系统的一个关键能力是在无结构的环境中同时 第1 章引言 定位于地图创建，即s l a m 。现有的大多数s a l m 算法均基于声纳或激光测距仪。 激光系统测量精度高，但频率低且成本昂贵。声纳系统快速其价格低廉，但往 往过于粗糙。随着计算机性能的提高，当前s l a m 的发展趋势是使用标准相机 来感知周围环境。在过去的十年中，基于视觉的s l a m 从不同的角度得以广泛 的研究并初见成为最为活跃的领域。由此也产生了数目众多的相关文献。 早期的s l a m 系统使用稀疏的特征点，但其往往将构建的地图压缩至两维 平面。比如k r i e g r n a n n ，t r i e n d l 和b i n f o r d 的方法使用立体相机从环境中提取竖 直的直线( k r i e g m a n ，1 9 8 9 ) 。这些线状特征借助于扩展的卡尔曼滤波器来降低 测量的不确定度，随后依次用于升级环境地图。 s e ，l o w e 和l i t t l e 首次尝试使用s i f t 特征点作为路标来解决视觉s l a m 问 题( l o w e ，2 0 0 2 ) 。他们的机器人系统装配三目立体相机设备，而机器人的姿态 估计通过匹配特征点的最小二乘法获得良好的结果。 在视觉s l a m 发展中有着里程碑式意义的是a n d r e wj d a v i s o n 的研究。他 实现了主动立体视觉系统，并借助扩展卡尔曼滤波器将其应用于机器人导航领 域。他的方法能够二次检测曾经访问过区域中的特征点，并在短暂偏离后恢复 准确的定位估计( d a v i s o n ，1 9 9 8 ) 。近来，他的研究重点为实时单目s l a m 系 统的实现( m o n o s l a m ) 。他不借助任何里程测量信息( o d o m e t r y ) ，而是使用 从单目相机中提取的点状特征来解决s l a m 问题。他的系统可实时地运行在 3 0 h z ( d a v i s o n ，2 0 0 7 ) 。 此外，大多数现存的视觉s l a m 系统均应用于室内环境。而对于大尺度的 户外环境，这些系统并不能提供足够稳定高效的性能。 1 2 2 特征点提取与匹配 自然路标跟踪和机器人定位的一个核心问题是稳定的局部特征提取与表 述。在现有文献中，若干不同的特征提取算法、特征描述子向量和特征匹配算 法被提出应用于机器视觉领域。 使用局部特征来实现图像匹配可追溯到m o r a v e e 在借助角点检测匹配图像 的工作( m o r a v e c ，1 9 8 1 ) 。他的算法计算一移动图像窗口内每个象素点与其相 邻的各象素的相似程度。角点的强度则定义为两图像窗口间最小离差平方和 ( s s d ) 。如果角点的强度呈现局部最大，则认为检测到了角点特征。正如 2 第1 章引言 m o r a v e c 自己所指出的，该算法的最主要的缺陷在于其各向不同性。 h a r r i s 和s t e p h e n a s 在m o r a v e c 检测算子的基础上增强了图像微小变化下特 征检测的可重复性( h a r r i s ，1 9 8 8 ) 。角点被定义为具有两个较大特征值的象素， 这意味着其在任意方向上均具有明显的梯度变化。使用h a r r i s 角点的视觉s l a m 的典型应用是j e o n g 和l e e 的系统。 s h i 和t o m a s i 的角点检测本质上基于h a r r i s 的算法( s i f t ，1 9 9 4 ) 。他们的 贡献在于，提出特征点的选择应使其对于构建和匹配是最优化的，以及特征点 的监控测量以检测遮挡及并不真实存在的特征点。a n d r e wj d a v i s o n 的系统便是 采用这种算法来提取图像特征的。 尺度不变特征变换，即s i f t ，是由d a v i sj l o w e 在2 0 0 4 年提出的一种检 测和描述特征点的算法，并被证明能够从物体或场景地不同角度实现可靠的匹 配( l o w e ，2 0 0 4 ) 。s i f t 特征点具有对尺度变化和旋转的不变性，并能提供在 一定程度的仿射形变、三维视角变化、加性噪声和光照变化下的稳健的匹配结 果。另一方面，s i f t 算法的计算代价很高，以至于不易于满足实时性要求。 由于s i f t 算法的流行，陆续出现若干基于s i f t 的改进或扩展算法。其中 最为重要是的由k e 和s u k t h a n k a r 提出的p c a s i f t 算法( k e ，2 0 0 4 ) 。该算法 将主成分分析( p c a ) 应用于归一化梯度片。他们的实验结果显示基于主成分分 析的局部描述子较之标准的s i f t 表述具有更高的特殊性，对图像形变更加稳健， 且更加紧凑。 最近，m i k o l a j c z y k 和s c h m i d 对主流局部特征描述子进行了比较研究 ( m i k o l a j c z y k ，2 0 0 5 ) 。评估结果显示：描述子的阶数和所推荐的检测特征点的 方法是相对独立的。此外，在所有参加评估的算法中，标准的s i f t 算法获得最 好的匹配特性。 因此，我们选用s i f t 特征点来表述自然路标以获得可靠稳健的跟踪效果。 1 3 项目概述 1 3 1a u t o n o m o u sc i t ye x p l o r e r a u t o n o m o u sc i t ye x p l o r e r 旨在解决机器人在人口高度密集的城市环境下的 自主导航所面临的挑战( l o d o r i s ，g ，2 0 0 7 ) 。a c e 机器人将能够利用由激光测距 3 第】章引言 仪和新型复合焦距相机系统对不可预知的动态环境进行建模、自定位、规划路 径并安全导航，而不借助任何预定义地罔和全球定位系统( g p s ) 。 其中，人机交互为机器人的路径规划时方位和方向信息的主要来源。在不 具有对城市环境任何先验知识的情况下，机器人将以一种友好的方式靠近行人， 通过语音和视觉系统获取当前目标的信息。 1 3 2 复合焦距视觉系统 幽11 装配于a c e 机器人的复台视觉系统，其由广角相机和两个长焦相机组成。 图l1 为装配在a c e 机器人上的复合视觉系统。该系统由两种具有不同参 数的i e e e 1 3 9 4 数码相机组成。在平台正中的为p o i n tg r e yi n c 公司的广角镜 头b u m b l e b e e ，其基线瞄变为1 2c m ，焦距为2m m 。在广角相机的两旁为长焦 相机d r a g o n f l y , 其焦距长度为2 5m m 。两个长焦镜头具有将近o0 2 。的角分辨 率并形成另一双目系统。此外，每个相机均有无刷直流电机驱动，因此可实现 高速有效的注意力转移。所有的相机多可以在6 4 0 4 5 0 分辨率下达到每秒3 0 帧的速率。 图l2 为本文实验中所使用的复合焦距视觉系统。其可视为前面介绍的视 觉系统的简化版。两系统最本质的区别在于，后者为被动视觉系统，且各相机 之间为刚性连接。此外，此处的长焦相机装配的镜头焦距长度为1 2c m 。 复台焦距视觉系统的主要优势在于其能够保持宽阔的视野并同时具有较高 的测量精度。这一特征使其尤其适用于机器人导航领域中。 4 第1 章引言 14 总体思想 圈12 本文实验中使用的复合视觉系统 如l - 1 悼中所述，本课题的主要任务是开发相关算法以实现在无结构化的 城市环境下的自然路标跟踪和机器人自定位。为此，所须面对的主要挑战为： 1相对于室内环境，城市环境具有显著的动态特性且更加复杂。在机器人 运动过程中，需要随时监测障碍物和行人并修正其路径。因此，观察路 标的视角是始终变化的。 2由行人或交通设施所引起的不可预知的遮挡可使得路标部分或完全的 暂时不可见。 3对于机器人长期长期导航，路标的尺度变化相对明显。但一些经典的图 像特征，如哈里斯角点( h a r r i s ，1 9 8 8 ) 对尺度变化敏感而不能提供稳定 的跟踪性能。 4此外，还需要考虑由天气变化或建筑物的阴影所引起的光照条件的变 化。 5最后，传统的立体视觉系统大多“近视”，其测量精度在距离超过5 至 6 米时将急剧下降，而长焦照相机则因其有限的视野极其容易丢失路标。 为了获得稳定可靠的路标跟踪性能和精确的机器人定位，我们使用在前面 所介绍的新型复合焦距视觉系统。而作为表述自然路标的局部图像特征，s c a l e l n v a t i a n tf e a t u r et r a n s f o r m ( s i f t ) 因其高度的特殊性和对于尺度变化、旋转和视 角变化的不变性而被采用。图1 3 为本文的整体思想框图： r著鼍毫 第1 章引言 1 首先，需跟踪自然路标从若干候选路标中通过人机交互被选定。 2 其次，在机器人导航过程中，由广角相机所获取的图像使用s i f t 特征 点进行逐帧匹配以实现对自然路标的跟踪。随后，基于匹配的结果应用 r a n s a c 算法求解仿射参数并检测和剔除错误匹配点。 3 然后，路标在广角图像中的地位将映射至长焦图像中，该映射基于为复 合焦距视觉系统所构建的数学模型。 4 而左右长焦图像的立体匹配通过光流技术实现。并由此借助立体三角测 距算法获得路标和机器人的相对定位。 5 最终，机器人将自定位于世界坐标系中。 1 5 论文提纲 图1 3 基于视觉的自主移动机器人控制总体框图 本文剩余章节安排如下： 第二章将简要介绍本文所涉及的理论基础。 第三章将分析复合焦距视觉系统的数学模型。 6 第1 章引言 第四章将详细阐述自然路标跟踪算法及相关实验结果。 第五章将阐述机器人自定位的实现和相关的实验结果。 一 第六章将总结全文并讨论进一步的工作 7 第2 章理论基础 2 1 局部图像特征检测 2 1 1h a r ris 角点检测 第2 章理论基础 h a r r i s 角点检测算法基于图像强度的局部自相关函数，其在向不同方向移 动的图像窗口内计算局部像素强度方差。 假设一二维灰度图像，图像窗口的中心位于( x ，j ，) 且移动( 缸，a y ) 。则加权 自相关函数定义为： c ( x ，y ) = d ( “，v ) ，( “，1 ，) 一， + 缸，1 ，+ 缈) 】2 ( 2 1 ) 其中w ( x ，y ) 为常数或高斯型唧玉生! 姜掣。 z c r 将平移后的图像近似为其一阶泰勒展开： i ( u + a x ，1 ，+ 缈) i ( u ，1 ，) + ( ，v ) 缸+ ( “，v ) a y = l ( u ，v ) + 1 r x ，y ) ，i a u ，) 】【缸，a y r ( 2 2 ) 其中l ( ，) 和，。( ，) 为，( x ，y ) 的偏微分。 c ( x ，y ) = y z t i o , ，v ) 一，( “+ 缸，+ 少) 】2 z z ( t x ，1 ，) ，( “，v ) 】【血，a y 7 ) 2 = a x ，a y l q ( x ，y ) a x ，缈r ( 2 3 ) q “炉烈磊剀 亿4 ， 其中q 为自相关矩阵并体现图像局部的强度结构。 则角点的性质由q ( x ，y ) 的特征值来体现： 一若两个特征值均为弱，则所计算的图像区域具有近似相同的强度，因此 第2 章理论基础 无h a r r i s 角点被检测到。 若两个特征值一强一弱，则图像强度仅在一个方向上有显著的变化，因 此检测到的特征为边沿。 若两个特征值均为强，则在任意方向上的移动强度都会产生明显的变化， 因此检测到的特征为h a r r i s 角点。 2 1 2 尺度不变特征变换( s l f t ) 尺度不变特征变换( s i f t ) 是由d a v i dd l o w e 于2 0 0 4 年提出的一种从图 像数据中提取不变特征的系统方法。s i f t 特征对于图像的尺度变化、旋转和平 移具有不变性，且对于光照和视角变化具有一定程度上的不变性。该方法一般 可分为如下四个阶段： 尺度空间极值检测 特征点定位 赋予方向 计算特征点描述子 该算法最重要的优势之一是能够产生数目众多的特征点，这些特征点密集的 覆盖与所有的尺度和位置。接下来的章节将详细介绍每个阶段。 尺度空间极值检测 l i n d e r b e r g 的论证指出只有高斯滤波器才能够作为检测尺度不变特征的 平滑滤波器。因此，在两维空间中，尺度空间函数l ( u ，1 ，仃) 定义为： l ( u ，1 ，盯) = g ( u ，v ，o r ) 木( “，v ) ( 2 5 ) 其中i ( u ，v ) 为输入图像且高斯核为 g ( x ，y , c r ) 2 丽1 口一矿+ 户心 ( 2 6 ) 根据m i k o l a j c z y k 的研究，相比于其他可能的图像函数，高斯的尺度归一化 拉普拉斯变换仃2 v 2 g 的极值被证明能够提供最稳定的图像特征。此外，v 2 g 可 由有限差分来近似： a v 2 g ：箜g ( x , y , k o ) - g ( x , y , c r ) ( 2 7 ) 9 第2 章理论基础 为了提高计算的效率，l o w e 提出将图像与双高斯差( d i f f e r e n c eo f g a u s s i a n , 以下简称d o g ) 函数进行卷积计算以得到尺度空间。随后在该尺度空间中检测 潜在的特征点的位置： d ( x ，y ，盯) = ( g ( x ，) ，七盯) 一g ( x ，y ，盯) ) ，( 毛y ) = l ( x ，y ，七盯) 一l ( x ，y ，盯) ( 2 8 ) 黑 8 量 者 胪+ 2 如篚! x 一纫 ： 一了一，左己剀 p 仃 k o 仃 图2 1 生成尺度空间过程示意图 图2 1 展示了构建d ( u ，1 ，盯) 的过程。为了减轻计算负担，d ( u ，1 ，盯) 的构建 基于金字塔式尺度空间结构。首先，图像与位于不同尺度的高斯核进行卷积。 这些被平滑后的图像依据尺度参数o r 进行分组，每组的尺度参数将增大一倍： l ( u ，1 ，k o r ) = g ( u ，k 0 9 i ( u ，1 ，) ，f = 0 ，j + 2 ( 2 9 ) 若k = 2 协，则最终的极值检测可覆盖整个空间。于是，高斯差图像便可通 过相邻高斯图像做差获得。一旦高斯差图像确定，特征点则定义为这些图像的 局部极值。每个采样点与之在同一尺度和上下相邻尺度的2 6 个点进行比较。若 该采样点的象素值在所有比较的象素中最大或最小，则该点被认为是候选的特 征点。 1 0 -。，。i ooo它亩ooooi：目 第2 章理论基础 特征点定位 瑙 图2 2 差分图像的局部极值检测示意图 为了确保特征点的稳定性，那些具有低对比度或位于边缘的点应被剔除。根 据b r o w n 和l o w e 提出的方法，极值的差值位置由高斯差分函数d ( x ，y ，仃) 的平 方泰勒展开获得： d ( x ) ：d + 一0 d r x + 一1x 7 粤x( 2 1 0 ) 魄2钗 其中原点位于采样点处，x = ( 甜，v ，仃) r 为偏移量。上式的极值定义为： d ( i ) ：d + 三型主( 2 1 1 ) 2 次 其中i 为极值点的位置。l o w e 在其报告中指出，当候选特征点的id ( i ) i 小于0 3 时将对加性噪声敏感，因此应剔除。而仅仅剔除这些低对比度的特征点，对于 解决稳定的问题是不够的。我们仍需要估计那些具有明显边缘响应的点。这些 点在横跨边界的方向上上具有较大的主曲率，而在沿边界的方向是具有较小的 主曲率。主曲率正比于2 x 2 的h e s s i a n 矩阵h 和特征点所在的尺度： h = a 2 d 0 u 2 a 2 d 0 u o v a 2 d 0 u o v a 2 d 加2 ( 2 1 2 ) h e s s i a n 矩阵的特征值的和与积可分别由矩阵的主对角线和付对角线求得： 第2 苹理论基础 d e 州) = 等等一( 患) 2 = 五( 2 1 3 ) t r ( h ) = 磐+ 等= + 五( 2 1 4 0 u ) 一d y 一 其中 是具有较大模的特征值，而五是具有较小模的特征值。对于剔除不稳定 特征点的应用，两个特征值的比率，即，= 丑五，完全可以达到目的，而不需要 考虑每个特征值的大小： r ：t r ( h ) 2 ；终垄! = ：羔竺坐( 2 1 5 ) d e t ( h )a 五 r 当候选特征点的r 大于( + 1 ) 2 r , h ( r , h 为某预定义的阈值) ，则该特征点被认为 不稳定并被剔除。 特征点方向分配 为了实现对图像旋转的不变性，所剩余的稳定的特征点将根据图像的性质 被赋予方向。例如，在尺度g r 上，梯度的模m ( u ，1 ，) 和方向o ( u ，1 ，) 可分别由象素 的差分计算获得： m ( u ，v ) = ( 2 1 6 ) 鼬胪t a n 1 ( 掣掣) 组 根据特征点周围的采样点的梯度方向形成一个具有3 6 个柱的直方图，每个 柱覆盖1 0 度。则直方图的峰值对应于该特征点邻域梯度的主方向，并作为该特 征点的方向。 特征点描述子生成 在前面的章节中，特征点对于尺度变化和旋转的不变性已通过赋予其相应 的尺度和方向实现。为了进一步优化其对于光照变化和视角变化的不变性，须 为每个特征点计算其特征描述子。图2 3 演示了生成描述子的流程。首先，选取 特征点周围1 6 1 6 的区域，每个采样点由一特征点为中心的高斯型加权函数进行 加权，使得接近特征点的那些采样点拥有较大的比重。 1 2 第2 章理论基础 q 呜 西扭 梯度 梯度直方图特征描述子 图2 3 特征描述子生成示意图 在计算特征描述子之前，被选取的区域首先依据特征点的方向进行旋转， 以获得其对于旋转的不变性。使用预先计算的每个采样点梯度的模和方向，可 得到一覆盖4 x 4 子区域，具有8 个柱体的方向直方图。最终计算所得的特征描 述子为拥有4 x 4 x 8 = 1 2 8 个元素的向量。 2 2 局部图像特征匹配 2 2 1l u c a s - k a n a d e 特征匹配 不失一般性，假设两二维图像，和歹，而i ( x ，y ) 和j ( x ，y ) 分别表示两图像 在( x ，y ) r 处的图像强度值。两图像满足下面的关系： i ( x ，y ) 2 ，( x + 或，y + 或) ( 2 1 8 ) 其中向量d = ( ，d ，) 为两图像中点x = ( x ，y ) 的偏移量。 由于存在图像噪声，上述的仿射运动模型通常并不能精确地满足。则运动 向量d 可通过最小化不相似度来确定： 占( d ) = 占( 以，嘭) = 【j ( x + d ) 一，( x ) 】2 w ( x ) a x ( 2 1 9 ) 1 3 第2 章理论基础 其中w 为积分窗口，w ( x ) 为加权函数。 为了最小化g ，将占对偏移向量d 的一阶偏微分置为零： 1 a 6 i d = d o 叫= 0 2a d ，0 】 。 j 丢乳锄2 渺川h ，鹾，争删， 若最优的偏移向量d 存在，则可认为特征点匹配成功。 2 2 2 最邻近搜索算法( n e a r e s tn eig h b o rs e a r c h ) ( 2 2 0 ) ( 2 2 1 ) 如在( l o w e ，2 0 0 4 ) 中所定义的，最邻近的特征点的1 2 8 维描述子向量具 有最小的欧式距离。但仅仅为此欧式距离设置全局性的阈值往往很难获得良好 的匹配效果。因此，l o w c 提出了一种改进的算法以解决这个问题。设给定的两 组从图像a 和图像b 提取的特征点，如果下述条件满足，则认为从图像a 得到 的特征点只与从图像b 得到的特征点名相互匹配： 掣 兄( 2 2 2 ) d ( 只，弓) 其中d ( ，) 表示两特征点描述子向量的欧式距离，只表示特征点名的第二最邻近 点。根据( l o w c ，2 0 0 4 ) 中的实验结果，对于物体识别应用而言，兄= 0 8 为最 优的阈值。 2 3 随机采样一致性算法( r a n d o ms a m p l ec o n s e n s u sa l g o r i t h m ) 在机器人运动中，从当前图像和参考图像中分别提取的两组特征点之间的 映射关系可由下述的齐次变换描述： j 。= h x 一 ( 2 2 3 ) 其中： h - 包含八个未知参数的齐次矩阵。 又p ：在当前图像中匹配点的齐次坐标。 又：参考图像中匹配点的齐次坐标。 并不是所有通过改进的最邻近算法得到的匹配特征点都是正确的匹配并满 1 4 第2 章理论基础 足上式所描述的映射关系。因此，引入随机采样一致算法来检测和剔除错误匹 配的特征点。随机采样一致算法是由f i s c h l e r 和b o l l e s 提出的一种以一组输入 的数据迭代地估计其数学模型参数的通用算法。不同于在机器视觉中所应用的 传统参数估计技术，随机采样一致算法首先从原始数据中随机选取一最小初始 子集以建立模型，随后通过评估剩余数据与该模型的一致性来逐渐扩大数据集 合。这一过程可总结如下： 1 随机选取估计模型参数所必须的最小数据集合。 2 评估剩余数据与该模型的一致性。若数据在某预定义的容差g 内符合该模 型，则此数据被假定为内点( i n l i e r ) 。 3 若被假定的内点的数目超过预定义的阈值f ，则模型的参数将以所有的假定 内点为基础重新估计。 4 否则，重复步骤l 至3 直到达到最大的迭代数目n 。 理论上，需迭代的次数可以根据至少有一组随机样本点不含有外点( o u t l i e r ) 的概率接近1 这一条件来估计： ：丝! ! 二堕( 2 2 4 ) t o g ( 1 一甜”) 其中 p ：任选一个数据均为内点的概率。 m - 确定模型参数所需数据的最小数目。 1 5 第3 章复合焦距视觉系统 3 1 针孔相机模型 第3 章复合焦距视觉系统 图3 1 理想针孔相机模型 图3 1 为理想针孔相机模型。为了易于表述，我们将像平面置于相机中心 的前方，而不是其真实的位置。从相机中心。出发，垂直于像平面的直线为光 轴。光轴与像平面的交点0 称为主点。相机坐标系f 定义为：其原点位于o ； 其z 轴与光轴重合；其x 和y 轴分别在水平和竖直方向上平行于像平面。 假设在三维空间中的一点p 在相机坐标系中的坐标为x = x yz 1 1 ，将p 映射直像平面上，则其在像平面上的坐标可通过几何关系求得： 【x 】，z 】1h 【仍m z 2 ( 3 1 ) 其中厂为相机的焦距。 若使用齐次坐标，则从相机坐标系至像平面坐标系的映射可表示为线性关系： i = p x 或者 1 6 第3 章复合焦距视觉系统 x y z 1 ( 3 2 ) 其中兄为任意尺度因数，p 定义为齐次相机映射矩阵。 通常图像坐标系的主点定义为( x o ，y o ) ，而非图3 1 中所示的( o ，0 ) 。此时， 相机坐标系和图像坐标系间的映射关系为：i = k 文或者 x 】， z l ( 3 3 ) 其中k 定义为相机标定矩阵。 最终，点p 将定位于世界坐标系中。世界坐标系和相机坐标系之间通过旋 转矩阵r 和平移矩阵t 相互联系。在齐次坐标系中，这种转换关系可表示为： x 一= i rt l x( 3 4 ) 其中文为点p 在世界坐标系下的坐标。 结合式3 3 我们可得到点p 在世界坐标系与其在图像坐标系中映射的关系： a i = k f rt 1 文 ( 3 5 ) 3 2 立体三角测量 i 气 t 图3 2 立体三角测量 1 7 0 0 o 0 0 lo厂0 ，o 0 。l l l 、， x y 1 ，。_ 见 蜘o，0 ，o o 。l = 、 x y 1 ，。一 力 目一 一j ，箩 = 讯 阻，产翟 o 、_ k r 斗棼 第3 章复合焦距视觉系统 设x 。= 【也屹乙】7 和x 尺= 【墨k 乙】2 分别为空间中一点p 在左右 相机坐标系中的坐标。x 。和x 只通过刚性运动方程相互联系： = r k + t ( 3 6 ) 其中r 和t 分别表示从左相机坐标系转换至右相机坐标系的旋转矩阵和平移矩 阵并认为是已知参数。 根据前一小节中的推导，通过映射关系，点p 在左右两图像坐标系中的坐 标为x 工= 置【吒此气】2 和x r = 蜘】7 。则立体三角测量的本 质就在予从x 三和x 月中求解x 和x 丹。式3 6 可改写为： z r x r2 乙l h l + t ( 3 7 ) 卜r x 划鼢t ( 3 8 ) 为了表述简单起见，我们记4 圭【一i h lx l 】和吼圭一r x 工。则式3 8 的最小 二乘解为： 象 = ( ，4 r 4 ) 一1 ，4 7 t 则乙的显式解可表示为： 乙2 蝶孺攀掣尹 其中( ，) 表示标准内积运算。 3 3 复合焦距视觉系统 ( 3 9 ) ( 3 1 0 ) k = 阱 m 其中口和分别表示以相机在x 和y 方向上像素为单位的焦距长度。厂为相机的 第3 章复合焦距视觉系统 倾斜系数。 图3 3 复合焦距视觉模型 不失一般性地，我们假设图像坐标系的原点与主点( x o ，y o ) 重合，因此 x o = y o = 0 分析复合焦距视觉系统，两个最主要的问题需要解决： 1 给定三维空间中一点p 在广角图像中的坐标( h ，凡) ，需求得其映射至长 焦图像中的坐标。 2 若因相机与点p 之间的相互运动而使得其在广角图像中的坐标产生一定 的偏移，需求得其在长焦图像中的坐标偏移量。 我们用k ，、r ，、t ，和k 。、r 。、t ，来分别表示广角相机和长焦相机的内 在参数和外在参数。此外，世界坐标系定义为与左侧广角相机坐标系重合，则r 。 为单位矩阵，而t 。= 0 。则点p 在广角图像和长焦图像上的地映射可表示为： 1 9 第3 章复合焦距视觉系统 料瞄 凡00 1 风oo1 010l x l ， z l 磊。0 护r t 010l l j - i x 】， z 1 ( 3 1 2 ) ( 3 1 3 ) 其中r 将长焦坐标系单位向量旋转至广角坐标系单位向量。t = l r ，乞1 1 将 长焦坐标系原点平移至广角坐标系。 对于绝大多数的复合焦距视觉系统，广角相机和长焦相机的光轴构造为平 行的。在这种情况下，旋转矩阵r 可简化为单位矩阵，即 。= 吃：= 吩，= 1 且 2 = 3 = 吃。= 仫= 吩。= 巧：= 0 。此外，另一假设为所= 凡= 0 ，因为他们远小于q ， 口w ，屈和p w 。在此假设下，从广角图像坐标系至长焦图像坐标系的转换可 近似表述为： 盼y , j 上z - t l l z p , p j l y j 一例 ( 3 为获得最优的路标跟踪和机器人地位性能，关键技术之一是根据从广角相 机获得的信息将兴趣点区域映射到长焦图像的中心区域。在这种情况下，点p 在长焦图像中的映射位于其主点处，此时，其在广角图像中的映射坐标为： k - o 蚱：0 2 t , z ( 3 1 5 ) 凡i _ ；o 乃= 0 2 尾0 z ( 3 1 6 ) 对于第二个须解决的问题，假设在t 时刻点p 在长焦图像和广角图像中的映 射坐标分别为x ，i ，= 【薯只】7 和x ，i ，= 【凡】2 。由于相机系统和点p 之间的相 对运动，在时刻t + a t 相应的映射坐标分别变化为x fi ，+ 厶，= i 薯+ 皿以+ q 和 x ，i ，+ a f = jh + 以儿+ d ，。由式3 1 4 可得： ( i ：豺去 ( 缴惦槲别 从3 1 7 中减3 1 4 可得： 晖0 0 _。l = 、j t 辨 ，。l 力 第3 章复合焦距视觉系统 皿2 瓦瓦z 或 ( 3 1 8 ) 么一f b 2 象去嘭 因为乞总是远小于z ，所以可忽略乞而将q 和d y 近似表示为： q 旦或 ( 3 2 0 ) b 丢或 ( 3 2 0 ) 这一结果同从理想针孔相机模型的几何关系直接推导出的结果是一致的。 需要指出的是，以上所有的推导均未考虑相机镜头的畸变作用。对于长焦 相机而言，因其装配长焦距镜头，所以畸变作用并不明显，可以忽略。而对于 广角镜头而言，为了获得宽阔的视野，而不得不装配相对较短焦距的镜头，所 以畸变现象很明显，尤其是在图像的边缘。但，这样的畸变其实已经在图像预 处理阶段位用合适的矫诈稗序讲行了修币，诈如接下桌的小结中所介绍的。 3 4 相机标定 径向畸变矫正 理想针孔相机模型假设映射的过程是线性的，即三维空间中的点p 、其在图 像平面上的映射和相机的中心点三点共线。但这样的假设对于真实的相机镜头 而言并不合理。最重要的偏差是所谓的径向畸变，其使得图像平面中点的实际 位置在径向上存在偏差。实际中，这种畸变随着焦距的增长而愈加明显。 为了矫正径向畸变，须首先建立一参数化径向畸变模型： 盼地， 2 ， 其中： ( 舅，夕) 为根据理想线性映射得到的点p 在图像坐标系中的坐标 ( 勤，虼) 为含有径向畸变的点p 在图像坐标系中的实际坐标 第3 章复台焦距视觉系统 r 为与相机中心点的径向距离j 2 + 多2 l ( r ) 为畸变因数 则在图像坐标系中，径向畸变矫正可写为： ( ，：i j = “r 1 ，x 一- 。x o + ( ： c 。z z ， 其中： ( x ，) 含有径向畸变的点p 在图像坐标系中的实际坐标 阮，) 为点p 在图像坐标系中经畸变矫正后的坐标 ，) 为径向畸变中心，且，= 扛一) 2 + ( y y 0 ) 2 根据大多数现有的研究，函数l ( r 1 可由下面的多项式来表述： ( r ) = l + r 2 十p 4 + b r 6 十 ( 32 3 ) 其中，t ，屯，为畸变因数，并认做是相机内在参数的一部分。 事实上，畸变作用主要是由式32 4 中的低阶项决定，且高次项还可能引起 不稳定性。因此，在实际应用中，我们仅使用前两项畸变系数与和也，即： 工( ，) = 1 + 与r 2 + 如一 ( 32 4 ) 豳麒 相机标定 图34 径向畸变矫正 所谓相机标定，叩确定单个相机或相机系统的内部参数和外部参数的过程。 在本应用中，我们使用j e a n - y v e s b o u g u e t 开发的相机标定m a t l a b 工具箱( m a t l a b c a m e r a c a l i b r a t i o n t o o l b o x ) 。该工具箱操作简易，且仅需要一个已知尺寸的棋盘 图案。他可在w m d o w s 、u n i x 和l i n u x 等操作系统下的m a t l a b5 x 、m a t l a b6 x 第3 章复合焦距视觉系统 和m a t l a b7 x 等版本。此外，标定过程不再需要任何其他m a t l a b