图像尺寸对机器人视觉定位实时性的影响研究.pdf

C o m p u t e rE n g in e e r in ga n dA p p l ica t io n s 计算机工程与应用2 0 1 0 ，4 6 ( 7 ) 1 9 7 工程与应用O 图像尺寸对机器人视觉定位实时性的影响研究 姜永成- 一，周正干- ，任福君3 ，王殿君 ，倪鹏， J I A N GY o n g - ch e n 9 1 , 2 , Z H O UZ h e n g - g a n l ，R E NF u - j u n 3W A N GD ia n - j u n 4 , N IP e n g s 1 北京航空航天大学机械工程与自动化学院，北京1 0 0 0 9 1 2 佳木斯大学机械工程学院，黑龙江佳木斯1 5 4 0 0 7 3 哈尔滨理工大学机械动力工程学院，哈尔滨1 5 0 0 8 0 4 北京石油化工学院机械工程学院，北京1 0 2 6 1 7 1 S ch o o lo fM e ch a n ica lE n g in e e r in ga n dA u t o m a t io n ，B e ij in gU n iv e r s it yo fA e r o n a u t icsa n dA s t r o n a u t ics ，B e ij in g1 0 0 0 9 1 ，C h in a 2 C o l l e g eo fM e ch a n ica lE n g in e e r in g ，J ia m u s iU n iv e r s it y ，J ia m u s i，H e il o n g j ia n g1 5 4 0 0 7 ，C h in a 3 C o l l e g eo fM e ch a n ica la n dP o w e rE n g in e e r in g ，H a r b inU n iv e r s it yo fS cie n cea n dT e ch n o l o g y ，H a r b in1 5 0 0 8 0 ，C h in a 4 M e ch a n ica lE n g in e e r in gA ca d e m y ，B e ij in gI n s t it u t eo fP e t r o - C h e m ie a lT e ch n o l o g y ，B e ij in g1 0 2 6 1 7 ，C h in a E m a il ：j y cl 2 2 8 1 2 6 co r n J I A N GY o n g - ch e n g 。Z H O UZ h e n g - g a n 。l I E N r o b o tv is io np o s it io n in g C o m p u t e rE n g in e e r in g F u - j u n ，e ta 1 I n f l u e n ceo fim a g es iz e a n dA p p l ica t io n s 。2 0 1 0 。4 6 ( 7 ) ：1 9 7 - 1 9 9 A b s t r a ct ：S I F T ( S ca l eI n v a r ia n tF e a t u r eT r a n s f o r m ) a l g o r it h mh a st h ech a r a ct e r is t icso fs ca l e ，r o t a t io na n dil l u m in a t io n in v a r ia b il it y ，it isw id e l y 印p l ie dt ot h ef ie l do fm o b il er o b o tv is io np o s it io n in g B e ca u s eo ft h ech a n g eo fs p e cia lm a k e rim a g e s iz eo rb a ck g r o u n dim a g es iz eh a sag r e a tin f l u e n ceo np o s it io nca l cu l a t io nt im e ，ino r d e rt Oim p r o v et h em o b il er o b o t Sr e a l t im ev is io n p o s it io n in gca p a b il it y 。t h e s iz eo fm a k e rim a g ea n dt h eb a ckb a ck g r o u n dim a g ea 地ch a n g e dr e s p e ct iv e l y ，a n dt h e co r r e s p o n d in gr e a l - t im et e s t o fim a g em a t ch in gisp u tf o r w a r d T h et e s tr e s u l t ss h o wt h a tw h e nt h eim a g es iz er e d u ce s4 0 - 6 0 。 t h er e a l - t im ech a r a ct e rr is e s3 0 - 4 0 ，a n dt h ech a r a ct e r is t ic p o in t sr e d u ce2 0 - 3 0 ，o nt h ep r e m is eo fm a t o h in gp r e cis io n ，t h e p o s it io nr e a l - t im eca p a b il it y in cr e a s em a r k e d l y T h e r e f o r eas u it a b l es iz eo fim a g eca nim p r o v et h ep o s it io nr e a l - t im eca p a b il it y w it hah is hm a t ch in gp r e cis io na n dt h ism e t h o da l s os iv e sg u id a n cef o rt h eo t h e rs im il a ru 8 e K e yw o r d s ：S ca l eI n v a r ia n tF e a t u r eT r a n s f o r m ( S F I T ) a l g o r it h m ；m o b il er o b o t ；im a g em a t ch in g ；v is io no r ie n t a t io n 摘要：尺度不变特征变换( S ca l eI n v a r ia n tF e a t u r eT r a n s f o r m ，S I F T ) 算法由于具有尺度、旋转和光照不变等特性，被广泛应用到移 动机器人视觉定位领域。由于定位计算中使用的特定标示物图像及背景图像的尺寸对定位计算时间影响较大，为提高移动机器人 视觉定位的实时性能，分别改变待识别图像以及背景图像的尺寸，进行了图像匹配实时性测试实验。实验结果表明，特定标示物图 像和背景图像的尺寸缩小到4 0 6 0 时，移动机器人视觉定位实时性提高3 0 - 4 0 左右。特征点数减少2 0 3 0 左右。在满足 定位精度要求的情况下，大大提高了定位的实时性。由此可知，通过合理选择图像的尺寸不仅可以满足匹配精度，还能提高移动机 器人的视觉定位效率，对于类似该实验使用的移动机器人视觉定位具有广泛的指导意叉。 关键词：尺度不变特征变换算法；移动机器人；图像匹配；视觉定位 D O I ：l O 3 7 7 8 j is s n 1 0 0 2 8 3 3 1 2 0 1 0 0 7 0 6 1 文章编号：1 0 0 2 8 3 3 1 ( 2 0 1 0 ) 0 7 0 1 9 7 - 0 3文献标识码：A中图分类号“ - T P 2 4 1 前言 室内移动机器人要在未知的环境中能够高效地完成任务 到达指定的目的地，定位是机器入既凶需具备的基本条件，随 着视觉图像技术的发展，利用S I F T 算法进行移动机器人视觉 定位的方法得到越来越广泛的应用1 1 】。但采用基于经典的S I F T 算法的视觉定位方法很难满足移动机器人视觉定位的实时性 要求，为此对S I F T 算法的计算过程进行深入研究具有非常重 要的意义。 1 9 9 9 年l _ o w e 等人提出了用1 2 8 维特征向量表示一个特 征点的经典S I F t 算法，该算法具有很好的稳定性和匹配性翻。 基金项目：国家高技术研究发展i# $ 0 ( 8 6 3 ) ( t h eN a t io n a lH ig h - T e chR e s e a r cha n dD e v e l o p m e n tP l a no fC h in au n d e rG r a n tN o 。2 0 0 7 A A 0 4 2 2 5 5 ) 。 作者简介：姜永成( 1 9 7 6 - ) ，男，博士，讲师，主要研究领域为运动控制技术，智能机器人；周正干( 1 9 6 7 一) ，男，博士。教授。主要研究领域为数字图像 处理，超声无损检测；任福君( 1 9 6 1 一) ，男，博士，教授，主要研究领域为智能机器人，科技传播；王殿君，男，副教授，主要从事机器人技 术、机械制造技术研究；倪鹏，男，研究生，主要从事移动机器人定位技术研究。 收稿日期：2 0 0 9 - 0 8 1 2修回日期：2 0 0 9 1 0 - 0 8 1 9 8 2 0 1 0 ，4 6 ( 7 )C o m p u t e rE n g in e e r in ga n dA p p l ica t io n s 计算机工程与应用 张春美等人提出改进的s if t 算法，对每个特征点只采用6 4 维 特征向量来表示，该算法减少了算法的复杂度，缩短了匹配时 间四。刘立等人提出简化的S I F T 算法，对每个特征点只采用1 2 维特征向量来表示，该算法在一定程度上提高了图像匹配的 效率柳。 室内移动机器人自主定位时，对视觉定位的实时性要求很 高，但对图像识别的精度要求不高。目前通过改变特征点的维 数来提高实时性有很好的效果，而实践证明定位计算使用的标 示物及背景图像的尺寸对计算时间也有较大影响。为了进一步 提高视觉定位的实时性，需要综合分析图像尺寸对定位实时性 的影响，找到恰当的配置方案来满足移动机器人视觉定位的要 求。目前，这方面的研究很少。 基于此，文章从S I F I 算法的计算过程进行分析，分别改变 待识别图像以及背景图像的尺寸，进行图像匹配实时性测试实 验。通过对得到的图像尺寸与视觉定位实时性的关系曲线进行 分析，验证提高视觉定位实时性的效果，得到适合的图像尺寸 范围，来满足移动机器人视觉定位的实时性要求。 2 S I F T 算法简介 在s l n l 算法中，主要包括两个部分：提取特征点过程和特 征点匹配过程。其中，S I F T 特征点提取过程包括4 个步骤：首 先进行尺度空间极值检测；然后精确确定特征点位置；接下来 指定算子的方向参数；最后提取特征点描述符得到匹配所需要 的特征点。S I F T 特征提取流程如图l 所示。 l 检测尺度空间极值 0 l 精确确定关键点 l 确定关键点方向 0 【提取特征描述符 图1S I 丌特征提取漉程图 2 1 尺度空间极值检测 “尺度空间”概念是著名的“图像金字塔”概念的补充，K o e n d e f in k 和L in d e b e r g 等人证明高斯核麟词邑的线型尺度核阳。 L ( x ，盯) = G ( 并，Y ，o r ) 州菇，y ) ( 1 ) 公式( 1 ) 中，( 苴，) 代表像素位置坐标；盯为尺度空间因子，盯大 小决定图像的平滑程度；L 为图像尺度空间。G ( 茹，Y ，盯) 是二维 高斯函数，其定义如下： 一绰 C ( x ， ，矿) = 上e ”( 2 ) 2 “ t r t r 为了使特征具备良好的独特性和稳定性，提出高斯差分尺 度空间D O G ( D if f e r e n e e - o f - G a u s s ia n ) ，建立图像的多尺度空间。 D O G 算子公式( 3 ) 如下： D ( x ，Y ，矿) = ( G ( 菇，Y ，k a ) 一C ( x ，矿) ) “菇，) = L ( x ，Y ，k o ) - L ( x ，Y ，o - ) ( 3 ) 2 2 精确确定特征点位置 在找到极值点后，需要去除那些低对比度的点和不稳定的 边缘响应点， 个不恰当的高斯差分函数会在边缘地方造成较 大的主曲率。主曲率通过 个2 x 2 的H e s s ia n 矩阵： 日- 叱1 ( 4 ) 【D 。玑J 一 令矿为最大特征值，口为最小的特征值，则： T K H ) = O 哦剐巾 ( 5 ) D e t ( H ) = D f f iD 一( ) 邓 ( 6 ) 令a = 哂，则： 旦( J 5 r ) ；：鱼蟹E ：娅 ( 7 ) D e t ( H )胡 r 、一 为了检测主曲率是否在某域值r 下，只需检测 蝉 鱼监( 8 ) D e t ( H ) 、 r 7 L o w e 在文章中取r = 1 0 。如果主曲率间的比值大于l O ，则认为 该点是位子边缘而被过滤掉。 2 3 指定算子的方向参数 利用关键点邻域像素的梯度方向分布特征为每个关键点 指定主方向。各像素梯度的模和方向的计算公式为： m ( 茗，) = 、( ( 舛1 ，) 乇( 伊1 ，) ) + ( L ( 髫，妒1 ) 屯( 茗，尸1 ) ) ( 9 ) O ( x , y ) = 号舞错岽等产 ( 1 0 ) 2 4 提取特征点描述符 检测完图像的关键点，可以确定 个S if t 特征区域。图2 ( a ) 每个小格代表关键点邻域所在尺度空间的 个像素点，图2 ( b ) 中 个关键点由4 个种子点组成，每个种子点包含8 个方向的 信息。为了增强算法抗噪声的能力，同时对于含有定位误差的 特征匹配提供较好的兼容性，可以将邻域设为4 x 4 大小( 图2 只表示其中一部分) 。这样关键点由1 2 8 维特征向量( 4 x 4 个种 子点) 表示。此时的S I F T 特征向量已经去除了尺度变化、旋转 等几何变形因素的影响，进 步将特征向量的长度归一化，则 可以除去光照变化的影响。 7 盈t米 ：魅 了订-+ 、_ ， ，1 、汽 j 爿罗 、。，f ， ， 膏- L - l _、圳1 ，|、- 、 冀一k ， o 采 必 4乙 罗 ，N ( a ) 关键点所在邻( b ) 由4 个种子点组 域的尺度空间成的 个关键点 图2 特征点邻域梯度信息生成特征向量 3 匹配图像尺寸对实时性的影响 为实现移动机器人的视觉定位，需要对目标图像和背景图 像进行S W Y 算法处理，使目标图像从背景图像中提取出来，通 过提取两幅图像的像素点中的特征点进行匹配，达到移动机器 人视觉定位的目的。为了提高机器人匹配的精度和定位的实时 性，通过对图像尺寸的合理选择可以提高系统的定位效率。该 文利用移动机器人的摄像头拍摄了一组照片，选用两幅图像作 为实验图像。其中，背景图像尺寸尺寸为12 8 0 x 9 6 0 个像素点， 姜永成，周正干，任福君，等：图像尺寸对机器人视觉定位实时性的影响研究2 0 1 0 。4 6 ( 7 ) 1 9 9 目标图像尺寸为5 3 5 ：, 3 4 5 个像素点。 3 1 目标图像不变，背景图像变化的影响 在目标图不变的前提下，对背景图像依次按1 0 的大小整 体逐渐递减处理，进行1 0 次变化直至减小到原来图像的1 0 ， 共进行1 0 次处理。图3 为待识别的目标图；图4 为背景图像从 1 0 逐渐增大到1 0 0 的组图；图5 为目标图不变背景图变化 时，特征点数与背景图像尺寸的关系图；图6 为计算时间与背 景图像尺寸的关系图。 图3 待识别的目标图 图4 背蒙图像从1 0 逐渐增大劁1 0 0 的组图 1 9 0 。0 籁8 0 霾： 5 0 O 24681 0 图像大小 图6 计算时间与背景图像尺寸的关系图 由理论分析可知，在目标图像尺寸不变时，随着背景图像 尺寸的减小，图像匹配的时间和特征点数应该逐渐减小。从图 5 和图6 中可以证明这一论断。随着图像尺寸的减小，特征点 数减少比较明显，在4 0 一1 0 0 之间变化时，特征点数变化比 较缓和；在图像缩小到1 0 , - 4 0 之间时，特征点数变化比较剧 烈，特征点数不稳定，从图6 可知，时间变化曲线相对平缓。综 合计算时间和特征点数来考虑，在目标不变时，背景图像在原 来图像的4 0 联肠之间变化时，对移动机器人视觉电毖昂瞪合。 3 2 背景图像不变目标图像变化的影响 在背景图不变的前提下，对目标图像依次按1 0 的尺寸逐 渐递减，进行1 0 次变化直至减小到原来图像的1 0 。图7 为待 识别背景图像；图8 为目标图像从1 0 逐渐增大到1 0 0 的组 图；图9 为背景图不变目标图变化时，特征点数与背景图像尺 寸的关系图；图1 0 为计算时问与背景图像尺寸的关系图。 图7 待识别背景图像 图8目标图像从1 0 逐渐增大劁1 0 0 的组图 024681 0 图像大小 9 特征点数与目标图像尺r 的关系 一圃 j j 024681 0 图像大小 图l O 背最图不变目标图变化对图像匹配的影响图 同样理论分析可知，在背景图像尺寸不变时，随着目标图 像尺寸的减小，图像匹配的计算时间和特征点数也逐渐减小。 从图9 和图1 0 可以看出这一趋势。图9 中随着图像尺寸的变 小，特征点数逐渐减少，在6 0 1 0 0 之间变化时，特征点数变 化相对较大，在1 0 6 0 之间变化时，特征点数的变化相对比 较稳定，图像也相对平滑。从图l O 可以看出，计算时间变化曲 线与图9 比相对稳定。综合计算时间和特征点数的变化考虑， 在背景图像尺寸不变时，目标图像在原来图像的4 0 一6 0 之 间变化时，对提高移动机器人视觉定位实时性有很大作用。 通过对上述实验的总结和分析，得到适合本实验的移动机 器人定位的最优图像尺寸数据，如表1 所示。 表1 移动机器人定位图像尺r 最佳参敦 参数 目标图像不变 背景图像 背景图像不变 目标图像 最佳参数 5 3 5 x 3 4 5 5 1 2 x 3 8 和7 6 8 x 5 7 6 I2 8 0 x 9 6 0 2 1 4 1 3 8 3 2 1 2 0 7 4 结论 ( 1 ) 通过实时性测试实验可知，特定标示物图像和背景图 像的尺寸缩小到4 0 6 0 时，可移动机器人视觉定位实时性 提高3 0 一4 0 左右。验证了通过改变待识别图像和背景图像 的尺寸，可减少图像匹配时间，提高视觉定位的实时性的论断。 ( 下转2 0 2 页) 加 卯 图 籁耳聋 鲫枷姗咖啪鲫枷抛咖 瞄啪咖咖啪咖咖咖咖 饥l 、垦茁 2 0 2 2 0 1 0 ，4 6 ( 7 ) C o m p u t e rE n g in e e r in ga n dA p p l ica t io t u 计算机工程与应用 倾角0 与三角形面倾角咖以及泥沙的水下休止角机之间有： 1 1 4 一玎I 皓 产 ；兰三竺每 彳b 九 ( 5 ) V ( x ， x 。) + ( y ，一y ，) + ( 皿 日。) 因此可知三角网中任意三角形边的倾角0 均不超过泥沙的水 下休止角q b n 。 为了剔除水下地形点的高程粗差，保证淤积体体积测报的 正确性，在建立水下数字高程模型三角网时，考虑上述结论，即 式( 5 ) ，利用M a tl a b 语言编制的测报系统程序。首先对三角网 中每个三角形的三个边进行倾角检核，即不能超过泥沙的水下 休止角；然后，对与超限边两端点相连的所有边进行逻辑分析， 判断出高程值含有粗差的端点；最后，剔除粗差点，达到优化泥 沙淤积量测报系统的目的。 4 验证与应用 验证所提出的淤积测报系统的优化方法是在灞河C I # 库 区河工模型试验中进行。灞河cl - 库区的初始地形按2 0 0 5 年 实测地形制作，对模型实验施放的三次水沙过程后的淤积地形 分别进行了测量，并按D e l a u n a y 三角剖分法构建T I N 网，图5 ( a ) 为第一次水沙过程后的淤积地形D e l a u n a y 三角网。然后， 利用该文提出的基于水下休止角的淤积量测报系统对数据进 行处理、构网，所得三角网如图5 ( b ) 所示。由图可见，修正后的 三角形数目较修正前有所减少。根据修正前后的三角网计算的 淤积量如表1 所示。表中所示淤积量是将模型值按相似律转换 的原型值，已知淤积量是在淤积地形自然排水后，按恒定流向 库区注水，初始库容与注水体积之差求得。 图5 模型优化荫，后构建的T I N 三角网对比 表l 溯报系统优化前、后的淤积量对比 已知淤积量堡墨竺兰兰塑堕堑墨竺皇呈堕 测次原系统佑，优化后 n ，I 矿互蔻”相对误差互蔻m ，相对误差 ( )( ) l4 49 8 1 1 6 54 50 D 2 5 5 74 50 5 2 5 5 9 7 1 3 9 4- 0 1 6 5 0 0 ( 】20 1 l 25 65 0 2 3 8 55 61 9 5 7 4 45 60 7 1 64 3 1 3 7 90 7 71 2 4 7 3 80 2 2 37 04 4 7 2 5 97 05 3 6 8 7 37 05 0 4 6 0 l 一5 7 3 4 2- 0 0 83 2 2 7 2O 0 5 由表1 可见，利用水下休止角可成功地将有粗差的水下地 形点数据剔除，用原系统( 剔除前) 计算的泥沙淤积量与已知值 相差较大；而运用本优化系统的计算值与已知值较为接近，说 明了J n A , 水下休止角修正后，系统剔除了粗差点，淤积量的计 算精度有所提高。 5 结语 通过以上研究分析，可得出以下结论： ( 1 ) 几何分析结果表明，水下地形点连线的倾角0 的变化 范围为【0 ，纠，也即边倾角的极大值为所在三角形的面倾角咖； 当三角形三顶点在同一沙丘同一斜面时，其面倾角最大，趋近 于泥沙的水下休止角值九；三角形任一边的倾角不应超过泥 沙的水下休止角。 ( 2 ) 对于采集的含有粗差的水下地形点数据，通过休止角 条件和超限边端点的逻辑分析，剔除含有粗差的地形点数据， 编制M a t l a b 程序，使得基于D e l a u n a y 剖分原理构建的三角网 淤积量计算模型得以优化。实例验证表明，基于泥沙水下休止 角的优化模型不但可以剔除粗差数据，而且使得淤积量的测报 精度得以提高。 ( 3 ) 在优化淤积量测报系统时，文章对经分析确定的粗差 地形点进行了单纯的剔除而未修正；当然，对粗差点高程进行 修正无疑会进 步提高模型的测报精度，需进 步深入研究。 参考文献： 【l 】1 巩凡超，黄小波，邓雪清数字高程模型的粗羞探测与剔除【cy ，地理 空间信息技术与应用中国科协2 0 0 2 年学术年会论文集，2 0 0 2 【2 杨凤芸，张旭东采用抗差推估