基于图像特征的运动目标识别与伺服跟踪

1、第29卷第3期2008年3月仪器仪表学报Chinese Journal of Scientific I nstru mentVol 129No 13Mar .2008收稿日期:2007204Received Date:20072043基金项目:国家高技术研究发展计划(2006AA04Z207、教育部博士点基金(20060006018资助项目基于图像特征的运动目标识别与伺服跟踪3刘宏鼎,秦世引(北京航空航天大学自动化科学与电气工程学院北京100083摘要:本文研究了一种在室内相对复杂背景下机器人的运动目标识别与跟踪方法。基于I ntel 的计算机视觉库OpenCV 进行图像处理与特征提取,采用图

2、像的区域特征图像矩作为特征信息,在有干扰的情况下,实现运动目标的形状识别和基于特征的视觉伺服跟踪控制。为提高系统性能,建立曲线拟合模型来预测运动目标的动态趋势和特征。实验结果表明,系统在不需要摄像机精确标定、背景有干扰的情况下,能够实现对运动目标进行实时稳定快速的识别和跟踪。关键词:运动目标识别与跟踪;形状特征;特征视觉伺服;加窗滤波预测中图分类号:TP242文献标识码:A 国家标准学科分类代码:510.40Recogn iti on and servo track i n g of m ov i n g t arget ba sed on image fea turesL iu Hongdi

3、ng,Q in Shiyin(School of A uto m ation Science and Electrical Engineering,B eihang U niversity,B eijing 100083,China Abstract:I n this paper,the research on the recogniti on and servo tracking of moving target f or a wheeled moving r o 2bot with a monocular ca mera is carried out in a relatively com

4、p lex backgr ound .A t first the computer visi on library fr om I ntel,Open CV,was e mp l oyed t o i m p le ment i m age p r ocessing and feature extracting,then the shape of moving target was recognized and the visual servo tracking was achieved based on l ocal features of i m age moments in noise

5、conditi on .I n order t o i m p r ove the syste m perf or mance,a curve 2fitting model was built t o p redict the dyna m ic trend and characteristics .Experi m ent results indicate that the syste m can stably recognize a fast moti onal target and track it in real 2ti m e under noisy backgr ound and

6、without p recise ca mera calibrati on .Key words:moving target recogniti on and tracking;shape feature;feature 2based visual serv o;windo w filter f orecasting1引言机器人视觉伺服控制是机器人与计算机视觉研究的重要结合点,也是智能机器人的重要研究领域之一。机器人视觉伺服跟踪按照反馈信息的类型可以分为基于位置的视觉伺服跟踪系统(position 2based 和基于图像的视觉伺服系统(i m age 2based 122。基于位置的视觉伺服

7、方案的核心问题是根据目标在相平面中的投影,恢复目标相对于摄像机坐标系的位置和姿态223,即位姿估计。这种方法把视觉系统只作为位置和方位传感器,可以将位姿估计和机器人控制问题分离开来。但是,这种方案依赖于成像设备的参数,成像模型和图像匹配的精度。基于图像视觉的伺服控制的输入定义在图像特征空间,它直接使用视觉特征作为系统状态和误差信号,通常也被称为基于特征的视觉伺服,其优点是在图像坐标系进行测量和控制1,不需要立体测量模型,可避免视觉重建。然而,这种基于图像的视觉伺服将视觉反馈融合在控制回路中,从而构成本质非线性系统3,这就对图像特征的选择、控制算法的设计提出了更高的要求。基于图像的直接伺服控制是

8、当前研究的热点:第3期刘宏鼎等:基于图像特征的运动目标识别与伺服跟踪645 文献4依据期望图像与当前采集图像之差进行实时伺服反馈,这就要求摄像机光轴与工作平面垂直、高度不变,而且该方法仅能保证实现局部收敛,因而限制了其应用。文献5为解决大范围偏差的控制问题,将期望图像按一定的角度间隔旋转,生成一序列子期望图像,用当前图像与期望序列进行比较,以实现基于图像差的位置、方位伺服控制。本文充分考虑获取的图像所包含信息之多样性,首先在图像中将运动目标识别和提取出来,再用基于图像特征差的方法实现伺服跟踪。因为与图像像素的灰度信息比较而言,其特征为高层信息,比直接图像差简练且便于伺服应用。所以,本文将识别、

9、视觉反馈、伺服控制三者融为一体,实现轮式移动机器人对室内相对复杂环境下运动目标的稳定识别与跟踪控制,并使其具有良好的实时性和鲁棒性能。2视觉伺服系统2.1系统的组织结构系统的组织结构如图1所示,伺服系统由图像采集、视觉信息处理模块和伺服控制模块等组成。视觉信息处理模块处在系统的反馈通路中,可从摄像机获取的图像中识别出目标(视觉标示,并计算出目标的特征向量,进而由当前目标的特征与期望特征进行比较所产生的误差信号,用来驱动视觉控制器生成控制作用,以控制跟踪机器人的速度,实现移动目标的伺服跟踪。 图1系统的组织结构Fig .1Syste m structure系统中的跟踪机器人为轮式移动机器人,带有

10、图像采集设备,能够获取到其前方的场景图像信息。为便于识别,在运动目标上设置了视觉标示。实现图像采集的摄像机固接在机器人上,不能单独控制。运动目标上的视觉标记是一灰度级几乎等于255的白色有规则形状的纸板。2.2视觉信息处理模块如图2所示,本模块在获取摄像机采集到的包含目标和环境在内的图像后,通过阈值分割、滤波和孔洞填充,再选择出待识别区域、提取特征,并与上一帧的目标特征进行匹配,辨识出目标,最后将目标区域的图像特征反馈到前向控制通路。图2视觉信息处理模块Fig .2V isual inf or mati on p r ocessing module3图像特征分析和提取图像视觉伺服控制首先要选定

11、一个与任务相适配的视觉特征集,在此视觉特征集的基础上进行分析和操作。常用的特征有点特征、区域特征、纹理特征等,可提取的如角点、周长面积比、灰度共生矩阵等。在本文所研究的系统中,由于运动目标与环境中的其他物体的粗糙度、紧致性等都没有明显的差别,因此不宜采用纹理特征进行识别。点特征是基本的图像特征,但在有噪声的图像中很难实现基于点特征的高精度匹配,而且匹配算法运算量大5。图像的区域特征一般具有很强的抗干扰能力,图像矩是典型的区域特征,而且矩特征可以用来识别形状。本文研究中的运动目标的视觉标示具有规则的形状,另外从特征伺服控制角度考虑选用矩作为图像特征也是适宜的6。3.1图像矩特征考虑图像上某区域,

12、其p +q 阶规则矩为:m pq =(i,j i p j qf (i,j (1则图像区域的低阶规则矩集合可表示为m pq p +q 3,p 、q 0,本文选用低阶规则矩集合的元素所构成的函数作为视觉伺服特征向量,以Hu 氏不变矩7作为识别特征向量,可以证明Hu 氏不变矩具有平移不变性、伸缩不变性、旋转不变性,其在飞行器识别、船舰识别、文字识别等领域得到了广泛的应用。3.2目标运动空间与特征空间变换图像雅可比矩阵用于描述机器人运动空间与图像特征空间的变换关系。当系统进入图像雅可比矩阵奇异点时,系统只在目标位置附近的邻域范围内才收敛8。本文只建立目标在运动空间的位置与矩特征的变换关系,用目标在图像

13、中坐标的变化来预测目标在图像中的运动状况。这样可以避免图像雅可比矩阵的非奇异性对系统的影响。二值图像的矩m 00,m 10,m 01可以完全表征目标在三维运动空间的位置信息7,如图3所示,当目标的运动平面与xoz 平行时,由于二值图像m 00表示区域的面积,(m 10m 00,m 01m 00表示目标物体中心p 的像素坐标,则根据小646仪器仪表学报第29卷 图3坐标空间转换Fig .3Coordinate s pace conversi on孔成像原理,可推导出目标在摄像机坐标系下的位置与图像矩特征的变换关系,如式(2所示,其中的变换系数k x ,k y ,k z 都是常量,(u 0,v 0

14、是图像中心的像素坐标,(x,y,z 为物点p 在摄像机坐标系下的坐标。z =k z m 00x =k x (m 10/m 00-u 0y =k y (m 01/m 00-v 0(2利用坐标系旋转可以证明当光轴与目标运动平面不平行时,变换系数仍为常数。根据上述分析结果,用于伺服控制的特征向量可构造为:F =f 1f 2f 3=m 00m 10m 00-u 0m 01m 00-v 0(34基于形状特征相对匹配的目标识别4.1图像预处理原始图像经过阈值分割得到二值图像,再采用数学形态学的腐蚀运算进行滤波,消除点噪声和分离连通域。为避免区域内部空洞对系统识别和伺服控制的影响,视觉信息处理模块使用连通区

15、域标记和外边缘跟踪技术9210找到各个区域的外边界,再填充连通区域内部,并保存区域标记信息。4.2形状识别在完成预处理后,可以得到包含目标的多个连通区域在内的图像,可以从中提取出待识别区域,计算形状特征,完成匹配识别。4.2.1识别区域选择 由于其他物体的干扰和光照的影响,在图像中将存在多个白色连通区域,逐个分析这些区域将十分耗时,满足不了伺服跟踪的需要,必须缩小待识别区域的数目范围。在跟踪的过程中,目标在前后两帧图像上的位置变化不会太大,本文以上一帧的目标中心位置作为当前帧目标区域的搜索基准,其近邻为优先待识别区域。同时在伺服跟踪中对目标中心进行在线预测,用于校正和指导搜索的范围和方向。4.

16、2.2形状特征提取与匹配按式(1计算待识别目标区域的p +q 3阶规则矩,再由规则矩计算对应的Hu 氏不变矩7。由于本文的研究对象中光轴与地面有一夹角,不满足矩不变性条件11,但考虑到前后两帧间Hu 氏矩的变化不大,因此将前一帧识别出的目标的Hu 氏矩作为本次匹配的基准。用相对欧氏距离作为相似匹配度量函数,如式(4所示,其中m 为Hu 氏特征矩的匹配函数值;Hu Tpr 为前次目标的Hu 氏矩;Hu ne w 为待识别区域的不变矩。m =Hu Tpr -Hu ne w Hu Tpr (4选定相似度阈值,当m 小于阈值时,认为该区域为所寻找的目标,否则计算并匹配邻近的下一个待识别区域。在一帧图像

17、中,待识别区域的个数可以根据实际实验情况确定。5特征滤波预测及伺服控制5.1滑动窗口曲线拟合滤波常用的滤波估计算法有卡尔曼滤波12、滤波13、限定记忆最小均方滤波14。虽然这些方法都能够在一定程度上实现所需的预测精度,但是却要求事先确定目标运动模型、误差统计模型等,而这些模型及其参数在实际应用中恰恰是难以确定的。本文采用移动加窗数据曲线拟合的方法来预测目标的运动,便于识别和跟踪。采用曲线拟合的优点在于可以利用最小二乘法对目标的位置进行估计,且不会用到误差的模型,这种预测方法还可以克服目标被干扰物短暂阻塞和遮挡的情况15。经过大量实际实验,本文确定采用二次曲线f (t =a t 2+bt +c

18、作为拟合函数进行处理,t 为采样时刻。在移动窗口里抽取最近4组特征向量F i (i =k -3,k -2,k ,把式(3改写为式(5:F i =f i,1f i,2f i,3(5按图4所示,根据最小二乘原理确定3组拟合曲线的参数,并预测下一帧的特征向量。图4曲线拟合预测处理流程Fig .4Pr ocessing fl ow of curve fitting forecasting第3期刘宏鼎等:基于图像特征的运动目标识别与伺服跟踪6475.2基于特征误差的伺服跟踪控制设图1系统输入期望特征为F 3,当前反馈或预测的特征为F ,则视觉伺服控制器的输入为:E =F3-F =e f 1e f 2e

19、f 3T(6采用分立单独控制的思想16,e f 1控制机器人跟踪的速度,e f 2/e f 3决定机器人的旋转角速度。控制器设计采用如下规则:P I D 控制,|e |Bang 2Bang 控制,|e |>|u |=u max(7式中:e 为e f 1或e f 2/e f 3 ;为控制切换线,其值在速度与角速度控制器中各自具体选择,u 为控制输出量(跟踪机器人的速度和角速度。6实验结果运动目标上设置的视觉标示为白色三角形纸板,某次实验的识别与跟踪结果如下:6.1目标识别预处理与识别的结果如图5所示:(a 为阈值分割后的含有目标和大量噪声的二值图像,(b 是经过形态学滤波和连通区域内部孔洞

20、填充的结果,(c 中矩形框内是经过形状识别得到的目标区域。实际的识别实验还证明对其他有规则形状的物体,在变更相应的颜色分割阈值后,4.2节中的形状识别算法都能产生相同的识别效果。6.2特征预测与目标跟踪当目标以0.1走直线时,伺服控制的实际特征误差、预测的特征值与期望特征值之差如图6所示:可见绝大部分预测值与实际值几乎处处重合,最小误差为0,最大误差26个像素;稳定跟踪后,特征实际误差及期望值与预测值之差都趋于0;实际的跟踪效果也表明本文采用的识别和预测跟踪算法是有效的,整个系统可以实现目标的稳定识别与伺服跟踪。图6特征预测与目标跟踪的误差曲线Fig .6Err or curves of fe

21、ature p redicti on and target tracking7结论 本文用矩作为图像特征信息,用于运动目标识别和视觉伺服控制,采用移动加窗数据曲线拟合方法预测特征及目标在图像上的运动,在目标运动随机性不大和有背景干扰的情况下实现了基于图像特征的运动目标识别与伺服跟踪。实验结果表明所采的识别和跟踪方法都是有效的。参考文献1金钟明,徐刚,张海波.基于图像的机器人视觉伺服系统仿真J .机床与液压,2005,6:426.J I N Z H M ,XU G,ZHANG H B.Si m ulati on of i m age 2based r obotic visual servo sy

22、ste m J .Hydraulic M a 2chine,2005,6:426.2HUT CH I N SI O N S,HAGER G D,C ORKE P I .A tut orialon visual servo contr ol J .I EEE Transacti ons on Robot 2ics and Aut omati on,1996,12(3:6512671.3屈彦呈.机器人鲁棒视觉伺服控制研究D .哈尔滨:哈尔滨工业大学,2002,11:327.QU Y CH.Study of r obust visual servo contr ol f or r obot D .H

23、arbin:Harbin I nstitute of Technol ogy,2002,11:327.4蒋平,胡凤轩.机器人手眼协调的图像直接反馈控制J .控制理论与应用,1997,14(5:6482653.J I A NG P,HU F X .I m age direct feedback theory for r o 2648仪器仪表学报第29卷botic hands and eyes cooperati onJ.Contr ol Theoryand App licati on.1997,14(5:6482653.5林靖,徐强华.基于图像差的平面大范围视觉伺服控制J.控制与决策,2002,

24、5(15:5812584.L I N J,XU Q H.I m age2err or2based p lanar gl obal visualservoingJ.Contr ol and Decisi on,2000,15(5:5812584.6林靖,陈辉堂.基于图像矩的机器人视觉伺服J.同济大学学报,2000,20(4:4382442.L I N J,CHE N H T.V isual servoing using i m age momentsJ.Journal of Tongji University,2000,28(4:4382442.7HU M K.V isual pattern r

25、ecogniti on by moment invari2ants.I RE transacti on on infor mati on theoryJ.App liedScience and Technol ogy,2006,33(6:1152117.8王麟琨,徐德,谭民.机器人视觉伺服研究进展J.机器人,2004,26(3:2772282.WANG L K,XU D,T AN M.survey of research on r o2botic visual servoingJ.Robot,2004,26(3:2772282.9王铁生,施鹏飞.二值图像的快速标记方法及其应用J.微型电脑应用,

26、2004,20(6:628.WANG T SH,SH I P F.Fast labeling of binary i m ageand its app licati onJ.M icr ocomputer App licati on,2004,20(6:628.10李云,鲍苏苏.二值图像中物体区域的选定及外边缘跟踪技术J.华南师范大学学报:自然科学版,2000,3(3:27229.L I Y,BAO S S.The technol ogy object regi ons selecti onand exteri or edges ttracking in binary i m ageJ.Jou

27、rnalof South China Nor mal University:Nature Science Editi on2000,3(3:27229.11孙亦南.基于几何不变量的图像特征识别J.计算机应用与软件,2004,12:124.S UN Y N.Recogniti on of i m age feature based on geome2try invariantsJ.Computer App licati on and Soft w are,2004,12:124.12邓自立.卡尔曼滤波与维纳滤波现代时间序列分析方法M.哈尔滨:哈尔滨工业大学出版社,2003,1:56.DE NG

28、Z L.Kal m an filter and the wiener filter:modernti m e series analysis methodM.Harbin:Press of Har2bin I nstitute of Technol ogy,2003,1:56.13马佳光.复合控制及等效复合控制原理及应用J.光学工程,1988,15(5:1216.MA J G.Comp lex contr ol&equivalent compound contr oltheory and app licati onJ.Op tical Engineering,1988,15(5:121

29、6.14张洪钺,胡干耀.系统辨识M.北京:北京航空航天大学出版社,1987.ZHANG H Y,HU G Y.Syste m identificati onM.Bei2jing:Bei Hang University Press,1988.15杨耿,和卫星.运动目标图像识别与跟踪系统的研究J.计算机测量与控制.2005,13(3:2672269.Y ANG G,HE W X.Study of system on i m age recogni2ti on and tracking of moving objectJ.Computer M eas2ure ment&Contr ol,2005,13(3:2672269.16王仲民.非完整轮式移动机器人运动控制系统的设计与实现J.天津工程师范学院学报,2005,15(2:10212.WANG ZH M l