（控制理论与控制工程专业论文）基于图像矩的视觉伺服控制方法的研究.pdf

申请上海交通大学博士学位论文 基于图像矩的视觉伺服控制方法的研究 摘要 视觉伺服是机器视觉研究中的重要内容之一。它在国防、航天、和工业自动化等领域中 具有非常重要的应用意义，如自动导航、目标跟踪、自动监控、机器人手一眼系统等都或多 或少地与视觉伺服相关。尤其在机器人手一眼系统中，对静止或移动目标进行实时视觉伺服 研究可解决移动机器人的自动避障、机器人对环境自适应、及在未知环境中对机器人进行控 制等问题。 论文研究一种新的基于图像的视觉伺服( i b v s ) 控制方法。传统的i b v s 方法需要根据 图像特征求取图像雅可比矩阵( 即，反映三维空间中摄像机运动与二维平面上图像特征运动 之间映射关系的矩阵) 。多数i b v s 系统采用图像的局部特征，如角点、线段、边缘等，以简 化图像雅可比阵。然而，局部图像特征的可靠抽取在很大程度上依赖于物体形状及其周围环 境。此外，采用局部图像特征必须进行图像特征匹配。全局图像特征由于需要考虑图像上所 有数据，因此对图像噪声有很强的鲁棒性。并且，当图像上只有一个具明显几何形状的物体 时，采用全局图像特征无需进行图像特征匹配。论文基于二值目标图像的零阶和一阶矩特征 ( 一种比较简单的全局图像特征) ，研究静止目标和三维平动目标的视觉伺服问题。其中， 运动目标的视觉伺服问题又称为视觉跟踪问题。 论文首先限定以下条件：目标为一始终垂直于摄像机光轴的平面刚体；摄像机只能 在三维笛卡儿空间中平动。然后，根据摄像机透视投影公式，论文推导出图像运动仿射模型。 基于限定条件和豳像运动模型，论文研究了目标深度与二值目标图像的零阶图像矩之间的数 学关系。接着，在此数学关系的基础上，论文提出以二值目标图像的零阶和一阶图像矩作为 视觉伺服系统的图像特征。最后，论文提出一种新的基于图像的视觉伺服控制方法。该方法 的基本思想是，将深度轴上的摄像机平动速度( 疋) 从擐像机线速度( v = 阮，耳，疋r ) 中分离出来，对它进行单独控制。在研究视觉伺服控制方法时，论文先考虑目标静止的情况， 提出静止目标视觉伺服控制算法。然后就如何利用模糊控制和p i 控制算法改进静止目标视 觉伺服控制算法使之用于三维平动目标的跟踪，论文展开深入研究。论文所提出的视觉伺 服方法完全基于图像矩，并且无需估算目标深度。因此，该方法对图像噪声不敏感，简单实 用，实时性较强。 论文的创新成果主要包括： 摘要 1 根据图像运动模型推导出引理】( 即，当目标为一始终垂直于摄像机光轴的平面刚体 时，目标深度与其二值图像的零阶图像矩的开方成反比) ，并以实验证明之。基于引理1 ， 选择二值目标图像的零阶和一阶图像矩作为视觉伺服系统的图像特征，并提出一种迭代计算 零阶和一阶图像矩的快速算法。 2 ，论文提出新的基于图像豹视觉伺服控制策略，并基于此策略设计出视觉伺服控制结 构和基于图像矩的静止目标视觉伺服算法。为进行系统仿真，论文还研究了视觉伺服系统中 受控对象的数学模型并用实验加以验证。与传统的i b v s 控制方法不同，我们的i b v s 控制 方法用两个控制器来实现视觉伺服：目标深度控制器基于与零阶图像矩相关的系统误差 控制目标深度逐渐趋于理想目标深度：图像特征点位置控制器，基于目标中心的投影位置 误差( 由目标图像的零阶和一阶图像矩估算) ，在t z 己知的情况下，控制目标中心投影位置 逐步逼近图像中央。根据引理1 ，论文以二值目标图像的零阶图像矩的开方( m o o ) 作为 反映目标深度的图像特征，并基于此图像特征的偏差( 即( ( 肘0 ) d 一 矿0 0 ) ) ，设计简单 的p 控制律作为目标深度控制算法。仿真结果表明，当蟊标静止时，该算法能有效地控制目 标深度收敛于理想目标深度。同时，为使目标逐渐成像于图像中央，论文基于图像雅可比阵 和l y a p u n o v 函数设计图像特征点位置控制算法。仿真实验表明，当目标静止时，我们的视 觉伺服方法完全能满足视觉伺服要求，对摄像机的焦距和比例阕子误差有较强的鲁棒性。 3 对于三维平动目标的视觉跟踪，论文提出将跟踪前的初始状态分为四种情况，并针 对每种情况设计合适的p i 控制算法。此外，论文还提出了初始状态的判别方法。三维平动 目标视觉跟踪研究实际上是静止目标视觉伺服研究的延续，两者的前提条件和控制要求均相 同，只要将视觉伺服算法改进为视觉跟踪控制算法，原有的视觉伺服系统就可成为视觉跟踪 系统。无论是对于目标深度控制算法还是对于图像特征点位置控制算法，其改进主要体现在 两方面：加入积分控制和限幅控制，形成受限“p + p i ”控制算法或受限p l 控制算法： 将跟踪前的初始状态分为a 、b 、c 、d 四种情况，根据初始状态的情况以决定是否引入模 糊控制，即根据初始状态的不网情况分别采用周定参数p 1 控制律和参数模糊自调节p i 控制 律。仿真结果表明论文提出的视觉跟踪控制算法简单可行，当目标在三维笛卡儿空间平动时 该算法可将目标深度误差控制在1 毫米以内，特征点位置误差控制在1 个像素以内，从而满 足视觉跟踪要求。 关键词： 机器视觉，视觉伺服，图像矩，基于图像的视觉伺服，视觉跟踪，模糊控制 a b s t r a c l t h er e s e a r c ho nt h ec o n t r o lm e t h o do f v i s u a ls e r v o i n gb a s e do ri m a g em o m e n t s a b s t r a c t v i s u a ls e r v o i n gi sa ni m p o r t a n tr e s e a r c hs u b j e c ti nt h ef i e l do fc o m p u t e rv i s i o ni ti sw i d e l y u s e di nt h ea p p l i c a t i o n so f n a t i o n a ld e f e n c e ，a v i a t i o n ，i n d u s t r ya u t o m a t i o n f o re x a m p l e ，a u t o m a t i c n a v i g a t i o n ，t a r g e tt r a c k i n g , a u t o m a t i cs u r v e i l l a n c e ，r o b o t 。se y e i n h a n ds y s t e ma l lr e l a t et ov i s u a l s e r v o i n gm o r eo rl e s s e s p e c i a l l yi nr o b o t se y e - i n h a n ds y s t e m ，i ti ss i g n i f i c a n tt os t u d yo nr e a l t i m ev i s u a ls e r v o i n gw i t hr e s p e c tt oas t a t i co rm o v i n go b j e c t t h er e s e a r c ha c h i e v e m e n t so f v i s u a l s e r v o i n gc a l lh e l pt or e s o l v ep r o b l e m si nr o b o tr e s e a r c h ，s u c ha sa u t o m a t i co b s t a c l ea v o i d i n g ， a u t o m a t i ca d a p t a t i o n ，a n dr o b o tc o n t r o l l i n gi nu n k n o w ne n v i r o n m e n t , a n de t c i nt h ep a p e r , an e wi m a g e - b a s e dv i s u a ls e r v o i n g ( i b v s ) m e t h o di ss t u d i e d i nat r a d i t i o n a l i b v sm e t h o d ，a ni m a g ej a c o b i a nm a t r i x ( t h em a p p i n gm a t r i xb e t w e e ni m a g ev e l o c i t i e sa n dt h e v e l o c i t i e si nt h ec a m e r a sw o r k s p a c e ) n e e d st ob ef o u n da c c o r d i n gt ot h ec h o s e nf e a t u r e si nm o s t i b v ss y s t e m s ，l o c a li m a g ef e a t u r e s ，s u c ha sc o m e rp o i n t s ，l i n e s ，e d g e sa n de t c ，a r es e l e c t e dt o s i m p l i f yt h ei m a g ej a c o b i a nm a t r i x b u t ，t h ee x t r a c t i o no fl o c a li m a g ef e a t u r e sl a r g e l yd e p e n d so n t h eo b j e c ts h a p ea n dt h ec i r c u m s t a n c e i na d d i t i o n ，i m a g er e g i s 仃a t i o ni sr e q u i r e dw h e nl o c a li m a g e f e a t u r e sa r eu s e d g l o b a li m a g ef e a t u r e sa r er o b u s tt oi m a g en o i s e sb e c a u s et h e ya r ec o m p u t e d f r o ma l ld a t a o fa ni m a g e f u r t h e r m o r e ，w h e ng l o b a l i m a g ef e a t u r e s a r eu s e d ，n oi m a g e r e g i s t r a t i o nw i l lb en e e d e di f t h e r ei so n l yo n ev i s i b l eo b j e c ti nt h ei m a g e i m a g em o m e n t sa r et h e s i m p l eg l o b a li m a g ef e a t u r e i nt h ep a p e r , w es t u d yan e wv i s u a ls e r v o i n gm e t h o db a s e do n0 a n d 1 - o r d e rm o m e n t so f b i n a d z e dt a r g e ti m a g e s i ts h o u l db ep o i n t e dt h a to u rr e s e a r c h o ft h ev i s u a ls e r v o i n gi so nt h ea s s u m p t i o n so ft h e f o l l o w i n g s ： t h e t a r g e ti sar i g i dp l a n a rs u r f a c ea l w a y sp e r p e n d i c u l a rt ot h eo p t i ca x i so f t h ec a m e r a ： i nt h ec a r t e s i a ns p a c e ，c a m e r am o t i o na n dt a r g e tm o t i o na r eb o t ht r a n s l a t i o n i nt h ep a p e r , t h ea f f i n em o d e lo ft h ei m a g em o t i o ni sf i r s t i n t r o d u c e d t h e n ，f r o mt h ei m a g e 申请一h 海交通火学博士学位论文 m o t i o nm o d e la n dt h ea b o v ea s s u m p t i o n s ，l e m m a1 d e s c r i b i n gt h em a t h e m a t i cr e i m i o n s h i p b e t w e e nd e p t ha n do - t ho r d e ri m a g em o m e n t so fb i n a r yi m a g e si sd e d u c e d l a t e r , 0 a n d1 - o r d e r i m a g em o m e n t so fb i n a r yt a r g e ti m a g e sa r es e l e c t e da si m a g ef e a t u r e s ，a n daf a s te x t r a c t i o n a l g o r i t h mo fi m a g ef e a t u r ei sp r o p o s e d a tl a s t ，an e wa p p r o a c ht oi m a g e - b a s e dv i s u a ls e r v o i n g c o n t r o li sp r e s e n t e d t h eb a s i ci d e a li st od e c o u p l et h ec a m e r at r a n s l a t i o n a lm o t i o no nt h ed e p t h a x i s ( 疋) f r o mt h eo t h e rd e g r e e so ff r e e d o m ，a n dd e r i v eas e p a r a t ec o n t r o l l e rf o rl b a s e do n t h ei d e a l ，w ed e s i g nan e wv i s u a ls e r v o i n gc o n t r o ls c h e m ef o ras t a t i co b j e c t t h e n w ea d df u z z y a n dp ic o n t r o lt ot h ev i s u a ls e r v o i n gc o n t r o la l g o r i t h mi no r d e rt oa d a p tt h ev i s u a ls e r v o i n gs y s t e m t ot h ec a s eo f a no b j e c tw i t ht r a n s l a t i o n a lm o t i o n o u rv i s u a ls e r v o i n ga p p r o a c hi st o t a l l yb a s e do n i m a g em o m e n t s ，a n dh a sn on e e d so fd e p t he s t i m a t i o n s o ，c o m p a r i n gw i t ht h et r a d i t i o n a li b v s m e t h o d s ，t h ea p p r o a c hp r e s e n t e di nt h ep a p e ri sm o r er o b u s tt oi m a g en o i s e ，s i m p l e ra n df a s t e r t h em a i nc o n t r i b u t i o n so f t h ep a p e ra r es u m m a r i z e da sf o l l o w s ： 1 tf r o mt h ei m a g em o t i o nm o d e l ，l e m m a1 ( t h a ti s ，d e p t hr a t i oi si ni n v e r s ep r o p o r t i o nt ot h e s q u a r er o o to ft h e0 - o r d e ri m a g em o m e n to ft h eb i n a r yt a r g e ti m a g e ) i sd e d u c e d ，a n dp r o v e db y e x p e r i m e n t s t h e n ，t h e0 a n d1 - o r d e ri m a g em o m e n t so ft h eb i n a r yt a r g e ti m a g ea r es e l e c t e da s i m a g ef e a t u r e s ，a n daf a s te x t r a c t i o na l g o r i t h mo f t h e0 - a n d1 - o r d e ri m a g em o m e n t si sp r o p o s e d 2 an e wv i s u a ls e r v o i n gc o n t r o ls c h e m ei sp r o p o s e d a c c o r d i n gt ot h es c h e m e ，w ed e s i g nt h e v i s u a ls e r v o i n gc o n t r o ls t r u c t u r ea n dc o n t r o la l g o r i t h mf o ras t a t i co b j e c t b e s i d e s ，t h em a t h e m a t i c m o d e lo ft h ec o n t r o l l e do b j e c ti nt h e v i s u a ls e r v o i n gs y s t e mi s s t u d i e d ，a n dt h e np r o v e db y e x p e r i m e n t s i no u rm e t h o d ，t h e r ea r et w oc o n t r o l l e r sw h i c ha r e ： d e p t hc o n t r o l l e r , w h i c h c o n t r o l st a r g e td e p t ha s y m p t o t i c a l l yc o n v e r g e n tt oi t sd e s i r e dv a l u eo nt h eb a s i so ft h ee r r o r r e l a t i n gt ot h e0 - o r d e ri m a g em o m e n t s ；( 室) p o s i t i o nc o n t r o l l e ro ft h ei m a g ef e a t u r ep o i n t ，w h i c h s e l e c tt h ep r o j e c t e dp o i n to f t h et a r g e tc e n t r o i da si t sf e a t u r ep o i n ka n dc o n t r o l st h ep o s i t i o no f t h e f e a t u r ep o i n tc o n v e r g e n tt ot h ec e n t e ro f i m a g ew i t hk n o w n 疋a c c o r d i n gt ol e m m a1 ，w es e l e c t t h es q u a r er o o to f t h e0 - o r d e ri m a g em o m e n to f t h eb i n a r yt a r g e ti m a g e ，i - e m a s t h ei m a g e f e a t u r et or e f l e c tt h e t a r g e td e p t h ，a n dd e s i g nt l epc o n t r o ll a wb a s e do nt h ee l t o ro f ( 面：i 一再i ) d e p t hc o n t r o ll a w s i m u l a t i 。nr e s u h s s h 。wt h a lt h es i m p l epc o n t r 0 1 t a wc a r lc o n t r o lt h et a r g e td e p t ha s y m p t o t i c a l l yc o n v e r g e n tt ot h ed e s i r e dd e p t hi nt h ec a s eo fa a b s t r a c t s t a t i ct a r g e t i no r d e rt ok e e pt h et a r g e ti nt h ec e n t e ro fi m a g ep l a n e ，w ed e r i v et h ep o s i t i o nc o n t r o l l a wo ft h ei m a g ef e a t u r ep o i n tf r o mt h ei m a g ej a c o b i a nm a t r i xa n dal y a p u n o vf u n c t i o n s i m u l a t i o nr e s u l t si n d i c a t et h a ti nt h ec a s eo fas t a t i ct a r g e t o u rv i s u a ls e r v o i n gc o n t r o la l g o r i t h m p e r f o r m a n c e sw e l l ，a n ds t r o n g l yr o b u s tt ot h ee r r o r so f c a m e r a sf o c u sa n dm a g n i s c a l e s 3 f o rv i s u a lt r a c k i n go fa3 - dt r a n s l a t i o n a l l ym o v i n gt a r g e t ，w ed i v i d et h ei n i t i a lc o n d i t i o n i n t of o u rk i n d s ，a n dd e s i g na na p p r o p r i a t ep ic o n t r o la l g o r i t h mf o re a c hk i n do fi n i t i a lc o n d i t i o n s i na d d i t i o n ，w ep r o p o s et h ed i s c r i m i n a n c eo fi n i t i a lc o n d i t i o n s i nt h ep a p e r , t h ea s s u m p t i o na n d t h eo b j e c t i v e so f t h ev i s u a lt r a c k i n gs t u d yi st h es a m ea st h eo n e so f t h ev i s u a ls e r v o i n gs t u d y s o i ft h e v i s u a ls e r v o i n gc o n t r o la l g o r i t h mc a nb em o d i f i e dt oa d a p tt ov i s u a lt r a c k i n go fa t r a n s l a t i o n a l l ym o v i n gt a r g e t ，t h ev i s u a ls e r v o i n gs y s t e mw i l lb ec h a n g e dt ov i s u a lt r a c k i n gs y s t e m e i t h e rf o rd e p t hc o n t r o ll a wo rt h ep o s i t i o nl a wc o n t r o lo ft h ei m a g ef e a t u r ep o i n t ，t h e m o d i f i c a t i o n sa r em a i n l yi nt w oa s p e c t s ：t h el i m i t e d ”p + ”c o n t r o ll a wo rt h el i m i t e dp 1 c o n t r o ll a wi sd e s i g n e db a s e do nt h es y s t e me r r o r s ；t h ei n i t i a lc o n d i t i o ni sd i v i d e di n t of o u r k i n d so ft h ec o n d i t i o na ，b ，c ，a n dd ，a n dw h e t h e rt h ef u z z yt u n e ri se m p l o y e dd e p e n d so nw h a t t h ek i n do ft h ec o n d i t i o ni s t h a ti s ，f u z z ys e l f - t o n i n gp ic o n t r o ll a wo rf u z z yg a i n - t u n i n gp i c o n t r o ll a wi se m p l o y e di nt h ec o n d i t i o no fao rb ，a n df i x e dp ic o n t r o ll a wi su s e di nt h e c o n d i t i o no fco rd s i m u l a t i o nr e s u l t ss h o wt h a tu n d e rt h ec o n t r o lo ft h ev i s u a lt r a c k i n gc o n t r o l a l g o r i t h mp r o p o s e di nt h ep a p e r , t h ev i s u a lt r a c k i n gs y s t e mp e r f o r m sw e l li nt h a tt h ed e p t he r r o r c a r lb ec o n t r o l l e dw i t h i nl m m ，a n dt h ee r r o ro f t h ei m a g ef e a t u r ep o i n t sp o s i t i o nb ew i t h i n1 p l x e l ， i nt h ec a s eo f at a r g e tw i t h3 - dt r a n s l a t i o n a lm o t i o n k e y w o r d s ： c o m p u t e rv i s i o n ，v i s u a ls e r v o i n g ，i m a g em o m e n t s ，i m a g e - b a s e dv i s u a ls e r v o i n g ，v i s u a lt r a c k i n g ， f u z z yc o n t r 0 1 上海交通大学学位论文答辩决议书 申请者沈晓晶 所在学科( 专业)控制理论与控制工程 论文题目 基于图像矩的视觉伺服控制方法的研究 答辩日期2 0 0 5 - 0 5 2 7 答辩地点新上院3 0 0 号 答辩委员会成员 担任职务姓名 职称l 所在工作单位备注签名 主席施鹏飞教授| 上海交通大学无 红舞 委员 吴智铭 教授| 上海交通大学无 攒餐 t 委员费敏锐教授弛海夭学无 委员林家俊教授i 华东理工大学无 嗽靳曩 委员，李德敏 教授i 东华大学无 焉孤” 基于图像的视觉伺服( i b v s ) 控制在国防、航天、和工业自动化等领域有广泛 的应用。该论文主要研究如何将图像矩用于视觉伺服控制。选题有理论意义和实 用价值。论文的主要创新之处在于：采用二值目标图像的零阶矩作为图像特征； 在算法设计上，对较均一的静止目标提出视觉伺服控制算法并结合模糊控制和 p i 控制算法对其进行改进，使之用于三维平动目标的视觉跟踪，取得了较好的计 算仿真结果。论文条理清晰，论证较严谨，反映作者具有坚实宽广的理论基础和 系统深入的专业知识，具有独立的科研工作能力。答辩过程中能正确回答所提出 的问压。经答辩委员会无记名投票一致通过沈晓晶同学的博士学位论文答辩， 建议授予工学博士学位。 表决结果 一谘f 争f 矿7 l l ，7 答辩委员会娩，i 形妒j ， 正 上海交通大学 学位论文原创性声明 本人郑重声明：所星交的学位论文，是本人在导师的指导下， 独立进行研究工作所取得的成果。除文中已经注明引用的内容外， 本论文不包含任何其他个人或集体已经发表或撰写过的作品成果。 对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式 标明。本人完全意识到本声明的法律结果由本人承担。 学位论文作者签名：潞魄晶 日期：矽眸r 月叼日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电z 版，允许论文被查阅和借阅。本人授权上海交通大学可以将本学位 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于， 不保密d ( 请在以上方框内打“4 ”) 学位论文作者签名：掘晚局指导教师签名：c 聪局 日期：幢睥，月刁日日期：协柞f 月3 。日 申请一卜海交通大学博士学位论文 1 1 引言 第一章绪论 视觉伺服是机器视觉研究中的重要内容之一。机器视觉始于2 0 世纪5 0 年代；6 0 年代， r o b e r t s 开创了以理解三维场景为目的的三维机器视觉的研究；7 0 年代后期，d a v i dm a r r 教 授提出视觉计算理论，该理论在8 0 年代成为机器视觉研究领域中重要的理论框架。按照 m a r r 的理论，视觉系统分成三个层次：计算理论层次，表示和算法层次，硬件实现层次。 计算理论层次要回答视觉系统的输入和输出是什么，如何由输入求出输出，即建立输入输出 之间的关系和约束。表示和算法层次要进一步回答如何表示输入和输出信息，如何实现计算 理论所对应的功能算法，最后一层是解决硬件实现的问题。从信息处理的观点来看，至关重 要的是计算理论层次。这是因为构成知觉的计算本质，取决于解决计算问题本身，而不取决 于用于解决计算问题的软、硬件。 视觉过程划分为三个阶段：图像一基元图一2 ，5 维图一3 维模型表示。第一阶段指抽取 输入图像中诸如角点、边缘、纹理、线条、边界等基本特征组成基元图；第二阶段指在以 观测者为中心的坐标系中，根据输入图像和基元图恢复场景可见部分的深度、法线方向、轮 廓等，这些信息包含深度信息，但不是真正的物体三维表示，故称2 5 维图；第三阶段指在 以物体为中心的坐标系中，由输入图像、基元图和2 5 维囤来恢复、表示和识别三维物体。 对计算机而言，要识别和理解三维场景是件困难的事。它主要体现在以下几个方面： ( 】)图像多义性。三维场景投影到二维平面上后，深度和不可见部分的信息丢失， 会出现不同形状的物体产生相同的图像。而在不同视角。f 获取同一物体的图 像也会有很大差异。 ( 2 ) 环境因素的影响。场景中的诸多冈素，如照明、物体形状和表面材质、摄像 机和空间关系变化都对生成的图像有影响。 ( 3 ) 数据量大。如分辨率为3 2 0 2 4 0 的一幅灰度图像的数据量为7 6 8 k 。而耍跟 踪物体常需要处理图像序列以获行物体的运动信息，数据量大，不易实现快 速运算。 笫一章绪论 为解决机器的视觉问题，科研人员不断寻求新的方法和途径。现在人们越来越重视对知 识的应用。让视觉系统使用诸如特征模型、成像模型、物体模型【2 6 1 等知识，使系统具有更 高的适应性和鲁棒性。 1 2 视觉伺服系统 从提高机器人对环境的适应性及快速反映能力的角度出发，近几年来许多研究者探索将 机器视觉作为反馈控制源参与伺服控制形成视觉伺服反馈控制系统，即视觉伺服控制系统。 构建视觉伺服控制系统需要涉及图像处理、机器人动力学和运动学、控制理论、实时计算等 各方面的知识。 1 2 1 视觉伺服系统分类 视觉伺服系统有多种分类方法： ( 1 ) 根据误差控制信号类型，机器人视觉伺服可分为基于位置的视觉伺服系统和 基于图像的视觉伺服系统。在前者中，视觉信息被解释为相对于一个基坐标 系或者世界坐标系的三维笛卡尔坐标。而在后者中，视觉信息则是被定义在 二维的图像平面的图像特征。 ( 2 ) 根据视觉系统相对于机器人系统的位置，可分为末端开环和末端闭环视觉伺 服系统。末端开环系统，其视觉系统只能观测到目标。末端闭环系统，其视 觉系统可同时观测到目标和机械手末端。 ( 3 ) 根据视觉系统与机器人系统的工作时间顺序，可分为动态的视觉伺服系统和 静态的视觉伺服系统。前者的视觉系统与机器入系统是并行工作的，后者的 视觉系统与机器人是串行工作。 ( 4 ) 根据视觉信息是否用于直接控制关节角，可分为动态的l o o ka n dm o v e 控制系 统和直接视觉伺服系统。在前者中，视觉控制器向关节控制器输入机器人各 关节的位置期望，关节控制器控制机械手运动。在后者中，视觉伺服控制器 直接控制机械手运动。 ( 5 ) 根据任务，视觉伺服系统可分为视觉定位、视觉抓取、和视觉跟踪等系统。 2 申请匕海交通大学博【：学位论文 1 2 2 视觉伺服方法 视觉伺服系统的控制策略主要基于以f 两个问题： ( 1 )视觉控制器的输入是以三维笛卡儿坐标表示，还是以二维图像坐标表示? ( 2 )系统是否采用分层控制结构? 即，系统的视觉控制器是为执行控制器提供输入 量，还是由视觉控制器直接控制执行机构运动。 根据问题( 1 ) ，视觉伺服方法被分成两类：基于位置的视觉伺服( p o s i t i o n - b a s e dv i s u a l s e r v o i n g ，又称3 d 视觉伺服( 3 d v i s u a ls e r v o i n g ) ) ，和基于图像的视觉伺服( i m a g e - b a s ev i s u a l s e r v o i n g ，叉称2 d 视觉伺服( 2 dv i s u a ls e r v o i n g ) ) 。根据问题( 2 ) ，视觉伺服方法被分成： l o o k - a n d m o v e 控制方法和直接视觉伺服( d i r e c tv i s u a ls e r v o i n g ) 。传统上视觉伺服方法按照 问题( 1 ) 分类f ”i 。 基于位置的视觉伺服方法在实际运用中比较方便，但它也存在着缺点：对成像系统而 言，它是一种开环控制方法，它依赖于摄像头及机械手的标定精度并对标定参数误差敏感， 有时还依赖于目标模型的正确性：对目标图像没有任何控制，意味着在跟踪过程中目标可 能逃离摄像头的视觉范围。 而基于图像的视觉伺服方法，由于其视觉控制器的输入是二维图像平面中的图像特征偏 差信息，因此对成像系统而言，这是一种闭环控制方法，这种视觉伺服方法对摄像机模型误 差、目标模型误差、和执行机构的校准误差具有较强的鲁棒性吼在基于图像的视觉伺服方 法中，求取图像雅可比矩阵是其视觉控制器设计的关键，而在目标深度未知的情况下，实时 求取图像雅可比矩阵通常比较困难。 针对以上两类传统视觉伺服方法存在的缺点，近年来有学者提出2 1 2 一d 视觉伺服控 制方法。在2 - l ，2 一d 视觉伺服方法中，视觉控制器的输入既含有三维视觉信息，也含有二 维视觉信息。该方法既无需目标模型也无需对摄像头和执行机构参数进行精确标定2 “，就 能控制摄像头进行稳定跟踪。但是它容易受图像噪声干扰。需要指出的是，对2 1 2 一d 视 觉伺服方式的研究还刚刚起步，目前只能跟踪简单图像。如何将2 1 ，2 一d 视觉伺服控制系 统应用于对真实物体和复杂图像的跟踪，以及如何提高系统对图像噪声的鲁棒性还有待进一 步研究。 1 2 2 1 基于位置的视觉伺服方法 在基于位置的视觉伺服系统中。抽取的图像特征被用来对周围环境进行三维重建或计算 环境中目标的位置和运动，随后三维任务空间中的控制误差被计算出来并输入至视觉控制 3 第一章绪论 器，视觉控制器利用现有的路径规划技术设计出摄像机在任务空间中的运动轨迹。因此，基 于位置的视觉伺服方法的关键在于如何解决三维重建和路径规划问题。 在基于位置的视觉伺服方法中，控制系统的输入和反馈鼍均以三维笛卡尔坐标表示l ”j 。 根据是否采用分层控制，基于位置的视觉伺服控制方法义分成：基于能置的l o o k a n d m o v e 控制和基于位置的d i r e c tv i s u a ls e r v o i n g 控制。在基于位置的l o o k a n d m o v e 控制中：控制 器、执行机构、和执行传感器形成控制内环以稳定执行机构的运动；视觉控制器为外环控制 器，用来计算执行机构应具有的速度或位置增量。在基于位置的d i r e c tv i s u a ls e r v o i n g 控制 中，执行机构的控制量由视觉控制器直接计算出。基于位置的视觉伺服方法控制结构如图 l l 所示；图中，x + 表示目标在场景中的三维位置期望，x 表示在当前采样时刻目标的三维 位置估算值。 ( a ) 基于位置的l o o k - a n d - m o v e 控制结构 ( a ) p o s r i o n - b a s e di o o k - a n d m o v ec o a t f o ls t l l l c t u l o ( b ) 基于位置的d i r e c tv i s u a ls e r v o i n g 控制结构 ( b ) p o s i t o n b a s e dd i r e c lv i s u a ls e r v o i n gc o n t r o ls t r u c t u r e 图l - 1 基于位置的视觉伺服控制结构 f i g1 i p o s i t i o n - b a s e dv i s i o ns e r v o i n gc o n t r o ls t r a c t u r e 目前，大多数基于位置的视觉伺服控制采用分层控制，其原因如下：目前大多数视觉 伺服控制系统采用机械手控制摄像头运动，视觉系统较低的采样速率使得对机械手末端的控 制成为复杂的的非线性动态控制问题。多数机器人系统中含有能够接受以笛卡尔坐标表示 的三维位置增量或三维速度的对外接口。( ) l o o k - a n d m o v e 控制方式将机器人运动学上的奇 4 申请卜海交通人学博 1 学位论丘 异点问题与视觉控制分开，使得机械手可被看作理想笛卡尔运动设备。 视觉伺服的一项典型运用是机器人手眼系统。在手眼系统中，首先必须确定机械手末 端坐标系与所设定的固定坐标系、摄像头坐标系与机械手末端坐标系之间的关系然后根据 目标图像来控制摄像机与运动目标间的相对位置。由于目标与摄像机间的相对位置是由机械 手末端坐标与固定坐标系间的己知关系矩阵t 间接获得，因此如果矩阵t 存在误差，则机 械手末端的位置估计将出现误差，并且这误差不可能被系统观察到。冈此，当这样的手- 眼系统运用于某些场合，如，抓取或跟踪物体时，将会失败。但是如果系统能在观察到目标 的同时，也能观察到机械手末端所处的位置，则上述误差将有可能得到修正m 1 。 对利用基于位置的视觉伺服控制方法进行视觉跟踪的研究已呈现出诸多成果。例如， b u r r l l 7 ，c o r k e 、p a u l 和w o h n i ”】等人采用固定于机械臂未端的单摄像机( 己校准) ，研究了 对刚体的二维运动进行视觉跟踪的问题：d a v i s 1 9 】、g v e r g h e s e 2 0 】等人则探讨在运动目标几何 模