（农业机械化工程专业论文）基于单目视觉的非刚体三维运动分析.pdf

浙江大学博士学位论文 摘要 三维运动视觉分析是计算机视觉中十分活跃的研究领域之一。它以图像处理研究成果为基础，主 要研究空间中物体的运动情况，通过测量与计算物体特征在图像平面上的坐标变化，分析场景中运动 物体的三维结构，估计物体的运动参数。目前，它已成为运动图像处理的重要组成部份。 相对刚体运动而言，现实世界中非刚体运动是一种更常见、更普遍的运动形式。由于非刚体运动 的普遍性和多样性，近年来非刚体运动视觉分析已在许多领域得到了应用，如：农业信息智能处理领 域、农业机械智能化领域、农业和食品工业应用场合、医学领域、生物特征识别技术领域等。非刚体 运动视觉分析技术不仅可用于农业、农业机械或与农业相关的领域，在别的领域也同样具有非常广泛 的应用前景。 考虑到农业领域中，连接型和弹性型非刚体运动是更为普遍的非刚体运动形式，因此本文的工作 主要面向连接型和弹性型非刚体运动展开，以人体、手指和合成单目动态图像序列为研究对象，提出 了一些相应的模型和算法，期望为双足机器人行走步态控制、多指灵巧手的设计以及其他一些与非刚 体运动相关的研究工作提供有效的理论和方法。 全文共分三篇，主要围绕三维运动分析的基本概念和方法、连接型非刚体运动及结构参数估计、 弹性型非刚体运动及结构参数估计三方面内容展开，主要内容安排如下： 第1 章阐述了非刚体运动视觉的研究意义，介绍了常见的非刚体运动形式分类方法，分析了现有的 连接型非刚体和弹性型非刚体运动分析方法及其存在的不足，提出了本文主要的研究内容和研究方法。 第2 章介绍了与本文三维运动分析相关的一些基本概念和方法，给出了三维运动分析的主要求解参 数，分析说明了本文以下章节采用透视投影模型和基于特征对应运动估计方法的理论依据。 第3 章以单目人体运动图像序列为实验对象，提出了一种人体三维运动信息恢复方法，该方法分 为两部分：基于遗传算法和k a l m a n 滤波的二维特征点跟踪和基于多约束融合的关节点三维运动分析。 在二维特征点跟踪算法中，将基于k a l m a n 滤波理论的特征点跟踪方法与遗传算法有机地结合在一起， 以遗传算法的运算流程为基本框架，在遗传算法的个体及适应度函数设计中，综合考虑特征点的预测 跟踪结果、伪特征点、特征点的遮挡以及运动平滑性等因素。在关节点三维运动轨迹估计方面，综合 考虑了二维图像坐标与三维空间坐标的透视投影关系、人体运动的局部刚性和平滑性、人体骨骼的生 理解剖学知识等因素。实验结果表明，利用本章提出的方法可以有效地去除图像中的伪特征点，恢复 出被遮挡特征点的位置，实现图像序列中特征点的正确匹配，在透视投影模型下，基于刚体约束、结 构约束和运动平滑性约束能有效恢复出尺度意义下人的手臂和腿的三维运动轨迹。 i 第4 章以单目手指运动图像序列为实验对象。主要研究了基于小平面对应模型的非刚体三维运动 估计方法。结合手指骨架模型的运动特性分析，给出了手指三维运动估计中的运动约束、深度约束和 刚体约束方程，利用惩罚方法建立了三维运动估计目标函数。为解决特征点匹配问题，结合第3 章的 特征点k a l m a n 滤波器设计方法，给出了改进的基于块匹配和硷d m 觚滤波的特征点跟踪算法。实验结 果表明，本章提出的方法可以实现图像序列中特征点的正确匹配，通过对目标函数的优化求解，能有 效恢复出手指的三维运动轨迹。 第5 章和第6 章以弹性型非刚体合成运动图像序列为研究对象，在假设帧间特征点匹配关系已确立的 前提下，将非刚体三维运动参数求解问题转化为非刚体上特征点的三维运动参数求解问题，给出了透视 投影方式下非刚体的局部仿射运动模型。需要指出的是，该模型也可以用其它合理的运动模型来代替。 第5 章探讨了基于正则化的t i e t $ j 体局部三维运动估计方法。将非刚体运动的先验知识融入到运动估 计过程中，分析了正则化运动估计中目标函数的建立方法。最后，通过l e v e n b e r g - ) h r q u a r t 非线性最优 化方法实现了非刚体的局部运动参数求解。实验结果表明，与不采用正则化的最小二乘估计方法相比， 本章提出的方法可以更鲁棒地估计出非刚体的局部三维运动参数。 为了解决正则化方法只能分析非刚体局部三维运动的缺点，第6 章在基于m a p m r f 的分析框架 中建立了与特征点运动估计相对应的非规则m r 2 模型，构造了非规则l v l r 2 模型中反映非刚体局部三 维运动参数之间约束关系和运动参数联合概率分布的能量函数，通过能量函数最小化估计运动参数。 为提高求解效率并解决解的唯一性问题，建立了分层i v l r 2 模型，在较粗层使用最小二乘法，在更细 化的层中采用s a 算法，并根据非刚体三维运动估计的特点提出了模拟退火算法的改进方案。实验结 果表明，本章提出的方法可以鲁棒地估计出弹性型非刚体的三维运动参数。 第7 章总结了本文的研究内容，指出了本文的创新点，提出了进一步的研究方向。 关键词：三维非刚体运动视觉；遗传算法；k a l m 柚滤波：正则化；多层m a r k o v 随机场；模拟退火 算法 浙江大学博士学位论文 a b s t r a c t 3 dm o t i o na n a l y s i si so n eo fa c t i v e8 t e ai nc o m p u t e rv i s i o n b a s e do nt h ep r o g r e s so f2 di m a g e p r o c e s s i n g ，i tp r o v i d e st h em o t i o na n ds t r u c t u r ep a r a m e t e r so fm o v i n go b j e a si ns n eb ym e a s u r i n ga n d c o m p u t i n gt h ec o o r d i n a t eo f f e a t u r e s n o w , i th a sb o m ea ni m p o r t a n tp a r to f m o t i o ni m a g ep r o c e s s i n g c o m p 越dw i t hr i g i dm o t i o n , n o n - r i g i dm o t i o ni sm o r eg e n e r a li nr e a lw o r l d b e c a u s eo ft h eg e n e r a l i t y a n dv a r i e t y , i th a saw i l da p p l i c a t i o ni nm a n yf i e l d ss u c ha si n t e l l i g e n tp r o c e s s i n go f a g r i c u l t u r a li n f o r m a t i o n ， i n t e l l i g e n t i z a t i o no f a g r i c u l t u r a lm a c h i n e r y , a g r i c u l t u r ea n df o o di n d u s t r y , b i o m e d i c a le n g i n e e r i n g ，b i o m e t r i c s t e c h n o l o g ye t c a r t i c u l a t e da n de l a s t i cn o n - r i g i do b j e c t sa l eo u rm a i nr e s e a r c ho b j e c t sb e c a u s et h e ya r em o r eg e n e r a l t h a no t h e r si na g r i c u l t u r ef i e l d b a s e do nt h eh u m a n , f i n g e ra n ds i m u l a t e dm o t i o ni m a g es e q u e n c e s , s o u ” m o d e l sa n da l g o r i t h m sw h i c hr e s p e c t i v e l yc o r r e s p o n dt ot h em o t i o no fa r t i c u l a t e da n de l a s t i c n o n - r i g i d o b j e c t sh a v eb e e np r o p o s e di nt h i sd i s s e r t a t i o n o u ro b j e c t i v ei st op r o v i d es o m eu s e f u lt h e o r i e so rw a y sf o r t h ed e s i g no fg a i tc o n t r o lo fh u m a n o i dr o b o t , t h ed e s i g no fm u l t i - f m g e r e dr o b o th a n da n do t h e rr e s e a r c h w o r k sr e l e v a n tt ot h en o n - r i g i dm o t i o n t h ed i s s e r t a t i o nm a i n l yc o n s i s t so f t h r e et o p i c s ，n a m e l yt h eb a s i cc o n c o p t sa n dm e t h o d so f 3 dm o t i o n a n a l y s i s ，m o t i o n a n d s t r u c t u r ep a r a m e t e r se s t i m a t i o no f a r t i c u l a t e da n de l a s t i cn o n - r i g i do b j e f t t h ec o n t e n t s o f l i sd i s s e r t a t i o na r ca r r a n g e da sf o l l o w c h a p t e r1d e m o n s t r a t e st h es i g n i f i c a n c eo f n o n - r i g i dm o t i o nv i s i o n , i n u o d u c e st h eg e n e r a lc l a s s i f i c a t i o n o fn o n - r i g i dm o t i o nf o r m s , a n a l y z e st h ee x i s t i n gm e t h o d so fa r t i c u l a t e da n de l a s t i cn o n - r i g i do b j e c t s , d i s c u 蛳st h el i m i t a t i o n so f t h e s em e t h o d sa n do u t l i n e s 缸l em a i nr e s e a r c hc o m e t so f t h i sd i s s e r t a t i o n c h a p t e r2i n t r o d 蝴f m l l eb a s i cc o n c e p t sa n dm e t h o d sc o n c e r n e dw i t ht h i sd i s s e r t a t i o n , e x p l a i n st h e r e a s o nw h yt h ep e r s p e c t i v ep r o j e c t i o nm o d e la n dt h em e t h o db a s e do nf e a t u r ec o r r e s p o n d e n c ei su s e dt o e s t i m a t em o t i o no f o b j e c ti nt h i sd i s s e r t a t i o n c h a p t e r3p r o p o s e sa na p p r o a c hi nt w op a r t st or e c o n s t r u e t3 dm o t i o no fh u m a ni nm o n o c u l a ri m a g e s e q u e n c eo fh u m a nm o t i o n i nt h ea p p r o a c h sf o r m e rp a r t , k a l m a nf i l t e ri sr e a s o n a b l yi n t e g r a t e di n t ot h e b a s i cf r a m e w o r ko f g o n e t i ca l g o r i t h m ( g a ) i t sm a i no b j e c t i v ei st oo b t a i nt h ec o r r e c tc o r r e s p o n d e n c eo f 2 d f e a t u r ep o i n t sb e t w e a f f lc o n s e c u t i v ei m a g ef r a m e s i no r d e rt os o l v et h i sp r o b l e m ，s e v e r a lf a c t o r s ，s u c ha st h e p o s i t i o ne s t i m a t o r so f f e a t u r ep o i n t , p s e u d of e a t u r ep o i n t s , t h eo c c l u s i o no f f e a t u r ep o i n ta n dt h es m o o t h n e s s i a b t t r a t t 一一 p f o p e 啊o f m o t i o na n ds oo n , a r ec o n s i d e r e dd u r i n gt h ed e s i g no f g a si n d i v i d u a lc o d ea n d 矗仃麟f i h 州 t h ee x p e r i m e n t sr e s u l ts h o wt h a tb ym e a n so f t h ep r o p o s e da p p r o a c ht h e c o r r tc o 懈p o n d e n c eo f 诧a 重u 地 p o i 鹏mu l l a g es e q u e n c ec a nb er e a l i z e da f t e rt h ep s e u d of e a t u r ep o i n t sm e 】j m j n 删蠲dt h e 刚u 捌 砌n 鹏p o i n 协i sr e s t o r e d i nt h e a p p r o a e h s l a t t e r p a r t , s o m ec o n s t r a i n t s f o r “m d l et h e 脚c t i ”。p r o j e c t i o nr e l a t i o n s h i pb e t w e e n2 di m a g ec o o r d i n a t ea n d3 ds p a c ec o o r d i n a t e , t h el o c a ld g i d i t v a n ds m o o t h n e s sp r o p e r t yo f h u m a n m o t i o n , t h ep r i o rk n o w l e d g eo f h u m a na n a t o m ye t e ，a l l s e dt o 缸a l e 3 dm o t i o nt r a j e c t o r yo f j o i n t sb a s e do nt h er e s u l t so f 2 df e a t u r e - p o i n t t r k i n g t h ee x p c 咖】如tm u 船s l l o w t h a t3 dm o t i o nt r a j e c t o r yo fh u m a n sa r ma n dl e gc a nb ee f f e c t i v e l yc o m p u t e db a s e do n t 1 1 ec o n s 缸i n t so f r i g i d i t y , s t r u c t u r ea n dm o t i o ns m o o t h n e s su n d e rt h ep e r s p e c t i v ep r o j e c t i o nm o d e l c 1 1 a p t e r4m a i n l yr e s e a r c ht h ew a yt oe s t i m a t e3 d n o n - r i g i dm o t i o nb a s e do nt h ec o r r e s p o n d e em o d e l o fp 1 8 1 脚p 8 劬i nm o n o c u l a ri m a g es e q u e n c eo ff i n g e rm o t i o n t h r o u g ht h em o t i o n - p r o p e r t y a n a l y s i so f n n g e r ss t i c k - f i g u r em o d e l ，t h r e ec o n s w o j n te q u a t i o n s ，i c m o t i o nc o l k s l r a i n t , d e p t hc o n s t r a i n ta l l dr i g i d i t y c o n s w a i n t , a r ef o r m u l a t e d t h e n , t h eo b j e c t i v ef u n c t i o ni sc r e a t e db yu s i n gt h ep e n a l t ym c t l o dh lo 柑口t o e s t a b l i s ht h ec o r r e s p o n d e n c er e l a t i o n s h i po ff e a t u r e p o i n t s 0 1 1f i n g e rb e t w e e nc o n s u t i v e 觑蚰。龇 i m p r o v e db l o c k - m a t c h i n ga l g o r i t h mi s p r e s e n t e d t h ee x p e r i m e n tr e s u l t sp w e 妇tl l l ec c 删 c o ”s p o n d e n c eo ff e a t u r ep o i n t si ni m a g es e q u e n c ec a nb ea t t a i n e d b ym e a n so ft h ei l n d v e d b l ”k “眦h h l ga i g o f i t h ma n d3 dm o t i o nt r a j e c t o r yo ff i n g e rc 柚b ee f f e c t i v e l yr e e o m t r u e t e db y 删m i z 堍 t h eo b j e c t i v ef u n c t i o n 1 l lc h a p 瞬5a n dc h a p t e r6 ，u n d e rt h eh y p o t h e s i st h a tt h ec o r r e s p o n d e n c e r e l a t i o n s h i po ff e a t u r ep o i n t s c o n s e c u t i v ef r a m e sh a v eb e e ne s t a b l i s h e di nm o t i o ni m a g es e q u e n c eo f e l a s t i c 前g i do b j 毗t 1 1 e p r o b l e mt oe s t i m a t e3 dm o t i o np a r a m e t e r so f n o n - r i g i d o b j e o ti sm f e r r e d t ot h eo f 圮t 0e 鲥m a 把3 dm o 廿o n p a r a m e t e r so ff e a t u r ep o i n t so nn o n - r i g i do b j e c t t h e n , t h el o c a la f t m em o t i o nm o d e li sg i v e nu n d e rt h e p e r s p e c t i v ep r o j e c t i o nm o d e l i tn e e d st ob em e n t i o n e dt h a to t h e ra p p r o p r i a t em o d e l sa l s o 啪b el l s e dt o s u b s t i t u t e 细n a 街n em o t i o nm o d e l c h a p t e r5p r e s e n t saw a yt oe s t i m a t el o c a l3 dm o t i o no fn o n - r i g i do b j e c tb a s e do nr e 刖甜i z 砒i o n t e c h n o l o g y b ym a l l l so f t h i st e c h n o l o g y , t h ep r i o rk n o w l e d g ea b o u tn o n - r i g i dm o t i o ni si n t e g r a t e di l i t o 廿地 p r o c e d u r eo f m o f i o ne s t i m a t i o n t h e n , t h ew a yh o wt of o r m u l a t et h eo b j e c t i v ef u n c t i o no f m o t i o ne s t i m a t j 彻 i se x p l a i n e da n dl e v e n b e r g - m a r q u a r tm e t h o di su s e dt os o l v et h eo b j e c t i v ef u n c t i o n t h ee x p e r i m e n ti s u n s p r o v e t h a t t h e w a y w i t h r e g u l a f i z a t i o n t e c h n o l o g y i s b e t t e r t h a n t h e w a y w i t h o u tr e g u l a r i z a t i o n t e c h n o l o g y 浙江大学博士学位论文 i no r d e rt oo v m _ c o m et h el i m i t a t i o no ft h er e g u l a r i z a t i o nm e t h o d , c h a p t 日6b u i l d sa ni r r e g u l a rm r f m o d e ls u i t a b l ef o rt h em o t i o ne s t i m a t i o no ff e a t u r ep o i n tb a s e do i lm a p - m r ff l a m e t h ee n c l * g yf u n c t i o n , w h i c ho a r lr e f l e c tt h e j o i n tp r o b a b i l i t yd i s t r i b u t i o no f m o t i o n p a r a m e t e r sa n dt h ec o n s t r a i n t sr e l a t i o no f l o c a l 3 dm o t i o np a r a m e t e r s ，i se s t a b l i s h e di ni r r e g u l a rm r f t h e n , am u l t i - l e v e lm r f i sc r e a t e ds o t oi m p r o v e t h ee f f i c i e n c yo fa l g o r i t h ma n ds o l v et h ep r o b l e mo fs o l u t i o nu n i q u e n e s s i nt h em u l t i - l e v e l 艰f - t w ok i n d s o f o p t i m i z a t i o na l g o r i t h m , v i z l e a s ts q u a r e dm e t h o da n ds i m u l a t e da l g o r i t h m ，i su s e dt om i n i m i z et h ee n e r g y f u n c t i o n m e a n w h i l e , a ni m p r o v e ds ai sd i s c u s s e da c c o r d i n gt ot h em o t i o n - _ e s t i m a t i o n - p r o p e r t ya n a l y s i so f n o n 。r i g i do b j e c t t h ee x p o r i m e n tr e s u l t sf r o mt w os y n t h e t i ci m a g es e q u e n c e sd e m o n s t r a t et h er o b u s t n e s so f s o l u t i o n sa n dt h ef e a s i b i l i t yo f o u ra l g o r i t h m c h a p t e r7f i r s t l ys u m m a r i z e st h er e s e a r c hw o r ka n dp o i n t so u tt h eo r i g i n a l i t i e so f t h i sd i s s e r t a t i o n t h e n , t h er e c o m m e n d a t i o n sf o rf u t u r ew o r ka ma l s og i v e n k e y w o r d s ：3 dn o n - r i g i dm o t i o nv i s i o n , g e n e t i ca l g o r i t h m , k a l m a nf i l t e r , r e g u l a r i z a t i o n , m u l t i 1 e v e l m a r k o vr a n d o m f i e l d ，s i m u l a t e d a n n e a l i n g a l g o r i t h m 附图索引 附图表索日 浙江大学博士学位论文 附图表索5 附表索引 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。 据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写 过的研究成果，也不包含为获得迸至三盘堂或其他教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签名：于文7 ；签字日期：加吖年f 月 古日 学位论文版权使用授权书 本学位论文作者完全了解逝望盘堂有关保留、使用学位论文的规定，有权保留 并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授权一 迸望盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、 缩印或扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授权书) 学位论文作者签名： 步& 玛 导师签名： 签字日期：砧1 年月罟日 学位论文作者毕业后去向： 签字日期：扣于年f 月莎日 工作单位：浙江理工大学电话：8 6 8 4 3 3 2 8 通讯地址：浙江杭州下沙园区浙江理工大学5 1 l # 信箱邮编：3 1 0 0 1 8 i i i 浙江大学博士学位论文 第l 章绪论 【本章摘要】本章论述了非刚体运动视觉的目的、意义和研究进展，给出了常见盹 非刚体运动形式分类方法根据对现有文献的分析，详细余绍了非刚体中连接型和 弹性型非刚体运动视觉的研究现状和存在的不足最后，对本文的研究内容和方法 进行了综述性的介绍 1 1 非刚体运动视觉的研究意义 计算机视觉是一个相当新且发展十分迅速的研究领域，它利用计算机模拟人眼的视觉功能，从图 像或图像序列中提取信息，对客观世界的三维景物和物体进行形态和运动识别。随着计算机硬件技术 的迅速发展，计算机视觉技术正迅速渗透到人类生活和社会发展的各个方面，成为计算机科学的重要 研究领域之一。可以说，需要人类视觉的场合几乎都需要计算机视觉。从图像序列中估计出场景的结 构与运动参数是近代计算机视觉领域最重要的研究课题之_ 【o2 】，由于它可以应用到许多场合中。具 有很大的应用价值，因此受到国内外广大科研工作者的关注，而且引起了相关商家的浓厚兴趣。然而， 研究能自动分析刚体或非剐体运动的算法是一项非常困难的工作。 由于刚体运动的简单性，运动分析的早期研究工作大都基于刚性假设展开p 4 ”。刚性假设对运动 分析提出了非常严格的限制条件，如物体表面两点之间的距离或角度必须保持不变，因而运动分析时 只需要估计一个正交旋转变换矩阵和一个平移向量即可。然而，现实世界中大多数生物体都具有柔性 和连接性，他们的运动都属于非刚体运动，例如：手指的弯曲、脸部的运动、身体的扭曲、云层的漂 移、树叶的摆动等。因此，相对刚体运动而言，现实世界中非刚体运动是一种更常见、更普遍的运动 形式，也即是说，大多数情况下用刚性假设来描述现实世界中的物体运动是不充分的，它存在必然的 局限性。由于非刚体运动的普遍性和多样性，近年来非刚体运动视觉分析己在许多领域得到了应用嘲。 1 1 1 农业信息智能处理领域的应用 在农业信息智能处理领域，非刚体运动视觉已被用于农业机械结构设计、天气预报中云层变化的 跟踪等方面。 在农机结构设计方面。研究人员主要利用非刚体运动视觉分析方法对非刚性目标的运动轨迹进行 跟踪，然后将提取得到的轨迹作为机械结构参数修改时的依据。例如，李丽勤等【7 】在分析免耕播种机 试验图像序列( 如图1 1 所示) 时发现：粉碎后抛撒出的秸秆形状非常不规则而且混杂在其它些被 1 第l 章绪论 抛起的秸秆碎片、土壤颗粒以及根茬中，基于对玉米秸秆粉碎后抛撒运动图像特点的分析，他们提出 了一种改进的变形模板跟踪算法实现非刚性目标的运动跟踪，用于提取图像中玉米秸秆粉碎后的抛撤 轨迹，为免耕播种机的结构设计提供参考依据。 图1 1 玉米秸秆粉碎后抛撒运动l 室】像序列 在人气预报的厶层分析方面，l i n 8 - 1 0 等在没有任何特征点对应先验知识的前提f ，将卫星厶图分 为若干小区域，对每个小区域进行局部分析后，再利用一个分层迭代算法把局部分析结果和全局流体 模型约束条件结合起来，最后从2 d 卫星云图巾恢复出龙卷风的深度信息和非刚性运动。 被恢复的云层深度信息 ( 6 ) 被恢复的云层运动2 d 投影w 平面 圈1 2l i n 从2 1 ) 卫星云图中恢复出龙卷风的深度信息和非刚性运动 1 1 2 农业机械智能化领域的应用 在农业机械智能化领域，各种类型农业机器人的研究是其重要发展方向之一。其中，双足机器人 由于比传统的多足式机器人或其他类型机器人具有更丰富的动力学特征、更高的灵活性、更强的环境 适应性以及更复杂的动力控制系统，已成为机器人学科中最有挑战性的研究热点之一，受到国内外学 者的关注】。双足机器人既可以进入相对狭窄的空间，也可以跨越障碍、上下台阶或斜坡、甚至在不 2 浙江大学博士学位论文 平整的地面上运动，还可在有放射性、危险及其它对人体有害的环境中取代人类劳动，把人从高强度、 长时间及单调乏味的工作中解脱出来，因此在复杂的农业作业环境中也是非常有用的，具有相当广阔 的应用前景。 在双足机器人研究中。步态规划是它的一项关键技术n 2 1 ，要实现和提高机器人的行走性能，必须 研究实用而有效的步态规划方法。由于研究双足机器人的目的是希望它能够像人一样自由行走，所以 许多研究者在步态规划中利用人类行走规律来设计机器人的运动轨迹，虽然机器人的机械结构和人的 骨骼存在差异，直接利用人的行走数据设计机器人的步态是不恰当的，但从人的行走数据中可以得到 许多有用的步态规律，并以此来指导双足机器人的步态规划，如本田公司在它们的p 2 、p 3 和a s i m o 双足机器人的关节轨迹中即采用了人类行走数据呲1 ”，取得令人满意的结果。文献【1 4 】也以巴西a a c d 实验室d r w a n g e rd eg o d o y 等提供的数据为基础，对如何利用人类行走统计数据进行机器人步态规划 这一问题进行了研究。 因此，如何获得具有指导意义的人类行走统计数据也是双足机器人研究方向中的一项重要内容之 之一。目测观察是最简单的获得人体步态信息的方法，但它存在客观性较差、易产生视觉疲劳等缺陷。 借助秒表、米尺、量角器等进行直接测量的方法也较为简单，但它们受观察者主观因素影响较大，测 量精度不高。其他类型的方法则需要借助各种特殊的测量仪器。近几十年来，随着计算机视觉领域理 论和技术的发展，许多科研人员将计算机视觉理论和技术应用到步态分析上，并作了大量工作。 此外，为了提高机器人的智能化水平和作业水平，近年来越来越多的机器人学者对多手指灵巧手 的研究也产生了浓厚兴趣，机器人多指灵巧手抓取和操作的研究正成为该学科的一个重要研究主题， 而多指灵巧手的飞速发展使其在农业生产中的应用( 例如采摘、播种等) 也成为可能【”】。与机器人步 态规划分析相类似，如果要使多指灵巧手更精巧灵活、精度更高、柔顺性更好，除了对它的控制系统 进行更深入的研究外，对真实人手的运动进行分析以提供手指运动规律的参考数据也是必需的。另外， 有些研究人员还尝试用人的手势识别结果来控制机器人的手臂运动1 1 6 t ” 1 1 3 农业和食品工业领域的应用 许多农业和食品工业应用场合也需要处理非刚性物体，在这些场合中，经常使用机械手臂将物体 放到某一合适位置，为下一步的处理或包装做好准备。然而，在机械手臂夹持下的农产品或食品往往 会产生非刚性形变，以致影响物体摆放位置的准确性，此时就需要利用非刚体运动分析和跟踪算法对 移送过程进行监控，以保证物体摆放位置的准确性。例如，a t i e n z a 1 i 1 9 l 等采用基于特征点的非刚体运 动视觉分析方法对机械手自动栽种过程中农作物的移种轨迹进行跟踪和控制。栽种过程中，由于机械 手夹持在待移栽植物顶端，当它对植物施力以便将植物的根部送入栽植洞时，长约3 0 厘米的植物会出 3 第1 章绪论 现非常明显的非刚性形变。a t i e n m 等将移栽过程 置于视觉系统的监控下，通过跟踪运动图像序列 中位于植物茎部和接近根部的若干特征点( 如图 1 3 所示) 的位置变化情况，恰当地控制机械手移 送植物的位置，使植物能被准确地送入栽植洞中 1 1 4 其它领域的应用 除了以上这些应用，非刚体运动视觉在其他 一些领域也得到了许多应用。例如在医学领域， 非刚体运动视觉已被用于分析左心室运动，揭示 左心室中的损坏和异常等情况。“2 1 1 ；文献 2 2 】则 田1 3 t i e n 对农作物移种轨迹进行跟踪和控制 采用相位相关法和基于遗传算法的非刚性光流场 估计方法对i c g a 眼底图像进行配准分析，以有效克服图像虚影并保留图像细节；在临床步态分析中， 研究人员通过对病人关节点的视觉跟踪，得出关节运动的异常情况，再辅以其它设备的输出结果，进 行运动疗法分析。指导关节病的物理泊疗嘲。在近年较热门的生物特征识别技术领域，研究人员利用 人的生理或行为特征进行身份鉴别，其中所采用的人脸识别2 蝴】，步态识别口7 柳等技术都与非刚体运 动视觉分析有关。值得一提的是，与人脸、指纹等生物特征识别技术不同，步态识别是一种非接触式 的远距离身份识别技术，不需要受试者近距离或接触识别设备，远距离情况下人脸和指纹不能被使用 时，步态仍然可以被感知，因此步态识别已成为生物识别技术中一个新兴领域，引起了广大视觉研究 者的极大兴趣。非刚体运动视觉在体育运动及运动员训练等方面也有应用，一些雏形系统已经建立p o ， ，1 1 。 此外，在机器人视觉中需要处理非刚体形状p 2 】( 如工业设备中带关节和可弯曲的部件、自然环境 下机器人操作非刚体等) 、虚拟现实技术中对非刚体的重建和模拟p 3 蚓、气流场分析p 月、手语识别哪 7 】等场合，都需要用到非刚体运动视觉分析技术。 总的来说，非刚体运动视觉分析技术不仅可用于农业、农业机械或与农业相关的领域，在别的领 域也同样具有非常广泛的应用前景p l l 。然而，由于非刚体运动形式的多样性，要得到非刚体运动过程 中所受约束的规律往往十分困难，利用视觉手段研究非刚体运动面临许多复杂性。目前，非刚体运动 视觉理论本身仍处于初级阶段，非刚体运动视觉的研究大都面向具体问题，应用的效果也不是很理想。 但是越来越多的应用领域需要非刚体运动视觉，这一切都迫切要求研究者对非刚体运动视觉进行更深 入的研究，以进一步完善非刚体运动视觉的理论框架。所以，对非刚体运动视觉的研究是非常有意义 4 浙江大学博士学位论文 的，也是非常有必要的。 1 2 非刚体运动形式的分类 由于非刚体运动具有十分广泛的运动形式，而且每种运动形式都有各自不同的变化规律，所以要 提出一种适用于所有运动形式的非刚体视觉分析方法是不可能的删。因此，有必要对非剐体的运动形 式进行分类，然后按不同的运动形式给出不同的运动约束条件，从而提出不同类型的视觉分析方法。 1 9 9 0 年，h u a n g 3 s 最早提出将非刚体运动分为三类：连接型非刚体运动、弹性型非刚体运动和流 体型非刚体运动。1 9 9 4 年，k m b h e t t i l m 垮人根据运动物体的非刚性程度，对非剐体运动进行了更 详尽的分类，如图1 4 所示。总的来说，他们把物体运动分为两大类：刚体运动与非刚体运动。更进 一步地，根据物体形变程度，他们又将非刚体运动分为：有约束非刚体运动和无约束非刚体运动两类。 圈1 4 物体运动形式分类 图i a 中。各种运动类型的定义如下： 寺 刚体运动( r i g i dm o t i o n ) 物体在运动中保持所有的距离和角度不变。 夸连接型非刚体运动( a r t i c u l a t e x lm o t i o n ) 涟接型非刚体运动是分段刚体运动。它假定物 体由若干部分组成，每一组成部分的运动是独立的且刚性的，但整体运动又具有非刚性。人 体运动一般被分类为连接型非刚体运动。 专类刚体运动( q u a s i - r i g i dm o t i o n ) 当物体的形变非常小时，可将物体的运动分类为类刚 体运动。一般情况下，很小时间间隔内的运动都可视为类刚体运动。 母等体型非刚体运动( i s o m e t r i cm o t i o n ) 运动中，物体表面曲线相互之间保持等距及等角。 等角型非刚体运动( c o n f o r m a l m o t i o n ) 运动中，物体表面曲线间的角度保持不变，但距 5 第1 章绪论 离会改变。 寺相似型非刚体运动( h o m o t h c f i cm o t i o n ) 运动中，物体表面的膨胀或收缩运动具有一致 性。 弹性型非刚体运动( e l a s t i cm o t i o n ) 在弹性型非刚体运动中，物体的形状改变应满足一 定程度的连续性和平滑性要求。较常见的例子有：心脏运动、衣服摆动、金属薄片的融化等。 专流体型非刚体运动( f l u i d i cm