博士学位论文-大范围头部姿态跟踪关键技术研究.pdf

浙江大学计算机科学与技术学院 博士学位论文 基于视觉的大范围头部姿态跟踪关键技术研究 姓名：赵刚强 申请学位级别：博士 专业：计算机科学与技术 指导教师：陈根才;陈岭 20091001 浙江大学博士学位论文摘要 摘要 三维头部姿态跟踪( 3 dh e a dp o s et r a c k i n g ) 是计算机视觉和人机交互领域中的 重要问题，也是近年来越来越引起重视的研究方向，其主要目的是通过对输入图 像序列的分析确定头部在三维空间中的姿态参数。三维头部姿态跟踪技术在人机 交互、智能监控、视频压缩编码、人脸识别、表情识别、疲劳检测、基于身体控 制的游戏和娱乐等领域有广泛的应用前景。 目前常用的头部姿态估计方法可以分成两大类：基于统计学习的方法和基于 注册跟踪的方法。基于统计学习的方法假设头部姿态参数和人脸的某些特征之间 存在一定的对应关系，并通过对大量具有不同姿态的样本图像进行训练来确定这 种关系。此类方法容易受到特征定义的影响，并且往往要对姿态参数进行插值操 作，因此结果不够精确。基于注册跟踪的方法通常假设头部为刚性物体，通过帧 与帧之间的特征点跟踪计算姿态参数。所选择的特征在不同的实现中有很大的差 异。一种方法是选择嘴角、鼻尖和眼角等显著特征点进行跟踪，当所选的特征点 被遮挡时会影响跟踪结果。另一种方法是在跟踪过程中动态选择特征点，当一些 特征点丢失后自动进行补充，此类方法有更鲁棒的表现。总体来说，基于注册跟 踪的方法易于实现，同时具有较高的跟踪精度。 已有的头部姿态跟踪算法大都假设被跟踪对象没有身体运动或者很小的身 体运动，如用户坐在椅子上的情况。人们在日常生活中很多时候都是通过头部姿 态来表达自己的注意力方向、态度和心理感受的，而在这些活动中，人们可能是 坐在固定位置，也有可能是在身体运动过程中的。这里我们定义身体运动情况下 的头部姿态跟踪为大范围头部姿态跟踪。相对于传统的小范围头部姿态跟踪技 术，大范围头部姿态跟踪技术可以更方便的应用在人机交互、智能监控和行为识 别等多个领域。 本文选用基于注册的方法来解决大范围头部姿态跟踪问题，但是当人体大范 围运动时，过大的姿态参数变化会降低注册算法的精度，逐帧跟踪的方法在长时 浙江大学博士学位论文摘要 间跟踪后会导致一定的误差累计，并且为了进行三维姿态参数计算，还需要提供 对应头部特征点的深度信息。因此，本文提出基于局部特征描述符的注册算法和 视角表观模型相结合的跟踪方法，该方法将整个姿态跟踪过程分为三个主要部 分：一是获取视频信息和对应的深度信息，深度信息既可以使用立体摄像机获得 也可以通过立体匹配技术获得；二是通过基于局部描述符的注册算法计算两帧之 间的姿态参数变化；三是使用外观模型消除跟踪过程中的误差累计。与以前的工 作相比，本文主要有以下几个方面的贡献： 1 提出一种基于尺度不变特征变换( s c a l e i n v a r i a n tf e a t u r et r a n s f o r m ，以下简 称s i f t ) 描述符的注册算法。首先在两帧灰度图像中找到匹配的s i f t 特征 点，然后通过立体摄像机或者立体匹配技术获得这些匹配点的深度信息， 为了克服错误匹配点的影响，最后使用基于随机抽样一致性( r a n s a c ) 的 运动估计方法来计算头部运动。基于s i f t 特征匹配的注册算法具有较高 的跟踪精度，当两帧图像间发生一定尺度变化时仍然可以完成跟踪，是一 种适合大范围头部姿态跟踪的注册算法。该算法是第一个针对大范围头部 姿态跟踪提出的注册算法，在领域内产生了一定的影响，我们发表的介绍 该算法的文章已被多个国际同行引用。 2 提出一种紧凑的特征描述符k p b 。s i f t ( k e r n e lp r o j e c t i o nb a s e ds i f t ，以 下简称k p b s i f t ) 。首先使用s i f t 检测算法计算特征点的位置、尺度和 主方向，然后通过对特征点邻域内的有向梯度信息进行核映射的方式获得 低维描述符。与s i f t 相比，k p b s i f t 可显著提高描述符的匹配速度，并 且具有较强的区分度，在发生光照变化和几何形变等情况下都有鲁棒的表 现。 3 提出一种视角表观模型。该模型通过多次注册的方法消除逐帧跟踪时的误 差累计，其原理就是当前帧除了和它的前一帧进行注册外，还可以和一两 个关键帧进行多次注册以减少误差累积。具体来说，就是从输入序列中选 择一些关键帧组成描述头部的表观模型，每个关键帧都被附加上对应的姿 态参数，除此外还对每个关键帧精确提取头部区域作为头部视角，当被跟 浙江大学博士学位论文摘要 踪对象大范围运动时，只要当前帧的头部视角与模型中的关键帧头部视角 接近时，当前帧就与关键帧进行注册。多次注册的结果通过卡尔曼滤波器 ( k a l m a nf i l t e r ) 进行平滑己获得最终的姿态参数。视角表观模型不仅可以减 少跟踪过程中的误差累计，在头部进出摄像机视角、头部离摄像机较远等 情况下，视角表观模型还可以用来快速恢复头部姿态参数。 4 提出一种适合稠密立体匹配的快速局部特征描述符( s p e e d e d u pl o c a l d e s c r i p t o r ，以下简称s u l d ) ，用来作为立体匹配过程中的对应点查找方 法。为了生成局部描述符，首先使用哈尔( h a a r ) 函数对图像进行滤波，其 次对滤波响应图进行多次高斯平滑，然后计算采样点并获得采样向量，最 后对采样向量进行归一化并生成描述符。通过使用h a a r 函数响应信息和 紧凑的描述符形式，s u l d 方法在描述符生成阶段和匹配阶段都可以快速 的进行计算。使用s u l d 描述符作为相似度评价方法，可以解决人脸等弱 纹理图像的立体匹配问题，进而生成对应的深度信息，为基于单目摄像机 的头部姿态跟踪提供深度约束。头部深度信息还可以在人机交互、表情识 别、游戏和娱乐等领域得到广泛的应用。 在整个研究过程中，还实现了一个集视频采集、深度获取、姿态计算和结果 评测与一体的头部姿态跟踪原型系统一h p o b s e r v e r 。h p o b s e r v e r 为验证各关键技 术和后续研究工作提供了一个完整方便的测试平台。 使用多组头部运动序列进行的实验表明，提出的方法能完成对头部运动的跟 踪，即使在人体大范围运动、头部进出摄像机视角、人脸部分遮挡、脸部表情明 显变化等情况下都能鲁棒的完成跟踪。在本文最后，分析了提出方法的主要问题 并展望了未来的研究方向。 关键词：人机交互，头部姿态跟踪，注册算法，局部描述符，立体匹配，头部 运动 浙江大学博上学位论文a b s t r a c t a b s t r a c t 3 dh e a dp o s et r a c k i n gi sa l li m p o r t a n tr e s e a r c hp r o b l e mi nt h ef i e l do fc o m p u t e r v i s i o na n dh u m a nc o m p u t e ri n t e r a c t i o n r e c e n t l y , i tb e c o m e st ob eam o r ea t t r a c t i v e r e s e a r c hd i r e c t i o n t h ep r i n c i p a lo b j e c t i v eo fh e a dp o s et r a c k i n gi se s t i m a t i n gt h e3 d p o s ep a r a m e t e r sb ya n a l y z i n gt h ei n p u ti m a g es e q u e n c e t h eh e a dp o s ei n f o r m a t i o n c a nb ew i d e l ye m p l o y e di nh u m a nc o m p u t e ri n t e r a c t i o n ，i n t e l l i g e n ts u r v e i l l a n c e ，v i d e o c o m p r e s s e d c o d i n g ，f a c er e c o g n i t i o n ，e x p r e s s i o nr e c o g n i t i o n ，f a t i g u ed e t e c t i o n , b o d y c o n t r o l l e dg a m e s ，e n t e r t a i n m e n t sa n de t c m o s te x i s t i n gh e a dp o s et r a c k i n gm e t h o d sc a nb ec l a s s i f i e di n t ot w oc a t e g o r i e s ： s t a t i s t i c sl e a r n i n g - b a s e dm e t h o d sa n dr e g i s t r a t i o n b a s e dm e t h o d s s t a t i s t i c sl e a r n i n g - b a s e dm e t h o d sa s s u m et h e r ee x i s t sar e l a t i o n s h i pb e t w e e ns o m ef a c i a lf e a t u r e sa n d3 d h e a dp o s e s ，a n di te m p l o y sal a r g en u m b e ro ft r a i n i n gi m a g e st od e t e r m i n et h i s r e l a t i o n s h i p t h e s em e t h o d sa r ee a s i l ya f f e c t e db yt h ef a c i a l f e a t u r e ss e l e c t i n g a p p r o a c h e s ，a n dt h e yu s u a l l yn e e dt oi n t e r p o l a t et h er e c o v e r e dp o s ep a r a m e t e r s ，s o t h e i rr e s u l t sa r en o tv e r ya c c u r a t e r e g i s t r a t i o n b a s e dm e t h o d sc o m m o n l ya s s u m et h e h e a di sar i g i do b j e c ta n de s t i m a t et h ep o s ep a r a m e t e r sb ye m p l o y i n gt h ef e a t u r e c o r r e s p o n d e n c e sb e t w e e nt w of r a m e s t h es e l e c t e df e a t u r e sm i g h tv a r yf r o mo n e i m p l e m e n t a t i o nt oa n o t h e r o n ea p p r o a c hi ss e l e c t i n gd i s t i n c tf e a t u r e ss u c ha sm o u t h c o m e r s ，n o s et i p ，e y ec o m e r sa n de t c t h et r a c k i n gr e s u l t so ft h i sa p p r o a c hw i l lb el e s s p r e c i s ew h e nt h es e l e c t e df e a t u r e sa r eo c c l u d e d t h eo t h e ra p p r o a c hi ss e l e c t i n gf a c i a l f e a t u r e sd y n a m i c a l l y t h i sa p p r o a c hc a na u t o m a t i c a l l ys e l e c tn e wf e a t u r e si nt h e t r a c k i n gp r o c e s sw h e ns o m ef e a t u r e sa r el o s t ，a n dh a sm o r er o b u s tr e s u l t s g e n e r a l l y s p e a k i n g ，r e g i s t r a t i o n b a s e dm e t h o d sa r ee a s i l yt ob ei m p l e m e n t e da n dh a v em o r e p r e c i s er e s u l t h o w e v e lw h e nt h eh e a dm o v e si nal a r g er a n g e ，i ti sd i f f i c u l tt or e g i s t e r t w of r a m e si ft h e r eh a sl a r g ep o s ec h a n g eb e t w e e nt h e m b e s i d e st h a t ，t h e r eh a sad r i f t a c c u m u l a t i o na f t e ral o n gt i m ef r a m e b y f r a m et r a c k i n g i no r d e rt oe s t i m a t e3 dh e a d p o s ep a r a m e t e r s ，t h er e g i s t r a t i o nm e t h o d a l s o r e q u i r e s t h e c o r r e s p o n d i n g3 d i n f o r m a t i o no ff a c i a lf e a t u r e s 浙江大学博士学位论文a b s t r a c t t h e s ee x i s t i n gh e a dp o s et r a c k i n gm e t h o d sa l w a y sa s s u m et h es u b j e c th a sn o b o d ym o v e m e n to ro n l ys m a l lb o d ym o v e m e n t ，e g t h es u b j e c ts i t t i n gi nac h a i r h o w e v e r , w h e nt h eh u m a nb e i n g se x p r e s si n t e r e s t ，a t t i t u d ea n df e e l i n gb yu s i n gh e a d p o s ei nt h e i rd a i l yl i f e ，t h e ye i t h e rs i t si nap l a c e ，o rm o v e si nal a r g er a n g e i nt h i s t h e s i s ，l a r g eh e a dp o s et r a c k i n gi sd e f i n e da st h eh e a dp o s et r a c k i n gw h i l et h e r eh a s b o d ym o v e m e n t a sc o m p a r e dw i t ht h ec o m m o nh e a dm o v e m e n tt r a c k i n g t h el a r g e h e a dm o v e m e n tt r a c k i n gt e c h n i q u ec a nb em o r ew i d e l ya p p l i e di nh u m a nc o m p u t e r i n t e r a c t i o n ，i n t e l i g n ts u r v i l i a n c e ，a c t i o nr e c o g n i t i o na n d e t c t h i st h e s i sd e a l sw i t ht h ep r o b l e mo fl a r g eh e a dm o v e m e n tt r a c k i n gb yu s i n gt h e l o c a ld e s c r i p t o rt od e t e c ta n dm a t c hf a c i a lf e a t u r e s t h ew h o l ep r o c e s si n c l u d e st h r e e s t e p s f i r s t ，g e tt h ei m a g ei n f o r m a t i o na n dc o r r e s p o n d i n gd e p t hm a p t h ed e p t hm a pi s o b t a i n e de i t h e rf r o ms t e r e ov i s i o nc a m e r ao rb y3 d r e c o n s t r u c t i n gt e c h n i q u e s s e c o n d ， r e g i s t e rt w of r a m e sa n de s t i m a t et h eh e a dp o s ec h a n g e t h i r d ，r e d u c et h ed r i f t a c c u m u l a t i o ni nt h e f l a m e - - b y - f r a m et r a c k i n gp r o c e d u r eb ye m p l o y i n ga p p e a r a n c e m o d e l ，w h i c hi sa l s oh e l p f u lf o rr e c o v e r i n gt h ep o s et r a c k i n ga u t o m a t i c a l l y c o m p a r e d w i t he x i s t e dw o r k o u rm a i nc o n t r i b u t i o n sc a nb es t a t e da sf o l l o w s ： 1 w ep r o p o s ean o v e ls c a l ei n v a r i a n tf e a t u r et r a n s f o r m ( s i f t ) b a s e d r e g i s t r a t i o na l g o r i t h m s a l i e n ts i f tf e a t u r e sa r ef i r s td e t e c t e da n dt r a c k e d b e t w e e nt w oi m a g e s ，a n dt h e nt h e3 dp o i n t sc o r r e s p o n d i n gt ot h e s ef e a t u r e s a r eo b t a i n e df r o mas t e r e oc a m e r ao r3 dr e c o n s t r u c t e di n f o r m a t i o n w i t h t h e s e3 dp o i n t s ，ar e g i s t r a t i o na l g o r i t h mi nar a n s a cf r a m e w o r ki s e m p l o y e dt od e t e c tt h eo u t l i e r s a n de s t i m a t et h eh e a d p o s e b yu s i n g s i f t - b a s e da l g o r i t h m ，t w of r a m e sc a nb ea c c u r a t e l yr e g i s t e r e de v e nw h e n t h e i rs c a l ea r ea l s oc h a n g e d t h u s ，t h ep r o p o s e ds i f t - b a s e dr e g i s t r a t i o n a l g o r i t h mi sa p p r o p r i a t ef o rl a r g eh e a dm o v e m e n tt r a c k i n g t h ep r o p o s e d s i f t - b a s e dr e g i s t r a t i o na l g o r i t h mi st h ef i r s tr e g i s t r a t i o na l g o r i t h md e s i g n e d f o rl a r g eh e a dm o v e m e n tt r a c k i n g ，a n dt h er e l a t e dp a p e rh a sb e e nr e f e r e n c e d b yo t h e rr e s e a r c h e r s 2 an e wc o m p a c tf e a t u r ed e s c r i p t o r , c a l l e dk e r n e lp r o j e c t i o nb a s e ds i f t ( k p b s i f t ) ，w a sp r o p o s e d i td e t e c t st h ei n t e r e s tf e a t u r ep o i n t su s i n gt h e v 浙江大学博士学位论文a b s t r a c t s i f tf e a t u r ed e t e c t o rf i r s t l y a n dt h e na p p l yk e r n e lp r o j e c t i o nt e c h n i q u e st o o r i e n t a t i o n g r a d i e n ti n f o r m a t i o n i nt h ef e a t u r e p o i n t sn e i g h b o r h o o d k p b s i f ti ss i g n i f i c a n t l yf a s t e ri nd e s c r i p t o r sm a t c h i n gs t a g e ，a n ds h o w s s u p e r i o ra d v a n t a g e si nt e r m so fd i s t i n c t i v e n e s s ，i n v a r i a n c et os c a l e ，a n d t o l e r a n c eo fg e o m e t r i cd i s t o r t i o n s 3 i no r d e rt or e d u c et h ed r i f ta c c u m u l a t i o nd u r i n gt r a c k i n gi nl a r g er a n g e ，w e p r o p o s eav i e w b a s e da p p e a r a n c em o d e l ，w h i c hc a ns e l e c tk e yf r a m e so n l i n e w h e nt h eh e a du n d e r g o e sd i f f e r e n tm o t i o n s 。t h e s ek e yf r a m e sa r ea n n o t a t e d w i t ht h e i rp o s e sa n dh e a dr e g i o n sb o t h ，a n dc o l l e c t i v e l yr e p r e s e n tt h e a p p e a r a n c e so ft h es u b j e c tv i e w e df r o mt h e s ee s t i m a t e dp o s e s t ob o u n dd r i r ， o u rt r a c k e rr e g i s t e r sc u r r e n tf r a m ea g a i n s ti t sp r e v i o u sf r a m eu s i n gt h e s i f t - b a s e dr e g i s t r a t i o na l g o r i t h mf i r s t l y , a n dt h e ns e l e c to n ek e yf r a m ea st h e b a s ef r a m ei fi t sv i e wo fh e a di ss i m i l a re n o u g ht ot h a to fc u r r e n tf r a m e ，a n d t h e nr e g i s t e r sc u r r e n tf r a m ea g a i n s tt h eb a s ef r a m eu s i n gt h es i f t - b a s e d r e g i s t r a t i o na l g o r i t h ma g a i n ，f i n a l l yt h ep o s eo fc u r r e n tf r a m ei so b t a i n e db y m e r g i n gr e s u l t so ft w or e g i s t r a t i o n su s i n gk a l m a nf i l t e r 4 w ep r e s e n tan o v e ll o c a li m a g ed e s c r i p t o rf o rd e n s ew i d e b a s e l i n em a t c h i n g p u r p o s e s ，c o i n e ds u l d ( s p e e d e d - u pl o c a ld e s c r i p t o r ) t h eb u i l d i n g p r o c e s so fs u l di sd i v i d e di n t of o u rs t a g e s f i r s t ，c o n v o l v ei n p u ti m a g e u s i n gh a a rw a v e l e tf i l t e r s e c o n d ，s m o o t hr e s p o n s em a p sw i t hg a u s s i a n k e r n e l s t h i r d ，c a l c u l a t es a m p l el o c a t i o n sa n do b t a i nt h ec o r r e s p o n d i n g s a m p l ev e c t o r sf r o ms m o o t h e dr e s p o n s em a p s f i n a l l y , n o r m a l i z es a m p l e v e c t o r sa n dc o n c a t e n a t et h es u l dd e s c r i p t o r s s u l dc a nb ec o m p u t e da n d m a t c h e dm u c hf a s t e rb ye m p l o y i n gt h ee f f i c i e n th a a rw a v e l e tf i l t e r sa n d i n t e g r a li m a g et e c h n i q u e s s u l dc a nb eu s e dt od e n s e l ym a t c h i n go f t e x t u r e l e s sf a c ei m a g ep a i r sa n dt h ep r o d u c e dd e p t hi n f o r m a t i o nw i l lb e p r o v i d e df o rm o n o c u l a rc a m e r ab a s e dh e a dp o s et r a c k i n g t h ef a c ed e p t h i n f o r m a t i o ni sa l s o w i d e l ye m p l o y e di nh u m a nc o m p u t e ri n t e r a c t i o n ， e x p r e s s i o nr e c o g n i t i o n ，b o d y c o n t r o l l e dg a m e sa n de n t e r t a i n m e n t s d u r i n gt h er e s e a r c hp e r i o d ，w eh a v ed e s i g n e da n di m p l e m e n t e dah e a dp o s e 浙江大学博士学位论文 a b s t r a c t t r a c k i n gd e m os y s t e mn a m e da sh p o b s e r v e r h p o b s e r v e rs u p p o r t sv i d e oc o l l e c t i o n ， d e p t hp r o d u c t i o n ，p o s ee s t i m a t i o na n dp e r f o r m a n c ee v a l u a t i o n h p o b s e r v e ri sh e l p f u l f o rb o t ho n g o i n gr e s e a r c ha n df u t u r ew o r k s i no r d e rt oe v a l u a t et h ep e r f o r m a n c eo ft h ep r o p o s e da p p r o a c h ，w ed oe x p e r i m e n t s o nd o z e no fi m a g es e q u e n c e s t h ee x t e n s i v ee x p e r i m e n t ss h o w st h a t ，t h ep r o p o s e d a p p r o a c hc a l lo b t a i nar o b u s tr e s u l te v e ni nt h ec a s eo ft h el a r g eb o d ym o v e m e n t ，t h e s u b j e c tr e t u r n st ot h ev i s u a lf i e l do fc a m e r aa f t e ra b r u p tl e a v i n g ，t h es u b j e c t s f a c i a l e x p r e s s i o n sv a r i e sa n da no c c l u s i o nh a p p e n s w ea n a l y z et h ee x i s t i n gp r o b l e m s ，a n d d i s c u s st h ef u t u r ed i r e c t i o n si nt h ee n d k e y w o r d s ：h u m a nc o m p u t e ri n t e r a c t i o n ，h e a dp o s et r a c k i n g ，r e g i s t r a t i o na l g o r i t h m ， l o c a ld e s c r i p t o r s ，d e n s es t e r e om a t c h i n g ，h e a dm o t i o n l 浙江大学博士学位论文图目录 图目录 图1 1 三维空间中的头部方向参数2 图1 2 不同朝向的人脸图像2 图1 3 几乎相同的眼睛注视方向2 图1 4 婴儿的注视跟随现象3 图1 5 人脸识别和表情识别4 图1 6 视频监控系统5 图1 7 视频会议系统5 图1 8 头部运动驱动的游戏6 图1 9 司机疲劳检测6 图1 1 0 大范围头部姿态跟踪的典型情景一8 图1 1 l 大范围头部姿态跟踪关键技术一9 图1 1 2 本文的主要研究内容1 1 图2 1 基于模版匹配的头部姿态识别1 7 图2 2 基于多层神经网络的头部姿态识别1 9 图2 3 基于立体信息和神经网络的头部姿态识别1 9 图2 4 柔性模型a a m 的构建过程2 1 图2 5 使用a a m 表示不同人脸姿态和形状2 2 图2 6 使用五个特征的几何关系2 3 图2 7 使用四个特征的几何关系一2 3 图2 8 基于i c p 和n f c 的头部姿态跟踪2 4 图2 9 基于立体视觉系统和头部模型的头部姿态跟踪2 5 图2 1 0 基于平面模型的头部姿态跟踪2 6 图2 1 1 基于椭圆模型的头部姿态跟踪2 6 图2 1 2 基于圆柱模型的头部姿态跟踪2 7 图2 1 3 基于真实头部模型的头部姿态跟踪2 7 图2 1 4 基于个性化头部模型的头部姿态跟踪2 8 图2 1 5 基于i c c 方法的头部姿态跟踪2 8 图2 1 6 使用激光扫描仪构建个性化头部模型3 0 图2 1 7 通过手工标记构建个性化头部模型3 0 图2 1 8 通过特征点跟踪构建个性化头部模型3 1 图3 1 摄像机透视投影模型3 4 图3 2 透视投影比例关系3 4 图3 3 主点的偏移3 5 图3 4 摄像机的旋转和平移3 6 图3 5 头部运动示意3 7 图3 6 基线平面示意3 9 i v 浙江大学博士学位论文图目录 图3 7 基于极线约束的对应点搜索范围4 0 图3 8 极线约束示意4 0 图3 9 d i g i c l o p s 立体摄像机4 2 图3 1 0 左右图像对应点示意4 2 图3 1 1 立体摄像机d i g i c l o p s 处理过程示意4 3 图4 1 生成s i f t 描述符的主要步骤4 5 图4 2 极值点检测示意图4 6 图4 3 描述符生成示意一4 8 图4 4 特征点检测和匹配一4 9 图4 5 基于特征描述符的注册算法的流程5 0 图4 6 最优假设中i n l i e r 和o u t l i e r 点个数一5 8 图4 7 头部大范围前后移动时的跟踪结果一6 0 图4 8 头部离开又重新进入摄像机视角时的跟踪结果6 1 图4 9 头部部分遮挡时的跟踪结果一6 2 图4 1 0 部分沃尔什一哈达马德映射矩阵6 3 图4 1 1 生成k p b s i f t 的主要步骤6 4 图4 1 2 图像几何形变时l o b s i f t 的表现6 6 图4 1 3 使用i n r i a 数据集时k p b s i f t 的表现6 6 图4 1 4 两种描述符k p b s i f t 与s i f t 的匹配效率对比6 7 图5 1 逐帧跟踪示意图6 9 图5 2 多次注册示意图7 0 图5 3 模型中不同的视角和视角表观模型主要流程7 l 图5 4 头部重新进入摄像机视角时的头部姿态恢复7 5 图5 5 旋转角度索引一7 7 图5 6 头部大范围前后移动时的跟踪结果7 9 图5 7 头部进出摄像机视角时的跟踪结果7 9 图5 8 面部表情发生变化时的跟踪结果8 0 图5 9 部分遮挡时的跟踪结果8 0 图5 1 0 使用单目摄像机的跟踪结果8 1 图5 1 l 跟踪过程中的误差累积8 2 图5 1 2 使用视角表观模型进行姿态恢复8 3 图5 1 3 使用视角表观模型姿态恢复的精度8 3 图6 1 基于双视角的立体匹配和重建一8 6 图6 2 基于平面的纠正法一8 7 图6 3 基于极坐标的纠正法一8 8 图6 4 低分辨图像下s u l d 和n c c 结果9 0 图6 5 生成局部描述符s u l d 的主要步骤一9 0 图6 6h a a r 函数计算9 l 图6 7h a a r 函数响应图一9 l 图6 8 不同灰度变化情况下的响应信息9 2 v 浙江大学博士学位论文图目录 图6 9 高斯平滑的迭代计算9 3 图6 1 0 两种采样点空间分布9 3 图6 11 使用s u l d 和n c c 生成的深度图9 8 图6 1 2 使用f o u n t