（光学工程专业论文）应用于步态识别的人体轮廓提取.pdf

重庆大学硕士学位论文中文摘要 摘要 步态识别根据人走路的姿势进行身份识别。和其它生物特征相比，捕捉步态 特征无需身体接触，不具有侵犯性。在步态识别中，完整的人体轮廓是特征提取、 特征表达、目标分类与目标识别等后期处理的前提条件。因此，本课题的主要目 的是研究运用目标分割技术从步态图像序列中提取人体轮廓。主要的工作包括以 下几点： 针对块匹配算法初始搜索点选择与实际情况存在差异的问题，在运用 u c b d s 法( u n r c s t d c t c dc e n t e r - b i a s e dd i a m o n ds e a r c l ：l 非限制性中心倾向分布的钻石 形搜索方法) 进行运动估计时，采用中值法预测初始搜索点，并根据各候选块匹配 度减少u c b d s 法的搜索范围。 研究了一种新的基于运动信息和分水岭变换的运动目标分割算法。采用改 进的块匹配算法对人体目标运动进行估计，运用分水岭算法将当前帧图像分割成 封闭而不重叠的小区域，应用仿射参数模型进行基于运动的块区域合并，从而完 成人体轮廓的提取。实验结果表明，该算法提高了步态识别率。 提出基于s n a k e 模型的优化人体轮廓的方法。以基于运动信息和分水岭变 换的运动目标分割算法得到的结果代替人工勾勒作为s n a k e 模型的初始轮廓，实 现了整个分割过程的自动化。s n a k e 模型算法主要有变分法、动态规划法、g r e e d y 算法。在本文中对g r e e d y 算法进行了改进：通过修改外部能量函数区分真正的轮 廓点和孤立的噪声点；构造了一个调节参数公式实现自动调节内部能量和外部能 量的权值。实验结果表明，该方法能够在低对比度、局部动态背景下正确提取人 体目标轮廓。 关键词：步态识别；人体轮廓提取；块匹配算法；分水岭算法；s n a k e 模型；g r e e d y 算法 重庆大学硕士学位论文 英文摘要 a b s t r a c t g a i tr e c o g n i t i o ni st h ep r o c e s so fi d e n t i f y i n gi n d i v i d u a l sb yt h ew a yt h e yw a l k c o m p a r e dw i t ho t h e rb i o m e t r i c s ，s u c h 勰丘n 嘲r i n t ，f a c ea n di r i s ，t h ei d e n t i f i c a t i o nb y g a i ti su n o b t r u s i v ea n dd o e sn o tr e q u i r et o u c h i n gt h eh u m a nb o d y i ng a i tr e c o g n i t i o n , e f f e c t i v ee x w d c t i o no fh u m a nc o n t o u ri sap r e r e q u i s i t eo fs u b s e q u e n tp r o c e s s i n g i n c l u d i n gf e a t u r ee x t r a c t i o n , f e a t u r ee x p r e s s i o n , t a r g e t c l a s s i f i c a t i o na n d t a r g e t r e c o g n i t i o n t h eg o a lo ft h i st h e s i si st 0r e s e a r c hh u m a nc o n t o u re x t r a c t i o nm g o f i t h m t h em a i nc o n t r i b u t i o n sa r el i s t e da sf o l l o w s ： an e wb l o c k - m a t c h i n gm o t i o ne s t i m a t i o na l g o r i t h mb a s e d o nu c b d s ( u n r e s t r i c t e dc e n t e r - b i a s e dd i a m o n ds e a r c h ) i sp u tf o r w a r di nt h i st h e s i s f o rt h eo r i g i n a l u c b d s 。t h em o t i o nv 耐0 ro ft h ec u r r e n tb l o c ki sa s s u m e dt ob ez e r o ，b u tt h i sd o e s n t m a t c hw i mt h er e a lc o n d i t i o n a i m i n ga tab e t t e rp r e d i c t i o nr e s u l t , t h em e d i a nm e t h o di s a d o p t e dt oc o n f i r mt h es t a r t i n gs e a r c hp o s i t i o n i na d d i t i o n , a c c o r d i n gt ot h em a t c h i n g p o s s i b i l i t yo f c a n d i d a t eb l o c k s ，t h es e a r c hr e g i o no f u c b d s i sd e c r e a s e d t h i st h e s i sp r e s e n t san e wm o t i o no b j e c ts e g m e n t a t i o na l g o r i t h mb a s e do n m o t i o ni n f o r m a t i o na n dt h ew a t e r s h e da l g o r i t h m f i r s t l y ，t h ei m p r o v e db l o c k - m a t c h i n g e s t i m a t i o na l g o r i t h mi su s e dt oe s t i m a t et h em o t i o nf i e l d so ft h ei m a g e s e c o n d l y , w e a p p l yt h ew a t e r s h e da l g o r i t h mt od i v i d et h ec u r r e n ti m a g ei n t oan u m b e ro fc l o s e da n d n o n - o v e r l a p p i n gr e g i o n s f i n a l l y , w eu t i l i z et h ea f f m ep a r a m e t e rm o d e lt om e r g et h e s e r e g i o n s t h ee x p e r i m e n t ss h o wt h a tt h i sn e wa l g o r i t h mc a ne f f e c t i v e l ye x t r a c th u m a n c o n t o u ra n di m p r o v et h ep e r f o r m a n c eo f g a i tr e c o g n i t i o n a ni m p r o v e do b j e c tc o n t o u rm e t h o db a s e do ns n a k em o d e li si n v e s t i g a t e df o ra n a c o l r a t eo b j e c tc o n t o u r t h ei n i t i a lc o n t o u ro fs n a k em o d e li se x t r a c t e da u t o m a t i c a l l y b yt h ea b o v ea l g o r i t h mr a t h e rt h a nb ym a n u a lw o r k i nt h i sp a p e r , w e1 】s eg r e e d y a l g o r i t h mt 0c o m p u t et h ee n e r g yf u n c t i o no fs n a k em o d e l t h et r u ep o i n t so fc o n t o u r a n di s o l a t e dn o i s ep o i n t sa r ed i s t i n g u i s h e da u t o m a t i c a l l yb ya p p l y i n gan e we x t e r n a l f i m c t i o n ，i na d d i t i o n , af o r m u l ai sc o n s t r u c t e dt oa u t o m a t i c a l l ya d j u s tt h ew e i g h t so f i n t e r n a le n e r g ya n de x t e r n a le n e r g y t h ee x p e r i m e n t ss h o wt h a tt h em e t h o dc a ne x t r a c t a c c u r a t ec o n t o u ru n d e rc o m p l e xb a c k g r o u n d k e yw o r d s ：g a i tr e c o g n i t i o n , h u m a nc o n t o u re x t r a c t i o n , b l o c k - m a t c h i n ge s t i m a t i o n a l g o r i t h m , w a t e r s h e da l g o r i t h m , s n a k em o d e l ，g r e e d ya l g o r i t h m 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取 得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文 中不包含其他人已经发表或撰写过的研究成果，也不包含为获得重庆太堂 或其他教育机构的学位或证书而使用过的材料。与我一同工作的同志对本 研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。 学位论文作者签名： 智军 签字日期：多衫年月日 学位论文版权使用授权书 本学位论文作者完全了解重庆太堂有关保留、使用学位论文的 规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许 论文被查阅和借阅。本人授权重庆太堂可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段 保存、汇编学位论文。 保密() ，在年解密后适用本授权书。 本学位论文属于 不保密( ) 。 ( 请只在上述一个括号内打“”) 学位论文作者签名： 却争 签字日期：力年乡月钐日 导师签名：，黼 导师签名：，5 只 7 。 p t二， o l l - o j e c t i o n 3 一dm o v e m e n t c e n t e r 图2 2 运动投影 f i g 2 2m o t i o np r o j e c t i o n l o 芝 重庆大学硕士学位论文 2 运动估计 假设在t 时刻物体位于p 点，在f 时刻运动到p ，点。点p 和p ，在图像平面上的 透视投影分别是图像点p 和p 。图2 2 描绘出一个t 时刻位于p 点的图像，在f 耐 刻运动到p 俺的二维观察视图，把它作为相应物体点的三维运动透视投影。由于 投影的作用，所有箭头指向虚线的三维位移矢量都有相同的二维位移矢量。 对于所有的伍t ) r 3 ，我们可定义在t 时刻和t t n j 的投影位移，令t = f + 心( ， 是整数，f 是采样时间间隔) ，投影二维平面上坐标为x ( 五，工：) ，由此产生一个连 续时空变量的实值二维位移矢量函数d 。= ( x , t ；l a t ) 。二维位移矢量场涉及到这个函 数的采样表达式，它由式( 2 1 ) 给出： d p ( x , t ；i a t ) = d 。( x , t ；a t ) ( x ，f ) 人3 ( 2 1 ) 其中，人3 为采样点阵。因此，一个二维位移场是二维位移矢量d ( x ，t ；l a t ) 的 集合。 二维运动估计问题可以认为是在时间t 和t + l a t 之间，对于所有( x t ) a 3 和， 是整数而言，图像平面对应矢量 d ( x , t ；l a t ) = k ( x , t ；l a t ) d 2 ( x , t ；l a t ) 2 的估算( 从时刻t 到f 的图像平面坐标i 的位移称为一个对应矢量) 。d l ( x , f ；t a t ) 和 如( i ，g ，缸) 分别是平面对应矢量的二维坐标分量。 2 3 块匹配算法 块区域匹配算法是一种比较常用的运动估计算法，本文也将使用它进行人体 目标的运动估计。此算法的基础是基于块的运动模型。假设图像是由运动的块构 成的。我们考虑这种模型的最简单的形式：平移的块形式，这种形式限制每一个 块作单纯的平移运动，那么帧k 中的一个中心位于( ，l l ，n ：) 的】2 块口被模型化 成为帧斛，( ，是整数) 中同样尺寸块的一个完全移位形式。即： s ( n i ，厅2 ，i ) = s ( n l ，栉2 ，k + ，) ( 2 2 ) 其中，s ( n ，七) 代表第k 帧坐标为( 啊，n ：) 点处灰度值。 基于平移的块模型的运动估算其通用性在于每个块只需要一个运动矢量，因 此不需要很多附加条件表示运动场。然而，使用平移块的运动估算不适用于缩放， 旋转运动和有局部变形的情况下，同时由于物体边界通常与块边界不一致，邻近 的块实际上可能被表示成完全不同的运动矢量。不过，上述缺点在本文所用的分 割方案中影响并不太大，因为目标的边界是由分水岭算法生成，而且在仿射参数 模型中有意义的是一个小区域内运动矢量的总和，而不是单个运动矢量。 块匹配的基本思想如图2 3 ，其中帧颇当前帧) 中的像素( 啊，n ，) 的位移通过考 虑一个中心定位在( 啊，啦) 的l ：块，同时搜索帧抖，( 参考帧) 来找出同样大小的 最佳匹配块的位置来确定。从计算因素考虑，搜索通常限制在 重庆大学硕士学位论文2 运动估计 ( 1 + 2 m 1 ) ( 2 + 2 m 2 ) 范围内( 称为搜索窗口) 。 图2 3 块匹配示意图 f i g 2 3 s c h e m a t i cd i a g r a mo f b l o c k - m a t c h i n ge s t i m a d o na l g o r i t h m 不同的块匹配算法在匹配法则、搜索方法和块大小的确定上有差异： 匹配准则 块匹配可以依据各种准则确定它的大小，包括最小求和绝对差( s a d ) ，最大归 一化互相关函数o v c c f ) ，最小均方误差函数( m s e ) ，最大匹配像素统计( m p c ) 。 1 ) 最小求和绝对差( s a d ) ： s a d ( d 1 ，d 2 ) = l s ( 疗1 ，雄2 ，k ) - s ( n 1 + d 1 ，疗2 + d 2 ，七+ 驯 ( 2 3 ) 其中b 代表1 2 块，作为可选择的运动矢量( 吐，以) 的集合。运动矢量的估算成 为求( 西，幺) 的s a d 的最小值的问题。即： 阮幺r = a r g 。m 。i n s a d ( d 。，畋) ( 2 4 ) 2 1 最大归一化互相关函数( n c c f ) ： s ( 雄l ，雄2 ，七) s ( 啊+ 西，甩2 + d 2 ，露+ d n c c f ( d 。，d 2 ) = f 韭世而r 1 ( 2 5 ) 【。，搿“如瑚。，搿c 啊”叫 运动矢量的估算成为求( 吐，如) 的n c c f 的最大值的问题。即： 1 2 重庆大学硕士学位论文 2 运动估计 d l ；2r = a r g m a xn c c f ( d a r g m a xn c c f ( d d ) d z _ 捌 一) ( 2 _ 6 ) 3 ) 最小均方误差( m s e ) ： 一 m s e ( d ，d 2 ) = b ( 弗。，一2 ，后) 一s ( n 1 + d 。，万2 + d ：，七+ ，) 】2 ( ， 2 k 直 位移估算由式( 2 8 ) 给出： d l i ：r = a r g 呐r a i 屯n ，m s e ( d 1 ，d ：) ( 2 7 ) ( 2 8 ) 4 ) 最大匹配像素统计( m p c ) 。在这个方法中，块b 中的每一个像素依据( 2 9 ) 式或被归入为匹配像素，或被归入为非匹配像素 “一，开：；而，d ：，= ：i 忙凳2 一j n i + d l ，1 2 + d 2 七+ 驯 q ， 其中t 是估算阈值。于是块中匹配像素的个数由式( 2 1 0 ) 给出： m p c ( d d ) = r ( 啊，开2 ；d l ，d 2 ) ( 2 1 0 ) h 尥砖。 运动矢量估算成为求( 面，d 2 ) 的m p c 的最大值的问题。即： k ；：j = a r g 。m 。a x ，m p c ( d l ，d ：) ( 2 1 1 ) 从中可以看出，这个值给出最多数量的匹配像素。m p c 准则需要阈值比较器和 l 0 9 2 ( l 2 ) 计数器。 比较以上几个匹配准则，可以看出s a d 准则不含乘除法，计算比较简单，而 且匹配准则对匹配精度的影响不是很大，因此本文的算法中采用了s a d 匹配准则。 搜索过程 寻找最佳匹配块需要在每一个像素( 玛，啦) 所有可能的候选位移矢量上优化匹 配准则。这可以通过“全面搜索 ( f s ) ( 它对每一个像素的所有( 吐，以) 值评测匹配准 则) 来实现。为了减少计算负担，通常限制搜索区域在一m 反 m ，且 一m ： d 2 m ：，搜索窗口中心定位在运动矢量将要被估算的像素上。 由于全面搜索相当费时，因此通常都采用快速搜索算法。基于块匹配的搜索算 法目前已有很多，如三步搜索法( t s s ) 【6 1 、新三步搜索法( n t s s ) 川、四步搜索、去( 4 s s ) t 8 】 等。采用快速搜索算法通常只能产生次优解，但是有时并不需要产生非常准确的 运动估计矢量。而且快速算法能大大减少运动估计的时间，也即大大减少了分割 所需要的时间。 1 3 重庆大学硕士学位论文 2 运动估计 ( 3 ) 块大小的确定 在块匹配运动估算中，图像被划分成许多运动的块。因此块大小的确定也是 比较重要的一步。如果块取得太小，将会极大地增加搜索的时间，而且由于太小 的块包含的图像信息较少，因此在搜索时也不一定能准确地找到匹配块；反之如 果块取得太大，则一个块中的各部分可能具有不同的运动矢量，这样同样也不能 进行正确的匹配。在本文算法中，应用在步态图像序列上，块的大小通常选为5 x 5 ， 能取得比较良好的效果。 2 4u c b d s 搜索法 为了得到最优的搜索结果，最好采用完全搜索法( f u l ls e a r c h ，简称f s ) ，但是 它的计算量太大了，因此，可以考虑减少搜索点，作为次优的搜索方法。 在实际的图像序列中，块运动场通常只包含微小的运动，绝大多数的运动矢 量分布在零点附近，这称为具有中心倾向的分布。基于这种考虑，新三步搜索法 ( n t s s ) n 四步搜索法( 4 s s ) 【8 1 ，基于块的梯度搜索法( b b g d s ) 【5 4 1 ，u c b d s 5 5 1 等算 法在第一步中都采用了中心倾向的搜索点模式，提高了匹配速度，减少了陷入局 部极小的可能性。 文献 5 5 】中介绍的非限制性中心倾向分布的钻石形搜索方法 u c b d s ( u n r e s t r i c t e dc e n t e r - b i a s e dd i a m o n ds e a r c h ) 充分利用了运动矢量中心倾向分 布的特性。它的特点是不受搜索区域大小的限制，既具有中心倾向分布的特点， 又可以很快地向四周扩展搜索范围。与n t s s 、4 s s 等方法相比，执行效率高，预 测效果好，鲁棒性更强。 图2 4 显示了u c b d s 法两种搜索点模式。在本文中，如图2 4 ( a ) 所示的搜索 模式称为大钻石，如图2 4 0 ) 所示的称为小钻石。这两种模式都利于寻找中心倾向 分布的运动矢量。 ( a ) 大钻石模式 ( a ) b i gd i a m o n dp a t t e r n j 、 槲 1 人l 丫 ( b ) 小钻石模式 s m a l ld i a m o n dp a t t e r n 图2 4 两种搜索点模式 f i g 2 4t w os e a r c hp a t t e r n s 1 4 重庆大学硕士学位论文2 运动估计 图2 5 ( a ) 显示了u c b d s 法最基本的应用，即大钻石搜索模式，它包含了9 个 搜索点。图2 5 c o ) n ( e ) 显示了在完成了前一步大钻石搜索之后，接下来如何扩展新 的搜索点。可以看出，搜索点沿着大钻石的“角”或边”进行扩展，并且使得连续两 步之间有最大程度的重叠。这样在每一次扩展的时候，都有3 个或者5 个新的候 选点被估值。图2 5 ( d ) 显示了大钻石内陷的情形，即按照小钻石模式搜索。 、 卜 一卜一书卜 + 丫、丫l ( a ) 初始的大钻石 ( a ) o r i g i n a ld i a m o n ds e a r c h - p o i mc o n f i g u r a t i o n # z h， 一卜 譬 卜 暨 卜 k 牢 卜一 ，卜 ( b ) 搜索点沿角扩展 ( b ) n e x ts t e pa l o n gad i a m o n d sv e r t e x 、o ， - - 丫= l = 丫 ( c ) 搜索点沿边扩展( d ) 大钻石内陷 ( c ) n e x ts t e pa l o n gad i a m o n d sf a c e( d ) f i n a ls t e pw i t ha8 h r t l n l 【d i a m o n d 图2 5 钻石搜索模式 f i g 2 5d i a m o n ds e a r c hp a t t e r n 图2 6 显示了应用u c b d s 法的一个例子。假设块的真实位移是( + 7 ，2 ) ，我 们把( o ，o ) 点作为初始搜索中心点，在标记为l 的9 个点开始搜索。计算这9 个位 置处的匹配函数值并比较，如果最小值出现在( 0 ，0 ) 点，那么下步就比较标记为 a ，b ，c ，d 的点。假如最小的匹配函数值出现在( + 2 ，o ) 点，我们就进行第二步的 搜索。这一步，搜索标记为2 的点，新的大钻石搜索中心在( + 2 ，0 ) 。在这个例子 中，我们需要六步才能搜索到匹配点。图中，带阴影的候选点代表最小值出现的 位置，即最优点。注意到，第五步的最优点和第四步的最优点出现在同一个位置， 这种情况使得大钻石内陷，进行小钻石点搜索。总之，我们一共计算了2 8 个候选 1 5 重庆大学硕士学位论文 2 运动估计 点处的匹配函数值。 4 - 3 - 2 10 12 3 4567 llil上x 。 - 。一 k 栅仨 叫懈 h + x 疑蕤f f r r 翼旷 肾蛩# t 上t 上归 _ 一 一上置y 工弧了 1 _ t ” 尸h 。l llill 图2 6 应用u c b d s 法的一个例子 f i g 2 6 e x a m p l e o f a n u n r e s t r i c t e ds e a r c h p a t hs t r a t e g y u s i n g u c b d s 上面所述的非限制性搜索路径策略能够被总结如下： 开始：如图2 5 ( a ) 所示，大钻石模式搜索窗的中心被放置在( 0 ，o ) 点，计算9 个候选点每一点处的匹配函数值，如果最小值出现在中心( c ，c 1 点，大钻石内陷， 按照小钻石模式搜索直到结束；否则，继续搜索。 搜索：如果最小的匹配函数值出现在4 个“角点：艺一( 也就是( c - 2 ，c ) ，( c + 2 ， c ) ，( c ，c - 2 ) ，( c ，c + ) ，那么继续“角搜索”；否则，如果出现在大钻石的“边点” 上( 也就是( c - 1 ，c 十1 ) ，( c - 1 ，c - 1 ) ，( c 十1 ，c - i ) ，( c + l ，c + 1 ) ) ，那么进行勉搜索”。 角搜索；如图2 5 所示，新的大钻石的中心处匹配函数值最小( 即更新 中心点( c ，c ) ) 。计算5 个新候选点处匹配函数值。 边搜索：如图2 5 ( c ) 所示，新的大钻石的中心处匹配函数值最小( 即更新 中心点( c ，c ) ) 。计算3 个新候选点处匹配函数值。 结束：如图2 5 ( d ) 所示，当连续两步出现同一个中心点( c ，c ) ，大钻石内陷， 即搜索大钻石内部的4 个小钻石点。找到匹配函数最小值出现的位置，就可以估 计运动矢量( 盔，吐) 了。至此，当前块匹配搜索结束，回到开始处进行下一块的搜 索。 1 6 4 1 o l 2 3 4 重庆大学硕士学位论文2 运动估计 2 5 改进的块匹配算法 2 5 1 预测初始搜索点 如前文所述，u c b d s 法搜索的时候是从( o ，o ) 点开始的，即假定当前块的运 动矢量为( o ，o ) 。但是当前块和其相邻块的运动有很强的相关性，在大小和方向上 都很相似，这意味着可以用相邻块的运动矢量来预测当前块的运动矢量。我们可 以使用三个相邻块的运动矢量，用中值法来预测当前块的运动矢量。如图2 7 ( a ) 所示，m v 为当前块运动矢量，m v l ，m v 2 ，m v 3 分别是其左方，上方，右上方 的块的运动矢量。图2 7 ( b ) 、( c ) 、( d ) 、( e ) 说明了当前块处于图像边界时，m v l 、 m y 2 、m v 3 的取值情况。 i m v 2m v 3 l 州，w ( a ) m v 2( 0 ，0 ) 1w w ( c ) 图2 7 块运动矢量预测 f i g 2 7m o t i o nv e c t o f sp r e d i c t i o n 固m v 2 m y 3 i m a g e b o u n d a r y 预测对水平分量和竖直分量分别进行，取每个分量的中值作为预测值： 只= m e d i a n ( m v l ，m v 2 ，肘 ，) ( 2 1 2 ) 0 = m e d i a n ( m v l ，m v 2 ，m v 3 ，) ( 2 1 3 ) ( 只，0 ) 比较接近当前块的真实运动矢量，所以把( 只，0 ) 作为当前块运动矢量 的初始搜索点，可以大大加快搜索的速度。 2 5 2 减少搜索点的方法 在搜索范围内，可以通过简单计算在参考帧中事先排除掉不需要进行匹配的 1 7 重庆大学硕士学位论文2 运动估计 块，从而降低运算复杂度和节约时间。假设j ( ，n ：，k ) 表示当前帧( 第k 帧) 坐标为 ( 啊，嘞) 点的灰度值，s ( n 。，n ：，i + 1 ) 表示参考帧( 第抖1 帧) 坐标为( ，l l ，n ：) 点的灰度 值，则有： s ( n 1 ，n 2 ，k ) 一s ( n 1 + d l ，拧2 + d 2 ，k + 1 ) l s ( n l ，珂2 ，后) 一s ( ，l l + d l ，n 2 + d 2 ，k + 1 ) l ( 2 1 4 ) j ( ，l l + d l ，n 2 + d 2 , k + 1 ) 一j ( ，n 2 , k ) i s ( n l ，n 2 ，七) - s ( n 1 + d l ，n 2 + d 2 ，k + 1 ) l ( 2 1 5 ) 对( 2 1 4 ) 和( 2 1 5 ) 式两边求累加和，分别得到 r m ( d 1 ，d 2 ) s a d ( d t ，d 2 ) m ( 吐，d 2 ) 一r s a d ( d 1 ，d 2 ) 式中，r = 习嘲，慢1 ，m 瞄，d 0 = s “+ 吐，啦+ 以，k + 1 1 ， 地) 口 ，酣 ( 2 1 6 ) ( 2 1 7 ) 胄表示当前块的像素灰度值的和，m ( d 。，d 2 ) 表示参考帧匹配块的像素灰度值的和。 假设已知一个运动矢量为力的匹配块的s a o ( x ，谚，那么寻求具有更高匹配度 的块应该满足s a d ( d l ，d ，) s a d ( x ，y ) ，即： a b s 俾一m ( 4 ，d 2 ) ) s x o ( x , y )( 2 1 8 ) 只有满足( 2 1 8 ) 式的匹配块才有必要进行下一步的计算，否则不予考虑。参考帧和 当前帧的块的像素灰度值的和只需要计算一次，在搜索过程中不需要重复计算。 通过搜索判别条件排除了不需要进行匹配计算的块，有效地降低了计算量。 2 5 3 改进的块匹配算法 改进的块匹配算法流程如图2 8 所示，与2 3 节所述的u c b d s 法不同的是， 它是用中值法求出当前块运动矢量的预测值( 只，0 ) 作为初始搜索中心，并且在按 照u c b d s 法扩展搜索点范围时，增加了一个约束条件，即这些点必须满足式 ( 2 1 8 ) 。为了避免匹配块位置迟迟不能确定，程序中还增加了两个搜索结束条件： 1 ) 按照u c b d s 法扩展搜索范围超过1 0 次；2 ) 得到的运动矢量的模大于一个阈 值。在本文中，改进的块匹配算法简称n u c b d s ( n e wu c b d s ) 。 1 8 图2 8 改进的u c b d s 法程序流程 f i g 2 8t h ef l o wc h a r to f t h en e wu c b d s 重庆大学硕士学位论文 2 运动估计 2 5 4 算法实现及实验结果 在c a r n e g i em e l l o n 大学c m u 步态数据斛5 6 】上进行实验，每帧图像大小为 4 8 6 x 6 4 0 像素，这个数据库由2 5 个人在跑步机上行走的视频图像组成，每一个人 有三类行走：慢走( 2 0 6 英里4 , 时) 、快走( 2 8 2 英里，j 、时) 、抱着球慢走。程序在 c e l c r o nc p u2 4 0 g ，m a t l a b 6 1 的环境下运行，匹配块大小为5 x 5 ，使用s a d 作为 块匹配准则，以后一帧作为参考帧。图2 9 ( a ) 为当前帧原图，( b ) 为参考帧原图，( c ) 、 ( d ) 、( e ) 分别为应用全面搜索法、u c b d s 法和n u c b d s 法得到的运动矢量图。 图2 9 步态图像运动矢量图：( a ) 当前帧图像，参考帧图像，( c ) 、( 由、( c ) 分别是应用 全面搜索法、u c b d s 法、n u c b d s 法得到的运动矢量图 f i g 2 9t h em o t i o nv e r t o t sf i e l d so f t h eg a i ti m a g e ( a ) c 咖tf r a l l l i m a g e ( b ) r e f r a m e i m a g e ( c ) m o t i o n w 啪m d e t e c t e d b y f u l l s e a r c h ( d ) m o t i o n v e d t o t s d c t e c t c d b y u c b d s ( e ) m o t i o nw 栅d e t e c t e db yn u c b d s 由图2 9 可以看出，比较而言，全面搜索法得到了最准确的运动矢量，u c b d s 法和n u c b d s 法得到了相似的运动矢量，但是准确度都比全面搜索法有所下降。 在运算速度上，全面搜索法最慢，u c b d s 法次之，n u c b d s 法最快。 重庆大学硕士学位论文2 运动估计 为了衡量算法性能，使用以下几个数据来作为算法性能的度量： 峰值信噪比p s n r 。峰值信噪比是常用的图像质量评价指标，通常用分贝 为单位，在这里，可以借用来衡量各个算法的搜索精度，它的计算公式为： p s n r = o l g 盖2 1 m l n - i m s e = 一1 d - s ( i ，_ ，) 】2 m n智訇 。 ( 2 1 9 ) ( 2 2 0 ) m s e 为均方误差，其中( f ，力代表像素点的坐标；s ( i ，) 和j o ，) 分别代表原 始图像和重建原图像各像素点灰度值； 厶分别表示图像行数和列数；s 。是图 像的最大灰度值，在常用的8 b i t 数字图像中，j 。的值为2 5 5 。 平均运动矢量搜索点数。为了排除帧边界对搜索点数目的影响，只对非边 界块运动矢量的搜索点个数进行统计。 整个算法所需要的运算时间。 表2 1 显示的是三种算法在对c m u 库同一人的步态图像序列前7 0 帧进行处 理的结果统计。 表2 1 各种算法的性能对比 t a b l e2 1c o m p a r i s o no f t h ep e f f o m c o f t h ea l g o r i t l m m 算法 p s n r 平均运动矢量执行时间 ( d b ) 搜索点数 ( 秒) f s3 2 5 52 5 54 5 7 2 i u c b d s3 1 2 81 4 3 82 4 5 0 n u c b d s3 1 1 21 1 7 61 7 6 4 从统计结果可以看到，u c b d s 法和n u c b d s 法得到了几乎同样的p s n r ， 也就是说它们获得了几乎相同的运动矢量，而f s 法的p s n r 要大于前两者，说明 它得到的运动矢量更准确。u c b d s 法的平均运动矢量搜索点数比f s 法要少得多， 因此执行速度也快得多，而n u c b d s 的搜索点数比u c b d s 法更少，所以执行速 度更快。 2 6 小结 本章介绍了在步态视频图像中进行运动估计的方法。块匹配算法是一种常用 的运动估计算法，它最后可得到一个运动矢量图。块匹配算法有许多种搜索法， 其中，完全搜索法( f s ) 的精度最高，但是耗时太多。实际的图像序列的运动场通常 只包含微小的运动，绝大多数的运动矢量分布在原点附近，这叫做中心倾向分布。 2 1 重庆大学硕士学位论文 2 运动估计 u c b d s 法充分利用了运动矢量中心倾向分布的特性，是一种执行效率高、鲁棒性 好的搜索方法。但是传统的u c b d s 法预测运动矢量的方法不是很准确，而且搜索 点数目还可以减少。本章提出了一种改进的u c b d s 搜索法，简称n u c b d s 。 n u c b d s 采用中值法预测运动矢量，并通过计算( 2 1 8 ) 式，进一步减少搜索点。通 过在c m u 库上做的实验证明，n u c b d s 获得了跟u c b d s 几乎一样的运动矢量， 但是运算的速度更快了。 重庆大学硕士学位论文3 空域帧内分割 3 空域帧内分割 3 1 引言 本文对于步态视频图像序列分割的研究是基于时空域联合分割的框架上的， 对视频图像序列同时进行时域分割和空域分割。通过时域分割得到目标的运动矢 量，通过空域分割确定目标的边缘。空域分割的精度决定了最终所得目标的边界 精度，因此，空域分割是本文研究算法中不可缺少的一个重要环节，其分割的精 度是影响整个算法性能的关键。为此，本章对图像空域分割进行了深入的研究。 分水岭算法是一种基于区域的空域分割方法，也是一种数学形态学的图像分割 方法【5 7 】，又称分水岭变换，是图像分析的有效工具，广泛应用于医学图像处理、 遥测以及视频处理等领域。与其他的形态学边缘分割算法相比，分水岭算法能够 准确得到目标边缘，较好地提取目标轮廓，具有运算简单、计算精度高且易于并 行化处理等优点，但同时也存在如下缺点 5 8 , 5 9 ； 对图像中的噪声极为敏感。由于输入图像往往是梯度图像，原始图像中的 噪声能直接恶化梯度图像，从而造成分割的轮廓偏移和过分割。 易于产生过分割。由于受噪声和平坦区域内部细密纹理的影响，在算法开 始阶段检测的局部极值过多，使得平坦区域内部出现局部的“谷底”或“山峰”，造成 在后续分割中出现大量的细小区域。 对低对比度图像易丢失重要轮廓。当图像中目标和背景对比度较低时，二 者边界像素的梯度值也较低，目标的重要轮廓容易丢失。 分水岭算法中存在的过分割现象主要是由于其对噪声和纹理过于敏感而引起 的，因此，本文从图像预处理的角度入手进行了研究，针对分水岭算法的过分割 问题，采用了对比度增强处理和计算原图像的形态学梯度，并对形态学梯度进行 基于给定阈值的非线性变换，从而减少过分割现象。 3 2 经典分水岭算法 3 2 1 经典分水岭算法思路 分水岭算法思路是建立在图像三维可视化处理基础上的：其中一维是灰度级， 另两维是坐标。基于地形学的角度进行解释，首先，考虑如下三种情况： 属于局部区域最小值的点。 当在某点的位置上放一滴水的时候，水一定下滑到某个单一的最小值点。 某位置上的水会等概率地流向多个这样的最小值点。 对一个特定的区域最小值，满足条件的点的集合称为这个最小值的“汇水盆 重庆大学硕士学位论文 3 空域帧内分割 地”。满足条件的点的集合组成不同地形表面的分界线，被称作“分水岭”，在图 像分割领域里也称为“分水线”、冰线”。 分水岭分割算法的基本思想很简单：假设在每个区域最小值的位置上打一个 洞并且让水以均匀的上升速率从洞中涌出，从低到高淹没整个地形。当处在不同 的汇水盆地中的水将要汇合在一起时，修建的大坝将阻止水的汇合。水将只能到 达大坝顶部。这些大坝的边界对应于分水岭的分割线。所以，它们是由分水岭算 法提取出来的连续的边界线。 分水岭思想可以用图3 1 作进一步的解释。图3 1 ( a ) 显示了一个简单的灰度级 图像。图3 1 ( b ) 是地形图，其中“山峰”的高度与输入图像的灰度级成比例。为了阻 止上升的水从这些结构的边缘溢出，我们想将整幅地形图的周围用比最高山峰还 高的大坝包围起来。山峰的最高值是由输入图像灰度级的最大值决定的。 首先在每个区域最小值中打一个孔，如图3 1 ( b ) 中的深色区域，并且让水以均 匀的上升速率从孔中涌出，从低到高逐渐浸没整个地形。图3 1 ( c ) 说明被水浸没的 第一阶段，这里的水用浅色表示，覆盖了对应于图中深色背景的区域。在图3 1 ( d ) 和( e ) 中，我们看到水在两个汇水盆地中上升，最终水将从一个汇水盆地中溢出到 另一个盆地。图3 1 ( 0 中显示了溢出的临界状态。这里，水从左边的盆地溢出到右 边的盆地，并且两者之间有一个很短的坝”，且是由单像素构成，并阻止了水的汇 合。如图3 1 ( 曲所示，图中在两个汇水盆地之间显示了一条很长的坝，另一条水坝 在右上角。这条水坝阻止了盆地中的水和对应背景的水的汇合。这个过程不断延 续直到水位达到最大值，即对应于图像中灰度级的最大值。水坝最后剩下的单像 素宽度部分就对应于分水线。图3 1 ( 1 1 ) 显示了分水线叠加到原图上的一个像素宽的 深色路径，并且分水线构成了一条连通的路径，给出了区域之间的连续边界。下 文，我们将会给出严格的定义和描述。 重庆大学硕士学位论文 3 空域帧内分割 图3 1 分水岭算法思想示意图1 f i g 3 1 s c h e m a t i cc h a r to fw a t e r s h e da l g o r i t h m 见于也c 冈萨雷斯等著，李叔梁等译数字图像处理( 第二版) 5 0 1 页图l o “。 重庆大学硕士学位论文3 空域帧内分割 3 2 2 经典分水岭算法中参数 设u ( x ，力为二维离散灰度图像，并设定义域为z z 。在数学形态学中，将灰 度图像u ( x ，力看作地形曲面，地形的高度对应图像的灰度值，则分水岭算法有如 下的多个参数： 全局最小值g m i n ( u ) 图像u ( x ，y ) 的全局最小值为符合如下条件的像素集 合：整个图像定义域内不存在小于该像素灰度值的像素，即： g m i n ( u ) = i ( 而j ，) z z l u ( x , y ) “( ，y ，) ，v ( x f ，y i ) ，( ，y j ) z z ( 3 1 ) 局部最小