（计算机应用技术专业论文）视频运动信息分析技术研究.pdf

= ! i l 频运动信息分析技术研究：摘要 摘要 近年来，运动和视频计算已成为计算机视觉领域里的一个新研究热点。除了传统的 基于视额序列的视觉运动分析，如二维运动的光流计算，三维运动和形状的结构化，视 频序列中的运动信息还被广泛用于解决视频合成、视频分割、视频压缩、视频配准和视 频监控和监视等问题。 视频数据除了具有与图像一样的空间特性外( 如颜色、边缘和纹理等) ，还具有时 序特性，即视频中存在运动信息。因此，与传统的图像分析技术相比，基于视频的运动 信息分析在上述领域中能够起到更加重要的作用。然而在实际应用中，因摄像机运动造 成的背景运动、摄像机抖动、前景物体的不规则运动等因素都给视频中的运动信息分析 带来了极大的困难。本论文针对这些问题对视频运动信息分析技术进行了较深入的研 究，取得了以下成果： 1 快速准确的全局运动估计 全局运动估计是指对视频序列中造成背景运动的摄像机运动进行估计。通过全局运 动估计，可获得帧间的像素相关性，从而将复杂运动背景下的运动分析转化为静态背景 下的运动分析。全局运动估计是对具有动态背景的视频进行运动信息分析的基础。 本论文提出了一种自适应外点过滤算法，并使用该算法对m p e g - 4 校验模型所采片 的k o n r a d 全局运动估计方法进行了改进。改进方法通过交替的全局运动参数估计和自 适应的外点过滤，有效地抑制外点的影响，实现准确的全局运动估计。与k o n r a d 方法 相比，本文方法在保证估计精度的同时，全局运动估计速度提高l 倍左右。 2 。抖动视频的高质量稳定化 视频稳定化是指去除视频中因不必要的的摄像机运动而造成的视觉抖动，以提高视 频的视觉质量。视频中的抖动不仅会造成视觉质量的下降，更会给后继的分柝处理造成 困难，因此需要对抖动视频进行稳定化处理。 针对视频中的抖动，本论文提出了一种基于多轨迹映射的稳定化算法。该算法将估 计出的摄像机运动映射成多条运动轨迹，并对这些轨迹曲线进行平滑，从而去除摄像机 的抖动。然后根据平滑前后的摄像机运动参数重构视频中的各帧图像，最终获得高质量 的稳定化视频。与现有算法相比，该算法大大减少了需要用户调节的稳定化参数，同时 稳定化后的视频具有更佳的视觉质量。 3 动态场景视频中运动对象的自动检测与准确分割 视频运动对象分割是基于对象的视频编码、基于内容的视频检索和基于视觉的人体 运动分析等应用的基础。本论文从对象检测( 提取出包含运动对象的前景区域) 和对象 分割( 提取出运动对象的精确轮廓) 两个层次对具有动态场景的视频中的运动对象分割 进行了研究。 i ) 为了提取出前景区域，本文通过直方图拟合获得准确的背景噪声方差，并j _ ；| j 显 著性测试技术对时序帧差进行二值化，从而有效地消除帧间的重叠背景：并提取出前景区 域，克服了以往只能依据经验设定背景噪声方差的缺点。 2 ) 为了提取出运动对象的精确轮廓，本文提出了一种基于动态背景构造的对象分 割算法。该算法先将动态构造的背景从图像中消除，并参考时序信息准确地将运动对象 视频运动信息分析技术研究 从背景- i ，分割出来然后使| | _ i 基于彩色梯度的活动轮廓算法提取出精确的运动对象轮 廓。与现有算法相比，该算法有效地克服了显露背景和对象不规则运动埘分割准确度的 影响。 4 视频运动信息分析平台的构建与应用 本论文综合所提出的全局运动估计、动态背景构造、运动对象检测与分割等技术构 建了一个视频运动信息分析平台，为基于视频的运动信息分析与应h 开发提供了便捷、 丰富的技术支持。基于此平台，开发了用于体育视频分析的运动全景图合成以及运动视 频合成等技术，为体育训练提供了科学、直观的辅助分析手段。 关键词：视频运动信息分析，全局运动估计，抖动视频稳定化，运动对象检测与分割 i i 桃颠运动信息分析技术研究：a b s t r a c t r e s e a r c ho n t e c h n i q u e s f o rv i d e om o t i o ni n f o r m a t i o na n a l y s i s s iw u ( c o m p u t e r a p p l i e dt e c h n o l o g y ) d i r e c t e db ys h o u - x u nl i n i nr e c e n ty e a r s ，m o t i o na n dv i d e oc o m p u t i n gh a sb e c o m eah o tt o p i ci nt h ed o m a i no f c o m p u t e rv i s i o n i na d d i t i o nt ot h o s et r s d i t i o n a lv i s u a lm o t i o na n a l y s i sh a s e do nv i d e os e q u e n c e ，s u c ha se o m p u t i n go p t i c a lf l o w ( 2 dm o t i o n ) a n ds t r u c t u r ef r o mm o t i o n ( 3 dm o t i o n a n ds h a p e ) ，t h em o t i o ni n f o r m a t i o n p r e s e n t e di na v i d e es e q u e n c ei sa l s ob e i n gu s e dt os o l v e s e v e r a lo t h e rp r o b l e m s ，s u c h 雒v i d e os y n t h e s i s ，v i d e os e g m e n t a t i o n , v i d e oc o m p r e s s i o n v i d e or e g i s t r a t i o n ，a n dv i d e os u r v e i l l a n c ea n d m o n i t o r i n g av i d e os e q u e n c ep o s s e s s e sn o to n l ys p a t i a lp r o p e r t i e sl i k ei m a g e s ，s u c ha sc o l o le d g e ， t e x t u r e ，b u ta l s ot e m p o r a lp r o p e r t i e s ，n i l e l y , 也em o t i o ni n f o r m a t i o n t h u s ，c o m p a r e dw i t h t h et r a d i t i o n a li m a g ea n a l y s i st e c h n i q u e s m o t i o ni n f o r m a t i o na n a l y s i sb a s e do nv i d e es e q u e n c ep l a y sm o r ei m p o r t a n tr o l ei ns o l v i n gt h ea b o v em e n t i o n e dp r o b l e m s h o w e v e li nt h e p r a c t i c a la p p l i c a t i o n s ，t h em o v i n gb a c k g r o u n dc a u s e db yc a m e r am o t i o n ，j i r e r i n gc a m e r a ， f o r e g r o u n do b j e c t s i r r e g u l a rm o t i o ne t cm a k e 也e v i d e om o t i o ni n f o r m a t i o na n a l y s i sa t o u g h p r o b l e m t os o l v et h ep r o b l e m at h o r o u g hr e s e a r c h o nt l l ev i d e om o t i o ni n f o r m a t i o n a r i a l 3 ，s i s h a sb e e nc a r r i e dt h r o u g hi nt h i sd i s s e r t a t i o n 田km a i nc o n t r i b u t i o n sa r ea sf o l l o w s ： 1 f a s ta n da c c u r a t e g l o b a lm o t i o n e s t i m a t i o n g l o b a lm o t i o ne s t i m a t i o n ( g m e ) i st oe s t i m a t et h el a wo fc a m e rm o t i o n , w h i c hc a u s e s t h eb a c k g r o u n d m o v i n g b yg m e ，t h ep i x e lc o r r e s p o n d e n c e s b e t w e e na d j a c e n tf r a m e sc a l lb e o b t a i n e d a n dt h u st h ep r o b l e m 丽t hc o m p l e xm o v i n gb a c k g r o u n dc a nb es i m p l i f i e dt ot h e o n ew i t hs t a t i cb a c k g r o u n d t h e r e f o r eg m ei st h ef u n d a m e n tf o rt h em o t i o ni n f o r m a t i o n a n a l y s i si nv i d e os e q u e n c e sw i t hd y n a m i cb a c k g r o u n d a n a d a p t i v eo u t l i e rf i l t e r i n ga l g o r i t h mi sp r o p o s e da n du s e dt oi m p r o v ek o n r a d sg m e m e t h o di nm p e g 一4v a l i d a t i o nm o d e l b ye s t i m a t i n gg l o b a lm o t i o n p a r a m e t e r sa n da d a p t i v e l y f i l t e r i n gt h eo u t l i e r sa l t e r n a t e l y , t h en o i s ei se l i m i n a t e de f f e c t i v e l y c o m p a r e dw i t hk o n r a d s m e t h o d ，o u rm e t h o di m p r o v e st h es p e e do fg m en e a r l ylt i m e s ，w h i l et h ea c c u r a c yo ft h e g m ei sg u a r a n t e e d 2 h i g h - q u a l i t y s t a b i l i z a t i o no fs h a k yv i d e o s v i d e os t a b i l i z a t i o ni st or e m o v et h ev i s u a l l ya n n o y i n gv i b r a t i o n si nv i d e o sc a u s e db yu n w a n t e dc a m e r am o t i o n a sv i b r a t i o n si nv i d e o sw i l ln o to n l yc a u s et h ed e g r a d a t i o no ft h e v i s u a lq u a l i t y , b u ta l s om a k et h ef o r t h e ra n a b ，s i sm o r ed i f f i c u l t s ot h es t a b i l i z a t i o no fs h a k y v i d e o si sn e c e s s a r y av i d e os t a b i l i z a t i o na l g o r i t h mb a s e do nm u l t i - t r a j e c t o r ym a p p i n gi sp r o p o s e d b ym a p p i n gt h ee s t i m a t e dc a m e r am o t i o n t om u l t i p l et r a j e c t o r i e sa n d s m o o t h i n gt h et r a j e c t o r i e s ，t h e u n w a n t e dc a m e r am o t i o ni se l i m i n a t e d t h e n ，a c c o r d i n gt ot h ep a r a m e t e r so ft h eo b s e r v e d c a m e r am o t i o na n dt h es m o o t h e dc a m e r am o t i o n ，v i d e of r a l t l e sa r er e c o n s t r u c t e dt oo b t a i na s t a b i l i z e dv i d e ow i t hh i g hv i s u a lq u a l i t y c o m p a r e dw i t hc u r r e n ts t a b i l i z a t i o na l g o r i t h m s ，o u r i i i _ ! j l 频运动信息分析技术研究 a l g o r i t h mr e q u i r e sf e w e rp a r a m e t e r st ob ea d j u s t e db yu s e r , a n dt h es t a b i l i z e dv i d e o sh a v e b e t t e rv i s u a lq u a i l t y 3 a u t o m a t i cd e t e c t i o na n da c c u r a t es e g m e n t a t i o no f m o v i n go b j e e t si nv i d e o sw i t h d y n a m i cb a c k g r o u n d v i d e o o b j e c ts e g m e n t a t i o ni st h ef o u n d a t i o nf o ro b j e c t b a s e dv i d e oc o d i n g ，c o n t e n tb a s e d v i d e or e t r i e v a l v i s u a lh u m a nm o t i o na n a l y s i sa n do t h e ra p p l i c a t i o n s w ee x p l o r et h em o v i n g o b j e c ts e g m e n t a t i o ni nt w ol e v e l s ：o b j e c te x t r a c t i o n ( e x t r a c t i n gt h ef o r e g r o u n da r e a si n c l u d i n gm o v i n go b j e c t s ) a n do b j e c ts e g m e n t a t i o n ( e x t r a c t i n ga c c u r a t ec o n t o u r so fm o v i n go b j e c t s ) 1 ) t oe x t r a c tt h ef o r e g r o u n da r e a s ，w ee s t i m a t et h eb a c k g r o u n dn o i s ev a r i a n c eb yh i s t o g r a mf i t t i n ga n d u s et h es i g n i f i c a n c et e s tt ot h r e s h o l dt h ef r a m ed i f f e r e n c e w i 也t h i sa p p r o a c h t h e d e f i c i e n c yo f t h e m a n u a lv a l u e s e t t i n go f t h eb a c k g r o u n d n o i s ev a r i a n c ei si m p r o v e d 2 ) t 0 e x t r a c ta c c u r a t ec o n t o u r so f m o v i n go b j e c t s ，a na u t o m a t i cm o v i n go b j e c ts e g m e n t a - t i o na l g o r i t h mb a s e do nd y n a m i cb a c k g r o u n dc o n s t r u c t i o ni s p r o p o s e d b ys u b t r a c t i n gt h e c o n s t r u c t e dd y n a m i c b a c k g r o u n df r o m t h ei m a g e sa n d r e f e r r i n gt h et e m p o r a li n f o r m a t i o n , t h e i n t a c tm o v i n go b j e c t s a r e a sa r es e p a r a t e df r o mt h eb a c k g r o u n d t h e n , t h ea c c u r a t eo b j e c t s c o n t o u r sa r ee x t r a c t e db ya c t i v ec o n t o u r ( s n a k e ) a l g o r i t h mu s i n gc o l o rg r a d i e n t c o m p a r e d w i t hc u r r a n ta l g o r i t h m s ，o u rm e t h o di sa b l et oe f f e c t i v e l yo v e r c o m et h ed i s t u r b a n c et ot h e s e g m e n t a t i o na c c u r a c yc a u s e db y u n c o v e r e db a c k g r o u n da n d o b j e c t sw i t hi r r e g u l a rm o t i o n 4 c o n s t r u c t i o na n da p p f i e a f i o n so f v i d a nm o t i o ni n f o m a r i o n a n a l y s i sp l a t f o r m i n t e g r a t i n gg l o b a lm o t i o ne s t i m a t i o n ，d y n a m i cb a c k g r o u n dc o n s t r u c t i o na n dm o v i n go b j e c td e t e c t i o na n ds e g m e n t a t i o nt e c h n i q u e sp r o p o s e di nt h i st h e s i s ，ap l a t f o r mf o rv i d e om o t i o ni n f o r m a t i o na n a l y s i sh a sb e e nc o n s t r u c t e d w h i c hc a np r o v i d ec o n v e n i e n ta n ds t r o n g s u p p o r t sf o ra p p l i c a t i o no f v i d e om o t i o ni n f o r m a t i o na r i a l y s i s b a s e do nt h ep l a t f o r m a n a l y s i st e c h n i q u e sf o r s p o r t sv i d e o s ，m o t i o np a n o r a m ac o n s t r u c t i o na n ds p o r t sv i d e oc o m p o s i t i o n ， a r ed e v e l o p e d ，w h i c hc a n p r o v i d es c i e n t i f i ca s s i s t a n c e sf o rs p o r t st r a i n i n g k e y w o r d s ：v i d e om o t i o ni n f o r m a t i o na n a l y s i s ，g l o b a lm o t i o ne s t i m a t i o n ，s h a k yv i d e os t a b i l i z a t i o n ，d e t e c t i o na n ds e g m e n t a t i o no f v i d e om o v i n go b j e c t 本文受 国家体育总局备战2 0 0 8 年奥运会科技攻关项目 “跳水训练图像分析软件系统研制”( 0 2 0 0 5 ) 与 国家自然科学基金项目 “面向异构网络环境的压缩视频转换编码研究”( 6 0 3 0 2 0 2 8 ) 资助 声明 我声明本论文是我本人在导师指导下进行的研究工作及取得的研究成 果。尽我所知，除了文中特别加以标注和致谢的地方外，本论文中不包含 其他人已经发表或撰写过的研究成果。与我一间工作的同志对本研究所做 的任何贡献均已在论文中作了明确的说明并表示了谢意。 作者签名：鬟淫j 日期：2 o 。岁、如 论文版权使用授权书 本人授权中国科学院计算技术研究所可以保留并向国家有关部门或机 构送交本论文的复印件和电子文档，允许本论文被查阅和借阅，可以将本 论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编本论文。 ( 保密论文在解密后适用本授权书。) 作者签名：鬟曜， 导师签名：卉脊府渺日期：如。芗、，、2 口 说频运动信息分析技术研究：0 i 肓 1 1 论文的研究背景及意义 第一章引言 随着视频捕获设备的普及以及计算机性能的不断提升，大量的视频以数字化的形式 被存储起来。有效的利用这个资源将为各个行业、领域提供大量有价值的信息。而运动 作为视频的- t o l , 基本属性，它越来越受到人们的关注。例如，在平时的体育训练和体育 比赛过程中，会有大量的体育视频数据积累下来。而在这些视频中，运动员的姿势、动 作等信息是最受体育专业人士所关注的。有效地对体育视频中的运动信息进行分析，并 将运动员的姿势、动作等信息以直观的形式展示给教练员和运动员，对于提高运动员的 训练水平和竞技水平，实现体育训练的科技化，有着积极的意义。 近年来，在计算机视觉领域，运动和视频计算已成为一个新的研究热点。除了传统 的基于视频序列的视觉运动分析，如二维运动的光流计算，三维运动和形状的结构化， 视频序列中的运动信息还被广泛用于解决其它问题，如视频合成、视频分割、视频压缩、 视频配准和视频监控和监视等。而视频运动信息分析正是指对视频呈现的全局运动信息 ( 因摄像机运动造成的背景运动) 以及局部运动信息( 前景物体的运动) 进行分析、描 述和利用。因此，研究视频运动信息分析技术具有重要的实际应用价值和学术意义： 1 实现高效的视频数据管理和访问 大规模的视频数据库要求我们能够对这些视频数据进行高效的管理和访问。而要使 视频能够像文本一样被检索，就需要对视频作基于内容的检索。通过对视频中的运动信 息进行分析和表征，可以辅助用户从视频库中快速找到感兴趣的片断，实现对视频数据 库的高效管理和查询，提高信息的使用效率。 例如，通过对引起场景变化的摄像机运动规律进行分析，可以从中提取出视频的部 分语义，像对物体或人物的特写通常是用摄像机的缩放实现的；滑雪的场景中通常含有 大量的垂直扫动；两个场景的频繁切换很可能与对话情节有关；飞机航空拍摄场景一”| i 含 有大量的摄像机旋转。此外，通过对视频中的前景对象进行分割并对其运动进行分析， 则是实现基于高层语义的视频内容检索的基础。 2 基于视觉的人体运动分析基础 基于视觉的人体运动分析是近年来备受关注的。个前沿方向，它对视频t 1 i 的人进行 检测、分割以及跟踪，并对口标的行为进行分析理解和描述。然而，由于像摄像机的运 视频运动信息分析技术 | f f 究 动、动态背景t 运动的快速分割、人体的非刚性变形和不规则运动等都给摹于视觉的人 体运动分析造成了极大的州难。 冈此，开展对视频运动信息分析技术的研究，解决基于视觉的人体运动分析”的。 些牲础性问题，如( 动态场景视频中) 运动人体的检测、分割等，对于推动摹于视觉的 人体运动分析研究有着秘极的意义。 3 为体育训练提供科学的辅助手段 长期以来，日常体育训练采用以主观和经验为主的教学方法，教练员凭借肉眼和经 验对运动员的技术动作进行指导，运动员也只能通过多次的重复性练习来掌握技术要 领。如果通过摄像机拍摄训练过程，并将拍摄的视频序列中的运动信息分析结果形象直 观地展示给用户，使运动员和教练员在现场不仅能够及时看到刚刚完成的技术动作，而 且能够进行不同动作的图像对比，从而帮助运动员在训练过程中尽快掌握动作的技术要 领，减少无谓的重复，达到直观教学和快速反馈的目的，同时，可以极大地降低运动员 受到伤害的可能性。这对于提高运动员的训练水平和竞技水平，实现体育运动的科技化， 有着积极的意义。 4 视频运动信息分析的应用前景广泛 视频运动信息分析技术的应用领域非常广泛。例如，在智能视频监控和监视中，通 过视频运动信息分析，我们可以借助行为理解技术判断目标的行为是否异常，从而起到 事前预警的防范作用。在视频数据压缩中，通过分析物体的运动，可以预测出它在后继 帧中的位置，从而避免重复数据的传输并降低视频传输的码率。其他的应用还包括高分 辨率全景图生成和虚拟现实环境的自动生成等等。 1 2 研究现状 视频运动信息分析是指对视频呈现的全局运动信息( 因摄像机运动造成的背景运动) 以及局部运动信息( 前景物体的运动) 进行分析、描述和利用，它涉到图像处理、计算 机视觉、模式识别等相关技术。由于视频运动信息分析在视频合成、视频分割、视频压 缩、视频配准和视频监控和监视等领域都有广泛的应用，近年来，视频运动信息分析已 成为计算机视觉领域中备受关注的一个研究方向。国际上一些权威期刊，如i j c v ( i n t e r n a t i o n a lj o u r n a lo f c o m p u t e r v i s i o n ) 、p a m i ( i e e e t r a n s a c t i o n s o n p a t t e r n a n a l y s i s a n dm a e h i n ei n t e l l i g e n c e ) 等，重要的学术会议，如c v p r ( i e e ec o m p u t e rs o c i e t y c o n f e r e n c eo nc o m p u t e rv i s i o na n dp a t t e r nr e c o g n i t i o n ) 、a c mm u l t i m e d i a ( a c m i n t e r n a t i o n a lc o n f e r e n c eo nm u l t i m e d i a ) 等都收录了大量关于视频运动信息分析的文章。 在2 0 0 2 年，i e e e 组织还专门举办了运动和视频计算研讨会( i e e ew o r k s h o po nm o t i o n 说频运动信息分析技术研究：0 i 占 a n dv i d e o c o m p u t i n g2 0 0 2 ) ，探讨视频运动信息分析技术及应川。 在视频运动信息分析叶一，全局运动估计、视频稳定化以及运动对象的自动分割是三 项关键的技术，三者密切相关： 1 ) 全局运动估计是指对视频序列小造成背景运动的摄像机运动进行估计。通常视频 所表现出来的运动包括背景的运动和前景物体相对于摄像机的运动，因此无论是要直接 分析造成场景变化的摄像机运动的规律，还是要对前景物体的运动进行分析，全局运动 估计都是进行这些处理的前提。此外，通过全局运动估计可获得帧问的像素相关性，从 而将复杂运动背景下的分析问题转化为静态背景下的分析问题。 2 ) 视频稳定化是指去除视频中因不必要的摄像机运动而造成的视觉抖动，以提高视 频的视觉质量。视频中的抖动不仅会造成视觉质量的下降，更会给后继的分析处理带来 困难，因此视频稳定化是分析处理抖动视频的一个必要的预处理步骤。 3 ) 视频运动对象分割是指将视频中具有完整语义的运动对象从背景中分割出来，它 是基于对象的视频编码、基于内容的视频检索和基于视觉的人体运动分析等应用的基 础。 下面，本论文围绕这三方面的技术对国内外的研究现状作一分析、概述。 1 2 1 全局运动估计 全局运动是指在视频序列中占有较大比例的像素运动，一般主要是由摄像机的运动 造成的。通常视频图像由前景和背景构成，如果在拍摄过程中摄像机是运动的，同时前 景物体也有其自身的运动，那么在视频序列中所表现出来的就是背景、前景都有各自的 运动：背景的运动是由摄像机运动造成的，称为全局运动；而前景物体所表现出来的运 动是前景物体相对于摄像机的运动，称为局部运动。全局运动估计的目的就是要从视频 序列中找出造成全局运动的摄像机运动的规律。因此。无论是对造成场景变化的摄像机 运动规律直接分析，还是对前景物体的运动进行分析，全局运动估计都是进行这些处理 的前提。 我们首先介绍摄像机运动的基本概念和常用的摄像机运动模型，然后介绍提取视频 场景中全局运动参数( 即摄像机运动参数) 的现有技术。 1 2 1 1 摄像机的运动 如图l l 所示，摄像机把3 d 空间点( x ，y ，z ) 映射到2 d 空间平面点( x , y ) 上。图像 平面与z 轴垂直，- 心举标为( 0 , 0 ，f ) ，这里表示摄像机的焦距。映射关系可表示为 视频运动信息分析拙术研究 x = i ，y 2 i ( 1 一1 ) 厶厶 摄像机的运动主要有：p a n ( 摄像机绕j ，轴角度的水平旋转运动) 、t i l t ( 摄像机绕 x 轴角度的垂直旋转运动) 、t r a c k ( 摄像机沿水平轴的运动) 、b o o m ( 摄像机沿着垂 直轴的运动) 、z o o m ( 由摄像机焦距改变而产生的图像放大z o o mi n 或缩小z o o mo u t ) 和d o l l y ( 水平后向移动) 。 1 2 1 2 常用的摄像机运动模型 图1 - 1 摄像机运动成像模型 设( z ，y ，z ) 和( x ，y ，z ) 分别为一个物体上的点在相邻两帧中的三维坐标。相应的图 像平面上的点的坐标为( x ，y ) 和( 一，少) 。如果三维场景中的物体的运动为位移、旋转和 线性变化，则( x ，y ，z ) 和( x ，y f ，z ) 的关系为： 刚强洲删 小z ， 炉悖，三 巾，= ( 厂参，； 小。， 4 视频运动信息分析技术研究：0 寄 根据公式( 1 2 ) 一( 1 - 4 ) ，可推导出八参数透视模型； 一2篱ax a1 2 黹a xay m s ， ，+ 。y +，+ + l 对透视投影进行简化，即假设物体与摄像机的距离远大于物体本身的厚度，则可用 诈交投影束近似透视投影，如图1 2 所示。此时，三维空间坐标和图像平面坐标的关系 满足： ( x ，y ) = ( x ，y ) ，( 一，y ) = ( x ，y 。)( 1 6 ) 根据公式( 1 2 ) ，( 1 3 ) ，( 1 6 ) ，可推导出八参数透视模型的简化模型，即六参数仿射 模型： x = 口i z + 口2 y + 口3 0 - 7 ) y = a 4 x4 - 口5 y + a 6 j r t ：r | 一l ，j 一 一陟 图1 2 正交投影模型 对仿射运动模型进一步简化，就可以得到刚性模型和位移模型。表1 1 给出了各模 型的坐标轴变换关系和几何变换描述： 表l l 摄像机运动模型的坐标轴变换关系和几何变换描述： 全爵运亏r坐标变换关系 运动参数几何变换 模型 就： 视频运动信息分析技术研究 位移 ( 鞘= 。r ，：位移 1 2 1 3 全局运动参数估计研究概况 目前，全局运动参数估计的方法主要分为微分方法和特征点对应法，区别主要在于 前者使用图像像素域上的速度场，后者使用特征点的对应关系。 1 微分方法的全局运动参数估计 微分方法【m i t 】【4 】o t1 是无特征点方法，目前已有大量该类算法用于解决运动参数估计。 这些算法都要根据图像像素域上的速度场定义一个目标函数，然后用数值优化方法求解 最佳的运动参数。例如：文献【l 】提出用“平面+ 视差”的方法估计和补偿摄像机运动。 该文作者认为视频帧间起主导作用的运动为2 d 几何变换，因此用双线性模型遇近运动 速度场： 瞄 _ a + b x + c y + g x + h x y m s ， 其l _ l ( ( y ) ，v ( x ，y ) ) 是坐标位置( x ，y ) 上像素的运动速度。该模型逼近的实j | j 性前提是场 挑频运动信息分析技术研究：一j i 寿 景或摄像机需满足如下之条件：1 ) 系平面场景：2 ) 系远距离场景；3 ) 摄像机系纯 旋转运动；4 ) 摄像机系缩放运动。参数估计的方法是苘先构造l a p l a c e 金字塔，从扭到 精地估计运动参数。在金字塔的每层，计算整个图像上的差平方和( s s d ) ，并川以 度量匹配程度： 联回2 莓u “，) _ ，o 洲回扩“置厕, t - 1 ) 2 ( 1 - 9 ) 其， t ，和，是相邻两帧图像，a = ( 口，b ，c ，d ，e ，f ，g ，h ) 为二次变换参数 ( “( z ，y ；a ) ，v ( x ，j ，；西) ) 为由参数云导出的位置k ，) 上的运动速度。利用g a u s s n e w t o n 最 优化技术，经过在每个金字塔层次上的几次迭代，可以求出使目标函数e 达到极小值的 参数匠。 文献 2 】给出一种用6 参数双线性模型来逼近8 参数投影模型的算法，该文作者也采 用了层次性的方法。他先用最小二乘法和解线性方程组较快地得到基于6 参数和由第- 帧生成的预测帧，进而在此预测帧和第一帧之间选择4 点对应( 非特征点对应) ，并通 过简单的线性方程求出投影模型的8 参数。然后将这组投影参数映射到下一层继续预测 下一组8 参数，最终通过逐步迭代求得帧间的摄像机运动参数。m p e g 4 校验模型【3 】所 采用的k o m a d 算法【4 】在三层金字塔上进行全局运动估计。该算法首先用三步搜索法在金 字塔的最上层估计平移参数并用其作为参数估计的初始值。在金字塔的每一层，用上 层所估计出的参数作为迭代计算的初始值，并根据残差直方图去除前1 0 的残差大的 点，然后通过梯度下降进行迭代计算，最终获得准确的参数估计。文献【5 】与k o n r a d 算 法类似，在金字塔的每层通过梯度下降来估计摄像机参数，并使用自定义的截断二次 方程去除噪声点。文献【6 】从整个图像的像素域上选择一个称为主像素( d o m i n a n tp i x e l s ) 的像素集合，并使用改进的梯度算法实现快速的全局运动估计。 2 基于特征点对应的全局运动参数估计 估计摄像机参数的另一类方法是基于特征点对应的方法f 10 】【2 “。特征点对应的基本原 理是在连续两帧中找出足够多的源自同一物体在不同视角下的图像点坐标。设，和，是 两帧图像，z ，y ，z ，是三维空间中的点，这些点在图像j 、，中对应的点分别是x ，y ， 和x l 9 y ，。我们称y ，和x t , y ，是相对应的特征点。如果我们求出4 对以上两两不 共线的特征点。并假设图像，、，之间的坐标变换满足8 参数的透视变换7 ，则有： z = t 一，y = t ，y ， r 1 - 1 0 ) 通过解超线性方程即可求出矩阵r 的8 个参数，这样就建立了图像，和，1 之问的坐标变 换关系。 视频运动信息分析技术研究 基于特征点对应的全局运动估计方法的难度在于如何求特征点。文献【1 0 1l 】 1 2 】先 将图像分成若干个大小一致的块，然后选取块的中心点或索引位鹭作为特征点，通过块 匹配技术找到其对应点。文献i t 3 1 也使用了分块技术，该文从每个块中选取梯度最大的 点作为特征点。文献【1 4 】通过寻找边缘上的交叉点( c r o s sp o i n t s ) 来定位特征点。文献【1 6 1 至( 2 1 】参考m p e g 压缩码流中的运动矢量，直接快速地获得特征点对。 然而无论是采用微分法还是特征点对应法，都会由于外点的影响造成估计精度下降。 外点是指是由于特征匹配误差、局部运动( 即前景物体的运动) 等造成的噪声数据，由 于它们的运动属性与全局运动不一致，必定会影响估计精度。为此，文献 4 1 1 3 1 u 7 通 过去除残差大的点达到消除外点的目的。文献【5 】定义截断二次方程用以消除外点的影 响。文献【1 5 】使用回归最小均方差技术消除外点。文献【1 6 】通过参考d c 图像的运动背景 区域去除局部运动物体上的外点。 1 2 2 视频稳定化 近年来，摄像机不仅在工业和军事的监控、监视领域得到了广泛应用，它在民用消 费市场中也开始普及起来，越来越多的消费者用之记录身边的事情。然而在手持摄像机 拍摄或将摄像机搭载于移动设备上进行拍摄时，因不必要的摄像机运动丽造成的视频抖 动大大降低了所拍摄的视频的视觉质量。为此，人们对基于硬件和基于软件的视频稳定 化方法进行了广泛的研究。基于硬件的稳定化方法通常被称为光学稳定，如：d y n a p e l s y s t e m s 公司开发的s t e a d y e y e 系统1 2 z j ；q i n e t i q 和o v a t i o ns y s t e m 公司合作开发的 s t a b l e e y e s 系统【2 3 1 ：y v a m p 公司研制的s t e a d y c a m 系统 2 4 】等。这些系统通过使用运动 传感器和主动光学系统对视频中不必要的摄像机运动进行补偿，从而实现视频的稳定 化。基于硬件的视频稳定化方法能够获得很好的效果，但硬件成本较高。 基于软件的稳定化方法通过事后对视频序列进行处理，消除其中因手持摄像枫或机 械抖动而造成的不必要摄像机运动( 如来回摆动和歪斜等) 。通常，视频稳定化算法由 三个主要步骤组成：全局运动估计、运动平滑以及视频重构，如图1 3 所示。 抖动视频 闰1 3 视频稳定化的主要步骤 稳定化的 视频 假如视频没有发生模糊，不必要的摄像机运动没有破坏帧中的内容，而只是使图像 发生偏移或歪斜。在这种情况下，摄像机的运动就可以用1 2 1 - 2 小节中的模型来描述， 而要对摄像机的运动进行平滑处理，就得先估计出摄像机的运动参数。运动平滑处理是 指去除不必要的摄像机运动并获得摄像机的目标运动。相对于那些不必要的摄像机运 8 视频运动信息分析技术研究：引言 动，摄像机的n 标运动虑! l 是缓慢而且平滑的。因此，不必要的摄像机运动可以看成是 叠加在兀标运动上的高频噪声，而运动平滑就可以看成是对摄像机运动进行低通过滤处 理。在获得摄像机的几标运动后，根据摄像机的几标运动与最初估计出的摄像机运动的 差异就可对视频序列i i