（计算机应用技术专业论文）体育运动视频合成对比.pdf

摘要 运动科技是提高体育竞技水平的重要手段. 将数字视频技术引入体育训练 中， 用以提高体育训练的 科学性与效率， 是一项新兴的研究内 容。 由于该研究涉 及到视频对象的 提取， 视频内容的理解等内 容， 同时由于体育运动视频具有场景 复杂，内容变化大等特点， 使得研究内 容具有相当的难度。 本文针对体育运动视频这一特定对象， 进行了 基于运动员运动人体的视频合 成技术研究。 首先针对体育视频中 全局运动变化剧烈的特点， 改进了已 有的全局 运动估计算法; 在此基础上， 运用全局运动补偿， 比较准确地获取了 视频中存在 的运动员人体运动信息; 最后利用获取的运动员人体运动信息实现了 对两段体育 视频的合成，并保持了 两段视频中 运动员动作的 清晰度。 本文的主要研究成果如下: 1 .针对体育运动视频的特点，改进了全局运动估计中迭代初始值的选 取方法， 避免使迭代陷入不正确的局部极小值。同时改进了 全局运 动估计中的外点过滤方法， 采用o t s u 阐值选取方法，以提高迭代的 收敛速度， 在保持算法准确性的前提下提高运动估计算法的速度。 2 .提出一种针对背景相似视频， 采用连续帧差获取视频帧中的运动区 域信息， 依据该信息对视频帧进行a l p h a融合的方法， 以达到在合 成视频中消除运动目 标上边界， 同时保持运动员动作清晰度的效果。 3 .在体育运动视频辅助训练系统中，结合运动队训练要求，运用研究 成果，实现了 运动员动作视频的合成。 体育视频中的全局运动和复杂的背景给清晰合成运动员动作带来了相当大 的难度， 同时其中涉及到的 研究内 容对于一般性的视频内容分析， 视频对象提取 等课题也具有重要的意义。 在提高全局运动估计算法的精确性， 鲁棒性， 降低算 法复杂性; 提取运动区域信息， 进而准确分割出 运动目 标等方面都还有继续进行 研究的必要，这些仍旧是引人入胜的研究领域。 关键字 视频合成:全局运动估计与补偿;运动区域信息获取;a l p h a融合 t h e c o m p o s i t i o n a n d c o m p a r i s o n o f s p o r ts v i d e o p a n x u e f e n g ( c o m p u t e r a p p l i e d t e c h n o l o g y ) d i r e c t e d b y l i j i n t a o a n d l i u j i n g a n g i n r e ce n t y e a r s , d i g i t a l v i d e o p r o ce s s i n g t e c h n o l o g y i s i n t r o d u c e d i n s p o r ts t r a i n i n g .t h i s k i n d o f t e c h n i c a l i n n o v a t i o n s i n t r a i n i n g m e t h o d s g re a t l y p r o m o t e t h e e f f i c i e n c y o f t h e s p o r t s t r a i n i n g . h o w e v e r , t h e r e s e a c h i n v o l v e s v i d e o o b j e c t s e g m e n t a t i o n , h u m a n m o t i o n tr a c k i n g , v i d e o c o n t e n t u n d e r s t a n d in g , e t c . i n t h e f ie l d s o f v i d e o p r o ce s s in g a n d c o m p u t e r v i s i o n , t h e r e s e a r c h s o n h u m a n m o t i o n a n a l y s i s , h u m a n b o d y s e g m e n t a t i o n a n d o b j e c t b a s e d v i d e o m a tt i n g a r e a t t r a c t i n g m a n y re s e a r c h e r s a tt e n t i o n w i th t h i r e w i d e a p p l i c a t i o n p r o s p e c t . b e c a u s e o f t h e c o m p l e x i t y o f h u m a n m o t io n a n d b a c k g ro u n d v a r i a t io n , t h e e x is t in g r e s e a r c h m e t h o d s i m p o s e l im ita t io n o n c o m p l e x h u m a n , a c t i o n a n d d y n a m ic b a c k g ro u n d a n e w a p p r o a c h t o c o m p o s e t h e d i v i n g v i d e o s b a s e d o n h u m a n b o d y s e g m e n t a ti o n a n d o b t a i n i n g m o ti o n re g i o n i n f o r m a ti o n i s b r o u g h t f o r w a r d i n t h i s p a p e r . i n s t e a d o f a i m i n g a t a s t a ti c b a c k g ro u n d , i t c a n d e a l w i t h d i v i n g v i d e o w i t h d y n a m i c b a c k g r o u n d . t h e m a i n s c h e m e i s t o o b t a i n m o ti o n r e g i o n i n f o r m a ti o n o f t h e h u m a n b o d y f r o m t h e d i v i n g v i d e o t h e n u s e t h i s i n f o r m a t i o n t o m a t t i n g t h e m o v i n g h u m a n b o d y o b j e c t i n t o t h e o t h e r v i d e o . t h e i m a g e d i ff e re n ce b a s e d s e g m e n t a ti o n , g l o b a l m o ti o n e s ti m a ti o n ( c o m p e n s a ti o n ) a n d m a tt in g a r e u s e d . t h e f i n a l re s u l t i s g i v e n t o s h o w t h a t o u r m e t h o d d o e s w e ll i n k e e p i n g t h e d e f in i ti o n o f t h e a t h l e t e s b o d y o b t a i n e d f ro m t h e o r i g i n a l v i d e o . t h e m a i n c o n t r ib u ti o n s a re a s f o ll o w s : 1 . a c c u r a t e i n i t i a l v a l u e a n d o u t l i e r fi l t e r i n g t h r e s h o l d s e l e c t i o n i n g me g l o b a l m o ti o n e s ti m a t io n ( g me ) is t o e s ti m a te th e p a r a m e t e r s o f m o ti o n t h a t c a u s e s th e m o v e m e n t o f b a c k g r o u n d i n v i d e o . t h e p i x e l c o r r e s p o n d e n c e s b e t w e e n a d j a c e n t fr a m e s c a n b e o b t a i n e d b y g me . t h u s , t h e d y n a m i c b a c k g ro u n d i n d i v i n g c a n b e s i m p l i f i e d t o a s t a t i c o n e w i t h g m c ( g l o b a l m o t i o n c o m p e n s a t i o n ) . 彻 a c c u r a t e i n i ti a l v a l u e s e l e c t i n g m e t h o d i s p r o p o s e d to im p ro v e k o n r a d s g me m e t h o d i n m p e g - 4 v a lid a t i o n m o d e l in o r d e r t o a v o id g e t t in g tr a p p e d i n t o a w ro n g l o c a l m i n i m u m . a t h re s h o l d s e l e c ti o n fr o m g r a y l e v e l h i s t o g r a m u s i n g o t s u m e t h o d i s u s e d i n g me t o f il t e r t h e o u t li e r d u r i n g re i t e r a t i o n . b y f i l t e r i n g t h e o u t l i e r s , t h e n o i s e i s e l i m i n a t e d e ff e c t i v e l y i n p a r a m e t e r s e s t i m a ti o n a n d t h e i t e r a t e ti m e s i s g r e a t l y d e c r e a s e d . c o m p a re d w i t h k o n r a d s m e t h o d , t h e m e t h o d i m p ro v e s t h e s p e e d o f g m e n e a r l y 2 t i m e s . 2 . v i d e o m a t t i n g u s i n g m o t i o n r e g i o n i n f o r m a t i o n w i t h k e e p i n g t h e d e fi n i t i o n o f m o v i n g o b j e c t a n a u t o m a t i c c o m p o s i t i o n a l g o r i t h m f o r s p o r t s v i d e o i n s a m e s c e n e i s p ro p o s e d . t h e in f o r m a ti o n o f t h e f o re g r o u n d a r e a s i n c u r r e n t fr a m e i s o b t a i n e d w i t h g me a n d g m c b e t w e e n c u r r e n t fr a m e a n d t e m p o r a l l y a d j a cen t fr a m e s . t h e c o m p o s i ti o n f r a m e i s c o n s t ru c t e d b a s e d o n t h e in f o r m a t i o n o f t h e f o r e g r o u n d a re a s o f b o t h p r e - c o m p o s i ti o n f r a m e s u s i n g a l p h a m a t t i n g . e x p e r i m e n t s d e m o n s t r a t e t h a t p ro p o s e d m e t h o d i s r o b u s t t o t h e d y n a m i c s ce n e a n d a b l e t o c o m p o s e t h e s p o r t s v id e o k e e p i n g b o t h o f t h e f o re g r o u n d a r e a s o f p re - c o m p o s i ti o n fr a m e s c l e a r . 3 . i m p l e m e n t t h e c o mp o s i t i o n a n d c o m p a r i s o n o f s p o r t s v i d e o i n d v c o a c h s y s t e m wi t h a l l t h e m e t h o d s m e n t i o n e d a b o u e , t h i s p a p e r i m p l e m e n t t h e c o m p o s i t i o n a n d c o m p a r i s o n f u n c t i o n i n d v c o a c h s y s t e m k e y w o r d s : g m e j g m c , m o t io n r e g io n in f o r m a t io n o b t a in in g , a l p h a m a t t in g 丫 7 5 4 9 2 1 首都师范大学学位论文使用授权声明 本人已经认真阅读首都师范大学的 “ 研究生学位论文著作权管理规定” ，同 意本人所撰写学位论文的使用授权遵照学校的管理规定: 学校作为申请学位的条件之一， 学位论文著作权拥有者须授权所在大学拥有 学位论文的部分使用权，即: 助己获学位的研究生必须按学校规定提交印刷版和电子版学位论文， 学 校可以 采用影印、 缩印或其他复制手段保存研究生上交的学位论文; z 为教学和科研日的， 学校可以将公开的学位论文或解密后的学位论文 作为资料在图书馆、 资料室等场所或在校园网上供校内师生阅读、 浏 览。 同意论文提交后发布口:滞后:口半年;口一年发布 作者签名:. 越挥 导师签名:f m 年_ 月_ 日午_ 月 _ 本人已经认真阅读 “ c a l i s高校学位论文全文数据库发布章程” ，同意将本 人的学位论文提交“ c a l l s高校学位论文全文数据库”中全文发布，并l i) 按“ 帝 私 ， ”i , 的规定享受相关权益。 同意论文提交后滞后:口半年;日一 年;口 一 年发4 作者签名导师签名 第一章绪论 1 . 1 论文的研究背景及意义 1 . 1 . 1 研究背景概述 竞技体育运动中， 运动员的培养是一个长期的过程，因而如何进行高效的训 练以取得良 好的训练效果是一个重要的研究课题。在相当多的竞技体育训练中， 教练员和运动员只能凭借自 身的主观感觉与经验来进行训练， 要对运动员完成的 训练动作进行科学分析和精确判断难度非常大。 随着科学技术尤其是信息科学与技术的发展， 采用现代科技手段， 从解决运 动训练实践中的难点和关键点出发， 集成先进、 科学的训练方法己经成为全面提 高运动员运动竟技水平的重要手段。 一些训练辅助系统也应运而生。 但现有的系 统多采用在运动员身上附加传感器的方式来获得人体各部位的运动参数。 数字视频技术的发展与应用使得获取运动员训练的数字视频图像， 并利用视 频处理手段来获取人体运动参数成为可能。 通过收集高水平运动员在平时训练和 比赛中大量视频图像资料信息， 对这些资料信息进行有效分析， 能够改变教练员 仅凭人工观察和经验对运动员的技术动作进行指导的训练方式。 2 0 0 8 年将在我国 北京举办第2 9 界奥运会，为了确保我国 运动健儿在北京奥 运会上取得优异的成绩， 摘取更多的金牌， 为他们提供引 入先进技术的训练工具 与手段以提高训练效率已 经成为当务之急。 为此中国科学院、 国家体育总局以及 北京市科委联合组织实施了国 家奥运科技专项“ 数字化三维人体运动的 计算机仿 真” 项目，本文研究内容属于该项目 成果视频分析系统中的一部分。 1 . 1 . 2 课题的目 的和意义 近年来， 在计算机视觉领域， 运动和视频计算己 成为一个新的 研究热点。除 了传统的基于视频序列的视觉运动分析外， 视频序列中的运动信息还被广泛用于 解决其它问题，如视频合成、 视频分割、 视频压缩、 视频配准和视频监控和监视 等。 而视频运动信息分析正是指对视频呈现的全局运动信息( 因摄像机运动造成 的背景运动)以 及局部运动信息 ( 前景物体的运动) 进行分析、描述和利用。 在开展针对体育项目的视频训练辅助系统的设计与实施中，由于运动员动作 上的差异会导致整个动作过程极为显著的不同结果， 教练员和运动员很希望对所 做动作之间的差异有一个直观准确的把握。 将运动员的动作视频进行对比的 确是 体育训练辅助系统中一个重要的需求。 本文的意义在于: 结合研究课题， 对视频合成技术进行比 较深入的探讨和研 究。 视频合成作为视频计算的一项重要研究内容， 其研究成果也将对视频计算的 其它分支产生积极影响。 1 . 2 国内外研究现状 1 . 2 . 1 基于视频的训练辅助系统 1 9 9 6年，美国宾夕法尼亚州立大学的 s e m y o n s . s l o b o u n o v研究并开发j c o m p u t e r g r a p h i c s f o r i m p r o v e m e n t o f s p r i n g b o a r d d i v i n g 系统，用于 帮助体育教练员和运动员加强对体育过程中整个身体姿态的理解。 我国的北京爱 捷人体信息研究所开发的“ 爱捷运动图 像测量分析系统” 使用多台摄像机拍摄运 动员的技术动作， 对其进行多机、 同步的三维运动图像解析， 合成其关节点和人 体重心的三维空间 坐标， 计算出 运动员的三维速度、 人体环节姿态角、 关节角度 等。 这些系统虽然取得了 较好的效果， 但是需要将传感器贴在运动员的各个关节 实时采集数据 ( 如图1 所示) ， 这在训练中必然会影响运动员的发挥。同时他们 所开发的系统运算复杂度较高，所需设备较为昂贵，不适于进行推广。 数字视频技术的发展与应用使得获取运动员训练的数字视频图像， 并利用视 频处理手段来获取人体运动参数成为可能。 近年来， 国内外兴起了基于视频的训 练辅助系统研究。 清华大学 “ 基于视频分析的跳水运动姿态研究” ( v i d e o b a s e d d i v i n g a n a l y s i s s y s t e m ) ，教育部重点 项目 。该项目 采用的思路也集中在对跳水视 频中的运动目 标提取， 用提取后的运动目 标进行视频合成， 以达到消除背景影响 的目的。 此外在合成时对提取的运动目 标边界上采用了一定的图像增强技术， 以 使整个图像看起来更为自 然。 就国外已 有的几种此类软件系统而言， 对于系统的侧重，不同的开发者有不 同的思路。 其中d a r t f i s h 公司的视频辅助训练与指导软件系统， s i m i 公司软件 均侧重于视频回放方面， 其做法是将两个不同动作的视频片断融合到一个视频中， 进行同步对比 播放( 动作对比) ， 并将能将不同时刻的运动员的动作在同一背景下 作全景图展示。 而工 s t 公司的m o t i o n m o n i t o r 系统则是主要针对运动力学方面的 需求， 采用精细的人体骨骼模型， 以专门的数据采集设备方法得到人体运动的力 学参数。 1 . 2 . 2 相关关键技术研究 现状 在体育视频合成中， 全局运动估计、 运动区域信息提取以 及基于运动区域信 息的视频合成是三项关键的技术，三者密切相关: 1 )全局运动估计是指估计视频序列中背景运动规律，这种运动多由 摄像机 运动引起。 无论是分析造成场景变化的摄像机运动的规律， 还是分析前景物体的 运动， 通过全局运动估计以 和补偿， 将运动背景下的分析问 题转化为静态背景下 的问题都是十分重要的步骤。 本文中采用的全局运动估计主要是用来获取视频中 运动目标的区域信息。 2 )运动区域信息提取是指提取视频中的运动信息，以此作为分割视频帧中 具有一致运动属性的目 标的 依据。 在视频对象分割和视频内容理解方面， 这是一 个重要的预处理步骤。 本文中将依据运动区域的信息对视频进行合成， 以 保持运 动员人体的清晰可见。 3 )视频合成这项研究开展的时间比较长，其目 的就是将待合成内容自 然地 合成到目 标视频中， 为 此研究人员提出了 各种针对实际应用的 合成方法， 该研究 内 容在媒体制作等方面有着广泛的应用。 在本文中将采用基于运动信息的合成方 法，以保持运动人体的清晰度，达到观察运动员动作的目的。 这几项研究内容，由于在视频编码，视频内容分析方面具有重要意义，故而 在视频处理研究领域中受到了广泛的关注，一些国际期刊，如 c s v t( 工 e e e t r a n s a c t i o n s o n c i r c u i t s a n d s y s t e m s f o r v i d e o t e c h n o l o g y )、p a m i ( i e e e t r a n s a c t i o n s o n p a t t e r n a n a l y s i s a n d m a c h i n e i n t e l l i g e n c e) 、i e e e t r a n s a c t i o n s o n i m a g e p r o c e s s i n g等，重要的学术会议，如 i c c v ( i e e e i n t e r n a t i o n a l c o n f e r e n c e o n c o m p u t e r v i s i o n )、 a c m mu l t i me d i a ( a c m i n t e r n a t i o n a l c o n f e r e n c e o n m u l t i m e d i a ) 等， 都收录了 相关文章， 许多 研究人员 都在这几个研究领域中作了 大量工作。 下面，本文围绕这三方面的技术，对国内外的研究现状作简述。 1 . 2 . 2 . 1 全局运动估计 全局运动是指在视频序列中占 有较大比 例的像素运动， 一般主要是由 摄像机 的运动造成的。 通常视频图像由前景和背景构成， 如果在拍摄过程中摄像机是运 动的， 同时前景物体也有其自 身的运动， 那么在视频序列中所表现出来的就是背 景、前景都有各自的运动:背景的运动是由摄像机运动造成的，称为全局运动: 而前景物体所表现出来的运动是前景物体相对于摄像机的运动，称为局部运动。 全局运动估计的目的就是要从视频序列中找出造成全局运动的摄像机运动的规 律。 全局运动估计的应用很广泛，如s p r i t e 编码， 全局运动补偿编码， 基于运 动的对象分割等. 全局运动多由摄像机运动引起， 研究者通过对摄像机运动建立模型来研究全 局运动规律， 为了对摄像机的运动建模， 需要对场景以及其中的物体做一定的假 设。通常将三维空间中物体的表面看成许多空间平面的组合 其中每一个平面都满足下面的约束条件: a x+b y十c z=1 设 ( x , y , z ) 和 (x, y z 分别为一 个物体上的点在 相 邻两帧中 的 三维坐标。 相 应的图 像 平面 上的 点的 坐 标为( y , x ) 和 (x y ) 动为 位移、 旋转和线性变化， 则 ( x , y , z )和 ( x 如果三维场景中的物体的运 y, z ) 的关系为: !1十卫 矛八.八t3 r习esesweeel飞，且l + ，1贾卜1.里ij xyz r胜!11 门.leseet毋esj 13刀” 555 u刀打 555 泞55 r.，llj.l 一一 一!.注，.件.j 厂尸z 产怪1.ksell.l 若具有上文表面特性的物体的运动满足此式， 利用透视投影法或者正交投影 法，我们就可以得到八参数的透视模型或六参数的仿射模型。 对仿射运动模型进一步简化， 就可以 得到刚性模型和位移模型。 下表给出了 各模型的坐标轴变换关系和几何变换描述: 摄像机运动模型的坐标轴变换关系和几何 变换描述: 换-一从- 变-人点团- 几! 全局运动 模型 坐标变换关系 !jx)*fl(;i) 运动参数 位移 t , t y : 位移 刚性 (二 iyx,) = (yx)+ (y. 习 - 一仁 8.: 11 z 8,11 对:) : :缩放 夕 :旋转 t , t y : 位 移 a 1 . 0 5 : 缩放 仿射 ; e = a , x + a , y + a l .v , = a 4 x + a s y + a , a 4 l a 2 : 旋转 a , , o 6 : 位移 s = a 3 x-上2 2 3 止a 3 a 7 x + a , j + 1 透视 a ,一a , y =a , x +a s y+a , a .3 x + a , y + l 目 前， 全局运动参数估计的方法主要分为微分方法和特征点对应法， 区别主 要在于前者使用图 像像素域上的速度场， 后者使用特征点的对应关系。 微分方法是无特征点方法，目 前已 有大量该类算法用于解决运动参数估计。 这些算法都要根据图像像素域上的速度场定义一个目 标函数， 然后用数值优化方 法求解最佳的运动参数。 m p e g - 4校验模型所采用的k o n r a d算法是典型的微分 方法， 该算法在三层金字塔上进行全局运动估计。 该算法首先用三步搜索法在金 字塔的最上层估计平移参数并用其作为参数估计的初始值。在金字塔的每一层， 用上一层所估计出的参数作为迭代计算的初始值， 并根据残差直方图去除前1 0 % 的残差大的点，然后通过梯度下降进行迭代计算，最终获得准确的参数估计。 估计摄像机参数的另一类方法是基于特征点对应的方法。 特征点对应的基本 原理是在连续两帧中找出 足够多的 源自 同一物体在不同视角下的图 像点坐标。 设 i和， i 是两帧图 像， x , y , z 二是三维空间中的点， 这些点在图像i , i 中对应的 点 分 别是x , y , 和x i , y . 。 我 们 称x , y , 和x y 是 相对 应的 特征 点。 如果 我们求出几对两两不共线的特征点， 按照摄像机运动模型， 通过解线性方程即可 求出 变换矩阵中的参数。 这类方法的 难度在于如何求特征点。 有研究者先将图 像 分成若干个大小一致的块， 然后选取块的中心点或索引位置作为特征点， 通过块 匹配技术找到其对应点， 或是从每个块中选取梯度最大的点作为特征点， 或是来 定位特征点。 近来也出 现了参考 m p e g压缩码流中的运动矢量，直接快速地获 得特征点对的方法。 以上两类方法，都会由于噪声点 ( 外点，由于特征匹配误差、前景物体的运 动等造成的噪声数据， 噪声点的运动属性与全局运动不一致) 的影响造成估计精 度下降。 为此， 可通过去除残差大的点， 达到消除外点的目 的， 或定义截断二次 方程用以消除外点的影响， 或使用回归最小均方差技术消除外点， 以 及通过参考 d c图像的运动背景区域去除局部运动物体上的外点。 1 . 2 . 2 . 2 运动区域信息提取 长期以来， 对视频中的对象进行分割，获得视频序列中有一定意义的相对独 立的空间或时间的集合， 并有效地组织属于这些集合的元素 ( 如像素) 是众多视 频处理研究人员不懈努力的方向。 但是在图像中 准确分割出 静止对象涉及到对图 像内 容的理解， 完全采用计算机进行自 动处理， 在目 前而言还相当困 难。 退而求 其次的方法是对视频中的运动对象进行分割， 通过获取的运动区域信息获得大致 的视频运动对象信息， 进而在这一基础上进行基于内容的视频应用( 这些应用包 括面向 对象的视频编码、基于内容的视频检索和基于视觉的人体运动分析等)。 同一物体的各部分往往具有一致的属性， 如空间属性和时序属性。 获取运动目 标 的这些属性是对运动对象进行分割依据。 空间属性主要是: 亮度、 颜色、 纹理或 其他变换的统计特征，比如梯度图像， 共生矩阵、 直方图等。 一般有两种不同的 考虑 角度: 区 域 ( w眼 于空间 属 性的 一 致性 ) 和 边缘 ( 着眼于 空间 属性的 差 异 ) 。 时 序 属 性 ( 即 运 动属 性) 主 要 表 现为 帧间 差、 光流 场 等， 据 此可以 检测出 帧间 变化( 运 动) 的区域，以及运动的方向和大小。 现有的运动对象提取算法主要可以分为两 类:基于时序属性的方法和基于空间属性的方法。 时序分割仅根据视频序列中运动信息分割运动对象。 常用的方法有光流法和 变化检测。 基于光流法的分割的典型方法是先估计出 稠密运动场( 每一个像素都对应一 个矢量) ， 然后利用这些运动信息把场景分割成一系列的视频对象。 运动场是三 维物体的实际运动在图像平面上的投影， 然而我们所能得到的是图像亮度随时间 的变化， 即 所谓的光流场。 基于光流法的分割就是通过研究光流场， 从序列图 像 中近似计算不能直接得到的运动场，然后根据运动场的运动特征进行视频分割。 光流的研究己 有很长的时间， 研究者己 提出了很多的光流估计方法。 基于光流法 的分割都是建立在估计出的光流场数据基础之上， 光流分割的成功与否与估算出 的光流场的正确性紧密相关， 而光流分割对噪声较敏感， 造成这类方法在运动分 界处和边缘处的分割结果都不够精确。 此外， 光流的计算非常耗时也造成了这类 方法的分割效率不高。 基于变化检测的分割对决策空间中的变化 ( 不连续位置) 进行检测， 从而分 割出 运动对象， 它包括空域变化检测和时 域变化检测，即背景消除和时序帧差。 背景消除法适合于从静止的摄像机所捕捉的视频图像序列中快速地分割出 运动 对象。 此类方法通常先对背景建模， 然后将符合背景模型的像素从图 像中消除， 再经过平滑、 连通区域求取等后处理获得运动对象的轮廓。 因此这类方法的关键 是如何对背景建模， 其优点在于计算简单， 速度快。 可用更加复杂的背景模型来 处理背景中的光照变化和人影等因 素。 例如， 使用k a l m an 滤波对静态背景中每 个像素建模， 用高斯分布模型表示静态背景中每个像素在一段时间内的颜色分布 等。 然而当 摄像机是运动的， 即背景发生快速变化时， 这类方法就不能准确地为 背景建模，从而导致背景消除失效。 基于空间属性的对象分割借助视频图像中的空间属性来分割对象， 此类方法 可以从图像中 得到物体的精确边缘。 但是， 如果仅参考空间 信息对图像进行分割， 其结果只是图像的各组成区域的集合， 这些区域并不具有完整的语义， 它们往往 只是视频对象的一部分。 因此， 现有的基于空间属性的对象分剖方法实质上都是 一些时空联合的方法， 即除了 对图 像进行空间分割外， 还要借助视频中的运动信 息来辅助分割， 最终获得语义完整的运动对象。 基于对图像空间属性的不同考虑， 即区域着眼于空间属性的一致性， 而边缘着眼于空间 属性的差异， 基于空间属性 的对象分割又可分为基于区域的分割和基于边缘的分割。 基于区域的分割根据图 像的区域属性一致性分割运动对象。 一般先使用分水 岭算法、 区域分裂及合并等方法将图 像分割成若干空间 属性一致的区域， 然后对 这些区域进行运动分析并将运动属性相似的临近区域合并得到运动对象。 分水岭 算法一种常用的图像分割工具， 它根据图像的梯度信息进行分割， 具有良 好的分 割效果。 区域分裂及合并方案分割图像也是较常采用的方法。 可首先用这些把图 像分裂成若干颜色一致的区域，然后根据g e s t a l t 法则，即邻近、相似、 连续、 封闭和均匀等规则， 对这些区域进行合并。 最后， 通过对帧间区域的颜色、 大小 和位置进行比 较， 获得区 域的 运动信息， 并根据运动信息将区域合并得到最后的 分割结果。 基于区域属性的分割能够获得精确的对象边缘， 但由于对图像的空间 分割和运动估计的计算量都很大， 这类算法一般处理耗时都相当可观。 基于边缘的分割主要利用图 像中的边缘信息， 通过提取视频图 像中的静态边 缘和运动边缘来分割运动对象。 有研究者先对相邻帧的帧差进行二值化， 并通过 细化处理和运动连通成份标记，获得运动对象的初始轮廓模型。然后，使用 h a u s d o r ff距离对后继帧中的 运动对象进行跟踪。 为了 能够跟踪目 标的旋转或形 变， 对象的轮 廓模型 还需不断的 修正。 也 有人使用 c a n n y 算子计 算相 邻帧帧差 的边缘图， 并综合当前帧的边缘图、 背景边缘图以 及上一帧的运动边缘图得到当 前帧的运动边缘图。 然后该文对运动边缘图进行水平和垂直扫描， 得到运动对象 平面。 这种方法通过对各帧中的运动对象平面进行连通成份分析， 并计算它们的 运动轨迹的平滑程度， 以实 现多对象中 感兴趣目 标的 跟踪。 还有研究者通过边缘 检测在差分模板中确定物体的准确边缘， 并形成边缘模板。 在边缘模板的基础上， 利用二值图像下的收缩型活动轮廓算法，得到视频对象的闭合轮廓曲线。 无论是采用基于时序属性的对象分割还是基于空间属性的对象分割， 都要借 助运动分析才能分割出 运动对象。 一旦使用了动态信息， 就容易造成显露背景( 因 运动对象的离开而形成) 或静态前景区域 ( 运动对象暂时保持不动的部分) 的错 误识别。 为此， 研究者们提出了 记忆更新策略来分别克服对显露背景和静态前景 区域的错误分类， 或通过对运动对象轮廓的模板缓冲区进行更新， 来获得完整的 对象轮廓。 ， 2 .2 . 3 视频合成 视频合成是商业电视和电影产业中十分重要的技术。 运用该项技术能在视频 中引入新的视觉对象。该项技术主要是通过提取即视频对象来作为合成的视频 元，然后利用不同的合成方法将视频元合成到目 标视频帧中。 色度键 ( c h r o m a k e y i n g ) 技术是提取通道最主要的手段。它是在拍摄人物 或其他前景内 容， 然后利用色度的区别， 把单色背景去掉。 限定颜色在某个范围 之内的像素被当 作背景， 相应的a l p h a 通道值设为0 ; 在这个范围 之外的像素作 为前景，相应的a l p h a 通道值设为 1 . 前景物体上不能包含所选用的背景颜色。 设定一定的 过渡颜色范围， 在这个范围 之内的像素， 其 a l p h a 通道设为0到 1 之间， 即半透明。 通常这种半透明部分出 现在前景物体的边缘。 适当的半透明部 分对于合成的质量非常重要， 因为非此即彼的过渡显得很生硬， 而且在活动的画 面上容易出 现明显边缘。最常用的单色背景是蓝背景和绿背景两种。原因在于， 人身体的自 然颜色中不包含这两种色彩，用它们做背景不会和人物混在一起。 除利 用色度的 差别进行视频元的 提取外还利用亮度键 ( l u m i n a n c e k e y i n g ) 提取非常明亮或自 身发光的物体。 把明亮发光的物体放在黑暗的背景前拍摄， 得 到背景全黑、 前景明亮的画面， 然后利用它们的 亮度差别来提取通道。 拍摄爆炸、 飞溅的火星、烟雾等常常使用这种办法。 还有一种利用背景减除提取视频元的方式，称为差异键 ( d i f f e r e n c e k e y i n g ) 。 其基本思想是，先把前景物体和背景一起拍摄下来， 然后保去掉前景 物体， 单独拍摄背景。 在理想状态下， 两个画面的背景部分是完全相同的， 而前 景出现的部分则是不同的， 这些不同的部分， 就是需要的视频元对象。 但是即使 摄像机位置完全固定， 两次实际拍摄效果也不会是完全相同的， 光线的 微妙变化、 视频的噪波等都会使再次拍摄到的背景有所不同， 所以 这样得到视频对象都不太 准确。而且在很多应用中，获取一个完全的背景是不太可能的。 此外，即使对象提取准确，但合成后的画面连续播放时，经常会由于视频对 象合成时放置的位置不合理， 与合成的目 标视频中其他部分运动不合协， 影响合 成视频的质量。 摄影机镜头的运动， 在视频中是常见的， 但它给视频合成提出了 一个难题。 因为合成镜头是由 几个来源不同的画面合在一起的， 如何保证这些画面有完全一 致的镜头运动?在视频拍摄中 采用跟踪技术可以 部分地解决这个问 题。 跟踪是这 样一个过程: 选择画面上的一个特征区域 ( 有时称为跟踪点) ，由 计算机自 动地 分析在一系列图像上， 这个特征区随时间推进发生位置变化。 跟踪得到的结果是 一系列的位移数据。 一般来说， 软件会让使用者指定一个矩形的区域， 作为特征 区。这个区域应该满足这样一些条件:区域内的画面有明显的 颜色或亮度差异， 区域内 物体形状没有明 显的 变化， 区域内的 物体不会长时间被其它物体遮盖。 把 另外一个画面中的物体按照这个不断变化的位置合成到刚才跟踪的画面上。 这样 这个物体就会与画面同步运动， 好像它们本来就在一起。 这样既可以 用来跟踪本 身就是移动的物体 ( 例如把一个徽标贴在画面上一辆行驶的汽车上) ，也可以 用 来跟踪移动镜头中的固定物体。 我们也可以 利用这些数据， 例如在一座楼房上增 加一个霓虹灯。 我们把跟踪画面向反方向移动相应距离， 就可以抵消原来镜头的 运动， 使特征区 域在画面上保持在原来位置上， 就好像摄影机固定的 一样。 这就 叫稳定。 只利用一个特征区的跟踪和稳定， 称为一点跟踪，是跟踪最简单的情形，因 为这种跟踪只能得到位移信息。 但摄影机镜头的运动方式远非如此简单: 镜头的 推拉和变焦会产生图 像的放大缩小， 镜头的转动会造成画面旋转。 一点 跟踪无法 得到这类信息。 但如果同时跟踪画面上相对位置不变的两个特征区， 得到两个位 置点， 就可以 从两点间距离的变化推知画面的放大和缩小， 从两点间 连线的角度 变化， 得到画面的旋转， 所以两点跟踪比一点跟踪更进一步， 通过它可以 得到画 面放缩和旋转的信息。 镜头的运动还常会造成画面透视的 变化， 例如摄影机围着 一台电视转， 电视屏幕的透视就会改变。 如果我们同时跟踪屏幕的4 个点， 就可 以 模拟这种透视变化， 把一幅画面准确地贴在电视屏幕上， 这就是四点跟踪。 为 了方便后期的跟踪处理， 在实拍合成镜头的素材前， 必须要预计镜头的运动， 按 照跟踪的需要布置好跟踪点。 有时候画面上自 然形成的高反差点可以作为很好的 跟踪点，比如楼房的角点，远处墙上的显眼招帖等。有时必须自己设置跟踪点， 比如在要跟踪的位置上画上颜色鲜艳的十字叉。 其原则就是: 首先跟踪点要与周 围画面形成鲜明的反差， 其次跟踪点的形状不要随镜头的运动而变化， 此外还要 布置足够的跟踪点。 1 . 3 相关技术中的主要问题 上文所介绍的几项技术， 近年来受到研究人员广泛的 研究，并取得了很大 进展。 然而在实际的应用中， 因摄像机的运动造成的背景运动、 前景物体的不规 则运动等各种因素造成的困难。 现有的 视频合成技术在本课题的实施过程中 遇到 了挑战。下面对课题实施中遇到的问题作一介绍: 全局运动估计的准确度与速度有待提高。体育视频的特点在于:在视频拍 摄过程中， 摄像机运动剧烈， 运动员人体在画面中所占的比 例比 较大。 这些因素 使得在参数估计过程中 特征点选取， 迭代初值选取和迭代方向修正都容易受到较 大噪声的干扰， 影响估计精度。 此外， 迭代过程和特征点 选取所必须的大量运算 限 制了 算 法的 适 用 范围 。 要 在 体 育 视 频 训 练 系 统 中 采 用 全 局 运 动 估 计 技 术 必 须 对 该算法进行改进。 运动区域信息提取的速度有待提高。在对运动员动作视频进行合成时，利 用运动区域信息使运动员动作在合成时保持清晰度是相当重要的。 但是由于常用 的视频对象分割方法大多是时空联合的分割方法( 即借助空间属性获得准确的对 象轮廓， 借助运动属性将运动对象与背景区分离) 算法复杂度较大， 而且很容易 受到诸多因素的影响而降低分割的准确度， 甚至是造成错误分割。 这些缺陷使得 在进行视频合成时需要考虑更加简洁有效的运动区域信息获取方式。 在对视频进行合成时，考虑两组视频序列间摄像机运动的差异，并对之进 行弥补是体育视频合成对比中十分重要