（信号与信息处理专业论文）图像视频特效制作的若干关键技术研究.pdf

一 。、 ! i 7 心 ； t ? 杏。 中图分类号：t p 3 9 1 4 1 u d c ：6 2 1 3 学校代码：1 0 0 0 4 密级：公开 北京交通大学 硕士学位论文 图像视频特效制作的若干关键技术研究 s e v e r a lk e y t e c h n o l o g i e so f i m a g e v i d e os p e c i a le f f e c t sp r o d u c t i o n 作者姓名：车丹丹 导师姓名：苗振江 学位类别：工科 学号：0 8 1 2 0 4 1 7 职称：教授 学位级别：硕士 学科专业：信号与信息处理研究方向：图像处理 北京交通大学 2 0 10 年6 月 j 0。 致谢 本论文的工作是在我的导师苗振江教授的悉心指导下完成的，苗振江教授严 谨的治学态度和科学的工作方法给了我极大的帮助和影响。在此衷心感谢两年来 苗振江老师对我的关心和指导。 苗振江教授悉心指导我们完成了实验室的科研工作，在学习上和生活上都给 予了我很大的关心和帮助，在此向苗振江老师表示衷心的谢意。 苗振江教授对于我的科研工作和论文都提出了许多的宝贵意见，在此表示衷 心的感谢。 在实验室工作及撰写论文期间，唐振、李竞超、雷丽坤、孙砚铭、谢朝强、 车志富、王梦思等同学对我论文中的视频抠像及卡通化处理研究工作给予了热情 帮助，在此向他们表达我的感激之情。 另外也感谢爸爸、妈妈、妹妹，他们的理解和支持使我能够在学校专心完成 我的学业。 i v 中文摘要 中文摘要 摘要：影视特效体现了视觉技术和艺术相结合的新发展，已成为当代电影的一种 有效的表现手法，是创意实现不可或缺的技术保证。近年来，视频特效处理技术 层出不穷，本文对经典的视频抠像一合成技术和卡通化技术进行研究。 视频抠像一合成技术是视频特效制作中必不可少的关键技术，广泛应用于媒体 制作中。目前，抠像技术的研究相对比较成熟，为了达到实时、高质量抠像的目 的，我们采用图像分割与抠像相结合的方案基于二值分割的贝叶斯抠像方法。 该方法主要步骤包括：基于背景建模的背景减除、贝叶斯估计生成t r i m a p 、g r a p h c u t 分割、贝叶斯抠像。准确的抠像结果是完美合成的保障，根据抠像中提取韵前景 颜色信息和像素点不透明度值，将提取出的前景融合到新背景中，这样就完成了 整个抠像与合成。实验证明，我们的抠像一合成方法可以得到高质量的处理结果， 而且不透明度对于模糊物体( 如头发，羽毛等) 的提取非常有效，我们还采用分 割与抠像并行处理的机制来保证实时处理。 影视艺术的卡通化，满足了现代人对视觉新鲜感的需求，使影视创作迈进了 一个全新的艺术阶段。在形式多样的卡通动画制作中，将实际拍摄的视频，通过 卡通化特效自动生成卡通视频的技术越来越受到人们的关注。本文我们采用一种 基于特征的视频图像抽象化方法处理视频，该方法主要包括：重要性图计算、r g b 与c i e l a b 颜色空间转换、快速双边滤波、亮度值伪量子化、各向异性的高斯差 分线条抽取及线条增强。该方法的每一步都可以在图形卡硬件中并行处理，可以 自动、快速的生成卡通视频。此外，我们将重要性图计算应用到卡通化处理中， 保证了对重要性区域的细致刻画，符合人们的视觉习惯。我们的卡通化方法还有 效地解决了现有视频和图像抽象化方法存在的抽取线条生硬，不连贯的问题，为 非专业人员提供了一种简便直观的视频和图像的抽象化方法。 本文中我们还应用以上两项技术的结合处理视频，即将视频中的前景( 如人 物) 提取出来，然后对前景元素进行卡通风格化处理后，再合成到全新的场景中， 这样也使得视频制作更加多样化。在未来的影视制作中也会得到越来越广泛的应 用。 本文的创新之处在于引入了重要性图计算到卡通化中，并将抠像一合成与卡通 化处理相结合进行视频特效制作。 关键词：图像视频特效、抠像合成、贝叶斯估计、t r i m a p 、g r a p h c u t 分割、a l p h a 通道、卡通化、各向异性的高斯差分、线条抽取、重要性图、颜色空间转换、快 速双边滤波、双边网格。 - i a b s t r a c t a bs t r a c t a b s t r a c t ：v i d e os p e c i a le f f e c ts h o w st h ec o m b i n a t i o no fv i s u a lt e c h n o l o g ya n d a r t n e wd e v e l o p m e n t i th a sb e c o m ea ne f f e c t i v ee x p r e s s i o nt e c h n i q u eo fm o d e mf i l ma n d b e e na l le s s e n t i a lt e c h n o l o g yt oe n s u r et h ec r e a t i v ei m p l e m e n t a t i o n i nr e c e n ty e a r s ， v i d e oe f f e c t sp r o c e s s i n gt e c h n o l o g ye m e r g ei ne n d l e s s l y i no u rp a p e r , w es t u d yt w o c l a s s i cs p e c i a le f f e c t st e c h n o l o g y - 一v i d e om a t t i n g c o m p o s i t i n ga n dv i d e oc a r t o o n v i d e om a t t i n g c o m p o s i t i n gi sak e yt e c h n o l o g yi nf i l mp r o d u c t i o n i no r d e rt om e e t t h e r e q u i r e m e n t so fr e a l t i m e a n dh i g hq u a l i t y p r o c e s s i n g ，w ec o m b i n ei m a g e s e g m e n t a t i o n a n d m a t t i n go p t i o n s - - - b a y e s i a n v i d e o m a t t i n g b a s e do n b i n a r y s e g m e n t a t i o n t h ef i r s ts t e pe m p l o y sb i n a r ys e g m e n t a t i o nt og e n e r a t eat r i m a p g i v e n t h et r i m a p s ，m a t t i n ga l g o r i t h m sa r et h e na p p l i e di n t h es e c o n ds t e pt o r e f i n e t h e f o r e g r o u n db o u n d a r ya n de x t r a c ta l p h am a r e t h ew h o l ev i d e om a t t i n gp r o c e s si s a u t o m a t i c a l l yp e r f o r m e do np c e x p e r i m e n t a lr e s u l t so nv a r i o u st e s tv i d e o ss h o wt h e e f f e c t i v e n e s so fo u rm e t h o d t e l e v i s i o nc a r t o o na r tm e e t st h en e e d so fv i s u a lf r e s h n e s s ，e x p a n d st h ec r e a t i v ew a y o ff i l ma r t o u rp a p e re m p l o y sa n i s o t r o p i cd i f f e r e n c e o f - g a u s s i a n ( d o g ) l i n ee x t r a c t i o n m e t h o db a s e do nf e a t u r e f l o w , w h i c hi n c l u d e ss i xm a i np a r t s ：i m p o r t a n c em a p c a l c u l a t i o n ，r g ba n dc i e l a bc o l o rs p a c ec o n v e r s i o n ，f a s tb i l a t e r a lf i l t e r i n gw i t h b i l a t e r a lg r i d ，p s e u d o q u a n t i z a t i o n , a n i s o t r o p i cd o g , l i n ee n h a n c e m e n tt e c h n o l o g i e s e v e r ys t e po f t h ea l g o r i t h mc a nc o n d u c tp a r a l l e lp r o c e s s i n go nt h ep cg r a p h i c sc a r d a s o u rv i d e oe x t r a c t i o ni sb a s e do na n i s o t r o p i ca l g o r i t h m ，i tr e s o l v e st h ep r o b l e mt h a tt h e e x t r a c t e dl i n e sa l es t i f fa n di n c o h e r e n t i na d d i t i o n , w ec a l c u l a t ei m p o r t a n c em a pt o e n s u r et h ed e t a i l e dd e s c r i p t i o nf o ri m p o r t a n ta r e a t h i sc a l lg e n e r a t e sal a y e r i n gs c r e e n t om e e tp e o p l e sv i s u a lh a b i t s i no u rp a p e r , w ea p p l yt h ec o m b i n a t i o no fa b o v et w ot e c h n o l o g i e st op r o c e s sv i d e o s ： e x t r a c t f o r e g r o u n df r o mr e a l v i d e o ，d oc a r t o o n s t y l e p r o c e s s i n g ，t h e ns y n t h e s i z e f o r e g r o u n di n t oan e wb a c k g r o u n d t h i sm a k e st h ef i l me l e m e n t sm o r ed i v e r s e k e y w o r d s ：i m a g e v i d e os p e c i a l e f f e c t s ， m a t t i n g - c o m p o s i t i n g ，b i n a r y s e g m e n t a t i o n ，b a y e s i a n e s t i m a t i o n , t r i m a p ，g r a p h c u t ，a l p h a , c a r t o o n ，a n i s o t r o p i c d i f f e r e n c e - o f - g a u s s i a n ；i m p o r t a n c em a p ；l i n ee x t r a c t i o n ；c o l o rs p a c ec o n v e r s i o n ；f a s t b i l a t e r a lf i l t e r i n g ；b i l a t e r a l 鲥d v “ 北京交通大学 3 4算法介绍2 9 3 4 1 背景减除法。2 9 3 4 2 贝叶斯估计。3 4 3 4 3 t r i m a p 算法3 5 3 4 4 g r a p h c u t 算法及优化一3 6 3 4 5 b a y e s i a nm a t t i n g 算法4 3 3 5 视频抠像一合成系统实现及实验结果4 6 3 6本章小结4 9 4图像视频卡通化算法与实现。5 1 4 1卡通化的方法对比5l 4 2视频卡通化整体设计5 2 4 3算法介绍5 4 北京交通大学 5 6 4 3 1 重要性图计算。5 4 4 3 2r g b c i e l a b 颜色空间转换二5 4 4 3 3 快速双边滤波- 5 5 4 3 4 伪量子化亮度值5 7 4 3 5 各向异性的高斯差分线条抽取和线条增强5 7 4 3 6c i e l a b r g b 颜色空间转换6 0 4 4视频卡通化系统实现与实验结果6 0 4 5本章小结。6 5 图像视频抠像合成、卡通化特效制作的应用6 7 总结与展望。7 3 6 1论文工作总结7 3 6 2展望。7 4 参考文献7 5 作者简历7 9 独创性声明j 8 1 学位论文数据集8 3 l 绪论 1 绪论 1 1 图像视频特效的概念 很难简单给图像视频特效下个定义，可以说，图像视频特效就是利用 图形图像技术实现的图像视频特殊效果，俗称“特效”。 视频特效自电影诞生起一直作为电影语言不可或缺的创作手段沿用至今，经 久不衰，发挥着越来越重要的作用，并被称为“电影魔术 。影视特效制作的本质， 说到底是一种“以假乱真”的艺术。在影片生产过程中，电影摄制者利用特效制 作来避免让演员处于危险的境地、减少电影的制作成本，或者只是利用它们来 让电影更扣人心弦。由计算机参与创造的画面不仅能够模拟真实，甚至能够超越 真实，实现难以想象的画面效果，极大地拓展了电影艺术的表现空间。 从广义上说，电脑参与视频特技的制作主要表现在两个方面：一是起控制作 用( 控制用来产生画面的辅助装置) 以拍摄特殊的画面：二是直接参与视频特效 画面的创作。按照特效的产生方式与真实影像的关系，我们可以将视频特效大体 分为三大类别：计算机生成影像、数字影像处理、数字影像合成。 ( 1 ) 计算机生成影像 计算机生成影像就是“无中生有 ，也成为计算机图形( c o m p u t e rg r a p h i c s ) 技 术或电脑成像( c o m p u t e rg e n e r a t e di m a g e r y ，简称c g i ) 技术。它利用计算机二维动 画和三维动画软件从建立数字模型开始直到生成影片所需要的动态画面，在整个 过程中完全不需要摄影的参与。如电影终结者i i 中那个手指可以变成一把置 人予死地的利刃、身体被打得千疮百孔甚至熔化后还能奇迹般迅速复原的杀手， 就是利用计算机生成图像技术制作的人物模型。 ( 2 ) 数字影像处理 数字影像处理是利用软件对摄影机实拍的画面或软件生成的画面进行加工处 理，从而产生影片需要的新的图像。国产影片紧急迫降中有这么一个镜头： 洒满泡沫的飞机跑道上，正在迫降的飞机呼啸而来，而前方翻倒的吉普车却挡着 跑道，庞大的机翼与推车的抢险人员擦肩而过，险象环生。事实上，在原先拍摄 的镜头中，这架呼啸的飞机并不存在，而是在后期由三维动画“补 上的。还可 以将拍摄的实际景物进行风格化处理得到别样的艺术风格画面等。 ( 3 ) 数字影像合成技术 数字影像合成技术是在计算机的软硬件环境中，制作者主要利用抠像合成技 术将多种源素材( 包括实拍的画面和计算机创造的画面) 混合成单一复合图像的处 北京交通大学硕士学位论文 理过程。在影片阿甘正传中虚构的历史镜头阿甘与肯尼迪总统握手，就 是先在绿幕或蓝幕前拍摄握手的镜头，然后再输入到电脑中与肯尼迪总统的镜头 合成。像这种类型的手法在数字特效中是应用最多的、也是最早的方式。随着数 字技术的不断发展，m o t i o nc o n t r o l 摄影技术和全息静动摄影技术也应用于电影制 作中来，这种能够展现四维时空的数字电影特效更是倍受人们青睐。 图像视频特效的概念在不断延伸与发展，其运用也在不断成熟，还存在着更 多、更大的潜能。目前，虽然数字特效制作尚未形成一种很规范的商业操作，但 是，随着科技的发展和时代的进步，数字特效技术将会越来越有科技信息和发展 的意味，并将在影视应用中呈现出了更加灿烂的世界。 1 2图像视频特效的研究背景与意义 电视媒体已经成为当前最为大众化、最具影响力的媒体形式。从好莱坞大 片所创造的幻想世界，到电视新闻所关注的现实生活，再到铺天盖地的电视广 告，无一不深刻地影响着我们的生活。十几年来，数字技术全面进入影视制作 过程，计算机逐步取代了许多原有的影视设备，并在影视制作的各个环节发挥 了重大作用。因此，如何更好地提高数字视频制作技术是目前影视制作中值得 探讨的问题。 视频制作技术可以应用于角色、场景的制作、图像的绘制、动画的制作加 工、二维和三维特技的制作、特效抠像一合成、风格化处理、非真实感渲染、制 作等。利用数字制作技术的强大功能，我们可以不受现实时空的限制，充分发 挥我们的想象力，去获取超凡的视听效果。 视频制作技术中的一个主要方向即为视频特效制作，它广泛应用于影视制 作中。影视特效体现了视觉技术和艺术相结合的新发展。影视特效已成为当代电 影的一种有效的表现手法，是创意实现不可或缺的技术保证，电影工业迅速地走进 了一个由影视特效开创的新的创作天地。影视特效不仅是后期处理素材的工具或 后期剪辑中的一个补充，而且是贯穿电影制作每一道工序的重要手段。从剧本的 创作策划到前期的摄影置景道具，再到后期的合成剪辑，影视特效在电影制作中 发挥着巨大的功用。影视特效在影视中的运用，影视作品的表现力更加丰富，让 电影创作超出了人类有限的视点和运动轨迹。 视频特效对于影视艺术的现实意义主要体现在以下几个方面： ( 1 ) 表现传统影像不能表现的视觉奇观 电影的纪实本性和奇观本性是与电影的诞生相伴而生的两大特征。人们走进 电影院一方面是为了体验人生，另一方面也是为了欣赏银幕上的视觉奇观，获得 2 绪论 一种视觉上的享受。电影自诞生以始就不断地制造着视觉奇观，以前由于技术手 段的限制，许多题材不敢想，而数字技术打开了思维的闸门，现实中存在的、不 存在的、想象中的甚至匪夷所思的形象都可以呈现在银幕上，变成可见可闻的生 动影像。 ( 2 ) 满足网络时代观众的心理需要 从心理学的角度说，电影给人们感官上的愉悦之初就在于它可以使观者以超 常的视角去看世界，从而获得满足。强调电影娱乐本质的人总是说：电影应当是 人们的视觉冰激凌和心灵沙发床。数字电影特效自从出现，就极大的满足了人们 的好奇心和观奇心理。它让我们亲眼看到我们头脑中所梦想的，但是现实中又不 可能发生的事情。 ( 3 ) 真切地传达人的情感和心灵感受 数字技术不只是用来制作视觉奇观的，把它看作一种电影制作手段，它同样 能贴切地表达人的情感，触及人的心灵。数字技术为导演的叙事增加了表现手段， 能使其故事更加饱满、更加动人。电影创作者完全可以用数字电影特效叙述一个 逼真的故事，更深入地表现导演的意图，创作出完美绝伦的艺术画面，以此更深 刻地表达情感与感受，留给人们更多的感叹与思考。 ( 4 ) 表现人类创造影像的无穷潜力 电影、电视的出现使人类制作影像的能力发挥到了顶峰。而如今数字影像的 诞生与普及则最大限度地表达了人类的智慧。电脑的引人为电影艺术家的创意提 供了更大的挥洒空间，观众也由此能够欣赏到更多更精彩的影视作品。中国的科 教大片宇宙与人用三维动画表现了现代人类不曾领略过的巨大时空，让观众 倘佯在宇宙1 5 0 亿年的时空里，遥看地球的诞生、生命的进化，聆听物质创生的 叙说，观赏宇宙伟大的史诗般进程，给予了观众空前的视听享受。数字电影特效 为我们提供了一种让思维想象力自由驰骋的可能和途径。 目前，现代影视制作中主要应用的视频特效技术有： ( 1 ) 虚拟场景：利用数字技术无中生有地制作出故事环境需要、但实际生活中 又拍不到或根本不存在的场面，并且在需要时能够和拍摄到的场景天衣无缝地组 合在一起。如影片角斗士中壮丽的古罗马宫庭和角斗场，又如影片完美风 暴中摄人心魄的惊涛骇浪和在大浪中挣扎的货船。 ( 2 ) 虚拟角色：与模型结合创造或完全虚拟出仿真角色，如侏罗纪公园中 的恐龙；精灵鼠小弟中善解人意的小老鼠。 ( 3 ) 危险镜头：拍摄的对象和环境虽然在实际生活中存在但在真实拍摄时会 极其危险，对于这类问题的解决办法就是合成。将拍摄的对象和环境都合成到同 一个画面中，让观众为这是实际拍摄的结果，既使人感到真实可信，又有很大的 北京交通大学硕士学位论文 视觉冲击力，给观众极大的震撼和愉悦在垂直极限中大量的攀岩镜头都是在 摄影棚中拍摄完成后，与背景大环境进行数字合成的。 ( 4 ) 二维复制：拍摄的对象和环境虽然在实际生活中存在，但却无法同时出现 在同一个画面中或数量不够时。在影片阿甘正传中上万人的广场和影片角 斗士中波澜壮阔的近干人的战争场面，是由一百人左右多次拍摄，利用数字二 维复制合成技术制作出来的。 ( 5 ) 三维复制：三维复制可完成二维复制难以完成的更为复杂和真实的效果。 计算机依照演员的外轮廊合成一个形状与演员大致相近的网格，计算机将演员的 肌肤纹理和眼球颜色等细节精细地绘制在网格上面。这样，演员便被电子设备完 整地复制下来。 ( 6 ) 数字特效：利用计算机成像技术可以创造出以往任何手段无法实现的视觉 效果，此类效果可谓电脑艺术的产物。如黑客帝国由计算机上闪动的绿色数 字所构成的虚拟世界就是数字特效的典型范例。数字特效为电影艺术创作提供了 非凡的艺术表现方式，同时为观众提供了前所未有的视觉享受。 视频特效可谓无处不在，已经渗透到我们的日常生活的方方面面，下面举几 个生活中视频特效的具体应用实例。 新版西游记为了营造古典名著中的神化意境以及各路神仙和妖魔鬼怪， 大量运用视频特效，呈现给观众最具视觉冲击力和美感的中国古老神话。 视频特效的还可以用于广告制作。电视广告是浓缩的艺术，它要求电视广告 人在最短的篇幅里制作最吸引人、最精致的作品。利用电脑制作的某种技巧可以 大大提升广告的趣味性与可视性，尤其是满足某些特定目标对象的需要，越来越 多的视频特效制作技术冲击着电视广告人的思想，高超的制作技术以及方便快捷 的制作软件给电视广告人带来了灵感，电视广告作品在视觉、听觉以及心理上的 冲击力，使观众受到震撼，视频特效制作技术给电视广告注入了新的活力，优秀 的电视广告作品甚至使观众的接受由被动变为主动。广告制作中常用的特效制作 方法有：调色、光效、文字特效、抠像、m a s k 、追踪、虚拟场景搭建等，其中抠 像是视频编辑中常用的特技。 视频特效还可以用于视频聊天，在用q q 等即时聊天工具进行视频时，可以 借助一些视频特效给你的视频聊天增加很多奇特趣味，如镶嵌效果、卡通表情、 电影情景、墙纸、水、烟雾等等各个方面。 1 3图像视频特效的历史与现状 在1 9 7 7 年，美国人乔治卢卡斯将数字视频特效运用到其作品星球大战中， 4 绪论 开创了大量使用电脑技术运用到电影中的先河。从此，伴随着电脑技术的飞速发展， 影视业慢慢地走进了一个数字技术开创的新的影视天地。到1 9 9 6 年时，在美国大 约有5 0 以上的影片用电脑技术制作视觉画面。中国的影视制作人也紧随其后， 1 9 9 5 年电脑技术应用在上海电影制片厂拍摄的兰陵王中。 步入2 l 世纪，影视制作技术迎来了新的数字时代。其已经成为当代影视作品 中的一种有效的表现手法。数字特效在后期制作素材或后期剪辑中是一个有力的 工具，同时也是贯穿在影视制作中每一道工序的非常重要手段。例如从开始的剧 本创作、策划到前期的摄影、道具，最后到后期的剪辑、合成等，数字特效在制 作中发挥着强大的作用。人们已经感受到了影视特效带来的视觉冲击与震撼。 一个崭新的影视世界展现在人们面前，其视觉效果的魅力有时已经大大超过了 影视故事的内容，这是一次影视的变革。 随着视频特效技术的不断发展，视频特效软件越来越受到关注，硬件商们不 断地为其提供更好的服务设施，软件功能和品种也越来越多。不过到目前为止， 特技软件的开发是整个计算机界最难、最复杂的技术之一，而且只限高度专业化 人员使用，且价格相当昂贵。目前活跃在影视制作的合成软件与3 d 软件有 i n f e r n o 、f l a m e 幸、f l i n t 幸、f i r e 、s m o k e 掌、i l l u s i o n 、q u a n t e l 、c o m p o s e r 、m a y a 、 s o f f i m a g e 、3 d m a x 等这些软件各有所长、分别运行于从超级到中、高档的s g i 工 作站上，他们之间通过相互集成组合，可优势互补发挥出强大的功能。如实时环 境中的二维和三维视觉效果、多层合成图像、图像运动的稳定和跟踪、人物复制 和场景延伸、变形及用于抠像、颜色调整和绘画的工具。这些包罗万象的软件能 够使艺术家创建出独特的意想不到的图像效果，从而完全改变了视觉艺术世界的 面貌。 数字化的技术是影视制作的未来。从国产数字影片可以看到，我们的数字制 作技术实力还很薄弱。与先进国家的特效相比，中国影视技术的进程大约落后了 十多年。在以前我们拍的影视作品，把故事讲出来就算了。可是到了1 9 9 9 年，一 下子制作出像冲天飞豹、紧急迫降、横空出世三部运用电脑特效的电影。 天地英雄是“中国大片”第一次被普通大众认可，并创造了票房的胜利， 与其之前的影片相比，我们看到了它的进步。随后又出现了满城尽带黄金甲、 英雄等国产大片，平均来看，现在国内电影特效制作上的预算在2 0 左右。 上映的白银帝国长期难产的原因，便是片中大规模使用特技效果导致严重超 支2 1 0 0 多万元。而它抛出的票房法宝，也正是片中耗资巨大的特技特效。正在拍 摄的唐山大地震也十分重视影片特效部分的制作。导演冯d , n 表示，唐山大 地震大概一半的钱都要用在特效上面，在特效方面的花销达到了1 亿元。当然 这与美国电影数字特效的普遍投入还有一定的距离，与国际先进水平有一定的差 5 北京交通大学硕士学位论文 距。但随着时代的进步，数字特效的本质和作用逐渐被我国的电影人认可。同时 我国有着强大又蓬勃发展计算机技术行业，电影业完全有条件发挥我们在计算机 技术的相对优势，使数字特效成为中国电影的一个亮点，创造出叫好又叫座的国 产大片。 想象是人类思维活动中最为重要的组成部分，新工具的出现和开放型的创作 方式赋予人们最疯狂的想象空间。电脑特技技术几乎成了化腐朽为神奇的力量， 它可以把人类最夸张的梦想都变成“现实”。融入了更多科学技术成分的电影将成 为全球影事业发展的必然趋势。 1 4图像视频特效制作存在的困难与陷阱 许多人都会认为数字特技制作一定是一项快乐而疯狂的工作，然而事实并非 如此。特技效果制作是繁琐无趣而复杂的。 就拿电影泰坦尼克号来说许多人知道船上的乘客( 包括绝大多数随沉船 葬身海底的遇难者) 都是电脑制作的人物，但是他们并不知道每一个数字化人物的 制作都需要花费好几个星期的心血。泰坦尼克号中几次出现镜头从空中掠过巨 轮的场面，甲板上散步的人群都是数字化的生灵。为了刨造这些活生生的人物， 动画模拟人员首先要对佩戴传感器的真人进行拍摄，然后通过特技效果将被拍摄 人物转换为线条框架的三维电脑图像，以供随后在屏幕上进行操作。但是这种从 胶片向电脑转化的过程是杂乱无章的，很容易出错。例如有时一只胳膊的动作看 起来很僵硬，好像不是“长”在这个人身上的，于是工作人员就要回到胶片上， 一格一格地看画面，清理每个镜头。 ， 星球大战( s t a r w a r ) 拍摄于2 0 年前，当时的电影公司就把此片的电影拷贝 存放在了肯萨斯州的一个恒温l o 。c 、相对湿度5 0 的地下保险室里。然而，几乎 达到真空状态的保险室还是没有办法克服岁月带来的褪色及刮痕的影响。为了还 原影片本来的色彩，有近百名的工作人员花了近3 年的时间来进行工程庞大又艰 辛的修复工作，近千万格的底片经过特制的化学药水进行清理，缺损部分用数字 制作工艺制成新的底片补充进去。在星战首部曲中，数字技术扮演了比以往任何 电影中都重要的角色。共有2 5 0 多名数字艺术家参与了本片的特效制作，耗时2 年，完成了超过两千个特效镜头：星战首部曲制作队伍共有三个总监。全部效果 都是在i l m 的计算机里创造的，演员只需在空的蓝幕前表演，后期与电脑数字背 景及计算机角色合成。当然，在非传统场景中表演，对演员也是一种挑战，演员 置身蓝幕环境中，只能根据服饰及有些临时的替代物来想象剧本所设计的环境状 态，并进行表演s o f t i m a g e 、3 d 、m a y a 是其使用的主要的三维人物动画工具，作 6 绪论 出大多数我们在电影里看到数位建构的生物、怪兽和机器人动作，在后期合成中， 使用i n f e r n o 或f l a m e 合成到背景上m a t a d o r 用于许多修饰的绘图工作。另外在i l m 内，动作捕捉( m o t i o nc 帆) 部门持续为动画组采集了大量的数字人物动作数据。 精灵鼠小弟中有一些特别的场景，要进行难度较大的蓝屏合成，在这个 场景中许多人包括警察都穿着蓝衣服。在抠像的同时，还对场景进行了颜色调 整并在实拍镜头和三维模型制作的s t u a r t 小老鼠的合成画面上匹配了胶片颗粒效 果。片中，艺术家们使用了动画和二维合成来生成猫的毛发，那些一根根制作的 毛发已经可以达到乱真的效果。 近期一部全三维的动画片怪物史莱克，制作人员也画了四年多的时间才将 其制作完成。在国产影片寻枪中的一场戏的特技制作中，要对一个湖蓝色背 景下身着白色半透婚纱的新娘抠像，并且焦距有一个虚焦过程。由于电影的像质 要求很高，这样的一个镜头是很难完成的。工作人员利用i n f e r n o 的模块化抠像功 能逐格调整，同时利用其中的稳定器进行精确的运动分析和带有透视关系的二维 运动跟踪，克服了源素材因为拍摄外景时摄像机轨道不稳、焦距不准确使镜头出 现的晃动，最终将画面做的天衣无缝。 在视频特效技术带动影视行业迅猛发展的同时，我们也要谨防其带来的陷阱， 要正确认识视频特效技术的作用，并最大力度的发挥其价值，不能一味的追求特 效，而忽略了电影艺术本身。电影艺术和技术是一个不可分割的整体，数字技术 支撑下的数字电影特效是制造电影真实感的手段而不是目的，数字技术的介入使 电影的艺术想象力得到了极大的拓展，为电影创作插上了一双有力的翅膀。一部 电影的价值取决于数字技术和真实性叙事的结构平衡，数字电影特效的表现力应 服从于艺术的刨造力。但某些电影过分追求视觉刺激效果，夸大了电影的奇观本 性，其题材愈来愈脱离生活，对技术的追求也达到了痴迷的程度，甚至把本来为 电影艺术服务的技术游离出来单纯炫耀技术，失去了对人生的感悟、对生活的体 验。虽然视觉体验是看电影的一种动机，但是观众更为关注的依然是电影的主题， 人们的所思、所想、所感需要在银幕上获得一种认同。人类的情感是电影永恒的 主题，离开了主题，电影就是一具没有灵魂的躯壳，只能使人获得感官上的刺激， 缺乏生命力。从形式和内容的关系角度讲，数字特效既是形式，也是内容。在内 容不足以支撑起数字特效的表现力时，它会成为游离于内容以外的形式。如全数 字制作的美国影片最终幻想让人们只注意了虚拟的画面的逼真和优美，贫乏 的内容让观众不能不觉得乏味；在内容非常吸引人时，数字特效就会成为内容的 一部分了，在泰坦尼克中，数字特效以一种常规电影拍摄所难以创造的非凡 的视觉效果将观众带人一个真实动人的叙事情境中，让观众的心灵与“泰坦尼克 号”共沉浮，又有谁在被凄美的爱情故事感动时会想到船上的乘客都是虚拟合成 7 北京交通人学硕士学位论文 的呢? 正如人的心脏和大脑一样，电影艺术和技术缺一不可。艺术家只有把对生活 的深睿发现和对技术技巧的深刻理解有机结合在一起，才能有效发掘这些新技术 对艺术和思想表现的潜能。 1 5本论文的主要研究内容 本文主要就视频特效中常用并有着广泛应用前景的两种处理技术进行研究： 视频抠像一合成技术和视频卡通化。 视频抠像一合成技术和视频卡通化作为视频特效制作的两个重要方向，因为其 潜在的应用价值和广泛的应用前景而备受各界学者的青睐。视频抠像一合成是商业 电视和电影特效制作中一个关键操作，在抠像的过程中，任意形状的前景元素都 可以从背景中提取出来，使导演能够在场景中无缝地插入新元素或把演员放到一 个完全不同的地点；视频卡通化作为视频特效的另一个应用，它是非真实感图像 渲染研究的一个重要领域，有着很好的应用前景，与传统的真实感图形不同，非 真实感图像渲染着眼于对真实的场景进行抽象和加工，以突出其中的重要信息， 使人获得更加直观、更加深刻的印象。 目前，有很多学者研究抠像技术。根据所处理图像视频的背景的不同，数字 抠像技术主要分为蓝屏抠像和自然图像抠像两大类，此外还有环境抠像、阴影抠 像和视频抠像3 种扩展和应用；根据抠像的口值和抠像所需的图像数，抠像分为硬 抠像、软抠像和环境抠像三种类型；根据编码抠像优化目标函数所使用的图像统 计信息的不同，已有的抠像方法可以分为基于采样的方法、基于局部相似度的方 法、样本与局部相似度相结合的方法三类。当前比较成功的抠像算法有：k n o c k o u t 算法、r u z o n - t o m a s im e t h o d 、b a y e s i a nm a t t i n g 、p o i s s o nm a t t i n g 算法、b e l i e f p r o p a g a t i o n 算法、c l o s e df o r ms o l u t i o n 算法等。 同样，许多重要的文章考虑卡通化问题。图像视频的卡通化可以分为两大类： 一类是将图像本身做变形，另外一类方法是对图像的颜色进行处理。当前卡通化 处理的方法常用的包括：使用简单的图像过滤器对整体进行简化和平滑；通过边 缘检测进行图像区域分割，然后利用各区域平均颜色进行颜色替换；基于特征的 图像视频抽象化方法。在诸多卡通化的方法中，其中大部分都集中于图像而不是 视频。一些视频风格化的系统用于帮助减轻艺术家的工作。这些算法使用三维视 频提取数据的分割，需要大量的计算，因此只能是离线进行计算。许多研究也关 注了如何由真实拍摄场景生成卡通视频，他们的方法能够输出高质量的结果，但 是需要大量的用户交互，很多系统需要每隔若干帧就重新计算以避免误差的累积， 8 绪论 这些方法往往都是离线的算法，而且需要用户具有较高的艺术技巧。 在视频编辑中，抠像一合成技术可以实现在场景中无缝地插入新元素或把演员 放到一个完全不同的位置。视频卡通化在影视制作中不仅拓宽了影视艺术的创作 途径，而且满足了现代人对视觉新鲜感的需求。以往的多数学者只是对两者中的 一个进行探索研究，在我们的工作中，我们将两种技术巧妙的结合，实现抠像一卡 通化一合成一体操作。这两种技术的融合无疑会给影视制作带来一个全新的惊喜， 不但可以实现场景中背景的替换，而且可以实现真实场景与非真实感卡通动画的 完美结合。 本文我们采用基于二值分割的贝叶斯抠像方法进行实时的视频抠像一合成，主 要的步骤包括：基于背景建模的背景减除、贝叶斯估计生成t r i m a p 、g r a p h c u t 分 割、贝叶斯抠像，通过以上步骤提取前景颜色信息和像素点不透明度值，然后根 据抠像得到的数据将提取出的前景融合到新背景中。不透明度对于模糊物体( 如 头发，羽毛等) 的提取非常有效。贝叶斯图像抽取在很多情况下可以得到高质量 的处理结果。- 本文我们采用一种基于特征的视频图像抽象化方法，该方法进行卡通风格化 处理的思路是：对视频帧进行人脸检测得出重要性图、视频和图像的r g b 颜色空 间转换到c i e l a b 颜色空间、采用双边网格对亮度通道进行快速双边滤波、根据 重要性图设置不同阈值对亮度值伪量子化、采用基于特征流的各向异性的高斯差 分线条抽取算法抽取线条区域并对抽取的线条区域和近似亮度值进行组合操作使 线条区域的线条增强、最终再由c i e l a b 颜色空间转换回r g b 空间。该算法每一 个步骤都可以在家用电脑的图形卡硬件中并行处理，从而有效地解决了现有视频 和图像抽象化存在的抽取线条生硬，不连贯的问题，为非专业人员提供了一种简 便直观的视频和图像的抽象化方法。 根据研究工作的内容，本论文共划分为六章，具体安排如下： 第一章是绪论部分，我们对图像视频特效进行了整体的介绍和分析。引出了 本论文的研究重点：图像视频抠像合成特效技术和图像视频卡通化特效技术，并 给出我们的设计方案。 第二章介绍了图像视频抠像合成、卡通化特效制作的概述，让大家对视频特 效中这两种具有代表性的方法有一个直观和清楚的认识。 第三章详细介绍了我们的图像视频抠像一合成算法与实现，从抠像的基本原理 一抠像与分割。、抠像与合成的关系一总体设计方案一算法详细介绍一系统实现及 抠像合成结果，本章是我们的研究重点之一。 第四章详细介绍了我们的图像视频卡通化算法与实现，从卡通化方法对比一 总体设计方案一算法详细介绍一系统实现及卡通化结果。在实验中我们还采用了 9 北京交通大学硕士学位论文 一种简单、巧妙的算法实现了素描化处理，本文只进行了简单的介绍，虽然这不 是本文的研究重点，但是其灵活的思路值得我们学习、借鉴。本章也是本文的研 究重点。 第五章为图像视频抠像一合成、卡通化特效制作的应用，给出了在实际中的应 用实例。 第六章论文总结与展望，对我们的工作进行简要的总结，分析工作中的优点 与不足，并对所研究课题进行展望。 1 0 直得到研究者的青睐和i t 业界的关注。 “抠像 一词是从早期电视制作中得来的。英文称作“k e y ，意思是吸取画 面中的某一种颜色作为透明色，将它从画面中抠去，从而使背景透出来形成三层 画面的叠加合成。这样在室内拍摄的人物经过抠像后与各种景物叠加在一起，形 成神奇的艺术效果。于是我们在影片中就可以看到人在天空中飞行、鱼在陆地上 行走、真人明星与动画明星同台献艺等许多有趣的特技效果。抠像的这种神奇功 能成了视频制作中的常用技巧。 随着新媒体电子艺术的发展，舞台表演方式也越来越多样化，而其互动要求 也越来越高。奥地利a r se l e c t r o n i c a 电子艺术中心、荷兰v 2 多变媒体协会、美 国m i t 媒体实验室、德国z k m 艺术与媒体中心在这些方面做了比较深入的研究， 而国内在这方面则相对较少。其中a r se l e c t r o n i c ac e n t e r ( a e c ) 有着“未来 的技术博物馆 的美誉，拥有着如声音交互系统等多种多媒体交互技术。同样作 为互动技术的实时抠像技术，目前广泛应用于虚拟演播室、虚拟广告、监控系统 等领域。如以色列o r a d 公司的虚拟演播室和虚拟广告系统产品，其中的实时抠像 技术，已成熟应用于电视节目播出当中。文献 2 ，3 则把抠像技术应用在视频监 控系统方面。进一步拓展了实时抠像技术的应用范围，通过带门限的o t s u 算法和 舞台灯光场景布置，成功地把舞台演员从舞台环境中实时分割出来。 数字抠像技术的发展，和电影视频制作需求的不断发展密不可分，它作为一 种不可或缺的技术工具。图像抠像技术在影视特效制作、虚拟现实、增强现实、 个人相片编辑、影视制作、广告设计、相片蒙太奇( p h o t om o n t a g e ) 、家庭娱乐 等领域有着广泛的应用。它可以将艺术创作与实际拍摄完美地结合起来，可以在 影片中无缝插入物体，从而给观众带来强烈的视觉震撼和身临其境的感受，“星球 大战 、“侏罗纪公园”、“黑客帝国”、“魔戒三部曲”和“哈利波特历险记”等高 票房收入影视大片都无一例外地用到了数字抠像技术。同时，抠像技术与人们的 日常生活的联系也越来越密切，广泛应用于人们的日常生活中，如设计电子卡片、 北京交通大学