（通信与信息系统专业论文）数字电视非线性编辑及其相关技术的研究与实现.pdf

摘要 数字电视非线性编辑及其相关技术的研究与实现 摘要 近年来，随着信息技术的飞速发展，广播电视领域经历了由模拟向数字的革 命性变革。数字电视从节目的制作、传输和发射到接收整个过程完全采用数字化， 它不仅为消费者提供了更高质量的视频效果、音响效果和接收效果，而且也为运 营商开展更多业务提供了广阔的平台。演播室节目制作是数字电视技术中重要的 一部分，非线性编辑被广泛应用于这一领域。 本文的研究工作首先从非线性编辑的概念出发，分析了非线性编辑的理论基 础，概括了非线性编辑系统的种类，回顾了非线性编辑系统演变的历史轨迹，揭 示了非线性编辑技术的发展趋势。 然后本文以国家计委专项国产高清晰度数字视频板卡研究开发及产业化 为依托，基于计算机图形学、视觉物理学、数字视频处理等相关领域的理论知识， 围绕非线性编辑软件系统的方案设计及其实现方法，非线性编辑的软件特技算法 和非线性编辑特技的硬件实时实现等三个方面，总结了作者近几年来在非线性编 辑领域的相关工作经验和科研成果。 其中，非线性编辑特技算法是本文研究的重点，作者参考p r e m i e r 和f i n a lc u t p r o 中的软件特技效果，设计并实现了一系列具有实用价值和科研价值的特技算 法，在此基础上，作者还提出了新颖的任意位置放大缩小切换的算法。同时，作 者对特技实现时出现的亮色匹配和斜边锯齿等问题进行了探讨，并给出了相应的 优化算法，从而改善了特技的视觉效果。 视频实时特技是非线性编辑系统的一项重要功能，作者采用视频特技的软件 实现算法，基于高清视频板卡的硬件平台，提出了非线性编辑特技的硬件实时实 现方案，并针对由此产生的定点浮点运算转化、视频信号同步和亮色分量匹配等 技术细节进行了探讨。 最后，作者分别探讨了两类目前最具代表性的基于m p e g 2 视频码流的非 线性编辑方案：第一类是基于非压缩域的非线性编辑方案，它将输入的m p e g 2 上海交通人学博上学位论文 码流先经过完全解码，然后在空间域实现非线性编辑和特技添加，最后再次编码 输出。第二类是基于压缩域的非线性编辑方案，它将输入的m p e g 一2 码流先经 过部分解码( 变长解码和反量化) ，然后采用压缩域运动补偿算法( m c - d c t ) ， 把像素域的非线性编辑和特技转化为压缩域的处理，最后编码输出。 针对第一类方案，作者通过对传统的m p e g 2 码流非线性编辑系统的分析， 指出非线性编辑特技切换时对视频图像的重新压缩编码是最耗时的步骤，而其中 为获得最佳运动矢量而进行的全搜索运动估计又占去绝大部分的计算量。由此， 作者提出适用于淡入淡出和划象切换的自适应快速运动估计算法，并在此算法的 基础上设计出基于非压缩域实现非线性编辑的系统框架，从而大大提高了非线性 编辑特技的实现速度。为了进一步提高特技切换的图像质量，作者通过一系列的 实验分析，在t m 5 码率控制算法的基础上提出了适用于渐变特技切换的编码策 略。实验表明，该策略能进一步提高经过非线性编辑以后的图像质量。 针对第二类方案，作者基于d c t 压缩域的图像处理算法和m c d c t 算法， 提出了m p e g 2 视频码流在不完全解码情况下实现镜像特技的算法。该算法利 用原始码流中的运动矢量和相关信息，减少了d c t 编解码等中间过程，从而在 保持图像质量的同时，大大提高了特技编辑的速度。 关键词：非线性编辑，视频特技，d c t 域运动补偿，运动估计，码率控制，m p e g 2 s t u d ya n di m p l e m e n t a t i o no fd i g i t a l v i d e on o n l i n e a re d i t i n g a b s t r a c t i nt h er e c e n ty e a r s ，d i g i t a lv i d e op r o d u c t sh a v ep e n e t r a t e dv a r i o u sf i e l d so fd a i l yl i f er a p i d l y , a n d i n f l u e n c ep e o p l e sp r o d u c t i o na n dl i f es t r o n g l y d i g i t a l ivi ss u b s t i t u t i n ga n a l o gt vr a p i d l y a d i g i t a lt vs y s t e mi n c l u d e sd i g i t a lv i d e op r o g r a mp r o d u c i n ga n de d i t i n g ，d i g i t a ls i g n a l t r a n s m i s s i o na n dd i g i t a ls i g n a lr e c e p t i o n f u r t h e r m o r e ，i tc a np r o v i d ec o n s u m e r sb e t t e rv i d e oa n d a u d i op e r f o r m a n c et h a na n a l o gt vd o e s n l e ( n o n 。l i n e a re d i t i n g ) i sw i d e l yu s e di nd i g i t a lt vp o s t p r o d u c t i o n ap o w e r f u ln o n - l i n e a r e d i t i n gs y s t e mc a ns u p p o r ta n i m a t i o np r o d u c t i o n ，v i d e oc l i pe d i t i n g ，s c e n ec o m p o s i t i o n ，s p e c i a l e f f e c ta n ds u b t i t l ei n t e g r a t i o n o nt h eo t h e rh a n d , w i t ht h er a p i dd e v e l o p m e n to ft h ed i g i t a l t e c h n o l o g ya n dt h ed e p l o y m e n to fd i g i t a lt vc o u r s e s ，a n dm o r e o v e r , w i t hm p e g 一2b e i n g a d o p t e di np o p u l a rd i g i t a lt vs t a n d a r ds u c ha sd v b ，a t s ca n di s d b ，t h e i rp r o d u c t i o na n d e d i t i n gt e c h n o l o g i e sa p p e a rt o t a l l yd i f f e r e n tf o r mt h et r a d i t i o n a lo n e s t h e r e f o r e ，n l es y s t e m s h o u l db ea b l et od e a lw i t hm p e g 一2p r o g r a m s r e c e n t l y , t h e r ea r et w ot y p i c a ln l es y s t e m sf o rm p e g - 2v i d e oe d i t i n g ，o n ei sb a s e do ns p a t i a l d o m a i na n dt h eo t h e ri sb a s e do nt h ec o m p r e s s e dd o m a i n t h em a i nw o r ka n da c h i e v e m e n t so f t h ea u t h o ro nn o n l i n e a re d i t i n gb a s e do nt h e s et w os y s t e m si nr e c e n ty e a r sa r es y s t e m a t i c a l l y p r e s e n t e di nt h i sp a p e r i nc h a p t e ri ，t h eb a s i ct h e o r i e sa n dt e c h n o l o g i e sr e l a t e dt on l ea l ei n t r o d u c e d t h ea u t h o r c l a s s i f i e st h en l es y s t e mb a s e do nd i f f e r e n ta p p l i c a t i o n s f i n a l l y , n e wt e c h n o l o g i e sa n dl a t e s t d e v e l o p m e n t so nn l ea r ea l s oi n t r o d u c e d i nc h a p t e r2 ，t h ed e v e l o p m e n ta n di m p l e m e n t a t i o no fn l es o f t w a r es y s t e mb a s e do nw i n d o w si s s u m m a r i z e d b a s e do nt h en l es o f t w a r ea y a t e m ，t h ea u t h o rd e s i g n e da n di m p l e m e n t e dl o t so f v i d e os p e c i a le f f e c t s ，s u c ha sr e g u l a rg e o m e t r i ct r a n s f o r m a t i o n ，s c a l i n g ，c o l o ra d j u s t i n g ，f a d e ， d i s s o l v ea n dw i p e f u r t h e rm o r e ，s o m ea l g o r i t h m sf o ro p t i m i z i n gt h ep e r f o r m a n c eo fs p e c i a l i i i 上海交通大学博上学位论文 e f f e c ta r ea l s op r o p o s e d f i n n a l y , t h ea u t h o rd e s i g na n di m p l e m e n t e dt h er e a l - t i m es p e c i a le f f e c t b a s e do nt h el i dv i d e ob o a r d i nc h a p t e r3 ，f a s ti m p l e m e n t a t i o n so fn l es p e c i a le f f e c t sb a s e do ns p a t i a ld o m a i na r ed i s c u s s e d f i r s t l y , t h ea u t h o ra n a l y z e st h ec o m p u t a t i o nc o m p l e x i t yw i t h i nt h en l el o o pa n df i n dt h a tt h e f u l l s c a l ef u l l - s e a r c hm ei nr e - c o m p r e s s i n gp r o c e s sc o s t sm o s to ft h et i m e t h e n ，m o t i o nv e c t o r r e f i n e m e n ta l g o r i t h m sf o rf a s tg r a d u a lt r a n s i t i o ns p e c i a le f f e c t sa 他p r o p o s e d ，w h i c hr e d u c e st h e c o m p u t a t i o nc o m p l e x i t yb yr e u s i n gt h em o t i o nv e c t o ri n f o r m a t i o ne x t r a c t e df r o mt h eo r i g i n a l m p e g - 2s e q u e n c e s e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ep r o p o s e da d a p t i v em o t i o nv e c t o r r e f i n e m e n t ( a m v r ) a l g o r i t h m sa c h i e v ec o m p a r a b l eq u a l i t yo ft h er e c o n s t r u c t e de d i t e dv i d e o ， h i g h e rp s n rw i t ht h el o w e rc o m p u t a t i o n a lc o m p l e x i t y , i nc o m p a r i s o nw i t ht h ec o n v e n t i o n a l m o t i o nv e c t o rr e f i n e m e n ta l g o r i t h m s i nc h a p t e r4 ，b a s e do nt h es p a t i a ld o m a i nn l e ，r a t ec o n t r o ls t r a t e g i e sd u r i n gg r a d u a lt r a n s i t i o n s p e c i a le f f e c ta g ep r o p o s e d t h ei n f l u e n c e so fb i ta l l o c a t i o na n dg o ps i z ei nt h eg r a d u a l t r a n s i t i o np e r i o da r ee v a l u a t e d f u r t h e rm o r e ，b ys t u d y i n gt h et m 5r a t ec o n t r o ls t r a t e g yi nd e t a i l ， t h em e c h a n i s mo fa c c u r a t er a t ec o n t r o la n dr a t i o n a lb i ta l l o c a t i o ni sa n a l y z e d a n dh e n c er a t e c o n t r o ls t r a t e g yf o rg r a d u a lt r a n s i t i o ns p e c i a le f f e c ti s p r o p o s e d r e s u l t ss h o wt h a tt h er a t e c o n t r o ls t r a t e g yc a i ! i m p r o v et h ev i d e op e r f o r m a n c ei nt h eg r a d u a ls c e n et r a n s i t i o n p e r i o d c o m p a r e dt ot m 5 i nc h a p t e r5 ，f a s ti m p l e m e n t a t i o n so fn l es p e c i a le f f e c t sb a s e do nc o m p r e s s e dd o m a i na r e d i s c u s s e d f i r s t l y , t h ea l g o r i t h m so fi m a g ep r o c e s s i n gi nc o m p r e s s e dd o m a i na r ep r e s e n t e d ，b y w h i c hs e v e r a ls p e c i a le f f e c t sa r er e a l i z e ds u c ha ss c a l i n g ，g e o m e t r i ct r a n s f o r m a t i o na n dm i r r o r i m a g e t h e nm c d c ti si n t r o d u c e dt oo b t a i nt h ed c td o m a i nf r a m e sf r o mm p e g 一2s e q u e n c e s f i n a l l y ，n o v e la l g o r i t h m so fs p e c i a le f f e c ti nc o m p r e s s e dd o m a i nf o rm p e g 2s e q u e n c e sw i t h o u t f u l lf r a m ed e c o m p r e s s i o na n dm o t i o ne s t i m a t i o na r ep r o p o s e d r e s u l t ss h o wt h a tw i t ht h e r e d u c t i o no fc o m p u t a t i o n a lc o m p l e x i t y , t h eq u a l i t yo fe d i t e dv i d e oi nc o m p r e s s e dd o m a i ni ss t i l l c l o s et ot h eq u a l i t yo f t h ee d i t e dv i d e oi nu n c o m p r e s s e dd o m a i na tt h es a m eb i tr a t e k e yw o r d s ：n o n - l i n e a re d i t i n g ( n l e ) ，s p e c i a le f f e c t ，m c d c t , m o t i o ne s t i m a t i o n 。r a t e c o n t r 0 1 m p e g 2 i v 英文缩略语 a m v r a v c a 、，s b b m c b r c c i r c i f d c t d v b d v d g o p h d i d c t i q l s d b i s o l t u j v t m a d m b m c m e m p e g m s e 英文缩略语 a d a p t i v em o t i o nv e c t o rr e f i n e m e n t 自适应运动矢量优化 美国高级电视业务顾问 a d v a n c e dt e l e v i s i 。ns y s t e m sc 。m m i t t e c 委员会 a d v a n c e dv i d e oc o d i n g 高级视频编码 a u d i oa n dv i d e oc o d i n gs t a n d a r d 数字音频视频编码标准 b a s e b a n dm e t h o d c o n s t a n tb i tr a t e c o n s u l t a t i v ec o m m i t t e eo fi n t e r n a t i o n a i r a d i o c o m m o ni n t e r m e d i a t ef o r m a t d i s c r a t ec o s i n et r a n s f o r m d i g i t a lv i d e ob r o a d c a s t i n g d i g i t a lv e r s a t i l ed i s k g r o u po f p i c t u r e h i g hd e f i n i t i o n i n v e r s ed i s c r a t ec o s i n et r a n s f o r m i n v e r s eq u a n t i z a t i o n i n t e g r a t e ds e r v i c e sd i g i t a lb r o a d c a s t i n g i n t e r n a t i o n a ls t a n d a r do r g a n i z a t i o n i n t e r n a t i o n a lt e l e c o m u n i c a t i o nu n i o n j o i n tv i d e ot e a m m e a na b s o l u t ed e v i a t i o n m a c r o b l o c k m o t i o nc o m p e n s a t i o n m o t i o ne s t i m a t i o n m o t i o np i c t u r ee x p e a sg r o u p m e a n s q u a r ee r r o r 基带算法 固定码率 国际无线电咨询委员会 公共中介格式 离散余弦变换 数字视频广播 数字通用光碟 图像组 高清晰度 反离散余弦变换 反量化 综合业务数字广播 国际化标准化组织 国际电信联盟 联合视频组 平均绝对差 宏块 运动补偿 运动估计 运动图像。争家组 均方误差 上海交通人学博上学位论文 m v n c c f p c p e s p s p s n r p v r d v r q c i f q p s d k s g i s m p t e t m 5 t s v b r v b v v c e g v l c v l d v t r m o t i o nv e c t o r n o r m a l i z e dc r o s sc o n e l a t i o nf u n c t i o n p e r s o n a lc o m p u t e r p a c k e te l e m e n t a r ys t r e a m p r o g r a ms t r e a m p e a ks i g n a l - t o n o i s er a t i o p e r s o n a lv i d e or e c o r d e r d i g i t a lv i d e or e c o r d e r q u a r t e rc i f q u a n t i z a t i o np a r a m e t e r s o f t w a r ed e v e l o p m e n tk i t s s i l i c o ng r a p h i c si n c s o c i e t yo fm o t i o np i c t u r ea n dt e l e v i s i o n e n g i n e e r s t e s tm o d e i5 t r a n s m i ts t r e a m v a r i a b l eb i tr a t e v i r t u a lb u f 诧rv e r i f i e r v i d e oc o d i n ge x p e r tg r o u p v a r i a b l el e n g t hc o d e v a r i a b l el e n g t hd e c o d e v i d e ot a p er e c o r d e r i i 运动矢量 归一化相关函数 个人计算机 分组化基本流 节目流 峰值信噪比 个人录像机 数字录像机 四分之一公共中介格式 量化参数 软件开发包 图形工作站生产厂商 摄影与电视工程师协会 测试模型5 传输流 变码率 虚拟缓存验证 视频编码专家组 可变长码 可变长解码 视频录像机 上海交通大学 学位论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得 的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写 过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签 日期：冲年7 月眵日 上海交通大学 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使j h 学位论文的规定，同意学校保留并向国家 有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权上海交通大 学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在一年解密后适用本授权书。 本学位论文属于 不保密囱。 ( 请在以上方框内打“”) 日期 7 月j 3 日 第一章绪论 第一章绪论 1 1 引言 近年来，随着数字技术的迅猛发展，数字视频被广泛应用于广播电视、多 媒体通信、计算机等各个领域，并在这些领域中引起了巨大的变化，在人们的 日常生活中占据着越来越重要的地位。 数字电视作为数字视频产业中的重要一环，在2 0 世纪9 0 年代初开始在世 界范围内有飞速的发展。它是继模拟的黑白电视( 第一代) 、彩色电视( 第二代) 之后出现的新一代电视( 第三代) 。数字电视比起传统的模拟电视，具有更高质 量的视频效果、音响效果和接收效果，能够提供和支持更多广播数据业务，可 以说数字电视是电视广播技术领域的一次革命性变革。 从广义上说，数字电视就是从素材获取，节目制作、传输发射到接收存储 整个过程都采用数字化的电视技术。通常来说，数字电视就是指通过采样量化 ( 模数转换) 、信源信道编码、数字调制、数字解调、信道信源解码以及终端 显示等技术，来实现电视信号的高质量传送的开路数字电视广播系统。 数字电视技术发展的关键在于视频压缩编码技术的研究和国际通用标准的 制定。数字视频的信息量是相当庞大的，这给它的传输、存储和处理都带来了 极大的困难。但是研究表明，视频数据中存在着大量的冗余。也就是说，如果 我们采取一一些技术手段去除这些冗余，就能极大减少原始的视频数据量。因此， 无论是学术界还足产业界都对视频的压缩编码投入了大量的人力和物力进行研 究。进入九十年代以后，随着视频编码技术的日益成熟，国际标准组织( 1 s o ) 和 国际电讯联盟o t u ) 等组织对视频编码的成果进行了收集、整理、综合和加工， 制定了一系列的视频编码国际标准，这些标准和建议的制定极大地推动了数字 电视和视频通信的实用化和产业化，也为数字图像及视频技术的普及作出了极 大的贡献。 数字电视标准的制定是从演播室开始的。1 9 8 2 年2 月c c i r 第1 5 次全会上 通过的i t u rb t 6 0 1 数字演播室标准，以4 ：2 ：2 采样格式统一了数字分量编 码标准，实现了n t s c 、p a l 和s e c a m 三大制式之间的转换，消除了国际上 数字设备之间的制式差别。从1 9 9 5 年起，美国和欧洲相继发布了数字电视标准 上海交通人学博_ 上学位论义 a t s c ( a d v a n c e dt e l e v i s i o ns y s t e m sc o m m i t t e e 美国高级电视业务顾问委员会) 和d v b ( d i g i t a lv i d e ob r o a d c a s t i n g 数字视频广播) ，1 9 9 9 年日本也发布了其数 字电视标准i s d b ( i n t e g r a t e ds e r v i c e sd i g i t a lb r o a d c a s t i n g 综合业务数字广 播) ，下表概括了国际上现有的三种主要的数字电视标准及其采用的技术： 表1 1 国际上现有主要数字电视标准的比较 t a b l e1 1c o m p a r i s o no fd i g i t a lt v s y s t e ms t a n d a r d 美国标准a t s c 欧洲标准d v b日本标准i s d b 地面卫星 有线地面 卫星 有线地面卫星有线 调制 8 1 6 v s bq p s kq a mc o f d mq p s kq a mc o f d mq p s kq a m 视频 m p e g - 2m p e g 2m p e g 2 音频a c 3m p e g 2m p e g 2 复用m p e g 2m p e g 2 m p e g 2 数字电视的核心技术除了数字电视的高效压缩编解码、数字电视信号的信 道编解码与调制和数字电视信号的接收与显示之外，演播室节目的后期制作 ( 摄、录、编、播) 也占有相当重要的地位。在拍摄好原始素材之后，影视制 作人员需要按照自己的意图在非线性编辑系统中运用合成、编辑、剪辑、特技、 动画和加字幕等方式对这些素材进行后期制作，最终才能得到满意的影视节目。 从表1 1 我们可以看出，目前最具代表性的a t s c 、d v b 和i s d b 三种数字 电视标准的视频压缩编码均采用m p e g 2 标准。而且，原始素材也越来越多地 采用m p e g 2 压缩标准以t s 或p s 格式进行存储，如s o n y 的x d c a m 和 x d c a m h d 摄录像机系列，即是采用t s 流来存储的；而下一代的家用摄像机 h d v 也将采用t s 流作为它的存储格式。 然而，m p e g 2 视频的制作和编辑技术与传统的制作与编辑完全不同，牵涉 到如何在m p e g 2 编码环境中实现码率转换、码流切换、简单编辑、特技切换、 多个m p e g 2 码流的动态复用等问题。因此如何解决数字电视台演播室节目制 作与编辑问题显得尤为迫切和重要。为了解决这些问题，欧洲专门制定了 a t l a n t i c 计划1 2 2 】- 【1 2 4 1 ，期望解决m p e g 2 码流切换、码率转换及多个m p e g 2 码流的动态复用的问题，该计划的核心内容是提出了”i n f ob u s ”方案u 2 5 1 和 ”m o l e ”技术【1 2 6 1 ，以充分利用压缩码流中的已有编码信息，尽可能减小编解码 第一章绪论 级联引起的降质。a t l a n t i c 计划采用的是“完全编码+ 完全解码”方式，运算 量比较大。随着数字电视广播业务的发展，出现了很多新的方法来处理m p e g - 2 环境下演播室节目制作与编辑，现有的有关文献也从多方面对所面临的问题进 行探讨，包括视频转码器的设计、快速运动估计算法、码率控制算法及视频编 辑特技算法等。 本文结合作者参与国家计委专项国产高清晰度数字视频板卡研究开发及 产业化( 计高技 2 0 0 1 1 2 4 6 0 号) 和上海市青年科技启明星计划数字电视节目 制作与编辑技术( 编号：0 1 q d l 4 0 3 0 ) 时所做的工作，紧密围绕非线性编辑特 技算法和m p e g 2 码流编辑技术中所涉及的一些关键问题而展开，以期为数字 电视中相关设备及应用软件的研制做好技术储备，形成科研创新向生产技术创 新的转化。本文研究的主要内容包括：非线性编辑软硬件方案介绍，原始域和 压缩域的非线性编辑特技算法，m p e g 2 码流特技切换时快速运动估计算法等。 1 2 非线性编辑基础 1 2 1 非线性编辑概述 随着数字视频技术的快速发展，电视节日源的获取渠道和存在形式日趋多 样化。除了传统的录像带承载的模拟节目源，还有数字信号源；除了未经过压 缩的视频( 音频) 序列，还包括经过压缩处理的节目源。又加之电视台数目的增 加，电视频道的扩容，消费者对电视节日的内容、质量的要求不断提高，这一 切都无形中对电视节目的后期制作提出了更高的挑战。 最初的电视节目编辑一直沿用电影传统的编辑方法，由于电影胶片的剪辑 能按照任意顺序将不同素材的胶片连接在一起，即素材编辑的顺序是随机的， 因此产生了非线性编辑的概念。“非线性”是指素材的顺序和长短可以不按捕获 或者记录的前后进行编辑和剪辑。随着磁带等存储方式的出现，原来的电影胶 片的编辑方式被逐步取代。磁带的编辑一般采用电子编辑方式，即用电子手段 按要求将已录的素材重新连接成新的连续画面。但是，由于录制在磁带上的素 材，除非借助快进、快倒等功能，一般只能按照记录的先后顺序进行重放，因 此这种编辑方式被称为线性编辑。随着硬盘，光盘等存储媒体的出现，存储媒 介的记录检索方式为非线性的随机存取，每组数据都有相应的位置码，不象磁 带那样将节目信号按时间线性排列，于是电视节目的后期制作开始进入非线性 3 上海交通大学博士学位论文 编辑( n o n 1 i n e a re d i t i n g ) l 对代【1 8 1 。 非线性编辑就是以计算机技术为基础，在以计算机( 配以专用板卡和高速 硬盘) 为主的硬件平台上，对数字化的视频、图形、动画、字幕等进行综合处 理，完成视频图像编辑、声音编辑、特技、动画、字幕制作等绝大部分影视制 作的过程。非线性编辑兼具了传统的非线性电影编辑和线性电视编辑的优点， 优势显而易见g 1 设备简单，价格便宜：非线性编辑系统集编辑录放像机、特技发生器、 调音台、字幕机等为一体，省去了许多的连接线，因此不存在将电缆拔来拔去、 接触不良的现象，也不存在不匹配现象。工作人员只需根据屏幕菜单进行操作。 并且由于设备系统相对简单，因而价格也相对便宜( 目前，非线性编辑系统价 格从1 0 万元人民币左右到数十万元不等，但就数字设备而言，要比线性编辑系 统便宜得多) 。 2 素材多样，兼容性强：非线性编辑的素材不仅可以是实景图像，也可以 是采用二、三维动画软件创作的动画图像，因为，输入系统的实景图像可按每 秒2 5 幅( p a l ) 分解成许多静止画面，因此能够很容易地与二、三维动画合成， 创造出许多过去无法实现的效果。 3 编辑快速，修改方便：非线性编辑采用随机存取的方式记录每段素材在 高速硬盘上的位置。因此，编辑时省去了录像机大量搜索和卷带时间，修改时 还可以随心所欲地进行剪裁、更换、增减或调整前后顺序和位置，节目制作十 分简单和快捷。因此，通常只需一名工作人员便可完成后期制作而不像传统节 目制作那样需多人合作。 4 任意特技，保证质量：传统的节目制作在进行特技处理时，特别是处理 多层画面的叠加时，往往需要多版拷贝，这无疑会增加噪声，影响画质，并且 制作时非常不方便。而在非线性编辑过程中，由于记录的是素材在高速硬盘上 的位置而不是实际数据，因而没有信号复制问题，整段内容的插入、移动十分 简单。此外，高速硬盘上的每一段素材都可以和其它素材进行混合叠加，可任 意进行划变、翻页、旋转、多层重叠( 多达数十层) 、水滴波纹、变形等数百种 二、三维特技效果处理而无损画面质量，给我们提供一片广阔的创作空间，随 心所欲地编织出绚丽多彩的精彩画面。 第一章绪论 5 音频制作，得心应手：非线性编辑系统还能提供强大的音频制作功能。 与视频编辑一样，音频处理也非常方便。系统具有多轨音频通道的实时合成功 能，可利用直观的音频控制功能，对任何一轨通道的音频信号实时调整电平大 小、音色和相位，制作出多路音频混合、渐隐渐现等效果；可随意增加、删减 或变更前后顺序、位置；可灵活控制同期声，背景声、效果声、语言和音乐的 有无、切换以及声画的准确对位、同步；可随意修改( 已录) 解说中的某个音( 字) 或若干字，而不必担心抹去其他的字，亦可随意将某个字或若干字插入另一句 话中的某一部分。 6 融合网络，资源共享：标准化硬件接口和强大的兼容性，使得一般非线 性编辑系统都能使用多种编辑软件，从而大大增加了节目制作的灵活性和多样 性。并且，由于系统是以计算机为平台，因而易于网络化地形成，使每个用户 都能共享网络资源，便于分工协作。 因此，目前的视频编辑已完成了从线性编辑( 或机械的磁带式编辑) 向数字式 非线性编辑( 或基于数字存储的随机存取式编辑) 的发展转化，为从业人员创造 性的充分发挥提供了平台，使制作出来的电视节目更生动、更富有表现力和感 染力。 1 2 2 非线性编辑的技术及其应用 一套完善的非线性编辑系统是个集合体，具备多项功能：它集录像机、混 合切换、数字特技、图文创作系统、二维三维动画创作系统，多轨录音机、调 音台、编辑控制器于一身，几乎包括了所有的后期制作设备，避免了多机工作 时的重复转换，重复设置，也不必考虑系统相位和同步等问题。 图1 1 举例描述了数字动画影视的制作过程和采用的相关软硬件平台，展示 了非线性编辑技术在实际的影视创作中的应用： 第一步：视频素材的获得。三维扫描仪或摄像机将不同角度拍摄的物体照 片作为三维模型参数输入到i m a g em o d e l e r 软件中，该软件通过计算获得物体 的多边形网格框架，然后用户在此框架的基础上制作出三维模型。建立好三维 模型之后，光学捕捉系统( m o t i o na n a l y s i s ) 从实际拍摄的场景中提取其运动 参数，输入到m a t c hm o v e r 软件从而实现三维动画的效果。最后，为了使效果 更加逼真，p h o e n i xt o o l sf o rm a y a 软件将对整个动画进行渲染。 上海交通人学博上学位论文 图1 1 数字动画影视制作流程 f i g 1 1n o n - l i n e a re d i t i n gp r o c e e d u r ef o rd i g i t a lv i d e o 第二步：视频对象的合成( 采用a p p l e 公司的s h a k e 特效合成软件) 。数字 视频的合成是通过q 通道来实现的，包括以下四个方面的技术： 多层叠加：将多层视频对象( 图像、文本、图形、动画等) 叠加到一起，叠加 方式可以是不透明或部分透明。在多层叠加中，每一层视频对象的优先级别不 同，屏幕上显示的最外一层的优先级别最高，越往里优先级别越低。即当外层 为不透明时，对应相同像素点的里面各层视频对象均不可见。每层视频对象还 可进行各自的操作，如旋转、缩放、滤波等。 色键：色健效果首先是将前景中的视频对象从某一个单一底色中抠出，这 一过程称为遮罩( m a s k ) 生成过程。在遮罩上，视频对象内部各像素q = l ， 外部各像素a = o 这样通过q 值将前景和背景合成，在q = l 处显示前景中的视 频对象，在q = o 处显示背景，从而产生将前景中的视频对象抠出和背景合成 的效果，这一技术可用于虚拟演播室。 外键：用于选择视频对象的某一部分进行叠加。此时将遮罩单独存成一个 图像文件，并将该图像作用到任意两视频对象上，则按q 值，在q = l 处显示 一个视频对象，q = o 处显示另一个视频对象。 抗混叠( a n t i - a l i a s i n g ) ：通过使遮罩中视频对象边缘像素的a 值在0 和l 之 间，即生成q 图像，其上像素在0 和1 之间变化可去掉色健中被抠视频对象边 缘的锯齿，或去掉外键中两视频对象交界处的锯齿。 第三步：视频素材的剪辑和视频特技的生成。采用a p p l e 公司的f i n a lc u tp r o 等非线性编辑软件，可以对视频素材进行剪接、滑动、拖动、替换、插入和覆 第一章绪论 盖等操作，在此过程中，制作人员根据需要加入视频特技，最常用的视频特技 有淡入淡出、划象、飞象、卷页、翻页等。随着计算机图形学的发展，三维特 技也越来越多地被采用它主要通过模拟自然的光照，采用表面阴影法、透明、 光线追踪等方法，产生图像的纹理，从而使二维的图像产生三维的效果。 第四步：颜色校正和字幕叠加。颜色校正即对数字图像的色度信号进行处 理。字幕叠加则分硬件和软件两种方式。软件字幕是利用作图软件的原理把字 幕作为图形处理，生成带q 键的位图文件，将其调入编辑轨对某一层图像进行抠 像贴图，完成字幕叠加功能。硬件字幕通常由一个图形加速器和一个图文帧存 组成，图形加速器主要用于对单个像素、专用像素和像素组等图形部件的管理， 它具有绘制线段、圆弧和显示模块等高层次图形功能，因而可以明显减轻由于 大量的图形管理而给cpu 带来的压力。叠加字幕的过程是将汉字从硬盘的字 库中调到计算机内存中，以线性地址写入图文帧存，经属性描述后输出到视频 混合器中，将视频图像合成后输出。 第五步：数字视频的输出。目前的非线性编辑软件都是在数字视频无压缩 的情况下进行处理的，数据量巨大。因此，很多非线性编辑软件都具有视音频 压缩编码功能，将经过编辑的节目快速压缩为m p e g 1 2 4 ，m j p e g 等编码格 式输出，从而大大降低了存储的数据量，以适应不同场合的应用。 最后，由于非线性编辑过程的各步骤需要相互协同工作，而且在每一个步 骤都需要由l 台或多台设备完成，因此采用了a p p l