（信号与信息处理专业论文）多媒体计算机中软件特技算法的研究.pdf

摘要 计算机非线性编辑被用于视频后期制作中，对存储在硬盘中的视频、图象、 动画、文本等进行综合处理。( 国内流行的非线性编辑系统几乎都使用国外的编 辑特技软件，软件特技算法的、研究在国内尚属空白。软件特技的一大不足是生 成时间较长。由于多数非线性编辑系统均采用m j p e g 压缩标准捕捉、传输、 储存图象，特技生成是在空域中完成的，也即需要解压缩、特技生成、再压缩 的过程，实验表明，软件特技生成时间绝大部分是花费在正向和反向d c t 上。 我们将特技算法作用到经哈夫曼解码后的数据流上，即在变换域( 压缩域) 上 作特技，从而避开了反向d c t 和正向d c t 过程。这样做，一是可以加速特技 生成时间，二是可以改善特技生成后的图象质量。所以本文从空域和压缩域两 方面研究软件特技算法，在国内首次建立了视频对象合成的完整体系，从单视 频对象和多视频对象两方面对合成算法进行了深入的探讨。 压缩域合成视频是一新领域，本文在块内代数法基础上，提出块内重排法 重取样法和块内移动法，从而使压缩域操作图象位置及缩放操作等成为可能。 通过直接在象素块内移动象素的方法，实现了七种规则几何变换。得到几种压 缩域特技算法。利用d c t 的正交性可使空域乘对应压缩域卷积的卷积系数稀疏， 并精确计算了该系数的大小，为在压缩域实现色键效果奠定了理论基础。 通过编程实现了压缩域多层叠加、缩放及几种规则几何变换，通过实验得 出压缩域特技生成时间比空域生成时间短，且质量不会因再编码而下降的结论。 本文系统地分析了单视频对象合成算法，包括几何变换、滤波效果、运动 效果、运动模糊和三维非线性特技，并由基本变换得到了几种二三维线性特技算 法。 本文对多视频对象合成中起决定作用的a l p h a 通道，从概念上和作用上进行 了深入的分析；推导出多层叠加的合成公式，阐述了用预乘颜色进行多层叠加 的意义，证明了每层视频对象的操作应在预乘颜色上进行。对视频特技中经常 使用的色键效果从定性和定量上作了深入的探讨，建立了构成前景图象的一个 模型，并由此模型得到求解前景中视频对象的蒙片方程，在几种特殊情况下， 由该方程可将前景中的视频对象精确抠出。提出一种双前景技术，利用它可将 前景中的任意颜色的视频对象从任意底色中抠出。同时通过将低通滤波器作用 到色键效果产生的遮罩上，去除了被抠视频x 寸象边缘的锯齿状。我们通过编程 实现了七述几种特技算法，取得了满意的结果。 本文提出了一种适合视频对象合成的结构化视频模型，并基于该模型提f 了合成函数的四种表示方法。 关键词：怍线性编辑、视频对象、合成函数、视频特技、a l p h a 通道、压缩域 a b s t r a c t n o n l i n e a r e d i t i n gc o m p u t e r b a s e ds y s t e m sa r e u s e di nv i d e op o s t p r o d u c t i o n ， w h i c hp r o c e s sv i d e o ，i m a g e ，a n i m a t i o na n dt e x ts t o r e di nd i s km o s tn o n l i n e a re d i t i n g s y s t e m si no u rc o u n t r ya l m o s tu s ee d i t i n gp a c k a g eo fo t h e rc o u n t r i e s ，s ot h er e s e a r c h o fs o f t w a r ee f f e c ta l g o r i t h m si sn o ti n v o l v e do nt h eo t h e rh a n d t h ek e yd r a w b a c ko f s o f t w a r ee f f e c t si ss p e e d b e c a u s ei m a g e si nm o s tn o n l i n e a re d i t i n gs y s t e m sa r eb e i n g c a p t u r e d ，m o v e da n ds t o r e di nm j p e gc o m p r e s s e df o r m a ta n dt h es o f t w a r ee f f e c t s h a v eb e e nt r a d i t i o n a l l yp e r f o r m e di nt h es p a t i a ld o m a i n ，a l g o r i t h m sm u s td e c o m p r e s s i m a g e sb e f o r ea p p l i c a t i o n a n dc o m p r e s st h e r e s u l t e x p e r i m e n t sh a v es h o w nt h a t p r o c e s s i n gt i m eo f s o f t w a r ee f f e c t sm o s t l yt a k e si nf o r w a r dd c ta n dr e v e r s ed c t i n o r d e rt oa v o i dt h e p r o c e s s o f d e c o m p r e s s i o n a n d c o m p r e s s i o n ，w ei m p l e m e n t a l g m i t h m s d i r e c t l y o nc o m p r e s s e dj p e gd a t a ，w h i c hc a nn o t o n l ys p e e d u pe f f e c t p e r f o r m a n c eb u ta l s ok e e pt h ei m a g eq u a l i t y i nt h i st h e s i s ，as t u d yo fs o f t w a r ee f f e c t a l g o r i t h m sh a sb e e np r o c e s s e di nt h es p a t i a ld o m a i na n d i nt h ec o m p r e s s e dd o m a i ni t i sf o rt h ef i r s tt i m et h a tas y s t e mo fv i d e oo b j e c tc o m p o s i t i o nh a sb e e ne s t a b l i s h e d w e t h o r o u g h l yd i s c u s s e dc o m p o s i t i n ga l g o r i t h m s i n s i n g l e v i d e oo b j e c ta n db i n a r yo r s e v e r a lv i d e oo b j e c t s m e t h o d sf o rm a n i p u l a t i o na n dc o m p o s i t i n gv i d e oi nc o m p r e s s e dd o m a i na r ea n e wf i e l d b a s e do ni n n e r - b l o c k a l g e b r a ， w e p r e s e n t e d i n n e r b l o c k r e a r r a n g e m e n t r e s a m p l i n gt h a tc a nm a n i p u l a t ei m a g e sl o c a t i o na n d e a c hp i x e lv a l u ei n c o m p r e s s e dd o m a i n w ea l s op r e s e n t e di n n e r b l o c kt r a n s f o r mb yw h i c h s e v e nr e g u l a r g e o m e t r i ct r a n s f o r m a t i o n sh a v eb e e nr e a l i z e d w eh a v eo b t a i n e ds e v e r a lv i d e oe f f e c t a l g o r i t h m s t h ef a c t o r so fc o n v o l u t i o nc o r r e s p o n d i n gt op i x e t w i s em u l t i p l i c a t i o ni n t h e s p a t i a l d o m a i nc a nb ec a l c u l a t e d b y t h e o r t h o g n a l i t y o fd c t ，w h i c hl a ya t h e o r e t i c a lf o u n d a t i o nf o rk e ye f f e c tp r o c e s si nc o m p r e s s e dd o m a i n t h es p e c i a le f f e c to fm u l t i l a y e ro v e r l a y ，s c a l i n g ，a n ds e v e r a lr e g u l a rg e o m e t r i c t r a n s f o r m a t i o n sh a v eb e e nr e a l i z e di nc o m p r e s s e dd o m a i n b ycp r o g r a m m i n g a n d t h e c o n c l u s i o nh a sb e e no b t a i n e db ye x p e r i m e n t s ，w h i c ht h ec o m p o s i t i n gs p e e do fs p e c i a l e f f e c ti nc o m p r e s s e dd o m a i ni sf a s t e rt h a ni ns p a t i a ld o m a i na n dt h ed e g r a d a t i o no f i m a g eq u a l i t ya l m o s td o e s n ts u f f e r t h ec o m p o s i t i n ga l g o r i t h m so fs i n g l ev i d e oo b j e c ta r ea n a l y z e d ，w h i c hi n c l u d e g e o m e t r i ct r a n s f o r m a t i o n s ，f i l t e r i n g ，m o t i o ne f f e c t ，3 dt e x t u r em a p p i n ga n ds oo nw e p l e s c n t e daf e w 3 dl i n e a re f f e c ta l g o r i t h m sb a s e do nb a s i co p e r a t i o n s t h ec o n c e p ta n df u n c t i o n so fa l p h ac h a n n e lh a v eb e e nt h o r o u g h l yd e s c r i b e d w e d e d u c e d m u l t i l a y e ro v e r l a yc o m p o s i t i n gf o r m u l a s ，e x p l a i n e d i t sm e a n i n ga n dp r o v e d t h a tt h eo p e r a t i o n so fv i d e oo b j e c ti ns i n g l el a y e ra r ep r o c e s s e do n p r e m u l t i p l i e d c o l o r ih ek e ye f f e c th a sb e e nt h o r o u g h l ys t u d i e da n dam o d e la b o u tf o r e g r o u n di m a g eh a s b e e ne s t a b l i s h e d b a s e do nt h i sm o d e l t h em a t t ee q u a t i o n sa r eo b t a i n e d w ep r e s e n t e d d o u b l e f o r e g r o u n dt e c h n i q u e w h i c hc a np u l lam a t t eo na n yc o l o r o b j e c ta g a i n s t r a n d o mb a c k i n g af e wa l g o r i t h m sh a v eb e e np r o g r a m m e dw i t hc l a n g u a g ea n di d e a l r e s u l t sh a v eb e e no b t a i n e d w e p r e s e n t e da s t r u c t u r e dv i d e om o d e ls u i t e df o rv i d e oo b j e c tc o m p o s i t i o n b a s e d o ft h i sm o d e l ，f o u rr e p r e s e n t a t i o n so f c o m p o s i t i n gf u n c t i o n sh a v eb e e np r e s e n t e d k e y w o r d s ：n o n l i n e a re d i t i n g ，v i d e oo b j e c t ，c o m p o s i t i n gf u n c t i o n ，v i d e oe f f e c t ， a l p h ac h a n n e l ，c o m p r e s s e dd o m a i n 第幸靖论 l ii n 线性编辑系统概述 第一章绪论 以计算机为平台的视频后期制作称为计算机非线性编辑( n o n l i n e a t e d i t i n g ) ，它是多媒体发展的一个分支。其特点是：( i ) 以计算机为操作平台：( 2 ) 以硬盘为操作过程中的存储媒体：( 3 ) 对视频和计算机图形、文本和动画进行包括 编辑、特技在内的综合处理。 “1 输入信号为模拟信号时，f 线性编辑系统把来自录像机、摄像机或其它 信号源的模拟视、音频信号分别经过图像、声音卡转换成数字信号( 即a d 转换) ， 再经过数字压缩( 通常采用m o t i o nj p e g 压缩，简记mj p e g ) 后形成数据流存 储到硬盘中：当输入信号为数字信号时，非线性编辑系统直接将视频信号存储到 硬盘上。在进行后期制作过程中，该系统按创作意图运用编辑、特技、动画和字 幕软件，对存在硬盘中的视频、图像、动画、字幕和声音调出到内存( 或虚拟内 存) 中进行综合处理，而后存盘。在完成上述后期制作之后，该系统再将硬盘中 l 处理的数据送到图像卡进行数字解压缩及d a 变换，并将形成的模拟视、音频 信号送入录像机录制。或不经过解压和d a 变换，直接输出数字信号。 最初电视节目编辑一直沿用电影编辑方法，电影胶片剪辑能按任何顺序将不 同素材的胶片连接在一起，即素材编辑的顺序是随机的。实际上这就是非线性编 辑的概念，“非线性”这一名词在这里的含义是指素材的顺序和长短可以不按捕 获或记录的先后和长短进行任意编辑和剪辑。随着廉价磁带编辑方式的出现，逐 步取代，原来的i 包影编辑力式。磁带编辑般采用i 乜了编辑力式，日| j 用i ur 丁段 按要求将已录的素材重新连接成新的连续画面。由于磁带上已录素材，除非借助 快进、例带功能，般只能按记录的先后顺序进行重放，因此这种电子编辑方式 称为线性编辑。就象磁带线性编辑对胶片非线性编辑的否定样，计算机非线一h ： 编辑方式对磁带线性编辑方式又作了一次否定。前者的出现是因为廉价的磁带存 储媒体的出现，而后者则是因为硬盘、光磁盘存储媒体的出现。 1 i 1 非线性编辑系统的发展史 最早的非线性编辑系统建于1 9 8 3 年 p 1c t u f ep r o c e s s o r ) 。使用了1 7 台录像机 称为蒙太奇图象处理系统( m o n t a g e 把一个素材带复制1 7 盘，以做到可 鹕。牵绪论 以从任何一台机器中取出任意一段素材放到待编磁带的任何位置上。这套系统虽 然卡h 笨，但使用非常方便。随着图形工作站的出现，使计算机非线性编辑成为呵 能。1 9 9 0 年，s g i 图形工作站成为非线性编辑系统首选的计算机平台这主要是 r i _ 卜它将许多特殊功能的硬件集成到机器中，可完成大量模型的三维几何图形的 操作。与此同时还出现了一些以图形工作站为平台的非线性编辑系统，如i b m p o w e fv is u a l i z a t i o ns y s t e m ( p v s ) 1 ，既可进行脱机编辑，还可进行在线编 辑，在线编辑要求实时产生特技，所以对计算机要求较高。该系统采用封闭的黑 博子结构。由于图形工作站中央处理单元处理能力较强、内存容量大，且多采用 磁盘阵列，所以可实现全分辨率、非压缩视频的实时操作，输入输出可采取多种 格式数据流，如s g i 的o n y x 图形工作站，可采用4 ：4 ：4 数字视频、h d t v 、r g b 、 y u v 等多种格式“3 i 。 九十年代初期，随着视频码率压缩技术的发展，使m a c in t o s h 机和普通的p c 机处理视频数据成为可能。1 9 9 2 年i s o f 式颁布j p e g 压缩标准，此时，w in d o w s 椰( ) s 操作系统下的多媒体软件平台v f w ( v jd e e f o rw i n d o w s ) 和q u ic kt i m e 也 已推出，制造非线性编辑设备的技术条件已经成熟。1 9 9 3 年美国i m m ix 公司在n a b 首次推出了v i d e ec u b e 非线性编辑，有趣的是它的压缩方式是小波变换而不 是m - j p e g 。紧接着m e d i ac o m p o s e r l 0 0 0 、s t u d i 0 2 3 0 0 、m e d i a l 0 0 等非线性编辑 系统铺天盖地而来。1 9 9 5 年，当a i v d 向人们演示m c l 0 0 0 的实时功能时，在一 台计算机中插一块板卡就能完成电视节目的后期制作，替代众多的传统设备，这 时才引起人们的极大兴趣。与此同时，d p s 推出了单通道s c s i 接口的p v r 3 5 0 0 ， 集视频采集、压缩、回放为一体，配上a d o b e 公司的编辑软件p r e m ie r e ，在一 台p c 机上就可体会非线性编辑的乐趣了。初期由于硬盘价格较贵，且微处理器 处理能力较低，因此使用较高的压缩比，如1 0 ：1 。随着硬盘价格不断下降，i n t e l 公司不断推出如p e n t i u m 、p e n t i u mp r o 、p e n t i u mm m x 和p e n t iu m1 1 等高性能 的微处理器，m ic r o s o f t 公司推出的与之相应的w i n d o w s 9 5 、w i n d e w sn t 等功能 强大的1 6 b i t 及3 2 b it 操作系统，以及计算机中速度高达1 3 2 m b s 的p c i 总线技 术和a g p 高速图象接口的广泛使用，许多非线性编辑系统的压缩率降为2 ：1 、 l ： ：l 、甚至非压缩，使得基于i n t e l 和w i n d o w sn t 平台的非线性编辑产品已成 为今f 1 的t 流。现在的非线性编辑系统除了能对视频、动画、文本、声音处理外， 手的还具有联网功能，以使资源共享，提高工作效率。m a c 机和p c 机平台的非 线一h 编辑系统都采用丌放式结构”“，用户可以通过更换图象卡或升级软件改善 j 性能。 l 1 2 非线性编辑系统与传统线性编辑系统的比较 ! ! 堕堕 非线性编辑系统用一台多媒体计算机替代了编辑机、特技机、字幕机、调音 台、三维及二维动画创作系统等诸多设备。相应的性能比较如下： 1 和普通计算机一样，其存储媒介( 硬盘) 的存储方式为非线性的随机存 取，每组数据都有相应的位置码，不象磁带那样节目信号按时间线性排列，因此 省去了录像机在编辑时反复搜索，找入点、出点的时间，编辑十分快捷方便： 2 非线性编辑在信号处理上与线性编辑有本质不同，它只是以计算机方式 “编辑”每段素材在高速硬盘上的位置( 或地址) ，而不是实际数据。整段内容 的插入、移动十分方便，无复制损耗，编辑精度高，不存在预卷，时基误差等弊 端，修改方便； 3 高速硬盘上的每段素材都可以和其它素材( 如动画、字幕、声音等) 混 合叠加，从而使编辑、特技、动画、字幕和配音可同期进行； 4 非线性编辑系统不象传统的模拟编辑，需要把录放机、编辑机、特技机、 字幕机、调音台等设备连接起来，使视频信号造成较大衰减和失真，它是卉计辫 机上进行数字化编辑，基本上无信号损失( 但在捕捉视频信号时，经过数字化及 压缩后信号有一定损失，在编辑中，对己压缩素材进行特技生成时，需解压缩、 压缩处理，这使图像质量也有所下降) ； 5 不象传统的线性编辑，在编辑时要考虑不同设备的视频格式及分辨率是 否一致，而非线性编辑系统可以合成不同媒体源、不同分辨率的图像，如视频、 电影、h d t v 等； 6 非线性编辑系统的软硬件易于升级，且分敝的非线性编辑系统易j ：联例， 人大提高节目制作效率。 但是非线性编辑也有缺点，如软件特技生成时r b j 较长；用硬盘存储视、音频 信号与传统的磁带相比，显得容量小且价位高：至今尚未制定出统一的质量捡测 规范等。 l2 国内、外非线性编辑系统发展现状 非线性编辑系统由计算机平台，视( 音) 频捕捉、处理及回放的图象卡和编 辑、特技、动画、字幕软件三部分组成。 1 2 i 非线性编辑系统硬件 计算机平台可采用p c 机、m a c 机或工作站( 即专用计算机) ，由此构成低、 t p 、高档非线性编辑系统。 小f 刊类型的计算机平台所采用的图像卡不尽相同。即使相同的平台也有许多 第亭绪论 类犁的图像帚可供选择。图像卡的主要功能是对视频信号进行编码和解码；a d 和1 ) ，a 变换：压缩和解压缩；实现硬件特技处理等。p c 机平台的图像卡主要有 美国的p 1 n n a d e 公司的m i r o v i d e od c s o 、r e e i t i m e ；加拿大d p s 公司的p v r 3 5 0 0 、 p e tl e 叭i o nr i 、；美国t r u e r is i o i 3 公司的t a r g a 2 0 0 0 、t a r g a 2 0 0 r t x s d x ；加拿 夫m a t f o x 公司的d i g is u i t e 等。m a c 机平台的非线性编辑系统有d a t at r a n s l a t i o n 公司的m e d i a l 0 0 ；g v g 公司的v i d e ed e s k t o p 及a v i d 公司的m c 系列产品等。工 作站平台的非线性编辑系统以s g i 公司的实力最强。s g i 的工作站产品有低价位 的1h d y 和档次较高的1n d i9 0 2 和o n y x 。近两年为了挤身于非线性编辑系统市场 的竞争行列，又推出了一种性能价格比较高的产品0 ，它采用统一内存结构 ( l m a ) ，c n 、i o 、图形、压缩、音频等处理芯片都直接与内存连接而无需经过 总线，从而彻底解决了总线“瓶颈”的难题。数据传输率可达2 0 0 m b s 。 由于视、音频信号主要通过图像卡进出硬盘，因此非线性编辑系统的图像及 声音质量主要取决于图像卡。图像卡有单通道和双通道之分，单通道卡只能对一 路视频信号进行压缩记录和解压缩回放，而双通道卡可同时对两路视频信号进行 处理，爿+ 为此双通道设计了一些硬件特技的数字电路，以实现硬件特技，并可实 时替加字幕。单通道卡有简易的短卡m i r o y i d e od c 3 0 、a v m a s t e r 等和用于专业 的双长卡，如p v r 3 5 0 0 、t a r g a 2 0 0 0 等。双通道卡主要用于专业视频领域，硬件 结构复杂，例如d i g i s u i t e 、r e e l t i m e 、t a r g a 2 0 0 r t x s d x 、p e r c e p t i o r ) r t 等。 有些图像卡自带s c s i 硬盘接口，不经过p c i 总线。视频数据记录在独立于 总线的素材硬盘上，而音频数据记录在系统硬盘上，如d j g i s u i t e ( 自带m o v j e 一 2 总线) 、re 、e 1 t i m e 、p v r 3 5 0 0 即属此类板卡。但p v r 3 5 0 0 无音频输入输m 通道， 使h j i i 、j 嵩 配声 。何止i 扳# 带有录像机双向控制器( r s 4 2 2 一r s 2 3 2 转换控制 器) ，呵控制s o n y 协议的录像机，在捕捉视频时用计算机控制录像机自动寻找素 材段f ：的编辑入点、出点，在回放时用录像机控制计算机进行组合、插入编辑。 例如p v r 3 5 0 0 等。 用于非线性编辑的专业图像卡应具有符合广播电视标准的接口，如分量、y c ( s v i d e e ) 、复合，最好还具备符合s i p t e 标准的数字s d i 串口( 大多数数字 录像机已做一hs d i 接口) 和i e e e 一13 9 4 接口( 或称f i f e w i r e 接口，用于连接d v 格j e 的数字摄像机和数字录像机) ，以便与数字摄像机、录像机连接。如d i g i s u i t e 带有s d i 接口。此外为了便于联网，应具有网络接口，以满足工作站之间快速交 换视频素材数据的需要。 不同图像卡的最低压缩比不同，有5 ：l 、3 5 ：1 、3 ：1 、2 5 ：j 、1 3 ：1 、无压 缩，大多数 ：作站非线性编辑系统可进行无压缩捕捉视频，此时对硬盘存取速度 爱求较高，通常需用硬盘阵列。 顺便指出，由于视频数据量较大，所以对存储视频素材的硬盘存取速度要求 较高，若图像卡本身不带, s c , s i 接口，则存储捕捉视频素材的硬盘，应是走r c i 总线的s c 5 ia v 高速硬盘( 7 2 0 0 转分或1 0 0 3 3 转分) ，数据传输率可达6 m b s 以t 。，这样彳可保汪较低的压缩比和较高的图像质量。 1 22 非线性编辑系统软件 现在单通道非线性编辑系统的编辑、特技、动画等功能主要靠软件生成，而 双通道非线性编辑系统的特技主要靠硬件板卡实时完成。不同档次的系统采用不 同的软件，价位和性能也各不相同。p c 机平台常用的编辑特技软件有：a d o b e p r e m i e r e 、s p e e dr a z o r ( 快刀) 、u l e a dm e d i as t u d i o 、m c x p r e s s ( w i n d o w s n t ) 等；动画软件有3 ds t u d i0 、3 d sm a x 、li g h t w a v e 、s o f t i m a g e 3 d 、t r u e , s p a c e 等。 m 机平台的编辑特技软件是a v i d 的m c 1 0 0 0 、m c 一4 0 0 0 、m c 一8 0 0 0 及m c x p r e s s ( t 1 的l l i t ig 【) 2 丁作五+ ，上州运行j 。0 0 或f lin t 编辑特技软f t ：0 ，i ：作i ij i 远，j 的编辑特技软件是j a l e o 、o n l in e 9 7 ：动画软件有! s o f t i m a g e 、a n i m a t , o r 、p o w er a n i m a t o r 等。其中j a l e o 和n i t i t 功能很强，可产生翻页、三维特技、运动跟踪 等难度较大的特技，并可实时观看特技效果。o n l i n e9 7 和s 。f t i m a g e 等软件在 p c 机上也能用了。 1 2 3 国内研究工作的现状 非线性编辑系统近两年在国内盛行起来，大有替代传统的线性编辑系统的趋 势。国内许多公司如新奥特、大洋、索贝、大恒、金四维等分别推出自己的产品， 但这些产品所使用的图象苦部是国外大公司的产品，所使用的编辑特技软件多数 为国外编辑软件。新奥特、大恒两公司丌发出自己的编辑特技软件，可实现实叫 特技生成，但他们均采用d i g i s u i t e 套卡，在该套卡中，除了两个“采集一压缩一 唧放”通道外，还把打个一：维数字视频特技( d v e ) 、一个r c , b a 1p h a 阁文帧存、 两个划象器、两路数字色键、两路数字亮键、两个五路混合器、七个背景函数发 生器等功能集成在板卡中，并用p in n a d e 公司的g e n i e 卡作三维特技处理，他们 利用板rf 现有的硬件。、i 维特技开发软件，只是用数据流控制板卡卜的特技 函数，并未涉及特技生成原理。而m a t r o x 和p in n a d e 公司有近十年生产板卡的 力史。所以国内目前的工作是在使用国外板卡的基础上，对某些板卡进行二次丌 发，编写出适合特定板卡的编辑特技软件，已形成神器、灯火等非线性编辑系统 产品，但对软件特技算法的研究工作至今尚未见报道。 銎! 堕丝 13 视频图象压缩方法 i f 算机之所以能够实时处理视频信号数据，主要归功于压缩技术的采用，视 频信号的数据量相当大，按 t ur6 0 l ( 原c c i r 6 0 1 ) 建议，路p a l d 制信号 的数据量高达1 98 m b s ，l g b 的硬盘只能记录5 2 秒电视信号，压缩使普通计算 机处理税频情号成为可能。视频图像压缩算法应用较多的是离散余弦变换( d c t ) 。 利用d c t 算法，国际组织制定了几种主要的视频压缩编码标准：h 2 6 l ( 电视电 话和电税会议的图像压绵及其标准) 、j p e g ( 多灰色静止图像的数字瓜缩编码标 准) 、m p e g l ( 用于数字存储媒体的码率高达1 5 m b i t s 的活动图像及其声音编码 标准) 、及m p e g 2 ( 码率从3 m b i t s 到4 0 m b i t s 的活动图像及其声音编码标准) 。 1 ： 1 非线性编辑系统中的压缩方法 目d 口在非线性编辑系统中使用了如下的压缩方法：小波变换、m j p e g 、m p e g 一2 p p m l 、d v c p r o 、d v 和不压缩的i t u 一6 0 1 标准。 1i m m lx 公司早期的v i d e o c u b e 就采用了小波变换码率压缩方法，小波变换 ( w t ) 不象傅立叶变换以三角函数为基底展开，而是以局部化函数所形成的相似 函数为基底展丌，可以对时f h i f h 频率同时进行分解。小波变换不仅适合窄带图象 信号同时也适合宽带图象信号的压缩，是一种不受带宽约束的图象压缩算法， 而d c t 变换比较适合于窄带图象信号的压缩；小波变换在码率较低、压缩比较大 时表现为噪声的增加，而d c t 变换则表现为易见的块状效应。但由于目前压缩比 i ：逐渐变小，使得块状效应小如w ，i t 产生的噪声严重，且住市场上购买小波变换 比缩t 5 片小如d c t 力使，所以目前在视频图象压缩方面仍以d c l 、为土。 2 d v 格式是s o n y 公司开发的数字录像机和摄像机的一种压缩记录格式，数 字视频分量以帧内压缩( d c t ) 方式记录，而声音是以非压缩方式记录。记录到d v 盒带上的数据率为2 49 4 8 m b p s ( 5 ：l 压缩) 。对视频信号的采样方式，p a l 制为 4 ：2 ：0 n t s c 制为4 ：1 ：1 。d v 通过对实质上不活动的视频图象的场问( 不是帧m ) 压缩束获得它的部分压缩比。因为场问压缩使每帧的数据量可变，而d v 要求固 定的数据率，因此需要自适应场间压缩。d v 格式是第一个在录像机、摄像机、非 线性编辑系统之间传输压缩视音频数据流的数字视频格式，并通过i e e e 1 3 9 4 接 口传输数据。目前国内安利金四维等公司的非线性编辑系统采用d v 数字格式。 ： d v c p r o 是以松下为代表的数字录像机的压缩记录格式，与d v 使用相同的 爪缩方。法，其对视频信号的采样方式根据不同业务需要可有4 ：1 ：1 和4 ：2 ：2 两种， 数锕串也柏心地为2 1 9 4 8 m b p s ( d v c p r o ，5 ：l 压缩) 和4 9 8 9 6 m b p s ( d v c p r o5 0 ，3 3 ：i 第章绪论 压缩) 。由于图象信号包括含有实际图象内容的有效象素区和没有图象的逆程区， 所以4 ：2 ：2 的输入信号将逆程信息全部舍弃( 若在逆程内有文字信息等数据时， n j _ 以将它作为数据记录在图象信号的a u x 部分) 。再经d c t 和v l c ( 可变长度编码) 算法压缩，最后记录到磁带上。由于压缩采用帧内d c i 、，因此可方便地进行逐帧 编辑。 4 目前在码率压缩中广泛使用的m p e g 一2 不能直接应用于非线性编辑，因为 m p e g 一2 中，通常一定数量的帧组成一卜图象组( g o p ) ，大多数情况下由1 2 帧组 成，其中只有一帧是由完整的完全独立的i 帧信息组成的，其它各帧即p 帧、b 帧数据都与i 帧有关。如果直接读取，不能恢复出原来的数据，或者说m p e g 一2 数据流的进入点只有i 帧，因此不能满足编辑的要求。在s o n y 公司的大力推动 f ，在m p e g 一2 的子集中增加了4 ：2 ：2p p m l ，数字录像机b e t a c a ms x 使用该标 准，其视频码率压缩比约为1 0 ：1 ，总码率在1 8 m b p s 。4 ：2 ：2 p p n i l 子集g o p 中只 包含两帧，即i 帧和b 帧，遇到b 帧即寻找同组的i 帧，所以可实现编辑，但要 用标准的m p e g 一2 传送设备传送4 ：2 ：2 p p m l 码流，仍然必须要先解码并再编码。 5 非线性编辑系统中广泛使用的压缩算法标准是建立在 p e g 基础上的m 一 、 p e g ，它又分为有损和数学无损两种压缩方式。 有损压缩是对活动视频图像的每一帧利用其空间相关性进行帧内压缩。由于 小象m l l ! g 压缩方法那样有帧间压缩，在编辑过程中可随机存取压缩视频的任意 帧，而与其它帧无关，恰好满足编辑中的精度需要。 利用有损n i - j p e c , 压缩的视频捕捉卡的捕获、压缩过程如图1 1 所示。 复合视频信号首先经过解码器变为r g b 信号，然后用转换器转换为y u v 信号， 再利用人跟对色度不敏感的特点，对已变换的信号进行4 ：2 ：2 子取样，即对亮度 仔i 号“r 每个象素部取样( 8 b jl 象素或1 0 b ic 象素) ，而对两个色差信号每 隔 个象索取样( 8 h l t 象素或l o b i t 象素) 。予取样后，亮度象素数是每个色差 象素数的两倍。最后进行、i p e ( ；瓜缩，压缩中分别对亮度? 色差信号进行离散余 弦变换( d c t ) ，量化去掉人眼不敏感的高频分量，再进行游程编码，霍夫曼编码， 输出数据流。 图】1视频捕捉卡捕获压缩过程 i 是种i i i 交变换，它将信号从空间域变到频率域。在频率域中，大部分 的能量集t 中在少数几个低频系数上，而且代表不同空旧j 频率分量的系数r n j 的相关 性大为减弱，我们仅利用那几个能量较大的低频系数( 通常集中在变换矩阵的左 上角) 就可将原始图像很好地恢复，对于其余的那些低能量系数( 对应高频系数) ， 州以存4 ；明显影响图像质量的前提下，通过量化给予较大的失真，甚至将其置为 零，【) ll 、变换按8 x8 像素块进行，由丁量化时去掉了高频成分，且在变换矩阵 f 1 , 3 ，p 角。花解_ l i 缩后，这砦部分不真实，块与块之间的信息不连贯，从而出现 块状设脚。 如k - 所述，量化是在一定的主观保真度图像质量前提下丢掉那些对视觉效果 影响不大的信息。不同频率的余弦函数对视觉影响不同，所以可根据不同频率的 视觉闽值来选择量化表( q 表) 中的元素值的大小。不同的压缩比对应不同的q 表，q1 硝f 愈大，数据压缩愈多。所以采用有损m j p e g 压缩的非线性编辑系统的 j 1 , i 缩比_ j 调。 0 i 同图像素材经过m - j e p g 压缩后的数据量不同，细节多的图像素材( 如建 筑物) 经d c l 变换后高频成分多，经量化后去掉的数据较多，结果被压缩掉的图 像数据比细节少的图像素材( 如风景) 多。对于多代复制图像本身包含大量噪声， 这些噪声同样被压缩，有时噪声的数据量高于实际图像的数据量。 数学无损m - , i p e g 压缩! ”3 同样采用8 b i t s 取样，4 ：2 ：2 量化，但只进行行程 编码和霍犬曼编码，不进行d c t 变换，所以无块状效应，可产生d l 质量的视频。 根据视频内容，数据率近似在9 m b s 到15 m b s 之间变化，最低压缩比为1 3 ：1 。 d j9 1s u il e 即采用该压缩方式，而大多数图象卡采用有损m - j p e g 压缩方式。 li 2 压缩比与图象质量及数据率之问的关系 l i j 缩比越小，图象质量越高，所占存储空间越大。压缩比指经m - j p e g 压缩 的瓜缩比1 i 包括予取样对数据的压缩。表1 1 列出m j p e g 压缩技术和模拟编 辑方式下视频指标相对应的情况( p a l 制，7 6 8 5 7 6 分辨率) “ 根据数字b e t a c a m 的实验结果，采用帧内压缩，2 3 ：l 的压缩比对几乎所有 的应用都是透明的无损的，压缩比到4 ：l 仍然看不出人工处理的痕迹。 不同图像捕捉卡采用的图像显示分辨率不同，即使采用相同的压缩方式( 如 卅。1p e c ；) ，对应相同的压缩比，视频数据传输率也不同。对应6 2 5 5 0 制式的视频 图像果用m - - j p f g 压缩，8 b i t 量化，4 ：2 ：2 子取样，图像显示分辨率为7 6 8 x5 7 6 ， m 0 每秒钟的原始数据量是2 7 6 8 5 7 6 x2 5 - 2 1 1 m b 。表1 2 列出几种分辨率下 1 i 1 _ 】j j 缩比和视频数据传输率之间的关系。 璃审锗沦 表1 1 不同压缩比的视频质量与汜录时叫( m _ 、i p i ：；gl 缩技术) 压缩比 相应的模拟视频指标 每g b 记录时间 l ：l无压缩d l 、d 54 9 秒 16 ：1d 2 、d 37 7 秒 【 21d v w 、数字b e t a ca f l ls p1 分3 7 秒 3 ：lb e t a c b j ns p 、m ii2 分2 4 秒 5 8lb e t a c a m 。m4 分- - 6 分2 8 秒 1 0 15lum a t lc 、h l 一8 m m8 分1 2 分8 秒 2 0 ：l专业s v h s 1 6 分 3 0 4 0 ：l普通s v h s2 4 3 2 分2 2 秒 压缩比决定图像质量，而数据率与传输相对应，视频数据率越高对系统的传 输能力要求就越高，对硬盘的存取速度要求也就越高。若系统速度( 主机总线l 传送速度) 或硬盘的存取速度达不到视频数据传输率时，在捕捉或回放视频时， 有砦数据就会丢失，即发生丢帧现象。 表1 2 不同分辨率下压缩比与数据传输率( m b s ) 的关系 肺比 】：12 ：i3 ：14 ：l5 ：i6 ：17 ：18 ：l9 ：11 0 ：1 f 仆辨 、 7 6 8 5 7 62 1ll o570 352 742 23 5 23 0 126 42 = 42l l 7 2 0 5 7 61 98( ) ! jf 649 53 332g 2 偶2 2l9 8 17 2 0 朋。l & 59 2 561 74 63730 826 52 ，32ll - 8 5 6 4 0 4 8 01 4 ( j 573 248 83 6 62 9 324