（电路与系统专业论文）适于特技的DCT域视频编辑方法研究[电路与系统专业优秀论文].pdf

摘要 数j 二视频压缩技术使庞大的视频数掘的柏储和传输更为山便怏摊。随才子 m p i - ( ；一2 编码视频il 旒增多，刈这些三缩视频的处j ! l l i i 览为了研究n 勺热， 之。h 钎： 机非线性编辑被“泛用于视频的后期制作中，列存储在硬盘中的视频、图像、动 画、文本等进行综合处理。多数非线性编辑系统采用m j p e g 日i 缩标准，特投! e 成是在空域中完f i 戋i i ( 5 ，汁算量大，且需较大存储空间，而以m i ，瓯一2 编码的视频使 用了t 陨l 刈预测的力型：束消除叫州j 余皮，铂型高的n i 缯池e ，丹i 1 1 一f j ? f 浦h ；i j 小， 给视频信，! 。处_ i ! k ：爿t 了i 生i _ “。 本文以m p e g 一2 视频编码标准为璀础，刈其l h 运- o j l 、偿( m c ) i i d c i 、变换| f | f j 性质做了较详细的分析，主要作如_ f 工作： 给出了揍1 二i ) c t 域的视频处理m j ! 架，井_ | j 划i ) c i 域叶l 处理将会遇j i l j i l7 , j 幽州i ：进 行了分析，给出了处理的方法。包括在子块没有刘齐的情况下获得参考块的d c t 系数；在帧场d c t 模式间进行转换；列于在做压缩域的运动补偿时，刘帧存储 器中参考帧d c t 模式的选择方法等等。 深入地分析了视频对象的编辑算法，包括j l 伺变换、滤波、i i ! 移等，弱外还 给出来淡入淡出，溶解，划变视频特技效果的算法，j = i ：给出行：i ) c t 域的实现办7 2 i 。 宄成了一个桀1 ii ) c + i 域的视频编辑的软什酞验系统，系统运仃良好，能吱现 所歧计的视频特技编辑川点到了预期的效果。 宴验结果表明攮于d c t 域的视频编辑与空域视频编辑棚比，杓：棚视频h 像 质量条件下，有较快的处理速度，刚听需内存电较少。 关键词：m p e ( ；一2 ，m j i ，e g ，非线性编辑，特技效果，吖i 域，m ( ：一叱1 域。 l = | = l 国科学技术人：孚：硕十学伉沦文 a b s tr a c t w i t ht h ed e v e l o p m e n to fv i d e ( ) c o m p r e s s i o nt e c h n o l o g i e s ，i tw i l lb ec o o v e n i e n t e l a n df a s t e rt h a ts t o i u t ga n de x c h a f l g i n go fp lo g r a m si nc o m p l e s s e df o r m a t w i t h m p e g 一2p l o g r a m si n c r e a s i n g ，t h er e s e a r c h0 1 1c o m p r e s s e dv i d e ob e c a l n eo n eo f h o t s p o t s n o n l i n e a re d i t i n gc o m p u t e r - b a s e ds y s t e m sa r eu s e di nv i d e op o s t p r o d u c t i o n w h i c hp r o c e s sv i d e o ；i m a g e ，a n i m a t i o na n dt e x ts t o l e di nd i s k m o s tn o n l i n e a re d i t i n g s y s t e m su s em j p e gc o m p l e s s e df o n l l l a n ds o l l w a i ee f f e c t sh a v eb e e nt r a d i t i o n a l l 3 7 p m f o r m e di nt h es p a t i a ld o m a i n ，w h i c hi n v o l v e sm a s sc o m p u l a t i o na n dn e e d sb i g g e l s l o r a g es p a c e ，h o w e v e r ，m p e g 一2u s e sp r e d i c t i o f lt or e d u c et e m p o j a l r e d u n d a n c y i t h a sh i g h e rc o n l p l e s s i o n1 4 a t e ，n e e d sl e s s e rs t o l a g es p a c e ，b u ta l s ol e a d st i l ep i o c e s s i n g o fv i d e oi n f o , 1 m a t i o nt od i f t i c u l t y t h i sp a p e ri sb a s e do hm p e g 一2s t a n d a r d ，w ed e t a i l e d l ya n a l y z et h em o t i o l i l c o m p e n s a t i o na n dt h ep r o p e r t yo fd c t m a i nw o r k s a r ef o l l o w i n g ： w ep r e s e n tt h ef r a m e w o r kf o rv i d e oe d i t i n gi nd c td o m a i n ，a n a l y z ed i f f i c u l t yo t d c td o m a i np r o c e s s i n g a n dp r o p o s es o i t l ef l e wi d e a st o s o l v et h e s ep r o b l e m s i n c l u d i n g ：g a i n i n go l d c tc o e f f i c i e n tw h e nt h e b l o c kd o n ta l i g n ，t r a n s f o i m i n g b e t w e e nf i e l dd c tm o d ea n df r a m ed c tm o d e ，a n dc h o o s i n go fr e f e r e n c ef l a m e s l d c tm o d ew h e nw ea r ep r o c e s s i n gm o t i o nc o m p e n s a t i o ni nd c t d o m a i na n ds oo f i f o l l o w i n g t h ee d i t i n ga l g o r i t h m so fv i d e oo b j e c t sa l ea n a l y z e d w h i c l a i n c l u d e g e o m e t r i ct r a n s f o r m a t i o n s ，f i l t e r i n g m o t i o n e f l e c la n ds oo nw ea l s op l e s e n t 岫 a l g o r i t h m so fs o n 3 ev i d e os p e c i a le f f e c t ，w h i c hi n c l u d ef a d i n g 。i n a n df a d i n g o t l t - w i p i n g ，d i s s o l v i n g a tt h es a m et i m e ：w ep r e s e n tm e t h o d so f t h ec o m p e s s e dd o m a i n a tt h ee n do ft h ep a p e r ，w eh a v ep e r f e r r a e dae x p e r i m e n t a t i o ns o f t w a r es y s t e l n s o fm p e g 一2v i d e oe d i t i n gi nd c rd o m a i n ，t h es y s t e mc a l lr u l li l o l r e a l l ya n dp r o d u c e v i d e os p e c i a le f f e c te d i t i n go f w ed e s i g n e d ，i ta c h i e ，e st op i o s p e c t i v ee f f e c t t 1 1 er e s l i i t so f e x p e l i l l _ l e n t a t i o f li n d i c a t el h a tt h ep l o c e s s i n gr a t ei nd c t d o m a i ni s f a s t c rt h a ni n s p a t i a l d o m a i na n dn e e d s e s s e li l l e l l l o l 。y x & h e l l q u a l i t 3 7 ( ) ri m a g e s 中国科学技术人学顶j 学化沦义 p r o c e s s e di sc o m p a r a t i v e k e y w o r d s ：m p e g - 2 、m j p e g ，n o n l i n e re d i t i n g ，s p e c i a l e f f e c t d c td o m a i n m c d c td o m a i n 中国科学技术人学硕7 f f ! - ；r ：何绝文 绪沦 第一章绪论弟一草缮化 1 1 当今数字视频技术的发展，动态以及应用 当今社会已经进入了信息时代，信息存在j i 人 _ i - f f i 的各个万面。信息是| = | = | 图像、视频、声音、文本等等各种媒体有, f j l 组成的，而其中视频是人类信息的重 要来源，占有很大的比例。所以在信息处理 f , 3 9 l ：究中，对视频的处理是具有非常 重要的意义。 在过去1 ( j 年萏二右的时删取，在多媒体表, j - h ：, r j 通信领域墩得了惊人的进展。 首先，已经清楚的是媒体的所有方面f e 在进入数j | i | 二：从表j 到传输，从处邢到 检索，从演播室到家庭。其次，数字多媒体的门i 精神n 砸信箅l ；, 4 x 得了盟著的进步， 这使得在目前的网络中以相剥低的码率传输高质艟的视频成为叫能。第三，超大 规模集成电路技术的发展可以经济有效地史现复杂n q 软件。 视频转成数字信号后的原始数据量是非常大的，z l 现有的有限信道容量 ：传 送是比较困难的，与此同时，图像中存在若冗余度，这给视频的压缩提供了可能 性。8 0 年代以来，国际标准化i 力、会( i s o ) 、国际电子学委员会( i c c ) 和国际电信 联盟( 7j 雕1 ) 等国际组织针对不同的应用分, 1 1 f t j 0 定了2 6 x 和】m p l 2 4 7 等补 同的压缩标准，耿得了辉煌的业绩。这些标准黜， f 多个组织和专球批同h 沦通过 的，对任伺用户都是公丌的，只需要极少的费j ：h ，任们i | = | 1 户挪i , j 以实现这些标准， 并i 丑这些标准采用不同的压缩技术、传输机制，县有小| 披水特j i 。 随着数字视频软件和硬件的发展，采用各种, m ! , i ；i j i ( f l f i h l j i i f l i 1 、7 i l i ，不断涌现， 各种主要的压缩柄、确：的应用领域为： ( 1 ) h 2 6 卜一i s d n 视频电话； ( 2 ) h2 6 3 】) s t n 视频电话： ( 3 ) m p e g l 一一c d i o m ，v c d ： ( 4 ) m p e ( ：2 _ s d t v ，h d t v ，d v d ： 同时，无线和网络技术爆炸性的发展深刻地改变了全球通信的基i f l | l f - i ：、勾。无 线、多媒体和问络的融合将彻底改变x j i l 进行商务酒g j , i l l 彼此mj j a f t ：, 的方式。术 爿t ( n i ：l 算f j 匝信 1 匈将具d - - 实i 坷、li i l ：l 尤i ；t i 一措魂：、令连接7 f i 、【：j j 移动。i ! i 舛l i 允f h i ! f , i - 彩 绪晓 媒体容量。以下是= 三要的几种通信方式： ( 】) 网络：可以是广播有线网络( c a l ) l 。j 的传输方法。 ( 2 ) 无线：包括数字电视的无线地面厂播，无线通信网( ( ，s m ，6 1 r s ，c d m a ) ， 以及最近被看好的无线局域删( w l a n ) ，薷t ! _ j ：l i et e e i ：h ) 技术，无线带来了移 动的方便，但是信道的不稳定性必须要去克服。 ( 3 ) 卫星：包括卫星接收和卫星电话等等 再来看用户- 的接l 叟端，人们接i 5 ( 的终端可以是传统的电视机计算机，【乜i 】j 以是移动电话，个人数字助理等最近流仃起来的r 持吐箭，个叫以足以后的智 能家电。 总之，随着多媒体的逐步渗透，视频、图形、h 算机视觉、多媒体数- b i $ f 1 计算机网络之削的界限丌始变得模糊了，使视频处珥! 成为了个多学科的激动人 心的领域。今灭，视频处理处于多媒体的核心地位。赴其所包含的众多技术中， 视频编码及其标准化在这些发展中无疑起着关键性的作用，这些标准化的视频技 术已经应用于人们生活中的各个方面，使得人们的生活变得丰富多彩。 1 2 本文的研究背景和意义 1 2 1 研究背景 以h 算机为平台的视频后期制作称为i lf h ；l ：m 线性编辑“，它是多媒体发展 的个分支。计算机非线性编辑的特点是： ( 1 ) 以讨算机为操作平台； ( 2 ) 以硬i ：为操作过程中的存储媒体； ( 3 ) 列视频和计算机图形、文字和动画进行包括编辑、特技在内的综合处 理。 最原始的书同编辑方式为胶片的剪辑，这【且是旷线性编“i ：1 1 9 ：i l 叫1 j 。但它笨_ 川； 的_ 作方式，i - ( a n 作量和浪费使它难以普及j 、训j 。影视j j 之像诮j1 9 ：r d iu ，索木4 的线性编辑很快得到上薹用行成为主流，这就是我们迎j ：剐行7 门f 0 统n 0 线陆编辑 绪沦 目方式。数字化技术的出现及其优越性强烈( i 97 f l l 击着传统的线肚编辑方式，数字 非线性编辑技术或硬盘编辑技术成为当今节l | 编辑的热点，它代表着电视制作的 发展方向，大大的推动数字视频，特别是数字录像机的发展以及数字视频网络的 发展，成为数字音视频节目处理的关键技术。 非线性编辑在收集利判时具有实酬性。它可以实时1 1 9 收集各种影视素材，完 成编辑、特技和字幕的叠加等操作，人大f i g v 目, y ! j i 了编辑系统的史时。f l 。1 次，在 节目的后期制作中，节目创作人员可以将图像、文字、声i 氓特技动i i i 等完全融 合到1 ：3 由的创作环境中，在一个系统内以全数字的方式宄成各币t 7 1 2 台、图义制作、 特技切换，使创竹：人员的丰富的想象力得以充分发抨。l 刚i 可以任意打乱、随意 调整素材的顺序，大大提高了工作效率。i ：b f 非线性编辑系统足建立在计算机牡 础上的，所以容易联网来实现资源共享。 有理由相信，m p e g 一2 标准格式将成为数字视音频的主要存储格式，因此研 制和开发支持肝e ( ；一2 码流的非线性编辑系统就显得格外重要，列推进我i 习影视 业( 1 9 数字化改革，提高影视制作与后期编辑的效率具有重大的意义。实现基于 m p e 6 2 码流的非线性编辑系统，阿提就是实现扑e g 一2 吗流的文1 1 t 编码、解码， 所以研究优化实现m p e ( ；一2 标准中的一些重要算法，i ! = i 就显得非常重要。刚礼 国内许多高等院校、科研机构都在多媒体的研究领域加人投入，以便有剐琢多媒 体领域的标准制定中占有席之地；困内外一大批大型电j 7 耵i 川算机厂商比j r 在 加紧研究m p i ： g 一2 及相关领域技术， ：发m p e 62 国际标“i i ! r , j 系列j 、7 | 品。 综合目胁已应用的非线性编辑系统的状况及它的研究发展的重点，非线性编 辑系统的发展趋势可概括为： ( 1 ) 单机编辑演变为网络化编辑 原来单机编辑存在着节目素材不能共享、编辑效率低等缺点，不能适应新闻 快速编辑及滚动捅出的要求。为此，网络化编辑系统应运而生。非线性编辑系统， 在桑术习管砰和编辑操作等方面提供了剥网络l7 i g x 人支持足例络化编矧：的帆科产 品之一。 ( 2 ) m - _ h _ ) l 划j 压缩演变为m p e g 一2 压绗f 最初的非线性编辑系统均采用m - j p i ! o 压缩算法。l i h 。舻。( ：压缩算法与数 字电视信源编码的m | ) l ! ( ：2 压缩算法不一致，必然存在着川h 一2 与卅、! ( - 相互 绪除 转换问题，两次转换所造成的信号损伤是不可忽视。为此，德罔1 2 # 1 s 1 ：推m 了世 界上箱一个基于m f e c 一2 标准的“6 0 1 ”实时舣通道邶g ( - 2 非线性编辑糸统，返 行于n t 平台上，用户可以生成与d v d 完全兼容的m p i z ( ；一2 视频数据流。s o n y 推 出的m p e ( ；一2q ：2 ：2 一播级一卅线性编辑系统及松下推出n 勺i ) v c p r o 帧内压缩i f , j ) 播 级非线性编辑系统都是i ，其阿期摄录设备格j _ i 缩编，i 1 = 5 算法什敛的。除l 比之 外，j v c ，m a t ：lo x ，h n l e c _ 1e 等公司的非线性编辑产品郡采埘了m | j 2 技术。蜒 斯泰克还展出了s o l t i i l l a g ed s 无压缩视频非线性工竹：站。这表明非线性编辑的 m j p e g 压缩算法将演变为m p 阢一2 压缩算法，而刚一捅级图像质量的压缩比越来 越小，甚至于无压缩。 ( 3 ) 功能单一型演变为功能集成型 随着数字技术的迅猛发展，人们对电视节目制作水准的要求越来越高，电视 台需要种以非线性编辑系统为中心，配以各种专业化的工作站并通过i ( 】( ) m l ：) | ，s 以太网，完成视频编辑、节目渲染包装、三维动面= 位体的，“品，从而提高节 e | | | q 制作质量和7 b 1 效率。这就要求各种专川软件的底j | 蔓： 能川卫：圳。| | 1 ) i 成 个 专用与通用4 17 l 结台、集多种功能于一体的综合例络化多媒体。卅线性编辑系统。北 京贝尔科技集团和加拿大d is c r e e l = l o g i c 共同推出了运行于w i i ( o w sm 平台上 的e ( 1 i t ( 50 版本) 非线性编辑包装动画系统就是例。_ 此同l i i j ，| 卜线性编辑 巨人a v jd 也推了电视、电影与图像特技、动画及多媒体制作数字解决方案。 ( 4 ) 常规电视节目编辑演变为数字电视节目编辑 如今数字电视节目的非线性编辑成为电视界同行关心的话题。d is c r e e 的 非线性编辑系统nr e 和特技合成系统i 1 3 i 1 。都安装有s ( ：i 的i i i ) l ( 】i - ，h 有实时输入输出10 8 0 隔行扫捕和7 2 0 逐行扫拙l 。i d 、v 的能力。爿外，mc 1 i ( ) x 排 出新的硬件平台叭g i ： ；l ei ) t v 支持i ) v 及d v 3 0 、支持4 ：3 及i6 ：9 比例的解幕。 s o n y 的i z s ：3 非线性编辑系统iu 以为1 ) v 和d v c a l 4 编辑。眦1 1 t 。1 的h 】it h o x3 ：1 一级 选项可以将己编辑的c c ：ir 6 0 1 素利转换为任们d 1 、v 格式。【山此i , j 见，常规| _ u 观 节目非线性编辑系统将演变为数字电视节目非线性编辋系统。 1 2 2 研究意义 m p e g 一2 标准的推出使有f ；e f f , j 空i 刚存储长时1 1 e i j 的视频节目成为了可能。现在 绪论 越来越多的节l 一 都是采用m 1 3 e ( ；一2 编码方式米交换的，所以研究j i i 编f m 频i i 9 处；r g ! 有着重要的意义。 列于基于m p l ! g2 的数字视捌编辋：有以h l 个问题需竖考虑： ( 1 ) 运算姜 【； q 问题。 传统的基于空n = j 域的方法剥_ j _ i 压缩视频的处 7 11 会有刚难。l i i jj 叫| i ；_ 缩视频先z f 空域l ： 二，解丌，然后用基于象素的方法进行处理，最后将处理后的图像再编码成压 缩视频。这种采用了两次编码方法的最大缺点是运算量太大，因为在此过程l + i 要 经过完整的解码、再编码两个环节，其中耗费训算量的是d c i 、i i ) c t 和运动估训。 l 玉h j ；，这种方法如果要用于实时的实现困难会很大。 ( 2 ) 存储器容量的问题。 m p e ( ；一2 的压缩比达到几_ 卜甚至上i j 比一，如果将爪缩的码流恢复出来，；i 哿 需要很大的内存空问。 综上所述确必要寻找在压缩域r i 直接进行视频处邢n 方法。l i c 约7 i 域i 、足以量 4 t f 内i ) c t 系数柬表示的，由于d c l 系数中很多都是o ，所以：1 暂会给处墨l 蚓 来力便。 另外，在压缩域中处理还可以获得原来图像编码的信息，而这些信息司以为视频 处理所用，再考虑i ) c t 变换的性质，可以从空削域中的处理方法推导出剥j z ；d t i 域 的处理方法，这给压缩域的处理提供了可能。但是光有这些条f - i 二还是远远不够的， 因# g m p e g 一2 不i 司于卅、 p e g 的最主要方面是在于它还使：1 1 了帧削预测的方法柬消 除时间冗余度，有更高的压缩比，所；_ 存储空间小，但给7 - 见j l a i f r 息处理：将来了闻 难。 鉴于i v i p i t 一2 观频z f ：各种领域的广泛应圳，我们捉f 托ij i 域州”眦2 说频 进行编辑处j ： j t f i ：1 7 7 法，将一定程度上减少视频编辑的运算茄，解决存储器不址的 问题，从而给实 r , j 编辑制；一束了h j 能，使视频的非线i ! l - j j , i4 1 1 7 1 i s u ； 疋的捉1 谢，具 有非常重要的意义。 1 3 研究内容和成果 131 本文的研究内容 弟一章0 二要介绍数字视频i 佝发展、应用以及水义的研究i 岢景和意义c - - p 国利学技术人。r ：颐p 似论文 地l 囊 第二章将给出d c t 域m p e g 一2 视频编辑方法的系统框图和软件处珥! 流程，以 及刘框图中内容的简要说明和分析。 第三章是对m p e g 一2 视频压缩标准的回顾，其中主要介绍”刚一2t , j i 4 i - 的编解 码原理，空问域运动估计和运动补偿原理。 第四章将分析d c7 i 、域视频处理原理和主要障碍，其中将涉及剑带运动补偿的 d c 1 域中视频处珲原理，运动补偿中参考块叱j 的获得，帧i ) c7 l 和场i ) c7 l 的转换， 帧d c t 方式和场d c i 力式存储下的运动补偿等力丽的内容。 第五章将介绍一些咐i 域的视频处理方法，主要包括视频的缩放算法，视频 的特技效果算法等等。 第六章在我们提出的系统框图的基础上，对m p e ( ；一2 视频的特技效果( 划变， 淡入淡出等) 进行d c i 域处理，并给出实验的结果，对其进行分析和比较。 132 本文的成果 给山了种在i 域列m i ，陌一2 视频进行编辑的方法，从。爻验的结果来看， 和空刚域的传统方法川比减少了运算量，提高了运算速度，j 外我们j 巫r lv o ，j 发环境下实现一个试验性的数字视频编辐软件，用米对视频l if 1 进行后期处理。 d c i 、域m p e g 一2 视频编辑系统概述 第二章d o t 域m p e g - 2 视频编辑系统概述 在本章中，我”j ；l g - 苗先给出空川域视频编辑算法，在分析它的缺点1 1 4 j 基1 i l 二， 给出d c t 域进行视频编辑的系统框图，并列系统框图进行既明和分析，通过软件 处理流程来进一步深入晓明视频编辑的处理过程，验证在d c t 域中处理的可行性。 2 1 空域中算法的实现 非线性编辑系统多数采刖卅j p i - ( ；压缩算法，窄域巾的特技生成必须先解压 缩，然后特技生成，最后再压缩。用传统的空刚域处理方法剥压缩的视频实现 视频编辑的框图如图2lj 听示，v 1d e o l 是主视频流，而t e xl 、p jc t u r e 、v id e 0 2 是需要插入的文本、图片、视频剥象。在基j 一琢索处理之f 讨，必须将视频都解 压缩到空问域中，然后根据各个对象在合成视频l ， 组合的位置信息在空间域中 进行替换或者叠加，最后还要通过再次压缩的方法将视频压缩回m p e g 一2 的码 流。这种采用解码一雨编码方法的缺点是运算量太大，因为在此过程中要经过 完整的解码、再编码两个环节，其中耗费计算量的是d c t 、：i ：) c ，f 和运动估汁。 因此，这种方法如果受用于实刚的实现凼难会很大。这里需要指出的是如果采 用这种方法要在空问域合成多路视频时，这种方法的实现的代价是非。i f ；昂贵的， 另外，从需要的存储空i n j 来晚，我们知道m p e ( ；2 具有1 0 ：1 以上的压缩率，那么解 压缩后的数据量会增加一个数量级，需要很火的临时存储空叫i i 。 h2 【空问域视频编辑处驯力法 d c t 域的处理方法能带来处理速度垌i 运算空问上的好处，凶此，我f f l - f l 览 d cr 域m p e g 一2 视频编辑系统帆述 要把这种视频编辑的方法推广到压缩域，使视频编辑的效率有所提高。 2 2d c t 域m p e g 一2 视频编辑系统框图 在本文中，我们给出的方法是在d c t 域l - p 对m i ，e c , 一2 视频进行编辑的，我 1 、 将 d c t 域的基7 j 丑 上对m j ) 一2 视频广。g 二特技效粜。存研究和分析1 ) ( ，j 1 域t j ，实现特技效 果时，我们的目标是寻找可以尽量减少i ；| 算精，但是i 司n , i 又定程度地保质量 的算法。这罩我们给出i ( , j d c t 域卯睇一2 视频编辑系统框图如图2 2 所示。 h2 2d c i 域m p e c 一2 视频编辑系统框幽 图中，v i d e o l 和v i d e 0 2 分别经过变长解码( v l d ) 、反量化( ) 得到各自视 频图像的运动矢量、宏块信息以及m c i ) c7 l 。= ”。域数掘，m c d c 1 1 域是在m p e g 一2e l ：， 运动补偿后，将求得的帧i i u 差再做附l 、变换后得到的系数，它是“；：运动补偿的 d c i _ 系数，m c d “表示在d c l l 域中进行运动补偿解码，经过m c 旷后，我们将在i ) c i 域中对两个视频进行各干叶r 编辐同_ i j 我们根掂所要进行的编辑；| j | | i 类、两个视频 各自宏块的位胃和类型信息以艾器自的运动矢毓m v i 、p l y 2 米j 。尘编辑后视频l p 相应宏块新n 勺运动矢量, w 3 ，这啦岜j 能牵涉到宏块的类型转换，在这n b 处理 过程结束后，1 1 4 进入编码阶段，我们使用编辑后的数据和产生的新的运动矢量 来进行m c d ( d c t 域中进行运动补偿) ，然后通过量化( 0 ) 、变长编码( v l c ) ，最后 得出我们需要的n i p e g 一2 视频码流。为了保证输入输出的码率恒定，并且符合 m p e g 一2q 一对v b vb u f f e r 的要求，需要对码率进行控制，所以这里还有一个缓7 l _ | r 中国科学技术人学硕一l 学位沧文 d cr 域m p e ：一2 视频编辑系统概述 区( b u f f e r ) ，我们要根掘b u f f e r 的满溢程度给量化器一个反馈，从而控制量化 步长，得到符合码率要求的码流，但l m 域中没有空域的信目、司以利用_ 1 1 j m p i ：g 一2 视频的码率控制需要用到空域中的信息，所以我们必须寻求新的码率控 制的方法，这将在后面的章节具体说明。刈j ：不同编辑类型进行i ) c l 域l m 应处理过程我们也将在后丽盼章似h 币细说 刿。 2 3 算法分析 为了更进一步说明我们提出的方法 处理方案，通过对这些处理方法的分析 细节。 下面将给出在d c t 域中进行编辑的视频 可以进一步了解视频编辑过程中的一些 在m p e g 一2 标准中，视频帧有三种类型，分别为i 帧、，帧和目帧。这样定义的 目的第一是为了达到码率与压缩比之n ：【j 的平衡折，：| ：】，第二也要满足在应用的时f i j ：； 刑随机存储的要求。采用帧问编码，用以洲缘m 训j 余度，有利r 加大压缩比， 而采用帧内编码可以满足随机存储的婴求。 对于i 帧( i nc 阳p ic r i f e ) 中的块，只采用了变换编码( 咐f 、变换) 歹k 提供压缩， 这种编码方式虽然提供的只是中等址缩率，但是i = i = | 于只用自己的信息进行压缩， 所以提供了压缩图像的随机切入点，同嘲陔帧具柏刷新作用可消除积岽的误差。 对于刚j ! ( p r e d i c a t e dp ic t u r e ) ，编码时采用了前面的p 帧或者i i i 贞白9 宏块来 预测，本帧的宏块只编两者的码误差，p 帧将成为b 帧和后面的刚j ! ；_ 的基准，所以 如果有误差将会传递下去，这种帧提供的是较大的压缩率。 对于b 帧( b ：ic | _ ir e c t j ( m 。i l 州c tl i i e s ) ，它用j n 丽和后面的两帧作为基准，迎 过内插重建的帧来作为预测的，b l u i 没有再用来被作为预测挞准，瞑差1 、会传l 茧， 这种帧具有最大的压缩比。 首先通过分析输入视频的各级头信。崮、利别视频进行变长解码( v i ”，我们i i 以得到当前要处理的宏块的位肖、所铂帧| q 类型、宏块类型、运动补偿类型利运 动矢量，这些信启、对于我们在咐1 1 域进行视频编辑是至关重要的，我们将根据这 些信息来对视频宏块在i ) c t 域进行相应的处理。 对各种类型的宏块的相应处理如下： j 帧：i 帧中的宏块由于是内部编码的，没有进行预测，所以对它的处理要 i i cr 域川能，一2 秕频编辑系统述 相对简单点，首先我们根据将要进行编辑的类，皑和宏块位j 酣信息来判断宏块 在编辑后的视频+ j 还是否存在，如果一i 存在及被完全遮挡，则丢弃，接着我们 将两个视频中的对应宏块进行相应的编辑处理，如在溶解特技中，将两个划应 位置宏块的d c t 系数分别乘以各自的溶解系数，然后相加得出编辑后的宏块。 p i i 质i p 帧中的宏块使用了帧问预测，它的处理相对要复杂些，和i 帧中的 宏块一样，首先我们要判断它们在编辑后的视频中还是否存在，如果存在则我 们要根据其运动矢量米判断它的参考块是否在前面的处理l ：| = ，受剑了影响，如果 没有，则无需在i ) c t 域进行运动补偿解吗，使用原先宏块贱署州ji ) c i 系数垌i 运 动矢量进行编码，否则，则要刺当前处理宏块进行宏块类型转换或老h 算新的 运动矢量，这罩在运动补偿解码中，由- j 二m p e g 一2 视频中存在隔行扫捕，d c7 i 变 换模式有帧d c r r 和场d c t ，而当前块和参考块可能使用不同模式的i ) c 1 变换，所 以要在两种d c j 变换模式之问进行转换，使之统一。新的运动矢量的获得和宏 块类型的转换以及d c t 模式i n j 的转换将这后面的章节详细介绍。 b 帧：b 帧中的宏块使用了取向预测的方法，有前向和后向两个运动矢量，列 它的处理首先和i 帧、p 帧一样要判断编辑后的存在与否，如果存在，则根据两个 运动矢量来分别分析向自h 和向后参考块，如果两个参考块都没受到影l i i i , j ，则使用 原先的残差d c t 系数和运动矢量，如果两个矢量叶l 有一个仍然可以找到原先的参 考块而另一个指向了其它对象处，则r 以将原先有两个运动矢藏的块转变成只何 一个i u 向或者后向运动矢量的块即要进行宏块类型的转换，将b 块转化为向6 u 参考的乳块或者向后参考的i k 。块，最后一剩一情况是发现两个参考块都改变了， 那么将进行新的运动矢量的计算或者转换成内部编码块。 最后将这些编辑好f f j d c i 系数进行编码，码率控制，产生符合标准的m p l ：( ；一2 码流。 2 4 算法评价 对空间域视频编辑：算法和我们提出的d c i 、域视频编辋算法进行比较，我们 可以发现，眦i 域视频编辑算法去除了i ) c r 羽ii d c 1 的过程，并川只刈受影【内 小部分块进行了重新运动估计，缓解了运算量，提高了运算速度，因为m p | ：( ；一2 d c i 、域m i i ：( ，一2 视频编辑系统概述 视频编解码过程中，d c7 r ，i d c t 和运动估计的运算量占总的运算量很大的比例， 又因为是在d c t 域进行处理，从而节省了存储空间。 将m | j i x ；一2 标准中使用的不同模式的d e r 变换和运动补偿转变成摧f 场的统 模式，使得1 3 c i 域视频处删的通川化成为l 】j 能。 在d c7 1 域中直接进行处理将趟到一些困难，重新估计运动矢量和蠢块类，型 的转换将带来些误差，使得视频的质量在一定程度上有所下降，这些将在实 验结果中详细分析，但以此来换取运算速度的提高是比较值得的。 中国利学技术大学硕= 学位论文 第三章：m p e g - 2 编码标准算法 基于d c t 域的m p e g2 视频编辑的研究对象是m p l ：( ：一2 压缩视频，所以我们 有必要对m i ；一2 视频压缩的原理和”过程有一个深入的理解。小章将主要介7 - 7 m i ，e g 一2 视频编码杯准的一些基本概念和编解码过程，并日一芋 对”叫一2 标准中 和1 后继视频编辋密切相关的几个环节进行仔细分析和探刊。 3 1m p e g 一2 简介和视频编解码原理 3 11m p e g 一2 简介 m p e g 专家组于19 9 5 年出台了m p e g 一2 ( ： 0 s i e c 】：3 8 1 8 ) ，它的目的是支持高的 图像分辨率，包括符合i t u rr e c 6 0 ( c c t r6 0 1 ) 格式的标准分辨率的数字电 视和更高分辨率的i i d7 r v 。同时支持包括高速体育运动在内的活动图像。并月 m p e g 一2 要求能够支持更广泛的应月范闭，既包括存储媒体f 1 一i ( i ji ) v i ) ，广播电视 中的数字广播电视和l i d t v ，还可应用于交互式的视频点播( v o i ) ) 羽i 确：视频点播 ( n v o d ) ，此外，还能够适配 二a t m 这种新兴的宽带通信网。 m p e o2 标准 t 一对标准数字电视和高清晰度电视在各种应用下的压缩方案和 系统层进行了详细规定，编码码率的范围是3 m b i t s 一】o o m b it s ，标准的正式 规范在i s o i e c l 3 8 1 8 中。 m p e g 一2 不是m p e g l 的简单升级，m p e g 一2 在系统和传送方而作r 更加详细 的规定和进一步的完善。m p e g 一2 特别适用于广播级的数字f 1 = ! l 视的编码和传送， 被认定为s i ) t v 和h d f v 的编码标准。m p 瓯2 还专门规定了多路节目的复分接万 式。此外，m i ，陌一2 还兼顾了与州m 信元n 适i 览问题。 m p e g 一2 的标准号为i s o e c l 3 8 1 8 ，标准名称为“信息技术i 乜视图像和 伴音信息的通用编码( i n f o r m a t i o nt e c h n o o g y 一( 伦n e rcc o d in go fm o v i n g p i c t u r ea n da s s o c i a t e da u d i oir l f o r m a ti o n ) ”。m p i ：g2 标准e i 前分为9 个 部分，统称为i s o i e c l 3 8 1 8 国际标准”1 。各部分的内容描述如下： 第一部分( i s 0 i e c l 3 8 1 8 一i ) 系统：描述多个视频，音频和数掘基本码流合 中国科学技术人学硕十学位论文m i ，i ! ( ；2 绷码标准算法 成传输码流和节目码流的方式。 m p 睇。2 的系统模型如图3 一l 所示。这个标准主要是俐来定义电视图像数据、 声音数据和其他数掘的组合，把这些数据组合成一个或者多个适合于存储或者 传输的基本数据流。数据流有两种形式，种称为张序数掘流( h g t ；l i t l s t le a 1 ，p s ) ，另一种称为传输数据流( t r a r , s p o fls t r e a m s ，s ) 咖7 二成的一种数 折：流，刚在出现错跌棚刈比较! 姗0 环境f ，适合使用软什处川的应川；传输数 据流也是组合一个或者多个p e s 而生成的一种数据流，它用在出现错误l 、i1 1 j ! t 比 较多的环境下，例如在有损失或者有噪声的传输系统中。 盛舞i 一器弱 l 像数据i像编码j 俺数l 一。蕊i j 一畿； 第二部分( i s o i e c l 3 8 1 8 第三部分( s o i e c 3 8 1 8 音频标准反向兼容，是m p e g 第四部分( i s 0 i e c l 3 8 1 8 m p g g2 码流的方法。 第五部分( i s 0 je c 3 8 1 8 的软件实现方法。 幽像p e s 嗨敌掂湔 2 ) 视频：描述视频编码方法。 3 ) 音频：规定声音数据的编码和解码，与m p e ( ；一t 1a u d i o 的扩充，支持多个声道。 4 ) 一致性测试：描述测试一个编码码流是否符合 5 ) 软件：描述了m p f ( j 一2 , f a 4 i ir i 3 筇 、二、 i 部分 筇六部分( 1 9 ( ) i i ：i g i3 8 1 8 6 ) 数字存储媒体命令与控制( 1 ) s m c g ) ：描述交互 式多媒体网络l m r 务器与用户阃的会话信令集。 这是一个数字存储媒体命令和控制( d i g it a ls t o r a g em e d ：i “c o l l l l n a n da n d c o n t r o l ，d s m c c ) 扩展协议，用于管理m p g g 一1 和m p g ( ；2 的数捌流，使数掘流既 可征单机上运行，又可在异构网络( 即使用相似的设备构造，但运行小同协议的 一螂 一 拶 一一 中国科。技术人学坝十学位跑文 网络) 环境下运行。在d s mc c 模型中，服务器( s e r v e r ) 和客户j i 黹( 6 1 i e n t ) 都被 认为是d s m c c 网络的用户( u s er ) ，d s m c c 定义了个称为会晒羽i 资源管理 ( s e s s i o f ia n dr e s o u f e em a n a g e r ，s r m ) 的实体，用来管理网络| = r l 的会话和资源。 第七部分( l s o i g c l 3 8 1 8 - 7 ) m p e ( ；一2 多声道声音编码算法标h 1 ：( a d v a n c e d a u c lj oc o d i n g ，a a c ) ：这个标准除后向兼容m p e ( ；一】a u d ：io 标准之外，还有= 盼后 向兼容的声音标准。 第八部分( i s o 1 i ! c 13 8 18 - g ) 系统解码器实_ 接h 扩腱标4 i ! ( i ：x t e l l s le f i or r e e l t i m ei n t e r f a c ef o rs y s t e r n s ) ：原汁划用于采样精度为【o b il 的l 电视图 像编码，但工业界剥此兴趣不大，已停止