（信号与信息处理专业论文）mpeg2—h264avc视频转换编码技术的研究与实现.pdf

中文摘要 随着数字电视及多媒体技术的发展，视频编码技术得到快速发展，多项视频 编码标准相继被制订，应用于不同领域。为共享系统软硬件资源，视频转换编码 技术作为视频领域中一项重要技术应运而生。视频转换编码技术是对已压缩的码 流进行再处理，使码流与信道或终端相适应，实现通用多媒体接入。 m p e g - 2 标准在数字电视和d v d 等消费电子领域已得到广泛应用，积累了 丰富的节目资源。近来发展很快的高效压缩编码标准一h 2 6 4 a v c 采用了一系列 更加复杂而有效的视频压缩算法，与先前的编码标准相比，压缩性能明显提高。 在同等图像质量下，h 2 6 4 a v c 编码流数据量仅为m p e g - 2 编码流的5 0 左右。 此外，h 2 6 4 a v c 还具有抗误码性能强，易于适应网络环境和网络接口多样性等 优点。随着无线视频传输和网络流媒体技术的发展，将会有更多视频系统采用高 效的h 2 6 4 a v c 标准。然而，目前的大多数节目资源均采用m p e g - 2 标准。因 此，将m p e g - 2 节目资源转换为h 2 6 4 a v c 节目资源的需求日益凸显，m p e g 2 到h 2 6 4 a v c 转码技术也成为了视频技术领域的一个新研究热点。本课题对 m p e g - 2 到h 2 6 4 a v c 技术进行研究，旨在为这两种编码标准间的异类转换编码 处理提供有借鉴意义的算法和解决方案。 本文在概述视频转换编码技术和m p e g - 2 及h 2 6 4 a v c 标准关键技术的基础 上，分析了m p e g - 2 到h 2 6 4 a v c 转换编码中需要处理的主要问题，论证了 m p e g 一2 到h 2 6 4 a v c 帧内及帧间转换编码实现方案，给出了转码器结构，提出 了利用解码m p e g 2 码流获得的d c t 系数快速判定h 2 6 4 编码模式等关键算法，采 用软件实现并验证了所提出的算法。 开发数字电视f r o v ) 产品，测试d t v 设备及系统性能，监测d t v 设备及系 统运行，维修、展示d t v 设备等，均需提供d t v 传送流( t s ) ，而存储或分析则 需截取t s 码流。为满足此需求，课题组在已有工作基础上，开发了u s b2 0 数 字电视码流传输截取模块。本文第二部分总结了所完成的该模块主机软件开发 工作，包括w i n d o w s 及l i n u x 系统下u s b 设备驱动程序及应用控制程序的开发 和实现。 关键词：视频转换编码技术m p e g 一2h 2 6 4 a v cd c t 系数 u s b 2 0 设备驱动程序 a b s t r a c t w i t ht h er a p i dd e v e l o p m e n to fd i g i t a lt e l e v i s i o na n dm u l t i m e d i at e c h n o l o g y ，v i d e o c o d i n gt e c h n o l o g yh a sg r e a t l yi m p r o v e d ，s e v e r a lv i d e oc o d i n gs t a n d a r d sh a v eb e e n i s s u e da n da p p l i e dt od i f f e r e n ta r e a s a so n eo ft h em o s ti m p o r t a n tt e c h n o l o g yf o r s h a r i n gm u l t i m e d i a r e s o u r c e sa n du n i v e r s a lm u t i m e d i aa c c e s s ( u m a ) ，v i d e o t r a n s c o d i n gh a s o b t a i n e dm u c ha t t e n t i o n so fr e s e a r c h e r s v i d e ot r a n s c o d i n gi s d e f m e da st h ec o n v e r s i o no fo n ec o d e dv i d e os t r e a mt oa n o t h e r ，t h et r a n s c o d e dv i d e o c a l lm e e t sv a r i o u sa p p l i c a t i o nr e q u i r e m e n t s m p e g - 2v i d e oc o d i n gs t a n d a r dh a sb e e nw i d e l yu s e di nc o n s u m e re l e c t r o n i c s ，s u c h a s d i g i t a lt e l e v i s i o na n dd v d ，a n da c c u m u l a t e da b u n d a n tp r o g r a mr e s o u r c e s c o m p a r i n gw i t ho t h e re a r l yv i d e oc o d i n gs t a n d a r d s ，h 2 6 4 a v cr a p i d l yg r o w si n r e c e n ty e a r s h 2 6 4 a v ci m p r o v e dt h ec o m p r e s s i o ne f f i c i e n c yb ya d o p t i n gm a n y n e wa l g o r i t h m s i nt h ec o n d i t i o no fs i m i l a rp i c t u r eq u a l i t y ，t h ec o d i n gb i t so f h 2 6 4 a v cs t r e a m si so n l ya b o u th a l fo fm p e g - 2s t r e a m s i na d d i t i o n ，h 2 6 4 a v c a l s oh a st h ea d v a n t a g e ss u c ha s ，h i g h e re r r o r - r e s i l i e n c ea b i l i t y , b e t t e rn e t w o r kn e t w o r k i n t e r f a c ee t c w i t h t h ed e v e l o p m e n to fw i r e l e s sv i d e ot r a n s m i s s i o na n dn e t w o r k s t r e a mt e c h n o l o g y , h 2 6 4 a v cw i l lb eb r o a d l yu s e d a sm o s tp r o g r a m sa r ec o d e da s m p e g - 2f o r m a t ，t r a n s c o d i n gm p e g - 2r e s o u r c et oh 2 6 4 a v cf o r m a th a sb e c o m ea n e wr e s e a r c hi s s u ei nv i d e oa r e a i nt h i s p a p e r ，w ee x p l o i t e ds o m er e s e a r c hw o r k so n t h i sm p e g 一2t oh 2 6 4 a v ct r a n s c o d i n g t h i sp a p e rf i r s t l yr e v i e w dt h ev i d e ot r a n s c o d i n gt e c h n i q u e s ，t h e ns u m m a r i z e dt h ek e y t e c h n o l o g i e sa n dd i f f e r e n c e so fm p e g - 2a n dh 2 6 4 a v c b a s eo nt h e s e ，a n a l y s e so f t h ep r i m a li s s u e so fm p e g - 2t oh 2 6 4 a v ct r a n s c o d e ra r ep r e s e n t e d ；t r a s n c o d i n g a r c h i t e c t u r ei sa l s os u g g e s t e d m o r eo v e r , s o m ek e ya l g o r i t h m s ，s u c ha sd c t c o e f f h c i e n t sb a s e df a s ti n t r a i n t e rm a c r o ? b l o c km o d ed e c i s i o n a l g o r i t h m sa r e p r o p o s e d i no r d e rt ot e s t i f yt h ep r o p o s e dm e t h o d ，w ea l s od e s i g n e das o f t w a r e m p e g - 2t oh 2 6 4 a v ct r a n s c o d e r t h ee f f i c i e n c yo fo u rt r a n s c o d i n ga l g o r i t h m sa r e t e s t i f i e db yt h es o f t w a r et r a n s c o d e r t r a n s m i t t i n ga n dc a p t u r i n gd i g i t a l ivt r a n s p o r ts t r e a m ( t s ) a l eg e n e r a l l yr e q u i r e d i nd i g i t a l ( d 即dp r o d u c t sd e v e l o p i n g ；d t vd e v i c e st e s t i n g ，拶i vs y s t e m s u p e r v i s i n g f o rt h i sp u r p o s e ，d t vt st r a n s f e r r i n g c a p t u r i n gh a r d w a r em o d e lb a s e d o nu s b 2 。0i n t e r f a c eh a sb e e nd e v e l o p e d + t h es e c o n dp a r to ft h i sp a p e rs u m m a r i z e s t h eh o s ts o f t w a r ed e v e l o p i n gf o rt h et st r a n s f e r r i n g c a p t u r i n gm o d e l ，w h i c hc o n s i s t s o fd e v e l o p i n gu s bd e v i c ed r i v e ra n da p p l i c a t i o ns o t b , v a r ei nb o t hw i n d o w sa n d l i n u xo p e r a t i o ns y s t e m 。 k e yw o r d s ：v i d e ot r a n s c o d i n g ，m p e g - 2 ，h 2 6 4 a v c ，d c tc o e f f i c i e n t s ， u s b 2 0 ，d e v i c ed r i v e r 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得墨鲞盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者虢i 靖 学位论文版权使用授权书 本学位论文作者完全了解盘盗盘堂有关保留、使用学位论文的规定。 特授权丕鲞盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名： 签字日期岬年 、农 l 生氇 廊中日 ( 新虢多聋洛 签字醐：刁引肛鲴 前言 1 选题背景 - _ i - l 刖吾 从2 0 世纪7 0 年代开始，电视技术开始了由模拟电视信号数字化处理和模 拟传输向处理与传输完全实现数字化的转换历程。与模拟电视相比，数字电视 具有以下特点和优点：采用数字传输技术，可提高信号传输质量，消除噪声 累积，提高信号抗干扰能力，显著改善收视质量；大幅度增加频道数量和节 目套数，降低单套节目传输成本。以地面广播为例，数字化后，可启用现行频 谱分配规划中，考虑种种因素而不能使用的那些模拟系统禁用频道；采用数 字技术可大大改善电视节目存储和复制的质量；可与计算机技术“融合”，构 成多媒体视频系统，改变被动收看电视的单一模式，实现交互操作的互动模式； 数字技术的灵活性使数字电视广播能提供更多的信息服务形态；数字电视 系统具有可扩展性、可分级性和互操作性，能兼容地提供不同层次视频服务质 量。 上述特点和优点之所以能够实现是由于数字电视系统采用了一系列关键技 术：对电视图像及伴音信号进行信源压缩编码，去除其中的冗余度，降低码 率，提高传输效率；采用纠错编码等信道编码技术，提高数字电视信号传输 的可靠性；采用多进制数字调制技术，有效地提高信道带宽利用率等。 视频信号的冗余度存在于本身属性和统计规律两方面。活动图像信号的冗余 度表现为其自身很强的空间相关性和时间相关性；信号统计上的冗余度来源于 编码信号概率密度分布不均匀。 除视频信号存在冗余度外，人眼对图像对比度、图像细节以及运动频率和速 度等的敏感程度都有一定限度。那些不被人感知的视频信息不必传送，视频信 号处理过程中产生不被察觉的损伤也不必去理会。 压缩视频信号数据量的实质就是去除视频信号的自身冗余度和编码信号的 统计冗余度，并充分利用人类视觉特性，以期在保证一定的主观质量前提下， 最大限度地减少表征视频信号所需的数据量。 基于上述视频信号压缩原理，国际标准化组织( i s o ) 、国际电工委员会( i e c ) 和国际电信联n ( i t u ) 等国际组织，面向不同传输系统，针对不同用途，制订了 几种不同的图像和视频编码标准。其中应用较广的有：用于静止图像压缩的 j p e g 、j p e g 2 0 0 0 等标准系列；主要用于会议电视及可视电话等的h 2 6 1 、h 2 6 3 及其增强版；主要用于v c d 等低码率存储媒体的m p e g 一1 ；主要面向高质量视 前奢 频信号存储( 如d v d ) 和数字电视广播( 包括s d t v 和h d t v ) 的m p e g 2 ； 主要面向无线传输、移动接收和i n t e r n e t 鹬的m p 嚣g 4 ；应用领域广滴，功能强 大，压缩效率高的h 2 6 4 a v c 等。 目前，m p e g - 2 标准在数字电视和黟姻等消费电子领域已缛到广泛应用， 积累了丰富的节目资源。近来发展很快的h 2 6 4 a v c 高效压缩编码标准采用了 一系列更加复杂面脊效的视频压缩算法，使其在同等图像质量下，采用 h 。2 6 4 ，a v c 技术压缩羼的数据量只有m 弛g - 2 的5 0 左右。与先前的编码标准 相比，h 。2 6 舭w c 标准具有比特率低，图像质量好，抗误码性能强，能更加适应 网络环境和魉络接盈多样性等优点。醚着无线视频传输和网络流媒体技术的发 展，将会有更多的视频系统采用h 2 6 4 1 a v c 标准。充分利用已有m p e g - 2 系统 的节鬓资源，获德符合h 2 6 4 a v c 标准的节尽，已成为视频研究领域的一个热 点问题，其巨大的需求正在凸鼹。应运丽生的视频转换编码技术可以有效的解 决这方面的问题。在这种技术背景和潜在需求推动下，本硕士论文选定了 m p e g 2 到h 2 6 4 a v c 视频转换编码作为主要研究工作。 2 论文主要研究内容 本论文包括两方面工作：一是着重研究了m p e g - 2 到h 2 6 4 a v c 转换编码 技术；勇一工作是开发了w i n d o w s 系统和l i n u x 系统下的u s b 2 。0 主机软件。 在转换编码技术方面，主要研究了如何利用转换编码过程中解码m p e g 2 源 码流得到的裙关信息实现珏2 醛擞c 西标码流的快速编码，特刹楚重点研究了 如何直接在d c t 域实现编码模式的快速判断。 在分担开发u s b2 0 数字电视码流传输产截取模块的主机软件开发工作中， 主要开发了模块在w i n d o w s 系统及l i n u x 系统下设备驱动程序和应用界面程序。 3 论文内容安排 论文分成五章。第章力视频转换编码技术综述。 第二章介绍m p e g 。2 和h 2 6 4 舱v c 标准，主要说明这两个标准中的核心编 码技术，重点指出了m p e g - 2 到h 2 6 4 a v c 转码过程中需要着重解决的问题， 也介绍了霞前国内豁对m p e g 。2 到h 。2 6 4 t a v c 转码技术的研究情况。 第三章详细论述了m p e g ，2 到h 2 6 4 a v c 转码过程中，在d c t 域快速判断 赖肉编码预测模式的算法。 第四章详细论述了m p e g 2 到h 2 6 4 斛c 转码过程中，在d c t 域内快速判 2 前言 断帧阆编码预测模式的算法。 第五章详细论述了w i n d o w s 系统及l i n u x 系统下u s b 2 0 主机软件的开发。 最后，在结束语中归纳了本文的主要工作，并对在本论文基础上的进一步工 作提出了一些建议。 第一露视频转换编码技术概述 第一章视频转换编码技术概述 本章概要余绍视频转换编码技术，列举并分析常用转换编码器结构及它们的 特点。 1 1 芎l 言 曩前，多种视频压缩编码标准得到了工业爨强力支持，实际中存在种类繁多 靛数字视频应角系统。然丽，不同系统的具体实现不一致，这些应臻系统秃法 直接互联，也不便共攀节目资源。通用媒体接入( i m a ) 技术为解决这一问题 提供了整体方案，这个方案的具体实现需要对视频数据进霸转换，适配到其体 应用中，完成转换的鼠体实施技术即为数字视频转换编码技术。 总薛来说，视频转换编码技术是将裰频疼容的原始格式转换或另一释需要格 式酌处理技术，即对灞经压缩编码的比特流进行褥处理，使经过处理后的数据 满足传输信道或解码器对编码比特流的特定要求。这里所说的格式包括：不同 瀚编码标准、眈蒋率、帧率、空滴分辨率等，如嚣i - t 掰承【珏。 鬻1 一视频转涨术卜篙2 赣率1 一 簸率2 图i - i 视频转换编辑功能框鼙 衡量转换编码技术优劣的指标为转换器结构复杂度和输出码流质量。结构 复杂度通常指转换编码的计算爨及转换编码所需存储空阕等。输邀码滚覆量遥 常用转换编码码流解码图像数据和未压缩图像数据的峰值信噪比( p s n r ) 衡爨， 也可用转换编码码流解码图像和输入码流解码图像之p s n r 僮衡量。前者反映 编码辛争码( 。解码) 全过程翡质量，后者只反映转码过程的质量，矮文中实验数 据都是通过后者计算获得的。为提高转换编码码流质量，通常需进行复杂的转 换处理。在有限翁转换编羁器资源情况下，转换编码委 疑麴主要挑战是熟箭有 效地利用输入码流中的参数和统计信息，完成优质而高效的转换编码处理。 视频转换编码技术最旱的磷究工 乍主要集中予比特率转换。翠在1 9 9 5 年 i e e e 的i c i p 会议上，a e l e f t h e r i a d i s 就提出了用高频系数截除法，完成m p e g 码率 4 第一章视频转换编码技术概述 转换【2 】。另外，研究人员还对固定比特率( c b r ) 和可变比特率( v b r ) 视频压 缩流闻的转换编码进行了研究，酸更有效地传输视频信怠。随着显示能力和处 理能力受限的移动设备的出现，用于降低空间分辨率以及时间分辨率的转换编 码技术也得到了研究。伴随着各种编码标准在不同领域的采用，为合理地使这 些资源得到共享，异类转换编码技术得到关注。目前转换编码技术仍在不断发 展，至今仍是视频技术领域的一个研究热点。 1 2 视频转换编码技术 转换编码技术大体分为四类：比特率转换、空间分辨率转换、时间分辨率转 换和异类转换编码技术。比特率转换编码技术是实际应用最广的一种转换编码 处理，在数字电视、无线多媒体通讯及互联网流媒体等领域都有需求。分辨率 转换主要为适应终端性能而进行。异类转换编码则随不同编码标准间资源共享 焉发展起来。 1 2 。1 比特率转换编码技术 转换视频流比特率有两个目的：一是节省传输信道带宽，有效地传送视频 节隧；二是与不同视频标准中规定的级的编码媚兼容。在数字电视广播和i n t e m e t 流式服务间经常需要这种比特率转换。例如拟将4 m b p sm p e g 2 码流经2 m b p s 容量视频点播信道传输，那么就需要进行相应的码率转换。以1 9 9 6 年h u i f a n gs u n 等在文献【3 中发表的m p e g 。2 视频流比特率转换编码技术研究成巢为代表，反 映出国际上已关注此研究领域，并取得了进展。 实现编玛视频比特率转换最壹接的方法是解码器与编谒器级联，即先对编 码比特流解码，然后按新的目标比特率对解码重建图像再编码，如图1 2 所示。 这种级联结构可以获得较好的转换编码质量，但转换编码所需计算量和存储空 闻都很大，除高速硬件实现外，目前尚难软件实时完成。 输入。 鼹码器编码器 输出。 码流7 码流7 图l - 2 解码器编鹃器级联转换编码嚣 图1 - 3 为双环级联比特率转换编码器结构。其中解码部分和重薪编码部分各 有一个运动誊 、偿预测环路，故称双环，其实质与解码器编码器级联结构基本相 第一章视频转换编码技术概述 同，区别在于重用了源码流中运动矢量和编码模式等信息。由于运动估计约占 编码计算量的6 0 ，直接使用源码流中的运动矢量可以显著降低编码的计算量。 虽然双环级联转换编码器可以获得高质量的码流，但是转换编码系统还是过于 复杂，实际应用中仍需要对其进行简化。如果假定运动补偿为线性计算( 当运 动矢量为半像素时，存在运动补偿计算非线性情况) ，可以将双环结构简化为闭 环结构，如图1 4 所示。 简单的开环比特率转换编码器结构如图1 5 所示，它是将输入编码比特流经 过变字长解码( v l d ) 和反量化得到包括运动矢量和d c t 变换系数的宏块级信 息，然后根据目标码率选择较大的量化步长对d c t 系数进行重量化，重量化后 系数值变小，使v l c 编码可以获得更高的编码效率，以此来达到降码率的目的。 但是这种结构会因为不对重量化误差进行校正，从而导致解码器使用带有重量 化误差的参考图像进行运动补偿，误差随运动预测不断积累，发散到整个图像 中引起误差漂移。 图1 0 双环级联比特率转换编码器 图l _ 4 闭环级联比特率转换编码器 图1 - 5 开环比特率转换编码器 6 第一章视频转换编码技术概述 1 2 2 空间分辨率转换编码技术 由于不同应用对图像分辨率的要求存在差异，且各种终端显示器分辨率不 同，对已编码码流进行空间分辨率下变换的需求日趋强烈。例如：数字电视中 的h d t v 码流到s d t v 码流的转换，将d v d 节目提供给低分辨率的多媒体终 端等。对视频编码比特流的空间分辨率下变换，传统的方法是对输入编码码流 先解码，在像素域实行向下取样，再进行编码。 图l ，8 为双环级联空间分辨率下变换转换编码器。该结构与图1 3 所示的结 构相似，但加入了空间分辨率下变换、混合块处理和运动矢量下变换处理。空 间分辨率下变换在像素域进行，可以使用不同的滤波器完成。运动矢量下变换 一般采用运动矢量复用处理。由于这种结构根据新的运动矢量重新计算残差数 据，转换出的码流没有漂移，输出码流的质量主要决定于运动矢量复用算法的 优劣。 图1 8 双环级联空间分辨率下交换转换编码器 考虑到双环下变换结构过于复杂，可采用与比特率转换编码技术中类似的方 法进行结构的简化，得到图1 - 9 所示闭环下变换转换编码器和图1 1 0 所示开环 空间分辨率下变换转换编码器。 闭环下变换转换编码器的主要特点是减少了双环下变换器中的一个环，但在 提高转换编码速度的同时却无法保证目标码流的质量，不过仍比开环空间分辨 率下变换转换编码器优越。 开环空间分辨率下变换转换编码器结构的主要特点是在d c t 域完成空间分 辨率下变换，从而提高转换编码速度。 7 第一章视频转换编码技术概述 码率控制 图1 - 9 闭环空间分辨率下变换转换编码器 图1 1 0 开环空间分辨率下变换转换编码器 1 2 3 时间分辨率转换编码技术 在传输带宽极低的应用中，完成比特率和空间分辨率转换编码后，码率仍 较高，可进一步采用时间分辨率转换编码技术。对含b 帧的码流，由于b 帧不 做参考帧，丢弃b 帧是时间分辨率下变换最简单的方法。应当指出，这种方法 不适用于h 2 6 4 a v c 码流，因为h 2 6 4 a v c 码流中的b 条带也可作为预测参考 帧。 但是b 帧采用双向预测，压缩率较高，编码比特数较少，丢b 帧对降低码 率通常不会起到明显效果。为满足占用极低带宽的要求，通常还要进行丢弃p 帧的处理，但丢弃p 帧会导致运动矢量重利用问题。因此，对参考帧的选择， 运动矢量的重新修正成了时间分辨率变换的个重要的研究课题。 码率控制 图1 1 1 双环级联时间分辨率下变换转换编码器 第一章视频转换编码技术概述 时间分辨率转换编码技术也可采用双环级联形式( 图1 1 1 ) 。这种结构与图 1 3 所示的转换编码器相似，不同处是存在跳帧控制开关s w 。s 啪状态由码率 控制模块决定，当输出码流的缓冲区已经充满时，s 矽被打开，丢弃一帧图像， 反之，被闭合，当前图像被送入编码端编码。 1 2 4 异类比特流间转换编码技术 国际上除对同类比特流转换编码技术开展了较多研究外，对异类比特流间 的转换也已开始研究。研究异类码流转换技术的部分动力源于一种解码器( 如 h 2 6 4 a v c ) 希望能接收其它编码标准( 如m p e g 2 ) 码流，以及低带宽和恶劣 环境传输视频数据( 如移动网络、i n t e m e t ) 等。对前面所述同类标准码流转换， 由于源码流和目标码流的很多特点相同，如图像编码类型、参数定义和采用的 编码技术等，因而源码流信息的再利用简单一些；与之相比，不同标准码流间 的转换编码，源码流和目标码流的很多特性不同，使得源码流中的很多信息难 以直接利用。另外，异类码流间语法亦有差别，除比特率和分辨率等转换外， 尚需进行语法转换。 新的h 2 6 4 a v c 视频编码标准在预测、变换、量化及熵编码等方面与以前的 标准引入了很多新概念：可变块大小运动补偿、1 4 像素精度运动估计、先进的 帧内预测方法、整数变换、多参考帧、多模式运动矢量、去块效应环路滤波器 等，从而使h 2 6 4 a v c 具有更高的编码效率和很强的抗干扰性，适合网络传输， 因此将会在各个领域得到广泛应用。h 2 6 4 a v c 与现行其它编码标准码流间的转 换也将逐步成为有实用价值的需求。为此，本硕士论文选定m p e g 2 到 h 2 6 4 a v c 视频编码码流转换技术为研究课题，本文将在第3 章和第4 章专门论 述。 第二章m p e g 2 及h 2 6 4 a v c 视频编码标准概述 第二章m p e f f - 2 及h 2 6 4 a v c 视频编码标准概述 m p e g 2 是目前应用最广的音视频编码标准，而h 2 6 4 a v c 是目前压缩效率 最高的音视频编码标准。本章概要阐述两标准中视频编码关键技术，并对两者 进行比较，从而明确m p e g 2 到h 2 6 4 a v c 视频转换编码需解决的主要问题， 并给出目前国内外对m p e g - 2 到h 2 6 4 a v c 视频转换编码的研究状况。 2 1m p e g 2 数字视频信号压缩技术 m p e g 2 标准【5 】是由i s o i e c 的活动图像专家组1 9 9 4 年1 1 月正式制定的运动 图像及声音通用编码标准，已用于数字电视系统。标准由很多部分组成，目前 仍在发展，其中包括视频和音频压缩编码以及数据流的复用传输规范。 m p e g - 2 视频编码过程如图2 1 所示。首先由预处理后的当前帧视频信号和 预测图像得到差值图像，再经离散余弦变换( d c t ) ，将差值图像变换为频域的 d c t 系数，随后将系数量化，再进行变字长编码( v l c ) ，最后经缓冲器，输出 m p e g 2 视频流。 图2 - 1m p e g - 2 编码器框图 m p e g 一2 中编码图像分为三类：i 帧、p 帧和b 帧。i 帧图像采用帧内编码方 式，即只利用单帧图像内的空间相关性压缩冗余度，而没有利用时间相关性， 压缩倍数相对较低。i 帧主要为初始化接收机，切换和插入节目，防止预测误差 累积等目的而设。i 帧图像通常周期性出现在编码图像序列中，彼此间的间隔可 由编码器控制。p 帧和b 帧图像采用帧间预测编码方式，即同时压缩视频的空间 和时间相关性。p 帧图像只用前向预测，其中可含帧内编码部分，即p 帧有前向 预测宏块，也有帧内编码宏块。b 帧图像采用双向预测，可大大提高压缩倍数。 1 0 第二章m p e g - 2 及h 2 6 4 a v c 视频编码标准概述 须注意的是，由于b 帧图像可用未来帧作参考，因此m p e g 2 编码比特流中图 像帧的传输顺序和显示颓序不同。 m p e g 2 编码比特流分为六个层次。从上至下依次为：视频序列层 ( s e q u e n c e ) 、图像缓层( g o p ，g r o u po f p i c t u r e ) 、图像层( p i c t u r e ) 、条层( s l i c e ) 、 宏块层( m a c r o b l o c k ) 和块层( b l o c k ) 。序列一般为构成某路节目的一段图像， 有时整个节目为1 个序列。序列起始码骺的序列头中包含图像尺寸、宽高比、 编码比特率等信息。一个霞像组由相互闻有预测关系的组l 、p 、b 图像构成， g o p 头中包含时间码等信息。图像层分为i 、p 、b 三类，图像头中包含了图像 编码麓类型信息等。一个条趣括一定数量赫宏块，其顺痔与扫描顺穿一致。 m p e g 2 标准主要采用运动估计及运动补偿、离散余弦变换( d c t ) 和可变 长编码等技术来消除空闻、时闻和统计冗余度，下面对这些技术作进一步说明。 2 1 1 运动估计及运动补偿 所谓运动估计就是把当前场( 帧) 中以m x n 像素所构成的宏块与参考帧中 规定搜索区内的部分或所有m x n 宏抉作比较，找出最佳匹配块，得堪运动矢量。 运动矢量代表水平和垂直两个方向上的德移( 图2 - 2 ) ；丽运动补偿就是根据获 得的运动矢量，找到当前帧的像素块是从参考帧中最相似的哪个位置像素块移 动过来豹，从而得到当前帧像素块的预测值。 隧2 - 2 运动佶诗 将最佳匹配块作为当前块的预测块，当前块减去预测块后得到相应的m n 残差值。将残差块和运动矢量进行编码，传输给解码器。解码器根据运动矢量 寻找预测块，与解码后的残差块相加，重构图像块。在编码器内部，残差宏块 被编码和解码，解码鼯的残差宏块与匿黧宏块相加重构参考宏块，雳予之嚣的 运动补偿预测，这种方法保证了编码器和解码器使用相同的运动补偿参考帧。 第二意m p e g 2 及h 2 6 4 a v c 视频编码标准概述 在m p e g 2 中，预测方式主要分成两类：场预测和帧预测。在场预测中，通 过使用一个或多个戳蓠的解码场中的数据，每个场帮可以独立遗产生预测。帧 预测由一个或多个以前的解码帧形成帧的预测。这两种预测的预测块的尺寸为 1 6 x 1 6 。除此之外还包括两种特殊的预测方式：1 6 8 运动补偿和双基预测，这两 种预测的预测块尺寸为1 6 x 8 。为了更好的进行预测，m p e g 2 支持半像素精度 的运动矢量，当运动矢量指向参考图像的半像素位置时，参考数据由参考图像 中对应位置数据内插计算获得。 2 1 2 离散余弦变换c d 及量化 m p e g - 2 变换编码采用离散余弦变换( d c t ) 技术。d c t 变换对8 x 8 像素块实 施，把8 x 8 像素块从两维空间域变换到频率域。d c t 变换后得到8 x 8d c t 系数 矩阵，水平频率项从左向右递增，垂直频率项从上到下递增。因此，左上角表 示零频项，右下焦表示最高频搴项。变换本身势不能降低码率，但这个过程的 关键是交换艨的频率系数更适合于以后的压缩。经过d c t 变换后，图像块的d c t 系数向左上角集中，含大量“零”或接近“零”的系数值。量化后，会有更多的“零” 系数。在进行变字长编码时，这些“零”系数值的存在，可提高编码效率。 为了达到压缩数据的目的，对d c t 系数需要进行量化处理，量化过程就是 以某个量化步长去除d c t 系数，并取整( 见式2 一1 ) 。 r 一， 、1 q ( ) ：加列栉d l 芸掣l ( 2 1 ) l o t u ，p ，j 其中，s ( u ，v ) 是与每个d c t 系数f ( u ，v ) 对应的量化步长；q ( u ，1 ，) 为量化后的 系数。 量化步长的大小称为量化精度，量化步长越小，量化就越精细，但所需的 传输频带越宽。根据视觉对对高频成分不如对低频成分敏感的特点，在编码时 可对高低频成分分别采用粗细不同鲶量化，低频系数量化精度较高，高频系数 量化精度较低。通常情况下，个d c t 变换块中的大多数高频系数量化后都会 变为零。m p e g - 2 标准对帧肉块和非帧内块分别耀8 x 8 量化矩阵对d c t 变换系 数量化，m p e g 2 标准也允许用户自行定义量化矩阵。 2 1 。3 变字长编码 量化仅完成了d c t 系数的一种有效的离散表示，实际传输前，还须对其进 行比特流编码。熵编码是基于编码信号的统计特性，使得平均比特率下降。 第二肇m p e g 乏及h 2 6 4 a v c 视频编码标准概述 m p e g - 2 标准中采用熵编码中常用的一种编码一霍夫曼编码。霍夫曼编码依据 编码信号出现的概率编制码表，经常出现的信号以较少的比特表示，不常发生 的小概率信号分配较多的比特表示，使得整个比特流的平均长度趋于最短。 鬟夫曼编码步骤包括：把信源符号按出现概率圭大到小顺穿摊列；把两 个概率最小的符号分配“0 ”和“1 ”，然后把这两个概率相加作为一个新的辅助 符号的概率；将这个新的辅助符号与其它符号起重新按照概率大d , j l 吸序排 列；跳到直到出现概率相加为l 为止：用线将符号连接起来，从而得到 一个码树，树的n 个端点对应n 个信源符号：从最后一个概率为1 的节点开 始，沿着达到信源的每个符号，将一路遇到浆二进制码“0 一和“l ”顺序排硼 起来，就是端点所对应的信源符号的码字。 2 2h 2 6 4 a v c 标准 制定疆。2 6 4 触c 标准翻的主要霉标是获得更高的视频压缩比，并具有蠢好 的网络亲和性。为此，h 2 6 4 a v c 功能分成两层：视频编码层( v c l ) 和网络提 取层( n e t w o r k a b s t r a c t i o nl a y e r ，n a l ) ，如墨2 - 3 所示。 |视频编码层 l 控制 上 编码宏块 数据 、r l ，n j ，r ，鼻 l 1 ，上 编码祭带分割 网络适应层 l h ，3 2 0 lm p 4 f f | m p e g - 2瓣。3 2 3 l p |e t c ， l 图2 - 3h 2 6 4 a v c 视频编码结构图 2 2 1 视频编码层( v c l ) 娃2 6 4 a v c 标准视频编码层与先前的标准翔m p e g - 2 类似，也是基于块酌 混合编码。待编码图像( p i c t u r e ) 分为若干条( s l i c e ) ，也可只有一个条，备条 独立编码。一个条包括一个宏块( m a c r o - b l o c k ) 序列，一个宏块又爵分成不禽 的子块( 亚宏块) ，弧宏块尺寸不同，4 x 4 的称为块( b l o c k ) 。视频数据层次如 第二章m p e g - 2 及h 2 “a v c 视频编码标准概述 下： 图像( 条 宏块( 亚宏块( 块( 像素) ) ) ) ) 视频编码层的编码器包括变换编码、运动估计和补偿、去块效应环路滤波 器、熵编码等单元。以下各分节分别阐述这些部分。 2 2 1 1 帧内预测 如果一个宏块或一个块以帧内编码模式进行编码，依据本帧前面己编码和重 构的块形成一个预测块p ，来进行预测。对于亮度信号，预测块p 可以是1 6 1 6 宏块，或是4 4 块。对于1 6 x 1 6 的亮度宏块，共有4 种可选预测模式，对于4 4 块，则有9 种可选预测模式。 根据s l i c e 编码类型的不同，每个宏块都可以以几种编码类型中的一种进行 传输，依据编码预测模式使得预测块和当前块的差值最小的预测模式作为当前 块的预测模式。在所有s l i c e 编码类型中，h 2 6 4 a v c 支持的帧内预测编码类型 包括：i n t r a4 4 、i n t r a1 6 x 1 6 和ip c m 三种，其中i n t r a4 4 、i n t r a1 6 1 6 还 附加色度预测。 i n t r a4 x 4 模式下对每个4 4 亮度信号块都单独进行预测，这对图像中部分 区域的细节可以描述得很好。i n t r a1 6 1 6 模式则对1 6 1 6 的亮度信号块进行预 测，更适合对图像平坦区编码。除了这两种亮度信号预测模式外，还有单独的 色度预测。作为i n t r a4 x 4 模式和i n t r a1 6 1 6 模式的替代，ip c m 编码模式允 许编码器简单的回避预测和变换编码过程，直接传输编码采样值。对ip c m 编 码模式的介绍见参考文献 6 。 4 4 帧内预测基本思路是从不同的方向( 图2 - 4 ( b ) ) 计算、比较块中各像素 间亮度信号的差值，选最小预测误差方向为最佳预测方向。在图2 - 4 ( a ) 中，待预 测像素( a p ) 的值通过4 4 亮度信号块的上方、左方已编码且重构的像素( a q ) 用作编解码器中的预测参考像素，用9 种预测模式预测得到。图2 5 给出了 这9 种预测模式。 1 4 第二章l v 口e g 2 及h 2 6 4 ，a v c 视频编码标准概述 efg h么 砀1 隆。 ，i 4 ( a ) 利用像素a q 对方块中 ( b ) 帧内4 x 4 预测的 a p 像素进行帧内4 x 4 预测 8 个预测方向 图2 - 44 x 4 亮度预测 0 ( 垂直)1 ( 水平)2 ( d o ) ma b c d e f gh i j k l 、，、，、，、， 3 ( 下左对角线) m a bcd e f gh 10 八 j0 人 k0 馓 l0 。0 6 ( 下水平) ma b c de fg h i 1 、 、 j 、 k 、 、 l、 、 、 m a b c d e f g h 1 【l j j 三 i ，- ki l 。l 4 ( 下右对角线) m a b c d e fg h i a jv x kn 、 l。、 7 ( 左垂直) m a b c d e f g h i i ? j fi 7 k i l够髟 ， mab c d e f g h i u ， j 一一 r -n k 一一 tt 、 l 5 ( 右垂直) ma b cde f g h i ilii jii j ki iii l 、 、 8 ( 上水平) mabc d e f g h i 77 一 刀 j ， k j 一 ，r l一 图2 54 x 4 亮度信号块预测模式 当使用i n t r a 一1 6 x 1 6 模式时，宏块中所有亮度信号成分都被预测，预测模式 有如图2 - 6 所示的四种。表2 1 对每一种模式的预测块像素值的得到进行了简单 的描述。可以发现前三种预测模式和i n t r a4 x 4 预测模式相似，只是采用预测的 像素点数不同。 第二章m p e g -