（通信与信息系统专业论文）mpeg2到h264视频转码的算法研究.pdf

北京邮电大学硕士学位论文 m p e g 一2 到h 2 6 4 视频转码的算法研究 摘要 随着多媒体技术的不断发展，视频编码技术得到了深入的研究。 近几年来，视频转码逐渐成为视频编码领域一个新的研究热点，特别 是针对拥有良好应用前景的新标准h 2 6 4 。目前视频产业广泛采用的 是m p e g 2 标准，在现阶段，从m p e g 2 过渡到h 2 6 4 还需要一段 时间。从而，研究m p e g 2 到h 2 6 4 的转码算法具有较强的应用价值。 本文研究工作是围绕着这个课题展开的。 本文首先介绍了视频转码的研究背景，还有视频编码的基本概 念，特别是m p e g 2 和h 2 6 4 编码，并且对这两个标准的关系进行了 分析，在此基础上，介绍了像素域和变换域的转码框架，而且对于 d 呼i t 系数转换、帧内预测和运动估计等转码技术进行了阐述。 对于m p e g 2 到h 2 6 4 转码，本文研究了三种算法，分别是基于 运动矢量重用的像素域转码，基于帧内预测的变换域i 帧转码，和基 于插值误差补偿的变换域p b 转码。第一个算法在像素域内将 m p e g 2 中的运动矢量信息，重用在h 2 6 4 编码过程中，进行转码， 实验验证该算法在保持较高图像质量的情况下减少了转码时间；第二 个算法是在变换域帧内预测的基础上，运用本文提出的d c t - i t 系数 转换增进算法进行转码，仿真实验证明本算法在提高转码质量的同 时，减少了转码计算量；第三种算法是在变换域半像素精度运动补偿 分析的基础上，演算出了插值误差补偿矩阵增进转码算法，仿真实验 证明本算法比变换域开环转码算法提高了图像质量。 本文通过研究m p e g 2 到h 2 6 4 视频转码算法，对其中应用的关 键技术，d c t - i t 系数转换和变换域插值误差补偿矩阵，进行了增进， 实验显示，转码质量得到了提高，而且转码计算量下降。最后，对本 文的未来研究方向进行了展望。 关键字：m p e g 2 、h 2 6 4 、视频转码、d c t - i t 系数转换、运动估计 北京邮电大学硕士学位论文 t h es t u d yo nm p e g 2t 0h 2 6 4 t ra n s c o d i n ga l g o r i t h m s a b s t r a c t w i t ht h ed e v e l o p m e n ta n da p p l i c a t i o no fm u l t i m e d i at e c h n o l o g y , v i d e oc o d i n gi ss t u d i e dw i d e l y i s o i e ca n di t u ts e tas e r i e so fv i d e o c o d i n g s t a n d a r d s a n dt h e s es t a n d a r d sa r es u i t a b l ef o rd i 能r e n t t r a n s m i s s i o nc o n d i t i o n a st h e r ea r ev a r i o u ss t a n d a r d s ，s o m ev i d e o e q u i p m e n ta r en o tc o m p a t i b l e 、胁i l ev i d e ot r a n s c o d i n gi s o n eo ft h e t e c h n o l o g i e sw h i c hc o u l ds o l v et h i sp r o b l e m i nr e c e n ty e a r s ，v i d e ot r a n s c o d i n gb e c o m e sa ni m p o r t a n ti s s u ei n v i d e oc o d i n ga r e a b e c a u s e e g - 2i su s e dw i d e l yi nv i d e oi n d u s t r y , s o h 2 6 4 ，an e ws t a n d a r d ，n e e d sap e r i o do ft i m et or e p l a c ei t a sar e s u l t ， t h es t u d yo nm p e g 2t oh 2 6 4t r a n s c o d i n gb e c o m e sn e c e s s a r y t h i s t h e s i sf o c u s e so nt h i ss t u d y a tf i r s t ，t h ed e v e l o p m e n to fv i d e ot r a n s c o d i n gi si n t r o d u c e di nt h i s t h e s i s t h e nm p e g - 2a n dh 2 6 4v i d e oc o d i n gs t a n d a r d s ，e s p e c i a l l yt h e i r s a m ep a r t sa n dd i f f e r e n tp a r t sa r ea n a l y z e d o nt h i sb a s i s ，p i x e ld o m a i n a n dt r a n s f o l l nd o m a i nt r a n s c o d i n ga r c h i t e c t u r e sa r es h o w n d c t i t c o e f f i c i e n t st r a n s f o r m ，i n t r af r a m ep r e d i c t i o n ，m o t i o ne s t i m a t i o na n d o t h e rt r a n s c o d i n gt e c h n o l o g i e sa r ea l s oi n t r o d u c e d i nt h i s t h e s i s ，t h r e e d i f f e r e n tm p e g 2t oh 2 6 4 t r a n s c o d i n g a l g o r i t h m s a r es t u d i e d t h ef i r s to n ei sa p i x e ld o m a i nt r a n s c o d i n g a l g o r i t h mb a s e do nm o t i o nv e c t o rr e u s e t h es e c o n do n ei sat r a n s f o r m d o m a i nif l a m et r a n s c o d i n ga l g o r i t h mb a s e do nd c t - i tc o e f f i c i e n t s t r a n s f o r m t h et h i r do n ei sat r a n s f o r md o m a i np bf r a m et r a n s c o d i n g a l g o r i t h m b a s e do nf a s t i n t e r p o l a t i o n d r i f t - e r r o r c o m p e n s a t i o n t h e e x p e r i m e n t a lr e s u l t ss h o wt h a tt h e s et h r e ea l g o r i t h m sa r ea l le f f e c t i v ea n d e f f i c i e n t k e y w o r d s ：m p e g 一2 ，h 2 6 4 ，t r a n s c o d i n g ，d c t - i t , m o t i o ne s t i m a t i o n i l l 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及 取得的研究成果。尽我所知，除了文中特别加以标注和致谢中所罗列 的内容以外，论文中不包含其他人已经发表或撰写过的研究成果，也 不包含为获得北京邮电大学或其他教育机构的学位或证书而使用过 的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名：张刨日期：兰慢里 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文 的规定，即：研究生在校攻读学位期间论文工作的知识产权单位属北 京邮电大学。学校有权保留并向国家有关部门或机构送交论文的复印 件和磁盘，允许学位论文被查阅和借阅；学校可以公布学位论文的全 部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇编 学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权 书。非保密论文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 张钊 一 日期：! 1 2 ：互坐 车峰嗍出； 北京邮电大学硕士学位论文 1 1 引言 第一章绪论 视觉信息在人类获取的信息中占有重要地位，视频是信息数据量非常大的载 体，从而，人们可以通过视频获得大量的信息。近几年，随着计算机软件硬件、 网络及通信技术的飞速发展，数字视频技术的应用呈现出快速的增长，如数字电 视、数码相机、在线教育、视频聊天和远程会议等都是些典型的例子。因此，作 为多媒体应用的核心之一，数字视频编码已成为信息技术领域中人们所致力研究 的课题。 随着多媒体技术的不断发展，数字视频编码技术得到了深入研究并日趋成 熟。国际标准化组织和国际电信联盟先后制定了一系列运动图像编码标准，包括 用于数字视频和音频传输及存储的m p e g 1 、支持数字视频广播和高清晰数字电 视的m p e g 2 、应用于i n t c r n e t 流视频的m p e g 一4 、面向i s d n 视频传输的h 2 6 1 、 适合于低码率视频传输的h 2 6 3 和致力于低码率高编码效率的h 2 6 4 。这些标准 在语法格式、压缩效率、输出码率等方面不完全相同，它们分别适用于不同的网 络传输环境和显示器等i l j 。 在数字视频编码中，编码器总是根据已有的信道特性模型和解码端解码器能 力将输入的多媒体数据编码成一个指定格式。因此，无论编码器产生的是恒定码 率还是变码率的码流，其针对不同信道带宽和解码终端的适应性都比较差，为了 能够透明地存取、传输和接收视频数据，实现通用多媒体的访问，就有必要对编 码流进行转换编码。 数字视频转换编码，简称转码( t r a n s c o d i n g ) ，是指数字视频从一种格式到 另一种格式的转换，其中格式是由码率、分辨率及编码语法等所表征。数字视频 转码实现了编码、存储和传输、解码的分离，使得编码后固定格式的多媒体数据 能够被灵活地传输和访划2 1 。总结转码的需求可以归纳为以下几点：网络传输环 境复杂多变，经常会出现一些码流与传输信道失配的情况，因此需要对码流的码 率进行变换以确保与传输信道的码率适配【3 1 ；由于终端接收设备的解码和播放能 力的限制，直接在发送端传送高帧率、高分辨率的视频码流并不能被终端接收设 备有效地接收、解码和播放，需要适当降低原有视频的码率和图像分辨率来适应 接收设备的需要【4 l ；还有，在演播室中使用的视频编辑也会涉及到插入图标等一 些操作；现实中存在着多种视频编码国际标准，使用不同编码标准的码流在语法 格式上有所不同，为了实现不同语法编码码流的数据交互，常常需要将编码流由 北京邮电大学硕士学位论文 一种语法结构转变成另外一种语法结构。从总体来上来说，数字视频转码技术是 一个非常具有实用价值的研究课题。 1 2 研究背景和意义 视频转码作为多媒体应用的核心技术之一，近几年来，视频转码逐渐成为视 频编码领域一个新的研究热点。目前国内外视频转码技术的研究基本上是在 m p e g 2 、m p e g 4 、h 2 6 3 和h 2 6 4 等标准内部的转码或它们之间的转码。这方 面的研究工作主要集中在高码率m p e g 2 转到低码率m p e g 2 ，高码率h 2 6 3 到 低码率h 2 6 3 以及从m p e g 2 到m p e g - 4 等转码工作上。国内外许多学者在这 些方面做了很多研究，也取得了不少研究成果。 从应用类型上来说，当前视频转码主要分为码率转换、分辨率转换、信息插 入转换和异类码流之间的转换。 码率转换的主要目的就是动态调整数字视频编码流的码率，使其与信道带宽 相匹配，这也是视频转码最早研究的内容。实现数字视频编码流的码率转换主要 有两种方法：第一种是丢弃每个单位块的高频变换域系数，这种方法比较简单， 但是会产生严重的偏差，而且不易于控制产生的码率；第二种方法是采用改变量 化值的方法来达到改变码率，由于此算法能补偿再量化引起的转换偏差，所以多 采用第二种方法【3 1 。在码率转换过程中，前期的研究工作主要集中于数字视频编 码流码率转换器结构设计【5 1 ，后来考虑到可以在变换域进行运动补偿，则出现了 各种完成变换域运动补偿，再量化偏差减少和码率控制的算法【刚。目前码率转换 的主要研究问题是如何改善由于再量化误差和漂移造成的图像质量下降和如何 减少复杂性。 分辨率转换有两种：时间分辨率转换和空间分辨率转换。这不仅为了实现有 效传输、节省带宽和与特定的编码类兼容外，还为了使数字视频编码流可以解码 到低分辨率屏幕以及满足终端减少帧率的要求。对于数字视频编码流的时间分辨 率转换，主要研究的是帧率的转换，实际上就是指帧的丢弃。最简单的帧率变换 办法就是丢弃不用做参考帧的帧，因此对解码器恢复的图像质量并没有影响。而 有些情况下，当丢弃帧后，原码流的部分运动矢量由于其所指向的帧在新码流中 被丢弃，则需要对运动矢量进行修正。因此，时间分辨率转换的关键问题是寻找 新的运动矢量，使得图像残差最小【钔。对于数字视频编码流的空间分辨率转换， 传统的方法是先对输入编码流解码，在像素域下采样，再进行编码。由于这种转 换的计算量很大，随之就出现了许多在变换域直接进行空间分辨率下变换的研究 2 北京邮电大学硕士学位论文 工作。在变换域进行空间分辨率转换的关键问题是寻找低分辨率图像编码所需要 的运动矢量，使得图像残差最小。目前对分辨率转换的主要研究问题是如何重用 运动矢量的信息，避免运动矢量的再估计，尽量减少计算量，在提高实时性的情 况下保持图像的质量。 信息插入转换是指在数字视频编码流中根据视频应用的需要插入所需的信 息，目前常用的有：标识的插入、可见水印的插入和错误恢复措施的插入。对于 信息的插入，以电视节目标志为例，在电视节目中叠加节目标志是比较重要的工 作。目前节目标志的插入方法主要有以下三种：第一种，完全解码后加入节目标 志，然后再将视频完全编码，此种方法运算量很大；第二种，局部区域解码，即 对数字视频编码流中每帧图像涉及节目标志插入的区域进行局部编码，加入节目 标志，然后再对此区域局部编码，由于避免了对每帧图像都进行完全解码和编码 的操作，因此运算量减少；第三种，在变换域叠加节目标志，即在变换域直接将 其插入到图像中，由于避免了变换等相关运算，可以节约很多运算量1 7 1 。 异类码流之间的转换应用很广泛，在很多数字视频传输中，前端视频服务器 中存储的码流采用一种编码格式，而接收端能支持的编码格式可能不相同，在这 种情况下，数字视频编码流在传送到接收端之前需要进行编码标准格式的转换。 对同类标准间的转换编码，源视频和目标视频的很多特性相同，参数的再利用要 简单一些。而不同类型标准的转换编码，源视频和目标视频的很多特性是不同的， 因此源视频包含的信息不能直接利用，转换编码器需要分析并提取有用信息使转 换编码更有效。同时由于不同的标准在语法上有一定的区别，除完成分辨率和码 率转换外，还要进行语法转换。然而，目前国际上很多通用的编码标准都采用基 本相似的框架，各个视频编码标准的相似性给视频标准的转换提供了可能性，在 视频标准转换中，需要关心的主要问题是如何有效地改变数字视频编码流的语法 结构，使其能符合目标编码标准的语法要求，从而能在支持目标编码标准的解码 器中得到应用，并且解码显示l 4 j 。 作为新的视频编码标准，h 2 6 4 虽然推出的时间不是很长，却已经成为当前 数字视频编码研究领域的热点，其良好的应用前景又使得它将成为一个主流的应 用标准。然而，由于目前视频产业已广泛采用m p e g 2 标准，在现阶段，无论 从保存现有的设备，还是从节省存储空间的角度出发，从m p e g 一2 过渡到h 2 6 4 还需要很长一段时间【剐。从而，研究开发出高效的m p e g 2 到h 2 6 4 转码器是当 前的一个课题。目前国内外学者对h 2 6 4 视频转码技术的研究处于起步阶段，相 关的研究成果也不是很多，本文的研究因此具有理论和实践意义。 3 北京邮电大学硕士学位论文 1 3 研究目标和工作内容 1 3 1 研究目标 视频转码从本质上讲，还是研究数字视频编码技术，可以理解为数字视频编 码是一次编码过程，而转码是二次编码过程。所以，现有的编解码实现技术可以 用于转码框架。转码框架设计的目标是以较少的代价来获得转换码流的尽可能高 的图像质量。由于转码过程可以获得一次编码时的许多编码信息，所以通常在设 计转码框架时，可以利用原始视频码流中的信息。本文以现在流行的数字视频编 码标准为研究对象，重点围绕基于m p e g 2 到h 2 6 4 数字视频编码流在像素域和 变换域转码中所面临的问题，进行分析和研究。 1 3 2 工作内容 本文在分析m p e g 2 和h 2 6 4 编码原理、d c f - r r 系数转换、帧内预测和运 动估计等转码技术的基础上，对于几种m p e g 2 到h 2 6 4 的转码算法进行研究， 工作内容主要有以下三个方面： ( 1 ) 像素域转码，基于像素域运动矢量的重用算法； ( 2 ) 变换域i 帧转码，基于增进的d c t - i t 系数转换和变换域帧内预测算法； ( 3 ) 变换域p b 帧转码，基于d c t - f f 系数转换和变换域插值误差补偿算法。 1 3 3 文章安排 本文以目前常用的数字视频编码标准m p e g 2 和h 2 6 4 为研究对象，重点围 绕在m p e g 2 到h 2 6 4 视频转码的算法及相关技术展开分析和研究。下面是本文 的结构安排： 第一章，主要介绍国内外数字视频转码的研究现状和主要的研究方向，包括 码率转换、分辨率转换、信息插入转换和异类码流转换等，并且介绍本文的研究 目标、工作内容以及论文安排。 第二章，主要介绍数字视频基本概念和视频图像编码标准，重点介绍常用的 m p e g 2 和h 2 6 4 视频编码标准。 第三章，主要介绍m p e g 2 和h 2 6 4 视频编码标准的关系，并且对这两种标 准进行了比较，还介绍一些经典的转码框架，包括像素域转码框架和变换域转码 框架，并对框架中的部分功能块进行介绍。 第四章，主要介绍视频转码的关键技术，包括8 x 8 d c t 系数矩阵转化为h 2 6 4 的4 x 4 f f 系数矩阵的算法，并且提出了一种增进算法，还介绍了像素域和变换域 帧内预测算法，还有像素域和变换域运动估计算法等。 4 北京邮电大学硕士学位论文 第五章，主要介绍m p e g 2 到h 2 6 4 转码实现，研究了像素域转码，变换域 i 帧转码和p b 帧转码算法，并且介绍在转码中使用的运动矢量重用、变换域帧 内预测模式选择、变换域插值补偿和增进的补偿矩阵等算法。还对比分析了各种 框架的转码运算量和峰值信噪比等参数。 第六章，概括总结了本文所做的研究工作，并且对未来研究工作的方向作了 展望。 1 4 本章小结 本章介绍了国内外视频转码的研究背景和研究方向，包括码率转换、分辨率 转换、信息插入转换和异类码流转换等，并且介绍了本文的研究目标、工作内容 和文章安排。 5 北京邮电大学硕士学位论文 第二章数字视频编码技术简介 2 1 数字视频编码基本概念 数字视频是指以数字信息记录的视频资料。外界影像经摄像机之类的视频捕 捉设备，将其颜色和亮度等信息转变为电信号，并将这些电信号记录到存储介质 中。如今，尽管有各种各样的描述视频的方法，但它们都和r g b 有一定的算术 关系，最常用的数字信号是r g b 和y c b c r ( y u v ) 【9 1 。下面简要介绍数字视频 及编码技术的一些基本概念。 2 1 1 颜色空间 颜色空间是一系列颜色的数学表示形式，三种最流行的颜色模型是用于计算 机图形的r g b 、用于视频系统的y c b c r ( y u v ) 和用于彩色打印的c m y k ，所 有的颜色空间都能由照相机、摄像机和扫描仪等仪器所提供的r g b 信息得到。 ( 1 ) r g b 任何彩色图像可由不同比例的红色、绿色和蓝色组合而成，即三基色原理。 这种表示彩色图像的方法即r g b 彩色空间。因为彩色显示器使用r g b 来产生 所需的颜色，r g b 在计算机图像中使用最为普遍。而且，选用r g b 颜色空间简 化了系统的构建和设计，由于r g b 颜色空间使用了好多年，所以可以利用大部 分现有的软件程序模块【9 1 。 ( 2 ) y c b c r 常用的y c b c r 的采样格式为4 ：2 ：0 、4 ：2 ：2 和4 ：4 ：4 【1 1 ，如图2 - 1 所示。 oo 国 。 妒叼 固 oo仓 。 匐q oy囝c bc r 图2 - 1 常用的y c b c r 采样格式 4 ：4 ：4 ，y 、c b 和c r 具有同样的水平和垂直清晰度，在每一个像素位置，都 有y 、c b 和c r 分量，即不论水平方向还是垂直方向，每4 个亮度像素相应的 有4 个c b 和4 个c r 色度像素。 6 北京邮电大学硕士学位论文 为1 6 2 3 5 的8 比特数字r g b 和y c b c r 的基本转换方程式为【1 1 1 9 1 f y - 0 2 9 9 r + 0 5 8 7 g4 - 0 1 1 4 b j c 冶- 0 1 7 2 r 一0 3 3 9 g + o 5 1 1 b + 1 2 8 式( 2 1 ) i c ，- 0 5 1 坎一0 4 2 8 g 一0 0 8 3 曰+ 1 2 8 f r = y + i 3 7 1 ( o 一1 2 8 ) b ；y “7 3 2 ( c b 一1 2 8 ) r o 2 5 7 尺+ o 5 哪+ o 0 9 8 b + 1 6 【c ，。0 4 3 9 - 0 3 6 8 g o 0 7 1 b + 1 2 8 2 1 2 预测编码 在视频编码方法中，预测法是最简单和实用的压缩方法。视频经过压缩编码 后传输的并不是像素本身的取样值，而是该取样的预测值和实际值之差。 大量统计表明，同一幅图像的邻近像素之间有着相关性，或者说这些像素值 相似。邻近像素之间发生突变或很不相似的概率很小，而且同帧图像中邻近行之 间对应位置的像素之间也有较强的相关性i l j 。 7 北京邮电大学硕士学位论文 按以上原理可得预测编码框图，如图2 - 2 1 】： d ( n ) 图2 - 2 预测编码框图 其中，x ( n ) 为当前像素的实际值，p ( n ) 为其预测值，d ( n ) 为差值或残差值。该 差值经量化后得到残差量化值q ( n ) 。预测值p ( n ) 经预测器得到，预测器的输入为 已存储在预测器内前面的各像素及其当前值，它们的加权和即为下一个预测器的 输出。解码输出x ( n ) 与原始信号x ( n ) 之间有个因量化而产生的量化误差。 2 1 3 图像质量评价标准 由于每人的视觉系统不尽相同，对视频内容的熟悉程度也不一样，因此对压 缩后的视频质量评价是比较困难的工作。现在对于视频质量评价，可分为主观视 频质量评定和客观视频质量评定两种方法【1 1 。 ( 1 ) 主观视频质量评估 人眼对视频的感觉受空间、时间、注意程度、最近效应等因素影响，例如， 图像的局部有多么清晰，或有没有明显的失真，运动是否自然，注意图像中一连 串的点还是浏览整个图像，还有最近看过的影片比以前看过的影片对感觉的影响 大等。所有的这些因素都难以精确测量和量化【1 0 】。 表2 - 1 主观评价分数标准 c c 瓜五级评分等级评分等级高清晰度采用七级评分等级评价 7 不能觉察任何图像损伤特别好 6 刚能觉察有图像损伤相当好 优 5 不同程度的觉察，轻度损伤很好 好 4 有损伤，但不令人讨厌好 稍差 3 有令人讨厌损伤 稍差 很差 2 损伤令人讨厌，但尚可忍受很差 劣1 非常令人讨厌损伤，无法观看劣 8 北京邮电大学硕士学位论文 为了减少主观随意性，在对视频图像进行主观评定之前，选若干名专家和非 专家作为评分委员，共同利用5 项或7 项评分法对同一种视频图像进行压缩编码 的图像评定，最后按加权平均法则对该压缩后的图像质量进行主观评定，如表 2 1 【1 1 ，测试方法可用随机的次序请评委观察比较原始图像和压缩编码后的图像。 ( 2 ) 客观视频质量评估 主观的视频质量评分更接近于人的真实视觉感受，但需耗费人力和时间，成 本较高。客观质量的测定方法速度快、易实行，但往往不太符合人眼的视觉感受， 只能反映大体上的质量情况。客观质量测定方法应致力于改进测试标准和测试方 法，使其符合人的视觉感受【1 1 。 视频压缩和处理的客观标准最常用的是峰值信噪比( p s n r ) ，p s n r 的定义 如下式 p s n r d a = 1 0 1 面g ( 2 4 f - 一1 ) 2 上式中，m s e 为原始和编解码后图像之间的均方误差，定义见公式( 2 6 ) ， j j 2 为图像中最大可能的信号值平方，行为表示每个像素的比特数。 m s e = _ 罗罗( ， ，y ) 一9 0 ，y ) ) 2 式( 2 6 ) m n 角名”一一7 其中，舷纠表示原始视频帧，大小是m n ，g 似一表示解码后的视频帧， 大小是m n 。因为人眼对亮度比色度更为敏感，因此通常用亮度峰值信噪比来 衡量编解码性能。一般讲，高p s n r 意味着高质量，低p s n r 意味着低质量。 2 2 数字视频编码标准简介 现在的日常生活中，数字视频技术广泛地应用于计算机、通信和数字广播电 视等领域，比如可视电话、数字电视和电视电话会议等一系列应用，这些促使了 许多视频编码标准的产生。i s o i e c 与i t u t 是制定视频编码标准的两大国际组 织，m p e g 系列标准是由i s o i e c 组成的活动图像专家组( m p e g ，m o v i n g p i c t u r e e x p e r t sg r o u p ) 制定的，包括m p e g 1 、m p e g 2 和m p e g 4 ，主要应用于视频 存储、数字电视和互联网的流媒体等；i t u t 的标准包括h 2 6 1 、h 2 6 3 和h 2 6 4 ， 主要应用于实时视频通信领域，如电视电话会议系统。并且，两个组织也共同制 定了些标准，例如h 2 6 2 标准等同于m p e g 2 的视频编码标准，而h 2 6 4 标准 则被纳入到m p e g 4 的第1 0 部分1 1 1 j 。 9 北京邮电大学硕士学位论文 2 2 1m p e g - x 编码标准 ( 1 ) m p e g 1 m p e g - 1 是由i s o c 为码率低于1 5 m b s 的数字声像信息的存储而制定的 一个视音频压缩标准，于1 9 9 3 年正式发布。在输入图像格式方面，m p e g 1 采 用s i f 信源输入格式，分辨率对于n t s c 制式为3 5 2 x 2 4 0 ，对于p a l 制式为 3 5 2 x 2 8 8 。 在视频编码技术方面，m p e g 1 更多地借鉴了混合编码体系，并根据自身主 要应用系统的特点，引入双向预测编码、半像素精度运动补偿以及非线性量化矩 阵等技术。m p e g 1 采用的帧类型有3 种：i 帧、p 帧和b 帧，m p e g 1 中压缩 编码数据流是i 、p 和b 帧的组合，这些帧的组织结构十分灵活。m p e g 1 构造 的语法分层数据结构合理，被其后的视频编码标准所采用【1 2 l 。 ( 2 ) m p e g 一2 m p e g 2 是由活动图像专家组和兀u t 于1 9 9 4 年共同制定的，在丌u 标准 中，m p e g 2 被称为h 2 6 2 。m p e g 2 标准是一个通用的标准，它克服并解决了 m p e g 1 不能满足日益增长的数字电视技术、多媒体分辨率和传输率等方面的要 求。m p e g 2 的传输率为3 m b s 一1 0 0 m b s ，m p e g 2 标准广泛应用于多媒体、 数字电视、广播、通信和网络等领域。 m p e g 2 视频编码体系向下兼容m p e g 1 ，其图像分辨率有低( 3 2 5 x 2 8 8 ) 、 中( 7 2 0 x 5 7 6 ) 、次高( 1 4 4 0 x 1 1 5 2 ) 和高( 1 9 2 0 x l b 2 ) 4 种级别。对于每一个级别， m p e g 2 又分为5 个档次( p r o f i l e ) ：简单( s i m p l e ) 、主( m a r e ) 、s n r 可分级 ( s n rs c a l a b l e ) 、空间可分级( s p a t i a l l ys c a l a b l e ) 和高( h i g h ) 。这样，4 种级 别和5 个档次组合起来构成一个二维表，作为m p e g 2 的标准框架，这有利于 在现有标准的基础上做相应的改进和新标准的建立【1 2 l 。 虽然制定m p e g 2 比m p e g 一1 晚，但是它们在技术手段和基本理念上并没 有多大的差别。由于m p e g 2 在提高图像分辨率和兼容未来的数字电视方面做 了一些补充，造成它与m p e g 1 存在如下差异：可分级编解码；运动估计和d c t 运算中区分帧和场；除了采用z i g z a g 扫描外，还采用交替扫描；输出码流速率 可以是恒定的也可以是动态变化的【1 3 j 。 ( 3 ) m p e g 4 m p e g 活动图像专家组于1 9 9 9 年初公布了m p e g - 4 的v 1 0 版本，同年底 又公布了m p e g 4 的v 2 0 版本。m p e g 4 除了定义视频编码标准外，还强调了 多媒体通信的交互性和灵活性。这个标准初衷是针对视频会议、可视电话的超低 比特率编码的需求，而由于人们在对视频信息的应用需求从播放型转到基于内容 的访问和操作型，m p e g 4 制定了新的目标，即支持多种多媒体的应用，可根据 1 0 北京邮电大学硕士学位论文 应用要求配置解码器，侧重于对多媒体信息内容的访问。从而m p e g 4 标准主 要针对了可视电话、视频电子邮件和电子新闻等，其传输码率要求较低，在 4 8 0 0 6 4 0 0 b s 之间，分辨率为1 7 6 x 1 4 4 像烈1 2 j 。 m p e g - 4 标准同以前标准最显著差别在于采用基于对象的编码理念，具体的 编码对象就是图像中的音频和视频，术语称为a v 对象，而连续的a v 对象组合 在一起就形成了a v 场景【1 2 】【1 4 】。即在压缩之前每个场景被定义成一幅背景图和一 个或多个前景音视频对象，然后对背景和前景分别编码，再经过复用传输到接收 端，然后再对背景和前景分别解码，从而组合成所需要的音视频。 2 2 2h 2 6 x 编码标准 ( 1 ) h 2 6 1 由于会议电视和可视电话的需要，c c r i t 发布了码率p x 6 4 k b s ，p = l 一3 0 的h 2 6 1 建议，这个视频编码方案对以后各种视频编码标准产生了深远影响，直 到今天1 1 1 。 h 2 6 1 采用一种公共中间格式c i f ，不论何种彩色格式，发送方先把彩电制 式转换成c i f 格式，经h 2 6 1 编码后再由c i f 格式转换到接收方彩电制式。h 2 6 1 视频编码算法采用帧间编码减少时间冗余、变换编码减少空间冗余的混合编码方 法。h 2 6 1 仅使用i 帧和p 帧，格式为每1 对i 帧之间有3 个p 帧。在i 帧和p 帧中每6 个8 x 8 的像素块构成一个宏块，其中包括4 个亮度块和2 个色度块。每 个宏块都会有1 个专门的地址来标识宏块本身，另外还会有1 个类字段，用来说 明该宏块是帧内编码，还是参考了前一帧的宏块进行了帧间编码。一定数量的宏 块构成一个块组，若干块组构成一帧图像。块层、宏块层、块组层和帧层4 个层 次中每个层次都有说明该层次信息的头，编码后的数据和头信息逐层复用就构成 了h 2 6 1 的码流1 1 1 。 ( 2 ) h 2 6 3 在1 9 9 5 年，删t 推出了h 2 6 3 标准，用于低于6 4 k b s 的低码率视频传输， 特别适用于无线网络、p s t n 和因特网等环境下的视频传输，所有的应用都要求 视频编码器输出的码流在网络上进行实时传输。为了提高编码效率，增强编码功 能，丌u t 对h 2 6 3 进行了多次补充，补充修订的版本有1 9 9 8 年制定的h 2 6 3 + ， 2 0 0 0 年制定的h 2 6 3 + + 1 。 h 2 6 3 标准采用的是基于运动补偿的d p c m 的混合编码，在运动矢量搜索的 基础上进行运动补偿，然后运用d c t 变换、z i g z a g 扫描和熵编码，从而得到码 流。h 2 6 3 可以处理以下5 种图像格式：s q c i f 、q c i f 、c i f 、4 c i f 和1 6 c i f 。 h 2 6 3 与h 2 6 1 相比采用了半像素的运动补偿，而h 2 6 1 采用整像素预测，因此 北京邮电大学硕士学位论文 h 2 6 3 预测精度明显高于h 2 6 1 。h 2 6 3 还增加了4 种有效的压缩编码模式：无 限制的运动矢量模式，允许运动矢量指向图像以外的区域；先进的预测模式，允 许一个宏块中4 个8 x 8 亮度块各对应一个运动矢量，从而提高了预测精度，两个 色度块的运动矢量均取这4 个亮度块运动矢量的平均值；p b 帧模式，可在码率 增加不多的情况下使帧率加倍；基于句法的算术编码模式，使用算术编码代替霍 夫曼编码l 。 ( 3 ) h 2 6 4 在2 0 0 3 年3 月，i s o 正c 与1 1 r u t 组成的联合视频组( j v t ，j o i n tv i d e ot e a m ) 公布了新一代视频压缩编码标准h 2 6 4 。相对于先期的视频压缩标准，h 2 6 4 引 入了很多先进的技术，包括4 x 4 整数变换、空间域内的帧内预测、1 4 像素精度 的运动估计、多帧参考和多种大小块的帧间预测技术等。新技术在带来较高压缩 比的同时也提高了算法复杂度【1 1 l 。 h 2 6 4 不仅显著提高了压缩比，拥有良好的网络亲和性，还加强了对网、 移动网的误码和丢包的处理。其引入了面向i p 包的编码机制，有利于网络中的 分组传输，支持网络中视频的流媒体传输，具有较强的抗误码特性，可适应于丢 包率高、干扰严重的无线信道中的视频传输。同时h 2 6 4 支持不同网络资源下的 分级编码传输，能适应于不同网络中的视频传输。 2 3m p e g - 2 编码标准 本文研究的重点是m p e g 2 到h 2 6 4 的转码算法，所以，在下边两节里，将 介绍m p e g 2 和h 2 6 4 的编解码方法。 国际标准化组织活动图像专家组从1 9 9 3 年开始制定m p e g 2 标准。m p e g 2 是一种高质量的压缩标准，编码的码率范围是3 m b s 一1 0 0 m b s 。m p e g 2 标准得 到了广泛应用，其应用于数字视频广播、家用d v d 及高清晰电视h d t v 的视频 压缩标准。 2 3 1m p e g - 2 基本概念 在介绍m p e g 2 的编解码方法之前，先介绍一下m p e g 2 视频的档次和等 级结构。m p e g 一2 作为一个通用的压缩标准，可以满足不同条件下的不同应用。 不同条件是指不同的比特率、不同的传输信道和存储介质、不同的时延需求等， 不同的应用则包括广播电视、有线电视等传输系统、h d t v 等。对于这些对比特 率、时延有不同需要的情况，m p e g 2 引入了档次和等级结构，解决了这些问题。 1 2 北京邮电大学硕士学位论文 m p e g 2 中的所有档次和等级，处于较高等级的档次和等级包含了较低等级的档 次和等级。这样就使得m p e g 2 的解码器具有了向下解码的兼容性【。 m p e g 2 定义了四种等级： 低等级：相当于公共中间格式c i f 的分辨率( 3 5 2 x 2 8 8 ) ： 主等级：相当于标准清晰度电视的分辨率( 7 2 0 x 5 7 6 ) ； 1 4 4 0 等级：对应4 ：3 的高清晰度电视的分辨率( 1 4 4 0 x 1 1 5 2 ) ； 高等级：对应1 6 ：9 的高清晰度电视的分辨率( 1 9 2 0 x 1 1 5 2 ) 。 m p e g 2 定义了五种档次： 简单档次：只包含i 帧p 帧，没有b 帧，这样，一方面减少了解码时的 延时，别一方面降低了对解码器中缓冲区大小的需求； 主档次：这是应用最广泛的层，其中包含了b 帧； s n r 可分级档次：它是针对接收条件恶劣的情况下，尽可能的减少图像 退化的标准； 空间域可分级档次：这一层使我们可根据需求接收不同分辨率的图像， 它包含s n r 层： 高档次：它包含了s n r 和空间域档次，允许4 ：2 ：2 的格式。4 ：2 ：2 为一种 视频信号的格式表示每行色度信号c b 、c r 的采样频率是亮度信号的一 半，垂直方向上色度信号和亮度信号的采样频率一样。 m p e g 2 可采用的视频采样格式有三种：4 ：2 ：0 ，4 ：2 ：2 和4 ：4 ：4 。其中，4 ：2 ：0 格式中一个宏块由六个块组成，包括四个亮度块和两个色差块。4 ：2 ：2 格式中一 个宏块由八个块组成，包括四个亮度块和四个色差块。4 ：4 ：4 格式中一个宏块由 1 2 个块组成，包括四个亮度块和八个色差块。 m p e g 2 的视频数据结构是分层的比特流结构，第一层为基本层，基本层可 以独立解码，其他层为增强层，增强层的解码依赖于基本层。基本层的编码比特 流包括六个层次：图像序列层，内容随机读取单元；图像组层，视频随机读取单 元；图像层，基本编码解码单元；宏块片层，同步恢复单元；宏块层，运动补偿 单元；块层，d c t 单元。结构如图2 3 所示。 ( 1 ) 图像序列层 图像序列层是编码比特流中的最高语法结构。一个图像序列以一个序列头开 始，后面可选地跟着一组图像的头和一个或更多编码帧。编码帧在编码比特流中 的顺序就是解码器处理它们的顺序，但并不一定就是显示顺序。 图像序列以一个s e q u e n c ee n d _ c o d e 终止。在一个图像序列的不同地方，某 一特定编码帧的前面可能会有一个重复白j 序列头或一组图像的头，或两者都有， 从而使对视频序列进行随机的操作成为可能。 1 3 北京邮电大学硕士学位论文 m p e g 2 标准对逐行和隔行序列的编码均可处理。对于隔行序列，解码输出 由一系列以场周期按时间分开的重构场组成。在逐行序列中，解码输出端，序列 由一系列以帧周期按时间分开的重构帧组成。 l 毓橡栩屡 圄悸联 袁故时艟 图2 - 3m p e g 一2 视频流分层结构 ( 2 ) 图像组层 图像组是由一个或多个有助于对序列随机操作的编码图组成的序列。图像组 的长度可以是任意的，可包含一个或多个i 图，以一个工图作为图像组的开始， 最后一幅编码图是i 图或是p 图。编码流中图的顺序就是正常播放时解码器处理 它们的顺序，但是和输人序列的顺序有可能不同。如果序列中用到了b 图，则 解码输出的重构帧在显示时就涉及到帧重排的问题。 以下面的视频序列为例，顺序的i 帧和p 帧间或p 帧与p 帧间有两个编码b 帧，编码器输入顺序： 1 i2 b 3 b4 p5 b 6 b7 p8 b 9 b1 0 p1 1 b 1 2 b 1 3 p 为编码处理这个视频序列，当然要先处理1 i 图，但是2 b 图和3 b 图依赖于 1 i 图和4 p 图的共同预测，所以必须先对4 p 图进行处理，然后才能处理2 b 图和 3 b 图。所以，编码要按下面的顺序来进行视频序列处理： 1 i4 p2 b3 b7 p5 b6 b1 0 p8 b 9 b1 3 p1 1 b1 2 b 编码器输出的比特流，即解码器输入的视频序列也就是上面的序列。但解码 器输出的视频序列，必须进行重排序，从而与输入的顺序保持一致，故解码器输 出的视频顺序为： 1 i2 b 3 b4 p5 b 6 b7 p8 b 9 b1 0 p】1b1 2 b 1 3 p 1 4 _ 曰 北京邮电大学硕士学位论文 ( 3 ) 图像层 图是序列中的基本编码单元，个编码图由一个图像头、紧跟后面的可选扩 展以及图数据组成。m p e g 2 中编码图有三种，分别是内部编码i 图、预测编码 p 图和双向预测编码b 图。源图和重构图由三个矩阵组成，分别是亮度矩阵y