（通信与信息系统专业论文）h264空间分辨率转码研究.pdf

硕上学位论文 摘要 随着网络和多媒体通信技术的发展，在移动视频终端上提供视频服务的需求 越来越强烈。移动终端具有一些共同的特点，包括显示分辨率低，芯片处理能力 弱，同时受限于移动网络的带宽。m p e g 2 是目前使用最广泛的视频编码标准之 一，然而它压缩后的视频码率较高，并不适合于移动无线网络的视频需求。h 2 6 4 是最新的视频编码标准，由于其出色的编码性能，将得到广泛的应用。本文针对 移动视频终端的需求，研究m p e g 2 视频和h 2 6 4 视频之间的转换编码技术。 在简要介绍视频编码原理，特别是m p e g 2 和h 2 6 4 编码标准的基础上，对视 频转换编码技术进行总结和归纳。论文的主要工作如下： 首先，提出了一种m p e g 2 ：至t j h 2 6 4 空间分辨率转码算法。它通过充分利用 m p e g 2 解码过程中得到的运动矢量和预测残差，可显著减小h 2 6 4 编码过程中宏 码编码模式确定和运动估计过程的计算复杂度，并得到最终的h 2 6 4 视频流。p c 平台上几种典型视频测试序列的仿真实验结果表明，本算法对视频质量的损失较 小，有稳定的率失真性能，有利于实时转码的实现。 其次，考虑到h 2 6 4 的编码过程具有很高的计算复杂度，对编码过程进行了 优化，提出了一种快速的多参考帧运动估计算法。通过分析典型的视频序列选取 参考帧的统计信息和相邻块所选择的参考帧，来调节当前编码块在每个参考帧中 的运动搜索半径。该算法可以大幅度提高运动估计的速度，同时可以获得和参考 软件相似的视频质量和比特率，有利于h 2 6 4 编码器的实时应用。 关键词：视频转码；空间分辨率缩减；多参考帧；h 2 6 4 ；m p e g 2 湖南大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研究所 取得的研究成果。除了文中特别加以标注引用的内容外，本论文不包含任 何其他个人或集体已经发表或撰写的成果作品。对本文的研究做出重要贡 献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声明的 法律后果由本人承担。 作者签名： 晦贡日期：矿窘年夕月叫日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权湖南大学可以将本学位论文的全部或部分内容编 入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇 编本学位论文。 本学位论文属于 1 、保密口，在 一年解密后适用本授权书。 2 、不保密团。 ( 请在以上相应方框内打“”) 作者签名： 导师签名： 当者 舻弋 日期：撕3 年j 月纠日 日期：白一年r 月吖日 硕+ 学位论文 1 1 选题来源 第1 章绪论 本论文的研究得到了“图像处理与图像通信”江苏省重点实验室开放基金 ( 基于感兴趣区域r o i 的视频自适应技术研究，编号：z k 2 0 7 0 0 6 ) 的资助，本 文工作是上述项目的部分研究内容。 1 2 选题背景及意义 随着网络和多媒体通信业务的发展，不同网络上各种视频信息的交流需求在 不断增加。传统的视频编码通常假定一定的网络条件和用户终端特性，力争在保 证一定的视觉质量的前提下实现尽可能高的编码效率。然而，由于网络和终端设 备的多样性，编码得到的视频流并不一定能够保证总是最优的。当在具有不同的 信道特征的网络上，向具有不同的计算和显示能力的用户终端传输视频流时，必 须能够根据用户环境对视频流进行动态地调整，如图1 1 所示。视频转换编码是指 对压缩后的视频流进行格式的转换编码，使经过处理后的视频流满足传输信道和 解码器的特殊要求。其中，视频的格式包括编码标准、码率、空间分辨率和( 或) 帧率。视频转码技术正是解决异构网络上视频流自适应的关键技术之一。 a 1 不同的接入网络 图1 1 异构网络上的通用多媒体访问 1 2 1 数字视频压缩标准简介 国际上有两个国际组织专门进行视频编码标准的制定工作，即i s o i e c 下的 m p e g 组织与i t u t 的v c e g 组织。成立于1 9 8 6 年的运动图像专家组m p e g 专 门负责制定多媒体领域内的相关标准，主要应用于存储、广播电视、因特网或无 线网上的流媒体等。国际电信联盟i t u t 则主要制定面向实时视频通信领域的视 频编码标准，如视频电话、电视会议等应用。2 0 0 1 年i t u t 和m p e g 联合成立 戚叠豳暑 一 、 端 一。一、。、终 j1。一、 岛 、i _ 用 m 的 厂髓 同 一0、 不 一 吣 瑚趣 一 拼揽鼠日 h 2 6 4 宅问分辨率转码研究 了一个工作组j v t ，负责制定一个新的视频编码标准，这个标准在i s 0 中称为 m p e g 一4 标准的p a r t1 0 ( a v c ) ，在i t u t 中称为h 2 6 4 标准，h 2 6 4 a v c 的压 缩效率比以往的任何标准都大大提高。在国内于2 0 0 2 年6 月成立的a v s 工作组 专门负责为国内多媒体工业界制定相应的数字音视频编码标准。以h 2 6 4 、a v s 标准为代表的视频编码标准为视频编码技术的最新成果体现，其技术创新、性能 提高都有很大的突破。 1 2 2 数字视频转码 由于数字视频的数据量极大，在视频存储和传输等服务中，首先必须对海量 的数字视频数据进行压缩编码以节约存储空间和网络传输带宽【2 1 。在过去的几十 年里，为了更有效地进行数字视频数据的存储和传输，各种不同的视频编码标准 相继被推出，包括m p e g 1 ，m p e g 2 ，m p e g - 4 ，h 2 6 1 ，h 2 6 3 ，h 2 6 4 和a v s 等。每种视频编码标准适用于不同的应用场景，针对不同的目标应用。 当前的多媒体数据可以通过各种各样的网络传输，不同的网络有不同的信道 特性。同时，接入网络的终端设备是多种多样的，各种终端的显示能力、处理能 力和所能支持的标准编码格式等存在着显著差异，因此通常需要根据当前的网络 条件和终端处理能力来定制和传输视频内容。显然，预先压缩好的视频数据不能 够满足这些要求，这就要求对已经编码的视频数据根据实际的应用需求进行相应 的转换，即视频转换编码，简称为视频转码。 总体来说，需要视频转码技术的原因主要有以下几点：( 1 ) 大量不同的视频 压缩标准和他们在不同领域的广泛应用。然而，各种各样编码标准问并没有统一 的接口。( 2 ) 复杂多变的网络环境和不同的网络传输带宽。实际中，存在许多不 同的网络和网络接入方式，如l a n ，x d s l ，i s d n ，无线网络，光纤网络。它们 具有着不同的信道特征，包括带宽，丢包率和误码率。( 3 ) 解码器资源的限制， 包括存储容量，解码速度和显示的大小。用户终端如掌上电脑，p d a ，m p 4 以及 智能手机广泛应用，然而，它们具有不同显示能力，运算速度以及存储能力。因 此，视频数据必须根据实际的应用环境进行动态地调整。 视频转码在解决视频流的网络和终端适应问题时，具有以下优势：( 1 ) 有广 泛的适用性。能够适用于几乎所有的视频编码标准。( 2 ) 若在变换域或压缩域直 接进行，并采用合适的体系结构其转码效率高，能够满足动态实时的转码要求。 视频转码根据实现方法的不同，可分为语法转码、分辨率转码、码率转码、 单层与多层转码、可变码率( v b r ) 与恒定码率( c b r ) 转码等。语法转码主要 是由于输入和转码后的码流所遵循的压缩标准不同。这部分研究主要集中在不同 标准在具体的语法、码流结构上的对应转换。分辨率转换编码又分为时间分辨率 转码和空间分辨率转码，主要针对用户解码器的一些限制，如实时处理能力、解 2 硕士学位论文 第2 章m p e g 2 与h 2 6 4 视频压缩编码标准 2 1 视频压缩编码的基本原理 大量统计表明，同一幅图像的邻近像素之间有着相关性，或者说这些像素值相 似。邻近像素之间发生突变或“很不相似”的概率很小，而且同帧图像中邻近行 之间对应位置的像素之间也有较强的相关性。可以利用这些性质进行视频压缩编 码。预测编码是最简单和实用的视频压缩编码方法，经过压缩编码后传输的并不是 像素本身的采样值，而是该采样的预测值和实际值之差i 引。预测编码可以分为帧内 预测编码和帧问预测编码。帧内预测编码是使用当前帧中已经解码重建的信息来 对当前编码块的编码进行预测，而帧间预测是使用其他帧的信息对当前帧的编码 进行预测。一般而言，帧间预测编码的编码效率比帧内高。帧间预测可以分为单 向预测和双向预测。 在帧间预测编码中，由于活动图像邻近帧中的景物存在着一定的相关性。因 此，可将活动图像分成若干块或宏块，并设法搜索出每个块或宏块在邻近帧图像 中的位置，并得出两者之间的空间位置的相对偏移量。得到的相对偏移量就是通 常所指的运动矢量，得到运动矢量的过程称为运动估计。运动矢量和经过运动匹 配后得到的预测残差共同发送到解码端，在解码端按照运动矢量指明的位置，从 已经解码的邻近参考帧图像中找到相应的块或宏块，和预测残差相加后就得到了 块或宏块在当前帧中的位置。通过运动估计可以去除帧间冗余度，使得视频传输 的比特数大为减少。 绝大多数图像都有一个共同的特征：平坦区域和内容缓慢变化区域占据一幅 图像的大部分，而细节区域和内容突变区域占小部分。也可以说，图像中直流和 低频区占大部分，高频区占小部分。这样，如果将空间域的图像变换到变换域， 就会产生相关性很小的一些变换系数，并可以对其进行压缩编码，即变换编码。 变换编码实现比较复杂，预测编码的实现相对容易，但预测编码的误差会扩 散。现实中，往往采用混合编码方法，即对图像先进行带有运动补偿的帧问预测 编码，再对预测残差进行变换编码。这种混合编码方法已成为许多视频压缩编码 的国际标准的基本框架。 2 2 m p e g 一2 标准 2 2 1 m p e g 2 标准的概述 m p e g 2 标准【4 】是由i s o 组织针对数字电视应用制定的，该标准于1 9 9 4 年发 5 h 2 6 4 卒间分辨牢转码研究 布，其第二部分视频编码等同于i t u t 组织的h 2 6 2 标准。文献【5 】中的m p e g 2 国际标准详述了数字存储媒体和数宇视频通信中的图像信息的编码和解码过程。 m p e g 2 标准支持固定比特率传送、可变比特率传送、随机访问、分级解码、比 特流编辑以及一些特殊功能，如快速播放、快退播放、慢动作、暂停和画面冻结 等，同时还可以支持标准清晰度数字电视( s d t v ) 和高清晰度数字电视( h d t v ) 的应用。 2 2 1 1 框架和级别 框架是m p e g 2 标准中定义的语法的子集。级别是m p e g 2 标准规范的一个 特定框架中的参数所取值的集合。一个框架可以包含多个级别。m p e g 2 标准为 了实现一个完整的语法体系，通过框架和级别的方式来约束有限数目的语法子集。 例如，m p e g 2 图像规范中，以帧水平像素数，帧垂直像素数和帧率( 帧数s ) 的乘积作为约束分辨率等级参数：低级【3 5 2 x 2 8 8 x 2 9 7 9 】，主级 f 7 2 0 x 4 8 0 2 9 7 9 7 2 0 4 8 0 x 2 5 】，次高级f 1 4 4 0 x 1 0 8 0 x 3 0 1 4 4 0 x 1 0 8 0 x 2 5 】，高级 【1 9 2 0 x 1 0 8 0 x 3 0 j ，1 9 2 0 x 1 0 8 0 x 2 5 】。框架和级别提供了一种定义m p e g 一2 规范的语法 和语义的子集的手段。框架和级别限定之后，解码器的设定和解码校验，就可以 针对限定的框架在限定的级别中进行。同时以框架和级别的形式定义规范，为不 同的应用领域之间的数据交换提供了方便和可行性。 2 2 1 2 句法结构 m p e g 2 为更好地表示编码数据，用句法规定了一个层次性的结构。其结构 分为六层，自上到下分别是： 1 ) 图像序列层( v i d e os e q u e n c e ) 。图像序列是由图像组构成的，有表示开始的 图像序列头和表示结束的图像终止码。是随机存取段落。 2 ) 图像组( g o p ) 是为方便随机存取而加的，其结构和长度均为可变的，m p e g 2 对此没有硬性规定。g o p 有两个参数，即长度( n ) 和帧重复频率( m ) 。图 像组是随机存取视频单位。 3 ) 图像是独立的显示单位，也是基本编码单位。在m p e g 2 中，图像可以是逐 行的，也可以是隔行的。 4 ) 宏块条包含若干个连续的宏块，是重新同步单位。宏块条的设置目的是防止 误码的扩散，当一个宏块条出现误码时，不影响后续的宏块条解码。 5 ) 图像以亮度阵列被分成1 6 x 1 6 的宏块，宏块是进行运动补偿的基本单位。一 个宏块包含四个8 x 8 的亮度块，依据类的不同，一个宏块还包含两个8 x 8 色 度块( c b 块和c r 块各一个，4 ：2 ：0 采样时) 或四个8 x 8 色度块( c b 块和c r 块各两个，4 ：2 ：2 采样时) 。 6 ) 块是进行d c t 运算的单位，仅包含亮度或仅包含色度。 7 ) 6 h 2 6 4 卒间分辨率转码研究 换，然后对d c t 系数进行量化。对于人眼不太敏感的高频d c t 数据，使用较大 的量化步长进行量化，在不明显降低图像主观质量的前提下，提高压缩比。量化 因子由码率控制算法决定，码率控制算法通过更改量化因子( 2 6 2 ) 调节量化输 出数值的大小，将编码比特数调节到目标码率上。量化后的8 8 数据通过扫描处 理被连接为比特流串。m p e g 一2 提供了两种扫描方式，z i g - z a g 用于帧类型宏块， 交替扫描用于场类型宏块。扫描后使用变字长码表对比特流串进行编码。 2 2 2 m p e g 2 的解码过程 图2 1 是m p e g 2 视频解码的简化模型。 m v ( 运动矢量) 图2 1m p e g 一2 解码器 解码过程如下：首先解码器读取m p e g 2 码流，从码流的头信息中获得解码 及显示所需的各项配置参数，包括码率、帧率、宽高比及缓冲区大小等。进行初 始化，接下来便是解码图像数据；正如图所示，在经过v l c 解码后，可分别提取 出运动矢量( m v ) 和宏块d c t 系数的量化值，将该量化值做反量化和i d c t 后 与帧存及运动矢量共同做运动补偿便可得到恢复后的图像数据。其具体过程可参 见文献【4 】。 2 3 h 2 6 4 标准 2 - 3 1h 2 6 4 标准的概述 h 2 6 4 标准是i t u t 的v c e g ( 视频编码专家组) 和i s 0 i e c 的m p e g ( 活 动图像专家组) 的联合视频组( j v t ，j o i n t v i d e ot e a m ) 开发的标准，也称为m p e g 4 a v c ，它作为m p e g | 4p a r t l o ，是“高级视频编码”。 2 3 1 1 类和级别 h 2 6 4 定义了3 类：基类、主类和扩展类。 1 ) 基类主要支持视频会议和视频电话的应用，其主要特性如下： 只支持i 类型和p 类型的块条 支持去块效应滤波器 不支持场类型 h 2 6 4 审问分辨率转码研究 图像参数集，作用于视频序列中的个或多个个别的图像。 序列和图像参数集机制，减少了重复参数的传送，每个n a l 单元包含一个 标识，指向有关的图像参数集，每个图像参数集包含个标识，指向有关的序列 参数集的内容，因此，只用少数的指针信息，引用大量的参数，大大减少每个n a l 单元重复传送的信息。 3 ) 图像 个编码视频序列由连续的编码图像组成。编码图像可以是整个一帧图像， 也可以是一场图像。 4 ) 像条和像条组 像条由宏块组成，像条是图像的子集，包含图像参数集，语法元素可以被分 析，图像可以被独立解码。h 2 6 4 a v c 支持5 种像条编码类型： l 像条：最简单的编码类型，所有的宏块不参考视频序列中其他的图像。 p 像条：除了i 像条编码类型外，p 像条的部分宏块可以利用帧间预测，每个 预测块至多可使用一个运动补偿预铡信号。 b 像条：除了p 像条编码类型外，b 像条的部分宏块可以利用帧间预测，每 个预测块可使用两个运动补偿预测信号。 以上三种与以前的标准相似，主要是参考图像不同，其余两种新像条类型是： s p 像条：称作切换p 像条，用于在不同码率编码码流之间进行有效切换。 s 1 像条：称作切换i 像条，用于在不同编码图像之间有效地切换。 5 ) 宏块 每个视频图像帧或场都可以划分为固定大小的宏块，宏块是编码和解码的基 本模块单元，通常是一个1 6 1 6 亮度像素和两个8 8 彩色分量像素的区域。根据 图像类型的不同，对1 6 x 1 6 宏块可以进一步分割，最小可到4 4 。 2 3 1 3 图像类型 1 ) i d r 帧 任何一个编码序列的开始是即时刷新存储单元( 1 d r ) 。 2 ) l 帧 h 2 6 4 采用空域帧内预测技术来预测相邻块邻近像素的i n t r a m b 中的像 素。它对预测残差和预测模式进行编码，而不是编码块中的实际像素。这样可以 显著提高帧内编码效率。 根据像条编码类型，每个宏块可以选择几种编码类型之一。所有像条类型支 持两级帧内编码，称为i n t r a - 4 4 和i n t r a 1 6 1 6 。i n t r a 4 4 模式预测每个 4 4 亮度块，适合表现图像细节部分。而i n t r a 1 6 1 6 模式将整个1 6 x 1 6 亮度块 进行预测，适合平滑图像区。此外对这两种预测类型，色度单独进行预测。作为 i n t r a 一4 x 4 和i n t r a 1 6 x 1 6 的另种选择，ip c m 编码类型允许编码器简单跳 硕十学位论文 过预测和变换编码过程，直接发送采样值。ip c m 允许编码器精确地表示采样。 3 ) p 帧 运动补偿编码类型。为了方便运动描述，每个p 类型宏块对应于指定的固定 大小的宏块划分。亮度块的划分大小为：1 6 1 6 、1 6 8 、8 1 6 、8 8 、8 4 、4 x 8 和4 4 。语法允许运动矢量跨越图像边界，这种情况参考帧需用插值法推算出图 像外的采样值。利用邻近块的平均或方向预测，用差分编码计算运动矢量。支持 多参考帧运动补偿预测，以前编码的多个图像都可用作运动补偿参考，每个运动 补偿需要指示参考图像的索引。一个8 8 块划分成的小于8 8 块的运动补偿使用 同一参考图像索引，该功能要求编码和解码器具有多帧图像缓冲器，解码器通过 位流中的管理控制操作信息与编码器同步。除了运动补偿宏块模式外，p 类型宏 块可使用p - s k i p 模式，这种模式没有量化预测残差、不用传送运动矢量和参考索 引参数。信号重建与p - 1 6 1 6 宏块类型预测信号类似，采用多帧缓冲区索引o 的 图像作为参考图像。重建p - s k i p 宏块的运动矢量与1 6 1 6 块运动矢量预测类似。 p - s k i p 编码类型适合没有变化或固定运动的区域，如摇镜头等，有极高的压缩率。 4 ) b 帧 h 2 6 4 在很多情况可以利用b 帧图像作为参考。h 2 6 4 使用高级图像选择技 术，可以用以前已编码过且保留在缓冲区的大量图像进行预测，大大提高了编码 效率。对双向预测的b 帧图像，采用高级运动预测方法，称为“直接”运动补偿， 进一步改善编码效率。 5 ) s i 帧和s p 帧 s p ( 切换p ) s i ( 切换i ) ，是新的类型，分别用于在不同码率编码码流之间” 进行有效切换和在不同编码图像之间进行有效地切换。 2 3 1 4 关键技术 h 2 6 4 采用与旧标准相同的主要编码结构，不过它还具有许多与旧标准不同 的新功能，它们一起实现了编码效率的提高。 1 ) 运动估计的分块模式 一般称为树状结构运动补偿。一个1 6 x 1 6 的亮度宏块有4 种划分运动补偿的 方式：一个1 6 1 6 宏块分割、两个1 6 8 分割、两个8 1 6 分割或四个8 8 分割； 每个8 8 的子块还可以分为：一个8 x 8 的子块分割、两个8 x 4 子块分割、两个4 8 子块分割或四个4 4 子块分割。在宏块内这些分割和子块分割可以产生出大量的 组合。每个分割和子块分割都需要一个单独的运动矢量。在码流内，每个运动矢 量都需要被编码和传输并且分割方式的选择也要被编码。一个大尺寸的分割 ( 1 6 1 6 、8 1 6 、1 6 8 ) 只需要较少的b “来表示运动矢量和分割种类的选择，但 帧内包含高细节的区域的运动补偿残差就会很大。选择小的分割会有较小的运动 补偿残差，但要用大数目的b i t 表示运动矢量和分割种类。 1 1 硕+ 学位论文 图2 2h 2 6 4 编码器 编码的大概过程：编码帧被划分为宏块来进行编码，编码器根据图像信息进 行预测方式的选择。当选择帧内预测时，预测值由当前己编码和重构的图像计算 得到。当选择帧间预测模式时，需要通过运动估计和补偿来计算预测值，当前帧 和参考帧以宏块为单位进行运动估计和运动补偿，得到预测值。然后，将当前帧 中每个宏块与由预测值得到的参考块进行相减，并且对计算得到的残差进行变换， 量化和重排序，最后进行熵编码。在编码的同时将编码输出重新进行解码( 即重 构) ，然后将解码出的图像作为编码器的参考帧。h 2 6 4 的编码器其实包含了解 码器的功能模块。 2 4 m p e g 一2 和h 2 6 4 压缩编码标准的比较 至今公布的m p e g 与h 2 6 x 等各种视频编码标准，大多遵循同一设计模型， 包括前端的运动估计和补偿、变换域编码和熵编码等。这个模型又常常被称为 d p c m d c t 视频编解码混合模型。h 2 6 4 标准同样遵循上一模型，然而它与以前 的标准又有很多不同点。 从编码格式和配置上来看，m p e g 2 标准和h 2 6 4 标准之间既有相同之处， 又有很多不同。表2 1 列出了m p e g 2 标准与h 2 6 4 标准在技术实现上的比较【6 j 。 2 5 本章小结 本章主要介绍了m p e g 一2 标准和h 2 6 4 标准的一些基本知识，包括下面几个 硕士学位论文 3 1 视频转码的分类 第3 章视频转码技术 从压缩编码标准的角度划分，转码可分为同类码流转换和异类码流转换。同 类码流的转换( 如m p e g 2 到m p e g 2 ，h 2 6 4 到h 2 6 4 等) 由于是同一标准内 部的转换，一般不用考虑语法的问题，只按照输出要求进行参数上的相应变换； 异类码流的转换( 如m p e g 2 到m p e g 4 ，m p e g 2 到h 2 6 4 的转换等) ，可以 为不同网络技术间提供透明连接。这类转换由于涉及到不同的编码标准，不仅要 考虑语法和结构问题，同时也要考虑两种标准间是否存在兼容性问题。如果涉及 h 2 6 4 ，虽然该标准也是基于块的混合编码，但采用了更先进、更复杂的技术，所 以兼容性问题也需要考虑。异类视频转码器的设计是在充分分析不同标准之间异 同的基础上，采用类似于同类码流转码的结构和算法来设计研究视频转码基本结 构的。从实现方法的角度划分，视频转码可分为码率转换、分辨率转换( 空间分 辨率转换和时间分辨率转换) 、单层与多层转换、v b r 与c b r 转换等。其中比 特率转换、空问分辨率和时间分辨率转换的研究占主导地位。 3 1 1 码率转换 码率转换的目的有二：一是为有效传输和节省带宽；二是为了与特定的编码 类级相兼容。实现编码视频码率变换的直接方法是标准解码器与标准编码器的级 联，即先对编码码流解码，然后按新的目标码率对解码重建图像再进行编码。现 阶段，码率转换的研究热点主要分为以下几个方向：( 1 ) 在压缩域对d c t 系数进 行截取和重量化。( 2 ) 转换编码器的结构和码率控制算法。( 3 ) 消除漂移误差。 文献【7 】对m p e g 一2 编码视频流的码率变换进行了比较全面的研究，文献f 8 】在假定 m p e g 一2 中的运动补偿是一种线性运算的条件下，对文献中的双向运动进行补偿 预测。 3 1 2 分辨率转换 随着无线通信技术的发展，使用手机、个人数字助理等终端移动设备访问视 频内容变得越来越普及。由于移动终端设备的显示能力和处理器的能力的限制， 需要对视频内容的空间分辨率和时间分辨率进行缩减。因此，进行空间分辨率和 时间分辨率缩减的视频转码技术正在成为一个新的热点。 3 1 2 1 空间分辨率缩减的视频转码 视频终端显示能力各不相同，高清数字电视的空间分辨率可达1 9 2 0 1 0 8 0 ， h 2 6 4 卒问分辨率转码研究 标清数字电视的空间分辨率也能够达到7 2 0 5 7 6 ，而手持无线终端设备的显示分 辨率一般是o c i f 格式( 1 7 6 1 4 4 ) ，或者达到c i f 格式( 3 5 2 2 8 8 ) 。显然，我 们应该根据显示设备的空间分辨率大小来制定视频流，这样可以节省不必要的额 外开销。文献f 9 1 在对基于h 2 6 3 标准的视频转码中第一次涉及到视频编码空问分 辨率转换技术。 对空间分辨率降低的视频转码，基本的方法是对输入编码流先解码，在像素 域实行向下采样，再进行编码。然而由于运动估计的计算量极大，使得这种转换 编码计算量很大。进行空间分辨率下变换的关键问题是寻找低分辨图像编码所需 的运动矢量场，需要充分利用输入码流的信息，对高密度的运动矢量场进行采样。 m p e g 2 和h 2 6 4 编码均由帧内编码和帧间编码组成，帧内编码不包含运动信息， 因此只需要对帧间编码图像进行运动矢量采样。现阶段，空间分辨率转码的研究 热点主要分为以下两个方向：( 1 ) 运动矢量重估计方法。( 2 ) 宏块类型的映射 方法。运动矢量的重估计主要分为二步：运动矢量的合成，运动精细化。基本的 运动矢量的合成算法有：简单平均法，中值法和加权平均法。而运动矢量的精细 化则是在合成的运动矢量的基础上，通过适当的搜索方法对运动矢量进一步调整。 空间分辨率变化指按照需要改变图像的尺寸。对于空间分辨率降低的视频转 码，有多种方法。这里以水平和垂直方向上均为2 ：1 的空间分辨率下降为例，空 间分辨率下采样的方法主要有像素平均值法，过滤子采样法和d c t 域内子采样 法。 在前向预测编码中，如果降一倍分辨率，四个宏块下采样后变为一个宏块。 在下采样前，m p e g 2 的四个宏块各自都有一个最佳的运动矢量，在分辨率下采 样后，宏块的运动矢量变成了宏块的8 8 子块的运动矢量。 实现运动矢量二分之一采样最直接的方法是对四个输入的运动矢量求平均 值，然后将结果除以2 ，这被称为简单平均法。如果四个宏块的运动矢量的水平 分量和垂直分量的值完全相同，则采用这种方法是完全恰当的。然而，当输入的 四个运动矢量不完全相同时，这种方法会产生很大的误差。实际上对输入四个运 动矢量进行二分之一采样时，不仅要考虑其中每个运动矢量的数值，还要考虑在 图像分辨率下变换前用该运动矢量做运动补偿预测的效果，因此文献 1 0 】采用自 适应运动矢量采样方法( a m v r ) ，即采用加权平均的方法来实现运动矢量的二 分之一采样。文献【1 1 】提出了另一种获取分辨率下变换后运动矢量的方法，称为 最大平均相关法( m a c ) 。从输入码流的四个运动矢量中选取具有最大加权平均 相关的一个运动矢量作为新的矢量，可以进一步减少计算量。文献【1 2 】提出用宏 块量化参数作为空间活动性的测度，因为在m p e g 一2 中一个宏块的量化参数与它 的空间活动性成比例，量化参数可以代表宏块活动性，使新的运动矢量向空间活 动性较大的区域偏转，如物体的边缘部分。 1 6 h2 6 4 窄问分辨牢转码研究 寻找既能利用原始运动矢量信息又不至于引入明显的图像质量降低方案。 近几年来许多研究人员都在探索时间分辨率变化时运动矢量合成的方法，归 纳起来主要有双线性插值法、前向主控矢量选择法和活动性主控矢量选择法。 对运动矢量采用双线性插值( b i v s ) 1 1 6 】，按重叠面积加权获得所需运动矢 量，对插值后矢量进行修正，可以根据跳帧数和运动矢量累计幅度确定搜索范围， 在此范围内搜索得到更新的运动矢量。这种方法在连续跳帧情况下采用的是后向 处理顺序，所以需要存储所有跳帧的运动矢量，会占用较多存储空间。 另一种是前向主控矢量选择法( f d v s ) 1 7 1 ，具有较小的计算量和更好的性 能，它从四个相邻宏块中选择一个主控运动矢量，这个主控运动矢量是主控宏块 的运动矢量。主控运动宏块是指在输入运动矢量所指向的块中，具有最大重叠部 分的那个宏块。在连续跳帧情况下采用前向处理顺序，避免多存储器。但若两个 或两个以上宏块有相近重叠面积时，这种方法便失去了意义。 活动性主控矢量选择法( a d v s ) i s 】是一种用宏块活动性来决定运动矢量的 方法，即选择4 个宏块中活动性最大的一个，以这个宏块的运动矢量作为新的运 动矢量( 宏块活动性可以通过计算非零d c t 系数的个数等方法确定) 。此方法的 计算量略大于f d v s ，但在高速运动情况下，a d v s 的效果优于f d v s 。 3 1 3 语法转换 目前，m p e g 1 ，m p e g 2 ，m p e g 4 等编码标准都在不同的领域得到了广泛 的应用，新一代高效压缩标准h 2 6 4 在预测、变换、量化以及熵编码等方面与以 前的标准相比提出了很多新的概念，例如1 4 像素精度的运动矢量、多模式运动 估计、多参考帧、整数变换、环路滤波等，具有更高的编码效率和很强的抗干扰 性，适合网络传输，因此将在各个领域得到广泛应用，因此研究这些编码标准间 的转码技术成为了一个必然趋势。 语法转码主要是由于输入和转码后的码流所遵循的压缩标准不同。这部分研 究主要集中在不同标准在具体的语法、码流结构上的对应转换。现阶段因为实际 中m p e g 系列( v c d ，d v d ，r m v b ) 等在数字多媒体方面的大量应用，而h 2 6 系列在视频会议和视频通信中的应用广泛，所以现阶段转码的研究重点在于 m p e g 系列到h 2 6 系列的之间的转换和i ，p ，b 帧的转换。文献 1 9 1 中对异构多 媒体网络信息交互的m p e g 一4 与h 2 6 3 的转码进行了研究，指出了这两种标准在 语法结构、帧内编码宏块的系数、帧内编码宏块的运动矢量映射等方面的区别。 文献 2 0 1 详细分析了m p e g 一1 ，m p e g 2 与h 2 6 1 h 2 6 3 间不同图像类型、不同时 间与空间分辨率下的转码策略。 硕士学位论文 3 2 转码的系统结构 3 2 1 码率转码 码率转码主要有级联式像素域转象眷i 商赫戢埘型薷群搓磊徭挥件毖驾， 趟1 嚣l 高面蹙季霹嚆瑚涝遮妇 ： 澜渐。 g 羹，；：| 珏落筝击荔嚣罂鬟犁套 嚣留彝高赫环融莩署彘碾一分辨圣图像绳码时箨挟强俏梗式的j 狮彰蟊薷 吓湾咯础矗端靴黯x 扰；士徐螽首孺婴蓊簖西瞧瞻拍骗摊乳酥弱毹捅z 豁! 器l ! l 韵内 编码宏块 或者帧间编码宏块；但是，如果原来的四个宏块既有帧内编码宏块又有帧间编码 的宏块，那么情况会复杂一些，文献 1 3 1 中给出了三种不同的处理方法：z e r o o u t 方法，i n t r a i n t e r 方法，i n t e r i n t r a 方法。这三种方法中，i n t r a i n t e r 方法和i n t e r i n t r a 方法都需要转码器的编码部分有一个解码环路，以便能够得到新的重构图像，实 现帧内编码宏块和帧间预测编码宏块的转换。如果运动图像的运动矢量比较小而 且细节比较少，那么可以是用复杂度低的z e r o o u t 方法。否则，需要使用其余的 两种方法。实际应用表明，i n t e r i n t r a 方法略优于i n t r ai n t e r 方法，因为变换为帧 内编码宏块能够克服漂移误差的传播。 对视频流的空间分辨率下变换，上面介绍的方法是对输入码流先进行解码， 在像素域实行向下采样，再进行编码。然而由于运动估计的计算量极大，使得这 种转码的计算量很大。因此开始出现许多在频域直接进行空间分辨率下变换的研 究工作。在频域直接进行空间分辨率下变换的关键问题是寻找低分辨率图像编码 所需的运动矢量，需要充分利用输入码流的信息，对高密度的运动矢量进行采样。 h2 6 4 卒问分辨率转码研究 分宏块的高频d c t 系数以满足不同码率的要求。这种转码器首先对输入码流进行 v l d ，根据输出目标码率，使用码率控制算法重新分配每个块的编码比特数，丢 弃所分配比特数之后的高频数据变长码。 图3 2 运动矢量和编码模式复用的转码结构 码率控制 图3 3 开环转码器 图3 4 高频截除 2 0 h 2 6 4 卒问分辨翠转i q 研究 3 2 2 空间分辨率变换转码 空间分辨率转码的结构有像素域转码结构和压缩域转码结构2 种，像素域转 码结构如图3 6 所示，压缩域转码结构如图3 7 所示。 3 2 2 1 像素域转码结构 3 2 2 2 压缩域转码结构 图3 6 像素域转码结构 图3 7 压缩域转码结构 硕士学位论文 压缩域转码结构不进行重量化误差校正，因而输出码流中存在由于量化和运 动补偿所引入的漂移误差，视频质量较差。 3 3m p e g 一2 h 2 6 4 空间分辨率转码的难点和重点 3 3 1 运动矢量的重估计 运动估计是视频编码中最费时的过程，占视频编码运算量的7 0 以上。如果 在转码过程中重新计算运动矢量，将会极大增加转码器的运算负担，而不可能实 现实时转码。因此利用输入码流中的运动信息，在此基础上进行运动矢量和编码模 式的优化，是转码的一项关键技术。 3 3 1 1 运动矢量的合成 当把运动矢量从解码端传递到编码端时，存在着重新确定运动矢量的问题。 例如，在水平和垂直两个方向上把分辨率都减少1 2 ，那么运动矢量就需要从4 个转换成1 个。重新合成运动矢量，方法有以下几种：( 这里以水平和垂直方向上 分辨率均下降1 2 为例进行说明) l 、随机选择法 在输入的多个运动矢量中随机地选择一个作为新的运动矢量。这个方法速度 快，但得到的图像质量不稳定。 2 1 平均值法 胛- 专荟小t ( 3 1 ) 4 臼 这种方法是将4 个参考宏块的运动矢量取平均作为下变换后宏块的运动矢 量，适用于相邻4 个宏块的运动矢量大小、方向相似的情况。如果其中某一宏块 的运动矢量明显不同于其余3 个，那么这种求平均的方法会产生很大的误差。 3 1 加权平均法 胛。三避 2 ， 了a 智 式中肌q 为输入的运动矢量，a 为下变换前预测残差宏块的空间活动性度量， a 越小表示该宏块的活动性越弱。宏块的活动性可以由宏块的d c 系数大小，或 者非零a c 系数的个数确定。这是一种利用预测残差宏块的活动性对相应运动矢 量进行加权处理，从而获得下变换后运动矢量的方法。利用这种方法获得的新运 动矢量向噪声运动矢量方向偏移。 硕士学位论文 式之间方向上的关系，对它们进行重新排序，进行优先级不同的检查。这种方法 虽然加快了帧内模式决策的速度，但它并没有考虑到所有可能的模式( 如忽略了 1 6 1 6 块的平面模式) ，这样就对转码器的效率造成了一定影响，使编码效率降低。 在d c t 域内进行帧内预测模式选择的研究也有很多。以前大多数编码标准的 d c t 变换都以8 8 大小的块为单位进行，由于h 2 6 4 帧内预测中有1 6 1 6 和4 4 的两种块大小( 亮度块) ，且由8 8 的d c t 系数分解与合成1 6 1 6 和4 4 的系数 相对容易，所以在d c t 域内直接判断帧内预测模式会很方便，同时还节省了i d c t 与h t 两个变换。文献2 7 仲提供了将8 8 的d c t 系数转换成1 6 x 1 6 和4 4 的h t 系数的快速方法。文献【2 8 】利用了d c 直流系数的特点，对帧内模式进行预测，但 是这种方法只对4 4 模式的直流、水平和垂直3 种模式计算起来比较简单，对其 他模式的计算仍很复杂，转码速度提高并不大。文献【2 5 1 也利用了d c t 域变换来 估计最佳模式。然而这些做法都没有充分利用率失真代价这一衡量帧内模式优劣的 标准，所以预测的模式与最优模式存在差异，没能同时兼顾转码速度和转码效率。 3 3 2 2 帧问预测模式决策 转码的帧间模式的选择主要有直接映射和基于分割和合并的宏块模式选择。 直接映射是将转码前视频编码标准中的帧问宏块编码类型映射为转码后视频 编码标准中已有的宏块类型。直接映射的宏块模式选择充分利用了第一次编码的 编码信息，在这种算法下，大部分的宏块并不需要进行真正意义上的模式选择， 因此极大地减少了转码时编码端的运算量，但其不足之处是不能充分发挥各视频 编码标准自身的编码特长以及因为映射错误引起的漂移误差。 基于分割和合并的宏块模式选择比较适合于h 2 6 4 的视频转码，这主要因为 h 2 6 4 支持可变尺寸块大小。其中自上而下的分割算法如图3 8 所示： 图3 8 自上而下的分割算法 h 2 “宅m 分辨率转码研究 过程如下： 1 、在1 6 1 6 的划分上进行运动估计，确定1 6 1 6 块的最佳运动矢量 2 、以1 6 1 6 块的最佳运动矢量为起点，对1 6 8 块做运动搜索，得到最佳的 运动矢量 3 、以1 6 1 6 块的最佳运动矢量为起点，对8 1 6 块做运动搜索，得到最佳的 运动矢量 4 、以1 6 8 和8 1 6 块搜索得到的运动矢量为起点，对4 个8 8 块进行搜索 5 、选择率失真开销最小的模式为最佳帧问宏块模式 6 、结束 在上述算法中的每一步结果之后均可采用提前中断算法，从而加速整个选择 过程。 当块划分更为精细时，如h 2 6 4 最小可支持4 4 的块划分。则在完成对4 个 8 x 8 块的搜索后，对每一个8 8 块可以重复上面的自上而下的模式选择过程，即 以8 8 块的最佳运动矢量为起点，分别对8 4 和4 x 8 块做运动搜索，最后再以8 x 4 和4 8 块搜索得到的运动矢量为起点，对4 个4 4 块进行搜索。而自下而上的合 并算法如图3 9 所示： 图3 9 自下而上的分割算法 过程如下： 1 、首先对4 个8 8 块分别进行运动搜索，并确定最佳运动矢量 2 、若4 个8 8 块的运动矢量完全相同，则将宏块模式定为1 6 x 1 6 ，跳至第9 步；否则，进行第3 步 3 、若0 号块与1 号块运动矢量完全相同，且2 号块与3 号块运动矢量完全相 同，将宏块模式定为1 6 8 ，跳至第9 步；否则，进行第4 步 i l 2 6 4 空问分辨率转码研究 第4 章m p e g 2 到h 2 6 4 降空间分辨率转码 4 1m p e g 2 到h 2 6 4 降空间分辨率转码的实现意义 随着网络和多媒体通信业务的发展，不同网络上各种视频信息的交流需求在 不断增加。在实际应用中由于网络和终端设备的多样性，编码得到的视频流不一 定是最优的。因此，当在具有不同的信道特征的网络上，向具有不同的计算和显 示能力的用户终端传输视频流时，必须能够根据用户环境对视频流进行动态地调 整。视频转换编码是指对压缩后的视频流进行格式转换编码，使经过处理后的视 频流满足传输信道和解码器的特殊要求【7 】【刎。h 2 6 4 是较新的视频压缩标准。相比 以前的编码方法，具有码率低、图像质量高、容错能力强和网络适应性强的优点。 m p e g 2 是高质量图像的压缩标准，几乎用于所有的数字电视系统。但不适合在 带宽较小的网络中传输。图4 1 所示为m p e g 2 到h 2 6 4 降空间分辨率转码的一 个例子。 a ) m p e g - 2 ( 3 5 2 x 2 8 8 )b ) h 2 6 4 ( 1 7 6 x 1 4 4 ) 图4 1m p e g 2 到h 2 6 4 降空间分辨率转码 空间分辨率转码的重点是编码模式的确定、运动矢量的映射和运动矢量的修 正【9 】吲文献【9 】讨论了运动矢量的映射，重用解码信息来确定宏块编码模式的方 法，这种方法用于固定的分块大小的运动估计，而h 2 6 4 支持7 种不同尺寸的块 大小的运动估计，所以，不适合m p e g 2 到h 2 6 4 的转码。文献 2 3 采用了一种 直接编码模式映射方法，即 1 6 x 1 6 对应8 x 8 ，8 x 1 6 对应4 x 8 ，1 6 x 8 对应8 x 4 ，8 x 8 对应4 x 4 ) ，没有处理8 x 4 ，4 x 8 和4 x 4 模式，转码质量不高。本文提出了一种新 硕士学位论文 的m p e g 2 1 - 1 2 6 4 空间分辨率转码的方法。其中空间分辨率的转换是从c i f ( 3 5 2 x 2 8 8 ) 到q c i f ( 1 7 6 x 1 4 4 ) 。通过重用m p e g 一2 的运动矢量和预测残差，快 速确定了h 2 6 4 的宏块编码模式，然后再对m p e g 2 的运动矢量进行合成与修正， 获得h 2 6 4 的宏块在不同编码模式下所使用的运动矢量。该算法大大减小了转码 的计算复杂度，同时对视频质量所造成的损失较小。 4 2 转码结构 转码结构主要有级联的像素域转码结构( c p d t ) 和d c t 域的转码结构 ( d d t ) 。c p d t 的结构灵活，而且漂移误差很小，而d d t 会引入很大的漂移误 差【3