（信号与信息处理专业论文）h264并行视频转码算法研究.pdf

南京邮电大学学位论文原创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得 的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包 含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的 任何贡献均已在论文中作了明确的说明并表示了谢意。 本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。 南京邮电大学学位论文使用授权声明 本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和 电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数 据库进行检索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本 文电子文档的内容和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮 电大学研究生院（筹）办理。 涉密学位论文在解密后适用本授权书。 研究生签名：_ 日期：_ 研究生签名：_ 导师签名：_ 日期：_ 南南 京京 邮邮 电电 大大 学学 硕士学位论文摘要硕士学位论文摘要 学科、专业：工学工学 信号与信息处理信号与信息处理 研 究 方 向：图像处理与多媒体通信图像处理与多媒体通信 作 者：2009 级研究生 黄兴黄兴 指 导 教 师：宋建新宋建新 题 目：h.264 并行视频转码算法研究 英 文 题 目：the research of parallel video transcoding in h.264 主 题 词：视频转码 并行 h.264 keywords: video transcoding，parallel，h.264 南京邮电大学硕士研究生学位论文 摘要 i 摘摘 要要 视频转码是指对已经压缩编码之后的视频流进行格式上的转换，使经过处理后的视频能 满足信道传输或用户终端的要求，其中的格式包括分辨率、码率和编码标准等。由于视频转 码需要对已经压缩过的码流进行解码，然后再经过编码转换成满足要求的目标格式码流，因 此视频转码是个计算量很大的过程。针对单处理器串行视频转码速度较慢的问题，为了提高 视频转码的效率减少转码延迟，本文研究了如何利用并行化的思想来对视频转码进行加速的 方法。 本文首先对视频转码技术的系统结构和分类进行了概述，然后介绍了并行算法设计的理 论基础并对h.264视频转码的可并行化方法进行了分析， 接下来从不同的并行粒度上对h.264 的并行视频转码算法进行了研究。论文主要完成以下两个方面的研究工作： 第一，针对现有传统串行转码算法难以解决转码复杂度的问题，本文将基于机群的并行 思想应用于 h.264 视频转码， 在构建并行平台的基础上设计了 gop 级的 h.264 并行视频转码 算法。该算法以 gop 作为并行处理的基本单元，通过构建一个分布式的平台，将分割成段的 视频放在平台上来完成并行的视频转码。实验数据表明，该算法能够有效提高视频转码的速 度和效率。 第二，为了提高视频转码的效率降低视频转码的算法复杂度，论文根据视频转码的要求 和图形处理器的并行结构， 提出了一种宏块级的并行算法。 该算法利用了 gpu 强大的并行计 算能力，将宏块作为基本处理单元，将复杂的视频转码过程转移到 gpu 上并行的执行，以达 到加速视频转码的目的。实验结果表明，该算法能在保证转码视频质量的条件下将转码速度 提高 34 倍，大大缩短了转码延迟，满足了实时性的要求。 关键词：关键词： h.264 并行 视频转码 南京邮电大学硕士研究生学位论文 abstract ii abstract video transcoding is the transformation of converting a compressed video stream to another stream of a different format for adapting to the network or terminal client. these formats include spatial resolution, rate and coding standard. video transcoding is a complicated process, as it has to decode the input compressed video stream and then encode it into the output format which is in demand. so as to improve the efficiency and reduce the latency of video transcoding, we made this research that how to speed up the transcoding procedure by the theoretic of parallelization. this paper first introduces the classification and system structure of video transcoding, then introduces the basic theory of parallelization and analyses the possibility of parallelized video transcoding in h.264.in the next the paper researches the method of parallelization of video transcoding in different parallelization levels. the main contributions of this paper are detailed as followed: first, target to reduce the complexity and the time of video transcoding, we apply the parallelization structure of cluster workstations to the video transcoding of h.264, and design a parallel transcoding method in gop level. the method takes gop as the basic processing unit and builds a distributed platform, then transcode the divided videos in the platform synchronously. experiment results show that this method can greatly improve the transcoding speed and efficiency. second, so as to improve the efficiency and reduce the latency of video transcoding, we proposed a new method which make full use of the strong parallel computing ability of the graphics processing unit (gpu) based on the parallel structure of gpu. the algorithm takes macroblock as the processing unit and removes the implementation of motion estimation and mode selection which is the most completed part in transcoding procedure from cpu to gpu. experimental results demonstrate that it can speed up the transcoding process by 3 to 4 times compared as traditional serial algorithm and greatly reduce the transcoding latency. key words: h.264 parallel video transcoding 南京邮电大学硕士研究生学位论文 目录 iii 目目 录录 摘 要 . i abstract . ii 目 录 . iii 第一章 引言 . 1 1.1 论文的研究背景 . 1 1.2 视频转码的研究现状 . 2 1.3 本文的研究内容 . 2 1.4 论文的结构与安排 . 3 第二章 视频转码概述 . 5 2.1 视频编码技术回顾 . 5 2.1.1 视频编码标准 . 5 2.1.2 h.264 视频编解码介绍 . 6 2.2 视频转码简介 . 7 2.3 视频转码的系统结构 . 8 2.3.1 压缩域和像素域 . 9 2.3.2 标准间转码 . 10 2.3.3 空间分辨率转码 . 12 2.3.4 时间分辨率转码 . 16 2.3.5 码率转码 . 16 2.4 本章小结 . 18 第三章 并行转码的架构与方法 . 19 3.1 并行理论基础 . 19 3.1.1 并行算法的概念 . 19 3.1.2 微处理器的架构 . 20 3.2 视频转码的任务并行与数据并行 . 21 3.3 不同粒度的 h.264 视频转码并行化分析 . 23 3.3.1 gop 级并行 . 23 3.3.2 帧级并行 . 25 3.3.3 片级并行 . 25 南京邮电大学硕士研究生学位论文 目录 iv 3.3.4 宏块级并行 . 26 3.4 本章小结 . 26 第四章 基于机群平台的并行视频转码算法 . 28 4.1 并行平台的构建 . 28 4.2 基于机群的并行视频转码算法 . 29 4.2.1 并行转码算法介绍 . 29 4.2.2 视频分割算法 . 30 4.2.3 简单的并行调度策略 . 32 4.3 空间分辨率转码关键算法 . 33 4.3.1 算法概述 . 33 4.3.2 空间分辨率变换 . 34 4.3.3 运动矢量的重估计及模式选择 . 35 4.4 实验结果与性能分析 . 38 4.4.1 基于机群平台的并行视频转码性能测试方法 . 38 4.4.2 实验环境及测试步骤 . 38 4.4.3 实验结果及性能分析 . 39 4.5 本章小结 . 44 第五章 基于 gpu 的并行视频转码算法 . 45 5.1 基于 gpu 的 cuda 并行计算架构 . 45 5.1.1 cpu+gpu 的异构环境 . 45 5.1.2 cuda 并行执行模型 . 45 5.2 基于 gpu 的宏块级并行视频转码算法 . 47 5.2.1 视频转码架构 . 47 5.2.2 算法描述 . 48 5.2.3 基于 gpu 的 sad 计算及运动估计匹配准则 . 50 5.2.4 gpu 并行运动估计的算法及实现 . 52 5.2.5 运动矢量精细化搜索和模式选择 . 53 5.2.6 gpu 存储空间的选择 . 54 5.3 实验结果及性能分析 . 56 5.3.1 性能测试方法及测试指标 . 56 5.3.2 实验环境及测试步骤 . 56 南京邮电大学硕士研究生学位论文 目录 v 5.3.3 实验数据及分析 . 57 5.4 本章小结 . 61 第六章 论文总结与展望 . 62 6.1 全文总结 . 62 6.2 研究展望 . 62 参考文献 . 64 致谢 . 68 作者攻读硕士学位期间发表的论文 . 69 南京邮电大学硕士研究生学位论文 第一章 引言 1 第一章第一章 引言引言 1.1 论文的研究背景论文的研究背景 随着多媒体业务的发展和接入网络及相关通信协议的多样性和广泛性，不同网络之间的 视频信息的互通需求不断增加。视频编码通常致力于在保证一定的视频质量的前提下实现尽 量高的压缩和编码效率。但是，由于接入网络的多样性使得编码得到的视频流并不一定能保 证其在各种网络中的适应性。另外，各种终端所能支持的标准格式还有计算能力以及显示分 辨率等等也存在着显著性的不同，因此通常需要根据当前的终端处理能力和传输网络的条件 来转换和传输视频。在这种情形下，事先压缩好的视频数据就不能够满足这些要求。当在具 有不同信道特性的网络上向具有不同计算能力和显示能力的终端传输视频内容时，就必须根 据要求对传输的视频流进行相对应的格式转换，使经过转换之后的视频流能够满足信道传输 和解码终端的要求1。 另外， 随着通信技术的快速发展， 通过网络传输连续的多媒体数据己经成为发展的趋势， 同时愈来愈多的用户希望通过计算机、 pda 和智能手机等各种设备通过有线或无线网络来进 行视频服务与通信，这种实时性高的业务对当前的视频转码技术提出了更大的挑战，视频传 输的有效性和实时性已经成为视频编码和视频转码研究领域所要解决的关键性问题。 视频转码是指对已经压缩编码之后的视频流进行格式上的转换，使经过处理后的视频能 满足信道传输或用户终端的要求。这里所说的视频格式主要包括分辨率、码率和不同的编码 标准等等2。总体上说来，视频转码技术出现主要有以下几个原因：第一，在不同的应用领 域里存在着大量的不同的视频压缩标准，但各种压缩标准之间却没有统一的接口，如 h.263、 h.264、mpeg-2 和 mpeg-4 等；第二，解码用户终端的限制，包括显示的分辨率、解码的速 度还有计算能力等等是具有差异性的，比如 pda、个人电脑、智能手机等，它们具有不同的 显示能力和运算能力；第三，接入网络的多样性和不同的传输带宽。现实中存在着不同的网 络和不同的网络接入方式， 如 lan、 isdn、 xdsl 和无线接入等， 它们具有不同的信道特点， 包括带宽和误码率等3。 视频转码就是解决上述问题的一种关键技术。但是，视频转码是个复杂的过程，它比视 频编码具有更高的复杂度，它需要对已经压缩过的码流进行解码然后再编码。另外，随着网 络技术的迅猛发展，通过网络传输连续的媒体数据己经成为大势所趋，同时越来越多的用户 希望用 pc 和非 pc 设备通过互联网和无线网络来进行视频通信和服务，这种实时性高的视 南京邮电大学硕士研究生学位论文 第一章 引言 2 频通信和服务对当前视频转码技术提出了更大的挑战，视频传输的有效性和实时性已经成为 视频编码和视频转码所要解决的重要问题。本文正是基于这一点从并行计算的角度来研究如 何减少视频转码的复杂度并提高效率。 1.2 视频转码的研究现状视频转码的研究现状 视频转码问题自从有了不同的视频标准就已经存在，研究视频转码是多媒体应用的一个 重要问题。视频转码的高复杂度一直是转码在视频实时传输应用中的瓶颈，在如何降低视频 转码的复杂度方面已经有很多的研究成果。传统的方法就是对原始码流中携带的信息进行二 次利用。比如文献4，5，6研究了如何对解码得到的运动矢量进行重新利用以缩短再编码的 过程，文献6，7，8研究了利用解码中的模式选择信息来进行快速模式选择的算法。而文献 9，10则研究了在频域(dct 域)进行的快速转码技术。 目前的这些研究成果确实可以在某种程度上减少转码的时间，降低计算量和复杂度。但 是，像这类的简化算法所带来的问题是不能充分发挥新标准或被转码标准的优点，从而导致 转码效果不佳。再者这类研究大量的是在单机上串行进行的，由于单机的执行能力有限，单 个处理器下的串行编解码速度已经难以满足实时传输和大规模共享的要求。 并行算法的出现，促使人们开始研究利用并行化的思想来进行加速视频编码与转码，并 利用多 cpu 计算机、多核处理器及多线程等并行条件来实现这种并行算法。目前，支撑并行 化的硬件环境和软件环境都有了很大程度的发展，这些都为研究并行化的开发和应用提供了 平台11。本文就是在这些研究的基础之上，针对单处理器串行视频转码速度很慢的问题，分 别在 pc 机群平台和 cpu+gpu 的异构平台上实现了 gop 级和宏块级两个并行粒度的并行转 码算法。 1.3 本文的研究内容本文的研究内容 h.264 是国际标准化组织(iso/iec)和国际电信联盟(itu)共同提出的新一代数字视频压缩 格式， 它既保留了以往视频压缩技术的特点与精华又具有其他压缩技术无法比拟的许多优点。 h.264 具有的高效的压缩比、高水平的图像质量和强大的容错能力使得 h.264 在提出以来很 快就成为行业中的标准，被广泛应用到视频监控、hdtv 和网络流媒体等各个领域。本文正 是基于这样一种现状，将基于 h.264 的视频转码作为研究的对象。 正是由于 h.264 具有的新特性和优点才提高了 h.264 的视频编码和视频转码的算法复杂 度。 针对单处理器串行视频转码速度很慢的问题， 为了提高视频转码的效率并减少转码延迟， 南京邮电大学硕士研究生学位论文 第一章 引言 3 本文在对并行算法理论进行深入分析的基础之上研究了如何利用并行化的思想来对视频转码 进行加速的方法， 并且分别在 pc 机群平台和 cpu+gpu 的异构平台上实现了 gop 级和宏块 级两个并行粒度的并行转码算法。 本文首先对视频转码技术及其系统结构和分类进行了综述，然后介绍了并行算法设计的 理论基础并对 h.264 视频转码的可并行化方法进行了分析，接下来从不同的并行粒度上对 h.264 的并行视频转码算法进行了研究， 最后实现了 gop 级和宏块级两个并行粒度的并行转 码算法。论文主要完成以下两个方面的研究工作： (一) 针对现有传统串行转码算法难以从根本上解决转码复杂度的问题，本文将基于机群 的并行思想应用于 h.264 视频转码， 在构建并行平台的基础上设计了 gop 级的 h.264 并行视 频转码算法。该算法以 gop 作为并行处理的基本单元，通过构建一个分布式的平台，将分割 成段的视频放在平台上来完成并行的视频转码，以达到提高视频转码速度的目的。 (二) 为了提高视频转码的效率降低视频转码的算法复杂度，本文另辟蹊径，根据视频转 码的要求和图形处理器的并行结构， 提出了一种宏块级的并行算法。 该算法利用了 gpu 强大 的并行计算能力，以宏块为处理单元，通过将视频转码过程中计算最复杂耗时最多的运动估 计和模式选择过程转移到 gpu 上并行的执行来实现了并行加速的目的。 1.4 论文的结构与安排论文的结构与安排 全文从内容上总体分为六章，具体的布局及简要内容如下： 第一章是引言部分，介绍了本论文的研究背景，主要详细介绍了视频转码技术的研究现 状及其在实时性应用领域中所面临的挑战。最后对所做的具体工作和全文布局及内容进行了 说明； 第二章主要对视频转码技术及其发展状况进行了简单的介绍并对视频转码的系统结构和 分类进行了综述； 第三章主要结合并行算法的一些基本理论知识对 h.264 视频转码的可并行化进行了分 析，介绍了并行计算的理论基础，包括并行算法的概念、微处理器的架构和并行加速比的概 念等等，从不同的并行粒度上对 h.264 的并行视频转码进行了研究和探讨。本章为下文设计 的不同并行粒度的视频转码算法打下了理论基础； 第四章在上一章对并行算法理论和 h.264 并行转码粒度进行了深入研究和分析的基础 上，设计了一种基于 pc 机群平台的 gop 级并行视频转码算法。该算法以 gop 作为并行处 理的基本单元，通过构建一个分布式的媒体处理平台，将分割成段的视频放在这个平台上来 南京邮电大学硕士研究生学位论文 第一章 引言 4 完成并行的视频转码。 最后通过实验数据说明了该方法能够有效提高视频转码的速度和效率； 第五章在前文对并行算法理论和 h.264 并行转码粒度进行了深入分析和研究的基础上， 设计了一种宏块级的基于 gpu 的视频转码算法。 该算法以宏块为基本单位， 将视频转码过程 中计算最复杂耗时最多的运动估计和模式选择转移到 gpu 上并行执行。最后通过实验证明， 该算法能够大幅减少视频转码所需的时间、提高视频转码的效率； 第六章对全文所做的工作进行了总结，并对后续的研究工作做出了展望，提出了一些可 以进行进一步深入研究的问题。 南京邮电大学硕士研究生学位论文 第二章 视频转码概述 5 第二章第二章 视频转码概述视频转码概述 本章主要介绍了论文的相关背景以及视频转码的相关知识，对视频转码技术及其发展进 行了简单的介绍并对视频转码的分类及转码的系统结构进行了综述。本章从内容上首先介绍 一些与视频编码相关的基础理论，然后重点介绍视频转码的分类、结构、技术及应用。 2.1 视频编码技术回顾视频编码技术回顾 2.1.1 视频编码标准 视频编码从诞生以来经过迅速的研究和发展， 现在已经形成了多种编码标准共存的局面， 并且被广泛应用于各个不同的领域。目前，有两个国际标准化组织在致力于视频编码的标准 化工作。一个是国际电信联盟(itu-t)下的视频编码专家组(vceg，video code expert group) 另外一个是国际标准化组织/国际电工技术委员会第一联合技术组(iso/iec)的运动图像专家 组织(mpeg， motion picture expert group)。 另外， 还有这两大组织的专家联合组成的 jvt(joint video team,视频联合工作组)。mpeg 组织制定了 mpeg-1、mpeg-2 和 mpeg-4、mpeg-7、 mpeg-21 标准，itu-t 制定了 h.261、h.263 和 h.264 标准。现在这两个组织已经联合制定 一种压缩效率更高的 h.264 标准，mpeg 组织将其称为 mpeg-4 的第十部分，而 itu-t 则将 其称为 h.264 编码标准。 目前这两个组织提出的视频编码标准和进展情况如下图 2-1 所示12： 图 2-1 视频编码标准的演变历程 视频编码标准一般只规定码流的定义规范和解码的算法，对于如何实现编码器并没有具 南京邮电大学硕士研究生学位论文 第二章 视频转码概述 6 体定义，这样有利于视频编码技术的多样化发展。在这些标准化组织及一些公司的推动下， 一大批针对不同应用领域的视频编码标准建立起来，不同的标准应用于不同的应用环境。在 视频通信领域，如会议电视、视频电话和视频会议等，以 h.261、h.263、h.264 为代表；在 消费存储电子领域如 vcd、dvd 等以 mpeg-1、mpeg-2 为代表；在 hdtv 和数字视频广 播领域有 mpeg-2、mpeg-4、h.264 和 avs 等。另外还有 mpeg-7 和 mpeg-21 等。详细的 开发情况及其应用可以从下表 2-1 可以看出： 表 2-1 主要的视频压缩标准及其应用领域 序号序号 压缩标准压缩标准 公布时间公布时间 制定方应用领域制定方应用领域 1 h.261 1990 itu-t 综合业务数字网 2 mpeg-1 1992 mpeg vcd 存储 3 mpeg-2 1994 mpeg 数字电视、有线电视、dvd 4 h.263 1995 itu-t 视频会议 5 mpeg-4 1998 mpeg 网络流媒体 6 mpeg-7 2001 mpeg 互联网视频检索 7 mpeg-21 2002 mpeg 多媒体高级应用 8 h.264/avc 2003 jvt hdtv、视频通信、网络流媒体 9 avs 2004 avs 工作组 hdtv 2.1.2 h.264 视频编解码介绍 h.264 是由国际电联与国际标准化组织组成的联合视频组(jvt)制定的新一代视频压缩编 码标准。与之前的视频编码标准相比 h.264 具有许多无法比拟的优点。h.264 的编码器在功 能块组成上相对于之前的视频压缩标准并没有什么大的不同，主要的区别在于各功能块的实 现细节上。h.264 引入了很多先进的技术，包括 44 整数变换、帧内预测、四分之一象素精 度的运动估计、多参考帧与可变块大小的帧间预测技术等。这些新技术的运用使得 h.264 具 有高效的压缩比、高水平的图像质量和强大的容错能力，但与此同时也提高了算法的复杂度 和计算量。 h.264 和以前的标准一样，也是采用预测编码+变换编码+熵编码的混合编码模式。预测 编码分为帧间预测和帧内预测两种，帧间预测减少视频序列间的时间冗余，帧内预测减少图 像的空间冗余；视频图像中直流和低频区(平坦区和内容变化缓慢区)占大多数，高频区(细节 区和内容突变区)占少数，变换编码将空间域的图像变换到频域或者称为变换域，会产生相关 南京邮电大学硕士研究生学位论文 第二章 视频转码概述 7 性很小的一些变换系数，并可对其进行压缩编码；熵编码是利用信源的统计特性进行码率压 缩的编码方式，在 h.264 中采用了两种不同的熵编码方法：通用可变长编码(uvlc)和基于文 本的自适应二进制算术编码(cabac)，熵编码的目的是将视频信号压缩为适合网络传输的二 进制比特流。 h.264 并不明确规定一个编解码器如何实现， 而是规定了编码比特流的句法和该比特流的 解码方法， h.264 编码器和解码器的结构图分别如下图 2-2 和 2-3 所示13： 图 2-2 h.264 编码器结构图 图 2-3 h.264 解码器结构图 2.2 视频转码简介视频转码简介 视频转码是指对已经压缩编码之后的视频流进行诸如分辨率、码率和编码标准等相关格 式上的转换，使经过处理后的视频能够满足信道传输或用户终端的要求。 从压缩编码标准的角度来看， 视频转码可以分为标准内的视频转换和标准间的视频转换。 标准内的视频转码是指在同一编码标准之下进行码流转换(例如从 h.264 的高分辨率到低分 辨率、从高码率的 mpeg-2 到低码率的 mpeg-2 等)，由于是同一压缩标准内部的转换，这 种类型的视频转码一般不用考虑码流句法的问题。只需要按照视频转码的要求在转码参数上 南京邮电大学硕士研究生学位论文 第二章 视频转码概述 8 做出的相应变换编码即可。标准间的视频转码则不同，标准间的转码(例如从 mpeg-2 到 h.264、mpeg-2 到 mpeg-4 的转换等)可以为不同的压缩编码标准之间提供无缝衔接，由于 涉及到不同的压缩编码标准，这种类型的视频转码必须要同时考虑编码的句法结构问题和两 种标准之间的兼容性问题。 对于 h.264 的视频编码标准来说， 虽然该技术与其它压缩编码技 术的结构类似，但它的运动估计和帧间、帧内预测采用了更先进和效果更好的技术，所以视 频转码如果想继续保持 h.264 的优越性那么兼容性问题是必须考虑的。标准间转码器的设计 是在充分分析两种标准之间异同的基础上，采用类似于标准内码流转换的结构和算法来设计 和研究视频转码的基本结构14。 视频转码根据其实现方法的不同，主要可以分为标准间转码、空间分辨率转码、时间分 辨率转码、码率转码和容错转码等等。视频转码的功能示意图大概如下图 2-4 所示： 图 2-4 视频转码功能示意图 标准间转码主要是所需的目标码流和输入码流所遵循的格式及压缩标准不同，这一部分 的研究主要集中在不同的编码标准在码流结构和具体的语法上进行的相对应的转换15；时间 分辨率转码和空间分辨率转码都属于分辨率转码，这两种转码主要针对用户解码终端的一些 限制而对码流进行的一些调整转换，比如终端的显示分辨率、