（信号与信息处理专业论文）h264帧间编码及其在tms320dm642上的优化与实现.pdf

南京邮电大学硕士研究生学位论文 摘要 摘要 i t u t 的新一代视频编解码标准h 2 6 4 ，相对于先前的视频编码标准，能在相同码率 下提供很好的视频图像质量。随着h 2 6 4 常见的三种开源代码的公开，如何有效地在实际 应用系统和工程中实现高分辨率视频图像的h 2 6 4 实时编码是当前多媒体通信中面临的主 要难题之一。目前常用的实现平台有p c 通用处理器、d s p 嵌入式处理器、a s i c 专用集成 电路处理系统等，而且各种不同的平台各有优缺点。如基于p c 平台的h 2 6 4 视频编码器， 主要是利用w i n d o w s 操作系统，c p u 处理器实现视频编码，这是一种最为简单的应用系 统，基本上是以软件编解码为主，对于移动用户是很不方便的；对于基于d s p 的嵌入式处 理器系统，能够通过编程实现各种复杂的运算，处理精度高，具有较大的灵活性，而且尺 寸小、功耗低、速度快：而基于a s i c 专用处理器的系统，是被广泛应用于性能敏感平台 的一种处理器技术，它能支持比嵌入式处理器更快的数据数率，但a s i c 处理器缺乏灵活 性。一旦指令固化到芯片硬件中，就很难修改升级，要提高性能，就得重新设计芯片。 本文工作主要有以下两个方面：一方面，基于p c 平台研究h 2 6 4 帧间预测算法，在深 入研究前人算法，如基于零运动检测的提前中止、两阶段搜索策略等的基础上，提出了一 种基于帧间运动复杂度的变尺寸宏块运动估计方法来优化h 2 6 4 帧间预测编码，实验结果表 明该方法有效地提高了编码速度和信噪比，且码率只有很小的上升。另一方面j 针对 t m s 3 2 0 d m 6 4 2 的d s p 嵌入式处理器平台，在利用d e m o 程序熟练掌握d m 6 4 2 开发板性能的 基础上，将x 2 6 4 帧间编码程序结合d m 6 4 2 开发板性能结构移植到该d s p 平台上，并分别从 编译选项( 。0 3 选项、p m 选项和m t 选项) 的设置、内联函数的使用、短字长数据使用宽长度 的存储器访问、循环展开、汇编代码改写等几个方面进一步直接针对d s p 系统进行优化， 使得编码速度大幅提高，并且信噪比没有下降。通过实际视频编码发现，基于本文优化的 帧间预测编码算法和优化代码在t m s 3 2 0 d m 6 4 2d s p 平台上具有非常重要的实际应用价 值。 关键词：h 2 6 4 帧间预测x 2 6 4d s pt m s 3 2 0d m 6 4 2 南京邮电大学硕士研究生学位论文 a b s t r a c t a b s t r a c t t h en e wg e n e r a t i o nv i d e oc o d i n gs t a n d a r dh 2 6 4 ，i nc o m p a r i s o nw i t hp r e v i o u sv i d e o c o d i n gs t a n d a r d ，c a np r o v i d eb e r e rv i d e oi m a g eq u a l i t yu n d e rt h es a m eb i tr a t e w i t ht h e p u b l i s h i n go f t h et h r e ek i n d so fs o u r c ec o d e s ，h o wt or e a l i z et h eh 2 6 4r e a l t i m ev i d e oc o d i n go f h i g hr e s o l u t i o nv i d e oi m a g ee f f e c t i v e l yi na p p l i c a t i o ns y s t e m ，h a sb e c o m eo n eo ft h ed i f f i c u l t q u e s t i o n si nc u r r e n tm u l t i m e d i ac o m m u n i c a t i o n s a tp r e s e n t ，t h e r ea r es e v e r a lr e a l i z a t i o n p l a t f o r m s ，f o re x a m p l e ，p cp r o c e s s o r ，d s pe m b e d d e dp r o c e s s o ra n da s i cs p e c i a lp r o c e s s o r , e t c i no r d e rt or e a l i z et h ev i d e oc o d i n g ，h 2 6 4v i d e oe n c o d e rb a s e do np cp l a t f o r mm a i n l yu s e st h e w i n d o w so p e r a t i n gs y s t e ma n dc p up r o c e s s o r ，t h i sk i n d o fs y s t e mi s s i m p l e s t ，b u ti t i s i n c o n v e n i e n tf o rm o b i l ec o n s u m e r s t h ed s pe m b e d d e dp r o c e s s o r ，c a nr e a l i z ea l lk i n d so f c o m p l e xc o m p u t a t i o n a n di th a sh i g h e rp r e c i s i o n ，m o r ef l e x i b i l i t y ，f a s t e rv e l o c i t y ，s m a l l e rs i z e a n dc o s t i na d d i t i o n ，a s i cs p e c i a lp r o c e s s o ri s w i d e l yu s e dt ot h es e n s i t i v ep e r f o r m a n c e + p l a t f o r m ，h o w e v e r ，i ti ss h o r to ff l e x i b i l i t ya n dd i f f i c u l tt or e v i s i o na n dp r o m o t i o n t h em a i nw o r ko ft h i sa r t i c l ei n v o l v e st w oa s p e c t sa sf o l l o w s o nt h eo n eh a n d ，b a s e do n t h ep cp l a t f o r mil u c u b r a t es e v e r a li n t e r p r e d i c t i o na r i t h m e t i c s ，s u c ha st e r m i n a t i o na h e a d ，t w o s t a g e ss e a r c hs t r a t e g y ，a n ds oo n t h e na na r i t h m e t i co fa l t e m a t es i z em a c r o b l o c km o v e e s t i m a t i o nb a s e do ni n t e r - m o v ec o m p l e x i t yi sp r o p o s e di nt h i sa r t i c l e a sar e s u l t ，t h i sa r i t h m e t i c i m p r o v e se n c o d e rv e l o c i t ya n dp s n re f f e c t i v e l y ，a tt h eo n l yc o s to fb i tr a t er i s i n gal i t t l e o nt h e o t h e rh a n d ，o nt h et m s 3 2 0d m 6 4 2d s pe m b e d d e dp r o c e s s o rp l a t f o r m ，is k i l l e dg r a s pt h e f u n c t i o no ft m s 3 2 0d m 6 4 2 ，a n dr e p l a n ti n t e r - p r e d i c t i o ne n c o d e rt ot h ep l a t f o r md m 6 4 2 。t h e n io p t i m i z et h ec o d em a i n l yf r o mt h r e ea s p e c t s ：c o m p i l i n go p t i o n s ，i n t r i n s i cf u n c t i o n r e w r i t i n g a n dc o m p i l a t i o nf u n c t i o nr e w r i t i n g 。a f t e ro p t i m i z a t i o n ，t h ee n c o d e rv e l o c i t yr i s e sg r e a t l y ，a n d t h ep s n rd o e s n t d e s c e n d s t u d y i n gt h r o u g h r e a lv i d e oc o d e ，w ec a nf i n dt h a tt h e i n t e r - p r e d i c t i o nc o d i n ga r i t h m e t i ca n do p t i m i z a t i o nc o d eh a v eg r e a ti m p o r t a n ta p p l i c a t i o nv a l u e o nt h ep l a t f o r mt m s 3 2 0d m 6 4 2 k e yw o r d s ：h 2 6 4i n t e r - p r e d i c t i o nx 2 6 4d s pt m s 3 2 0d m 6 4 2 i i 南京邮电大学学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：秘日期： 南京邮电大学学位论文使用授权声明 南京邮电大学、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电大学研究生部办理。 研究生签名：导师签名：日期： 南京邮电大学硕士研究生学位论文 前言 1 厶j 一 日l 百 目前，计算机网络已在人类社会进步中发挥着愈来愈重要的作用。伴随着“信息高速 公路 的开通，多媒体通信也被赋予非常广泛的内涵。在通信网络中的多媒体终端和多媒 体通信将是多媒体技术的最重要应用领域之一。其中，对人类生活、学习和工作产生深刻 影响的当属可视电话、视频会议、信息点播和计算机协同工作系统等等。信息点播包括有 桌面多媒体通讯系统和交互电视。通过桌面多媒体信息系统，人们可以远距离点播所需信 息，而交互式电视和传统电视的不同之处在于：用户在电视机前可对电视台节目库中的信 息按需选取，主动获取信息。计算机协同工作是指在计算机支持的环境中，一个群体协同 工作以完成一项共同的任务。另外计算机协同还能与多媒体相结合，形成实时多媒体协同 技术。实时多媒体协同技术在现实生活中的应用将非常丰富。例如，通过此项技术人们可 以在无线连接情况下，使用电视机玩电脑上运行的大型3 d 电子游戏，将p c 游戏变成真正 享受视听盛宴的t v 游戏，同时其他入还可以互不干扰地同步使用同一台电脑：利用此项 技术，人们可以用电视进行网络视频聊天，或者进行图像更为清晰且价格低廉的同步视频 电话会议；人们也可以通过此项技术观看实时的无线视频映像，投影还可以在多台电脑间 自由切换；还可以通过无线投影机的超大屏幕游戏，获得震撼级的视听享受。其中一项关 键技术就是视频图像的实时编码，这也是本文探讨的重点问题所在。 世界上主要有两大组织进行视频编码标准的制订，它们是i s o i e c 和i t u t 。这两个组 织都根据不同的应用特点分别制订了m p e g 1 m p e g 2 m p e g 4 和h 2 6 1 h 2 6 3 h ，2 6 4 等国 际标准，极大地推动了视频编码技术的发展。在2 0 0 1 年l1 月份，为了进一步提高编码效率 和通信质量，m p e g 和i t u t 联合组成 j v t ( j o i n tv i d e ot e a m ) 并结合各自的优点共同推出 了新的压缩编码标准h 2 6 4 a v c 。h 2 6 4 在继承了以前的编码标准成果基础上对编码效率、 抗误码健壮性、网络友好性、语义语法等方面进行了很大的改进。h 2 6 4 ； 1 以前的标准在编 码功能单元上是相同的，包括运动估计和补偿、量化、变换编码和熵编码，但各个单元的 实现细节上有所改进，随着h 2 6 4 的几种开源代码的出现，对代码性能如提高信噪比、降低 码率、降低编解码复杂度以提高运行速度等的优化和工程移植应用成为了视频压缩编码领 域的热点问题。本文主要对h 2 6 4 的帧间编码技术进行了研究、分析和移植优化，在信噪比 基本不变( 或稍有提高) 的情况下，使得编码速率得到提高。 如何有效地在实际研究系统和工程中实现h 2 6 4 等图像压缩标准是当前多媒体通信中 面临的主要难题之一，常用实现平台有基于p c 通用处理器、d s p 嵌入式处理器、a s i c 专 l 南京邮电大学硕士研究生学位论文前言 用集成电路系统等。实际使用中人们可根据性能、功耗、可扩展性等特点来选择合适的平 厶 口。 一方面，p c 平台是进行实时视频处理的主要平台之一。为了提高p c 机的多媒体功能， 使之适应多媒体技术的特点，i n t e l 和a m d 等p c 处理器生产商，推出了多种新技术，如 s i m d ( 单指令多数据) 指令，用一条指令可以处理多个数据，大大提高了软件运行速度，在 p c 上利用软件来实现实时视频已变为可能，本文中对h 2 6 4 帧间预测编码算法研究主要是 基于p c 平台的，算法优化后，编码速度和信噪比都有所提高。 另一方面，利用专门的硬件则有可能达到更好的性能和效果。t i 公司的d m 6 4 x 系列、 a d i 公司b f 5 3 x 、e q u a t o r 公司的b s p 1 5 、c r a d l e 公司的c t 3 4 0 0 、p h i l i p s 公司的 t r i m e d i a n e x p e r i a 系列都是专门面向图像及多媒体处理的d s p 。 本文所选的代码移植应用的硬件平台是美国德州仪器公司( t i ) 的t m s 3 2 0 d m 6 4 2 开发 系统。t m s 3 2 0 d m 6 4 2 是t i 公司在2 0 0 3 年推出的一款新型数字媒体处理器，它是在 t m s 3 2 0 c 6 4 x 的基础上增加了很多外设和接口开发出来的，所以，它能与t i 的其它c 6 4 x 数 字信号处理器进行代码兼容，它具有目前最先进的定点指令集。同时还能提供片上集成的 高精度视频端口、无缝以太网、多通道音频及6 6 m h z 的p c i 连接性。这种高集成度的处理 器，不仅使软件可编程性更加方便，还超越了许多传统的硬连线固定功能芯片组，从而大 大降低了系统成本，进一步简化了开发进程。我们将它作为实现和开发的平台，在其上进 行帧间编码算法的实现和优化，使得该研究成果具有重要的实际应用价值。 2 南京邮电大学硕士研究生学位论文第一章绪论 第一章绪论 2 0 世纪9 0 年代以来，i t u t 和i s o i e c 制定了一系列视频编码技术标准和建议，这 些标准和建议的制定极大地推动了多媒体技术的应用化和产业化。从技术演进的角度看， 1 9 9 4 年完成的第一代信源编码技术标准m p e g 1 和m p e g 2 的压缩能力为5 0 7 5 倍。进入 新世纪以来，第二代信源编码技术标准相继出台，压缩效率可达到1 0 0 1 5 0 倍。第二代信 源编码技术标准将使原来的国际数字电视和数字音视频产业格局重新整合。 近1 0 年以来，视频通信发展较快，业务范围日渐扩大，表现为以下几方面：( 1 ) 视频 会议，( 2 ) 视频电话，( 3 ) 远程学习和培训，( 4 ) 远程医疗，( 5 ) 网上游戏，( 6 ) 视频点播等等。 数字电视的发展已迫在眉睫，怎样通过网络和视频点播方式让老百姓看到高质量、低价格、 内容丰富健康的数字影片已是一个亟待解决的问题。视频信息的内容千变万化，一幅图像 内容可能是平坦变化不大的，也可能是多细节的；可能是静止的，也可能是运动的；而且 同一幅图像中各个部分可能又是极不相同的。针对这种复杂情况，为了保证压缩质量，唯 一的办法是把图像分成许多大小不同的块，对各个块按不同内容自适应地采取不同的编码 模式。在h 2 6 1 h 2 6 3 、m p e g 1 m p e g 4 中，把图像分成8 x 8 或1 6 x 1 6 的方块，然后对各 个方块视其内容分成帧内、帧间、跳帧等不同编码模式。在h 2 6 3 之后，i t u t ( 在与m p e g 的合作下) 的下一代视频编解码器h 2 6 4 在性能上大大超越了h 2 6 3 。h 2 6 4 的目标是希望 新的编解码器能够在比相对以前的视频编码标准( 比如h 2 6 3 ) 低很多的码率下提供很好的 视频质量，同时，并不增加很多复杂的编码工具。另外一个目标是可适应性，即该编解码 器能够在一个很广的范围内使用( 如：不同码率以及不同图像分辨率的应用) ，并且能在各 种网络和系统上工作。h 2 6 4 的应用范围包括可视电话、视频会议、t v 、d v d 以及硬盘存 储、流媒体、数字摄影、数字视频制作等等。 1 1 视频编码技术的演进 1 1 1 视频编码标准及主要技术 一、国际视频编码标准回顾 国际上视频编解码标准主要有两大系列：i s o i e cj t c l 针对多媒体存储应用制定的 m p e g 系列标准；i t u 针对多媒体通信制定的h 2 6 x 系列视频编码标准。 1 h 2 6 x 系列视频编码标准 南京邮电大学硕士研究生学位论文 第一章绪论 1 9 8 4 年c c i t t ( 国际电报电话咨询委员会) 第1 5 研究组成立了一个专门研究电视电话 的编码问题专家组，经过5 年以上的研究和努力，在1 9 9 0 年1 2 月编修完成了h 2 6 1 。在 h 2 6 1 的基础上，1 9 9 6 年i t u t 完成了h 2 6 3 编码标准，在编码算法复杂度增加很少的基 础上，h 2 6 3 能提供更好的图像质量、更低的速率。目前，h 2 6 3 编码是i p 视频通信采用 最多的一种编码方法。1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 建议的第二版，它提供了1 2 个新的可协商模式和其他特征，进一步提高了压缩编码性能。 c c i t th 2 6 1 标准始于1 9 8 4 年，实质完成于1 9 8 9 年，是m p e g 的先驱，m p e g 1 可 看作是h 2 6 1 的扩展集。h 2 6 3 始于1 9 9 2 年，第一版完成于1 9 9 5 年。 2 m p e g x 系列视频编码标准 m p e g 是国际标准化组织和图际电工委员会第一联合技术组( i s o i e cj t c l ) 1 9 8 8 年成 立的运动图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ) 的简称，负责数字视频、音频和其他媒 体的压缩、解压缩、处理和表示等国际技术标准的制定工作。 m p e g 专家组已经和正在制定的标准包括： ( 1 ) m p e g 1 标准：1 9 9 2 年1 1 月正式成为国际标准，名称为“用于数字存储媒体速率为 1 5 m b p s 的运动图像及其伴音的压缩编码”。m p e g 1 的支持的视频参数为3 5 2 x 2 4 0 x 3 0 帧 秒或相当。 ( 2 ) m p e g 2 - 1 9 9 4 年1 1 月成为国际标准( i s o i e c l 3 8 1 8 ) ，这是一个适应性广的动态影 像和声音编码方案。m p e g - 2 可用于数字通信、存储、广播、高清晰度电视等的压缩编码。 ( 3 ) m p e g 4 - 注意到低带宽应用的需要和交互式图形应用、交互式多媒体的快速发展， m p e g 专家组成立了m p e g 一4 工作组，以促进上述三个领域的集成。1 9 9 9 年初，定义标准 框架的m p e g 4 ( 第一版) 成为国际标准( i s o i e c1 4 4 9 6 1 ) 。 ( 4 ) m p e g 7 与m p e g 2 1 标准：m p e g 7 是面向多媒体信息搜索、过滤、管理和处理 的内容表达标准，2 0 0 1 年7 月成为国际标准。正在制定的m p e g 2 1 的重点是多媒体框架， 为与多媒体内容递交相关的所有已开发的和正在开发的标准提供基础体系。 3 第二代视频编码标准 1 9 9 4 年制定的m p e g 2 标准和h 2 6 3 标准是国际音视频标准领域的一个里程碑。近十 年来，音视频编码技术本身和产业应用背景都发生了明显变化。i t u t 在1 9 9 9 年8 月推出 h 2 6 l 标准的第一版测试模型。从2 0 0 1 年开始，i s o 和i t u 开始组建了联合视频工作幺l e t ( j o i n t v i d e ot e a m ，t ) ，在原有视频编码标准基础上开发新的视频编码h 2 6 l 标准。 h - 2 6 l 标准是一套兼顾广播和电信、覆盖从低码率通信到高清晰电视的广域标准。在 i s o i e c 中，该标准的正式名称为m p e g 4a v c ( a d v a n c e dv i d e oc o d i n g ) 标准；在i t u t 4 南京邮电大学硕士研究生学位论文第一覃绪论 中的正式名称为h 2 6 4 标准。2 0 0 3 年下半年，i s o i e c 以m p e g 一4 第十部分( i s o i e c 1 4 4 9 6 1 0 ) 的名义正式发布了这项标准。m p e g 4a v c h 2 6 4 是第二代标准中的个重要代 表。 二、视频编码主要技术 人们根据统计学或视觉心理学特征开发出了各种视频数据压缩编码技术，这些压缩编 码技术可以有多种分类方式，我们将其归类为：无损( 1 0 s s l e s s ) 压缩和有损( 1 0 s s y ) 压缩，或对 称压缩和不对称压缩。常用的是分为：无损压缩编码，能够精确地重建原始图像；有损压 缩编码，引入失真但尽量使失真不显著。 1 无损压缩编码 无损压缩是在解码后还原出来的数据与原始数据完全一致，也就是说压缩中没有丢失 任何信息，能够精确地重构原始图像。这种既能压缩信息量又不对信息造成任何影响的无 损压缩方法最符合视频制作的要求。但这种压缩方法有一定的适用条件：即它对那些内容 重复比较多的信息压缩倍率最大，而对没有重复信息或重复信息很少的文件压缩比较小。 这就限制了它在数字视频领域中的应用。无损压缩编码，又称统计编码，统计编码中常用 的编码有哈夫曼编码( h u f f m a nc o d i n g ) 、算术编码( a r i t h m e t i cc o d i n g ) 、游程编码( r u n 1 e n g t h c o d i n g ) 等。 2 有损压缩编码 有损压缩法压缩了熵，会减少信息量。因为熵定义为平均信息量，而损失的信息是不 能再恢复的，因此这种压缩法是不可逆的。熵压缩主要有两大类：特征抽取和量化。特征 抽取的编码方法有基于模型的编码、分形编码等。在实际应用上，量化是更为通用的熵压 缩技术，包括特征提取、零记忆量化、预测编码、直接映射、变换编码等。其中，预测编 码和变换编码是最常见的实用压缩编码方法。 ( 1 ) 预测编码 所谓预测编码，是根据离散信号之间存在的一定的相关性，利用前一个或多个信号对 下一个信号进行预测，然后对实际值和预测值的差( 预测残差) 进行编码。基本思想：若预 测比较准确，那么预测误差就会很小，在同等精度要求的条件下，就可以用比较少的比特 进行编码，达到压缩数据的目的。最早的预测编码是4 0 年代提出的d e l t a 编码。因为整个 数据信源的实际模型很复杂且是时变的，在大多数情况下准确的预测几乎不可能，所以预 测器设计时通常用前面几个样值来预测下一样值，大多数使用线性预测。预测编码中典型 的方法有脉冲编码调s u ( p c m ) 、差分脉冲编码调审i j ( d p c m ) 、自适应脉冲编码调$ i j ( a d p c m ) 等，它们适用于声音、图像数据的压缩。因为这些数据均由采样得到，相邻样值之间的差 气 南京邮电大学硕士研究生学位论文第一章绪论 不会相差很大，可以用较少位来表示残差。由于在对残差编码时进行了量化，因此预测编 码是一种有失真编码方法。 ( 2 ) 变换编码 所谓变换编码，是利用大多数图像的共同特征：平坦和内容缓慢变化区域占据一幅图 像的大部分，而细节和内容突变区域则占小部分。换言之，图像中直流和低频区占大部分， 高频区占小部分，因而，如果将空间域图像变换到频域或者所谓变换域，就会产生相关性 很小的一些变换系数，再对它们进行压缩编码，就是所谓的变换编码。变换编码是通过信 号变换来消除图像数据空间相关性的一种有效方法。 典型的变换编码系统经历以下几个步骤：正变换量化一编码( 一传输一解码一反变 换) 。变换是把信号从一个域映射到另一个域，使信号在变换域里易于进行压缩，因为变换 后的数值更独立和有序。然后，量化操作通过比特分配可以有效地压缩数据。在变换编码 系统中，用于量化一组变换样值的比特数总是小于对所有变换样值用定长进行均匀量化编 码所需的总数，所以量化使数据得到压缩，是变换编码中很关键的一步。 1 1 2 各种视频编码标准的类比 m p e g 标准都采用混合编码框架，包括变换、量化、熵编码、帧内预测、帧间预测、 环路滤波等技术模块。m p e g 1 编码标准( i s o i e c1 11 7 2 ) 包含5 个部分：依次为系统、视频、 音频、验证实验和软件模拟。其核心技术参考了相关标准化组织的研究成果，如j p e g 和 h 2 6 1 等。运动图像的帧内编码技术采用了j p e g 推荐的d c t 技术，除此之外采用了独特的 帧间压缩编码技术( 运动补偿技术) 。m p e g 2 编码标准( i s o i e c1 3 8 1 8 ) 也包含了类似 m p e g 1 的相同的5 个部分。m p e g 2 音频编码标准在与m p e g 1 兼容的基础上实现低码率和 多声道扩展。m p e g 一4 已经不再是个单纯的视频音频编解码标准，它更多定义的是一种格 式和框架，从而为多媒体数据压缩提供了一个更广泛的平台。此外，m p e g 4 还提供了基 于对象的分级功能。正在制定的m p e g 7 ( 多媒体内容描述接口) 标准，力图对各种不同类型 的多媒体信息进行标准化的描述，该描述与所描述的内容相联系以便快速有效的搜索。 h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善和改变以提高性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效果，h 2 6 3 的运动补偿使用半像素精度， h 2 6 3 支持5 种分辨率等。其第一版于1 9 9 5 年完成，在所有码率下都优于之前的h 2 6 1 。 h 2 6 4 和现有的视频编码标准相比，可以提供至少一倍以上的更加出色的压缩效率。h 2 6 4 的核心技术与之前的标准相同，仍采用基于预测变换的混合编码架构，基本处理没有过大 6 南京邮电大学硕士研冗生学位论文第一苹绪论 改变，但通过对每个细节特别处理从而提升整体效率，另外n a l 层概念的标准化使其利 于适应各种网络条件下的传输。h 2 6 4 a v c 包含一系列新特性：( 1 ) 多参考帧运动补偿， ( 2 ) 变块尺寸运动补偿，( 3 ) l 4 像素精度的运动估值，( 4 ) 基于上下文的二元算术编码，( 5 ) 冗余条带，( 6 ) 补充增强信息，( 7 ) 辅助图层( a u x i l i a r yp i c t u r e s ) ，( 8 ) 图像顺序计数等。表1 是针对m p e g 2 和h 2 6 4 a v c 编码标准的比较结果。 表1m p e g 一2 和h 。2 6 4 a v c 视频编码标准的比较 视频编码标准m p e g 2 视频h 2 6 4 a v c 视频 只在频域内进行 帧内预测 基于4 x 4 块，9 种亮度预测模式，4 种色度预测模式 d c 系数差分预测 多参考帧预测 只有i 帧 最多1 6 帧 1 6 x 1 6 变块大小运动补偿1 6 1 6 、1 6 x 8 、8 x16 、8 x 8 、8 x 4 、4 x 8 、4 x 4 16 x 8 ( 场编码) 独立的空域或时域预测模式，若后向参考1 9 贞中用于导 b 帧宏块直接编码 无 出运动矢量的块为帧内编码时只是视其运动矢量为0 ，依 模式 然用于预测 b 帧宏块双向预测编码前后两个运 模式动矢量 编码前后两个运动矢量 仅在半像素位置 坛像素运动补偿 k 像素位置采用6 拍滤波，坛像素位置线性插值 进行双线性插值 8 x 8 浮点d c t 变 4 x 4 整数变换，编解码端都需要归化，量化与变换归 变换与量化 换，除法量化一化相结合，通过乘法、移位实现 单一v l c 表，适应c a v l c 与周围块相关性高，实现较复杂 熵编码 性差 c a b a c ：计算较复杂 环路滤波无 基于4 x 4 块边缘进行，滤波强度分类繁多，计算复杂 数据分割、复杂的f m o a s o 等宏块、条带组织机制、 容错编码简单的条带划分 强伟l j i n t r a 块刷新编码、约束性帧内预测等 表1 中的缩写词解释如下： d c t ( d i s c r e t ec o s i n et r a n s f o r m ) ：离散余弦变换 v l c ( v a d a b l el e n g t hc o d i n g ) ：变长编码 c a v l c ( c o n t e x t b a s e da d a p t i v ev a r i a b l el e n g t hc o d i n g ) ：基于上下文的自适应变长码 c a b a c ( c o n t e x t b a s e da d a p t i v eb i n a r ya r i t h m e t i cc o d i n g ) ：基于上下文的自适应二进制算 术编码 f m o ( f l e x i b l em a c r o b l o c ko r d e r i n g ) ：灵活的宏块排序 a s o ( a r b i t r a r ys l i c eo r d e r i n g ) ：任意条带排列 7 南京邮电大学硕士研究生学位论文第一章绪论 1 2 本文主要工作 h 2 6 4 标准是最新的视频编码标准，它采用了一系列先进的编码技术，在编码效率、抗 误码能力、网络适应性等方面表现出超越以往各标准的优势，h 2 6 4 的研究和应用将大大推 进视频技术的发展。另外，嵌入式技术在近年来得到了广泛的关注，在工业制造、日常生 活乃至军事领域，嵌入式设备以其软硬件可裁减、体积小、便于升级等优点取代了很多基 于p c 、a s i c 的解决方案。d m 6 4 2 是t i 公司推出的j 款功能强大的d s p 处理器，主频6 0 0 m h z ， 它具有独立的、标准的p c i 总线结构：4 m x 6 4 b i t 同步动态存储器( s d r a m ) ，存储多达3 2 帧 图像；8 3 2 m 位f l a s h 可以写进大量程序，具备自启动功能；l o 至t j l 0 0 m 以太网端口等显 著的优势。 本文主要工作是研究h 2 6 4 中的帧间编码原理及其在t i 公司的嵌入式 d s p ( t m s 3 2 0 d m 6 4 2 ) 上的应用，研究了h 2 6 4 标准中的关键技术，熟悉视频编码的基本思 想和原理，并对其中的帧间编码原理进行了重点分析，在d s p 上进行优化以满足实际应用。 本课题主要工作分以下几个阶段： 一、深入理解h 2 6 4 协议及源代码。着重研究h 2 6 4 帧间编码原理、性能和程序。 二、根据相关资料和研究结果，对h 2 6 4 帧间编码的压缩效率、编码速度以及信噪比等 参数从性能上进行进一步分析，提出了一种复杂度和效率适中的新方案在p c 上实现h 2 6 4 的帧间编码。该方法在码率增加很少的情况下，有效地降低编码计算的复杂度，提高编码 效率。 三、深入掌握t m s 3 2 0 d m 6 4 2d s p 系统结构，在熟练掌握d s p 指令集以及系统评估板性 能的基础上，将提出的h 2 6 4 帧间编码方案结合d m 6 4 2 特性，优化其编程的框架结构，实 现在d s p 平台上视频图像的编解码，使得该研究成果具有重要的实际应用价值。 1 3 本章小结 本章主要介绍了i t u t 和i s o i e c 制定的一系列视频编码技术标准，分析了h 2 6 x 系 列视频编码标准和m p e g x 系列视频编码标准的演进与发展，并阐述了一系列视频编码的 主要技术。概述了h 2 6 4 标准新特点以及t i 公司d m 6 4 2d s p 处理器的特性与优势。最后 说明本文的主要工作，即：h 2 6 4 帧间编码性能改进，及其在d m 6 4 2 上的移植和优化应用。 南京邮电大学硕士研究生学位论文第二章h 2 6 4 视频编码关键技术概述 第二章h 2 6 4 视频编码关键技术概述 2 1h 2 6 4 视频编码总体结构设计 h 2 6 4 标准有三个档次( p r o f i l e ) ，分别是b a s e l i n ep r o f i l e 、m a i np r o f i l e 和e x t e n dp r o f i l e 。 每个p r o f i l e 有相应的算法组成和语法结构。b a s e l i n ep r o f i l e 是基本框架，面向复杂度低， 传输延迟小的应用对象；m a i np r o f i l e 面向运动特性复杂、快速、传输延迟大的应用对象； e x t e n dp r o f i l e 面向应用要求更高的对象。三者分别适用于不同的业务需求：b a s e l i n ep r o f i l e 是为会议电视、可视电话等实时视频通信设计的：m a i np r o f i l e 针对电视广播应用设计的； e x t e n dp r o f i l e 则面向视频流媒体、移动信道传输及其他场合的应用。 2 1 1h 2 6 4 视频编码流程 h 2 6 4 的基本算法是通过帧内预测和运动补偿消除空间冗余；通过帧间预测和运动补偿 消除时间冗余；通过变换编码消除频域冗余：基本的功能模块与h 2 6 3 丰h 比没有太大变化。 h 2 6 4 与h 2 6 3 的区别主要表现在宏块( m a c r o b l o c k ) 的分割、d c t 变换的算法、熵编码算法 以及其他一些技术细节上。h - 2 6 4 标准的视频编解码的基本结构与先前标准h - 2 6 3 相似，采 用预侧编码和变换编码相结合的混合编码结构。与以前的标准一样，h 2 6 4 a v c 定义了编 码和解码的视频流标准语法与必须包含的一些功能模块，而为具体编解码器的实现留有了 很大的余地。在h 2 6 4 a v c 中，基本的模块，如预测、变换、量化、熵编码等与以前的标 准是一致的，关键的区别在于每个模块的技术细节上，这也是h 2 6 4 a v c 之所以能够提高 解码图像质量、降低码率的要点所在，h 2 6 4 编码器基本结构如图2 1 所示。 f 。l十爪“广= 口厂= 工_ 1xf = = = 厂= = 一 l 兰堕苎i 1 兰兰厂 竺兰广1 兰! = 丁1 翌竺! ! 广一 固 p 瑙要卜剐 一一固囤；一4 - 、d 。r 五；石_ 1 五i 1 一- + 。l 兰兰竺r 1 竖! 兰r 一 图2 。1h 2 6 4 编码器基本结构图 9 南京邮电大学硕士研究生学位论文 第一二章h 2 6 4 视频编码关键技术概述 2 1 2h 2 6 4 视频编码标准的新技术 1 分层设计技术 h 2 6 4 的算法在概念上可以分为两层：视频编码层( v i d e oc o d i n gl a y e r , v c l ) 负责高效 的视频内容表示，网络提取层( n e t w o r k a b s t r a c t i o nl a y e r , n a l ) 负责以网络所要求的恰当的 方式对数据进行打包和传送，如图2 2 所示。在v c l 和n a l 之间定义了一个基于分组方 式的接口，打包和相应的信令属于n a l 的一部分。这样，高编码效率和网络友好性的任 务分别由v c l 和n a l 来完成。v c l 层包括基于块的运动补偿混合编码和一些新特性。与 前面的视频编码标准一样，h 2 6 4 没有把前处理和后处理等功能包括在草案中，这样可以 增加标准的灵活性。n a l 负责使用下层网络的分段格式来封装数据，包括组帧、逻辑信 道的信令、定时信息的利用或序列结束信号等。n a l 包括自己的头部信息、段结构信息和 实际载荷信息，即上层的v c l 数据。 甲v c l 甲l v c l 一一一一一一一一 - 一一一一一二一_ 一一一n a l 一- v c l 接一一v i 一 广主l 广工1 l n l ll n a l i n a l 编码器接口i 塑辈矍ll 堑孳塑f n a l 解码器接门 一一一一一一一l 一一一一一一j 一一一一一一一一一一一 上 传输层 i h 3 2 01im 雾2f i h 3 2 4 m i ih 3 2 3 i p h 3 2 4i 图2 2h 2 6 4 编码器分层结构传输图 2 高精度、多模式运动估计 h 2 6 4 中采用l 4 像素甚至1 8 像素精度的运动估计。即真正的运动矢量的位移可能是 以l 膳甚至1 8 像素为基本单位的。显然，运动矢量位移的精度越高，则帧间剩余误差越 小，传输码率越低，即压缩比越高。在h 2 6 4 中采用了6 阶f i r 滤波器( 1 ，5 ，2 0 ，2 0 ，5 ，1 ) 的 内插获得1 2 像素位置的值。当1 2 像素值获得后，1 以像素值可通过线性内插获得，用8 抽头滤波器实现1 8 像素精度。对于4 ：1 ：1 的视频格式，亮度信号的1 4 像素精度对应于色 度部分的1 8 像素的运动矢量，因此需要对色度信号进行1 8 像素的内插运算。理论上， 如果将运动补偿的精度增加一倍( 例如从整像素精度提高到1 2 像素精度) ，可有 o 5 b i t s a m p l e 的编码增益，但实际验证发现在运动矢量精度超过l 8 像素后，系统基本上 i o 南京邮电大学硕士研究生学位论文第二章h 2 6 4 视频编码关键技术概述 就没有明显增益了。因此，在h 2 6 4 中，只采用了1 4 像素精度的运动矢量模式，而不是 采用1 8 像素的精度。 h 2 6 4 支持7 种不同模式的宏块和子宏块，分别为：1 6 x 1 6 、1 6 x 8 、8 x 1 6 、8 x 8 、8 x 4 、 4 ) ( 8 、4 x 4 ，如图2 3 所示。通过率失真优化( r a t ed i s t o r t i o no p t i m i z a t i o n ，r d o ) 来选择不同 的块尺寸。于是，在每个宏块中可包含有1 、2 、4 、8 或1 6 个运动矢量。在h 2 6 4 中，允 许编码器使用多于一帧的先前帧用于运动估计，这就是所谓的多帧参考技术。 i 叙1 61 6 x 88 x 1 6 8 x 8 口日田田 口白面由 图2 3 宏块和子宏块的分割 3 4 x 4 块的整数变换 视频压缩编码中以往的常用单位为8 x 8 块，在h 2 6 4 中却采用小尺寸的4 x 4 块，由于 变换块的尺寸变小了，运动