（通信与信息系统专业论文）基于tms320dm642的h264视频编解码系统的研究和实现.pdf

摘要 摘要 近年来数字视频技术得到了飞速发展，并己应用到各个领域。图象通信是人 们的需求趋势，为了利用有限的带宽，在进行图象通信时，我们自然选择了在尽 量不损失图象质量的同时压缩图象。h 2 6 4 a v c 是i t u 和 s o 在2 0 0 3 年5 月共同 发布的新一代视频压缩编码标准。h 2 6 4 标准的推出，是视频编码标准的一次重 要进步，它与现有视频压缩编码相比，在编码效率和信道自适应能力上都具有明 显的优越性。但同时也带来了算法复杂度的大幅度提高，是现有编码压缩标准的 4 倍以上。随着集成电路技术的快速发展，特别是高速数字媒体处理器( 如t i 公 司的t m s 3 2 0 d m 6 4 2 ) 的出现，才使h 2 6 4 的应用成为现实。h 2 6 4 正逐渐成为当前 多媒体领域中视频压缩方面研究的热点。 本文首先对现代视频编码标准的发展和h 2 6 4 编码的优势做了简单的介绍， 并对本课题的研究背景、来源和主要工作进行了说明。接着简单的介绍了h 2 6 4 视频压缩编解码框架、层次化结构安排及码流结构，并针对h 2 6 4 编解码中的关 键技术进行详细的论述。然后对t i 公司的t m s 3 2 0 d m 6 4 2 芯片的系统结构进行 了简单的介绍，根据t m s 3 2 0 d m 6 4 2 的特点，参考t i 公司推出的t m s 3 2 0 d m 6 4 2 e v m ( e v a l u a t i o n m o d u l e ，评估模块) ，结合本课题的具体应用，设计了一个通用 的实时图象处理平台的硬件系统，并详细分析了设计中，特别是布板时要考虑的 电源、信号完整性等问题。最后采用e x p r e s s d s p ( 快速d s p ) 软件技术，以 e x p r e s s d s p r e f e r e n c ef r a m e w o r k5 框架为基础实现了整个编解码软件系统，包 括接口驱动的开发和h 2 6 4 视频压缩算法在d s p 上的移植和优化。 通过充分的理论研究和设计调试，h 2 6 4 编解码系统基本完成，达到最初的 设计目标。设计的实时图象处理平台也可以作为研究其他视频处理算法的通用视 频处理平台，采用的h 2 6 4 视频压缩算法具有很重要的研究和应用价值。希望从 事多媒体技术理论研究的研究人员、数字视频技术开发人员以及其他人员可以从 中获得有益的参考和启发。 关键词：t m s 3 2 0 d m 6 4 2 ；h 2 6 4 ；实时图象处理平台；视频压缩 a b s t r a c t a b s t r a c t t h ed i g i t a lv i d e ot e c h n o l o g yh a sd e v e l o p e da tf u l ls p e e di nr e c e n ty e a r s ，a n dh a s b e e na p p l i e di ne v e r yf i e l d v i d i oc o m m u n i c a t i o nb e c o m ep e o p l e sd e m a n dt r e n d ，i n o r d e rt ou t i l i z el i m i t e db a n d w i d t h ，i nt h ep r o c e s so fv i d e oc o m m u n i c a t i o n ，w e n a t u r a l l ys e l e c tv i d e oc o m p r e s s i o nw h i c ht r y i n gn o tt ol o s sv i s i o nq u a l i t y h 2 6 4 a v c i sn e wg e n e r a t i o n a lv i d e oc o m p r e s s i o ns t a n d a r dw h i c hw e r ea p p r o v e db yi t ua n di s o t o g e t h e ri nm a y2 0 0 3 t h ea p p e a r a n c eo fh 2 6 4s t a n d a r d s i sa ni m p o r t a n tp r o g r e s so f t h ev i d e oc o d i n gs t a n d a r d ，c o m p a r i n gt ot h o s ee x i s t i n gv i d e oc o m p r e s s i o ns t a n d a r d ，i t h a so b v i o u ss u p e r i o r i t yo nc o d i n ge f f i c i e n c ya n dc h a n n e la d a p t i v ec a p a c i t y b u ti nt h e s a m et i m e ，i tl a r g e l yi n c r e a s e sa l g o r i t h mc o m p l e x i t y ，w h i c hi s4t i m e sm o r et h a nt h o s e e x i s t i n gv i d e oc o m p r e s s i o ns t a n d a r d s w i t hf a s td e v e l o p m e n to fi n t e g r a t e dc i r c u i t t e c h n o l o g y , e s p e c i a l l yt h ea p p e a r a n c eo fh i g hs p e e dd i g i t a lm e d i ap r o c e s s o r ( s u c ha s t m s 3 2 0 d m 6 4 2o ft ic o m p a n y ) ，m a k e st h ea p p l i c a t i o no fh 2 6 4c o m et r u e h 2 6 4 b e c o m et h ef o c u so fs t u d i n gv i d e oc o m p r e s s i o ni nm u l t i m e d i af i e l da t p r e s e n t g r a d u a l l y i nt h ep a p e r ，f i r s t l y ，w es i m p l yi n t r o d u c et h ed e v e l o p m e n to fm o d e r nv i d e o c o d i n gs t a n d a r da n dt h ea d v a n t a g e so fh 2 6 4c o d i n gs t a n d a r d ，a n de x p l a i nt h e r e s e a r c hb a c k g r o u n d ，s o u r c ea n dm a i nt a s ko ft h i ss u b j e c t t h e nw es i m p l yi n t r o d u c e t h ef r a m e w o r k ，l e v e ls t r u c t u r ea r r a n g i n ga n db i t s t r e a ms t r u c t u r eo fh 2 6 4v i d e o c o m p r e s s i o n ，a n dd i s c u s sh 2 6 4c o d i n ga n dd e c o d i n gk e yt e c h n o l o g yi nd e t a i l a n d t h e na f t e rs i m p l yi n t r o d u c i n gt h es y s t e m a t i cs t r u c t u r eo ft m s 3 2 0 d m 6 4 2c h i po ft i c o m p a n y ，a c c o r d i n g t ot h ec h a r a c t e r i s t i co ft m s 3 2 0 d m 6 4 2 ，w ec o n s u l tt i t m s 3 2 0 d m 6 4 2e v m ( e v a l u a t i o nm o d u l e ) p r o v i d e db yt ic o m p a n y ，a n dc o n s i d e r t h es p e c i a la p p l i c a t i o no fo u rs u b j e c t ；t od e s i g nah a r d w a r es y s t e mo fac o m m o n r e a l t i m ei m a g ep r o c e s s i n gp l a t f o r m ，a n da n a l y s et h ep r o b l e mo fd e s i g ni nd e t a i l ， e s p e c i a l l yp o w e ra n ds i g n a li n t e g r a l i t yp r o b l e mi nt h ep r o c e s so fd r a w i n gp c b f i n a l l y , w ea d o p te x p r e s s d s p t ms o f t w a r et e c h n o l o g y ，t or e a l i z et h ew h o l ec o d i n ga n d d e c o d i n gs o f t w a r es y s t e mb a s e do ne x p r e s s d s p r e f e r e n c ef r a m e w o r k5 i n c l u d i n g t h ed e v e l o p m e n to fi n t e r f a c ed r i v e r sa n dt h ep o r t i n ga n do p t i m i z i n gi nd s po fh 2 6 4 v i d e oc o m p r e s s i o na l g o r i t h m t h r o u g ha d e q u a t et h e o r e t i c a lr e s e a r c ha n dp r a c t i c a ld e s i g na n dd e b u g i n g ，h 2 6 4 e n c o d i n ga n dd e c o d i n gs y s t e mi sf i n i s h e db a s i c a l l y ，a n dr e a c h so u ro r i g i n a ld e s i g n d e s i r e r e a l t i m ei m a g ep r o c e s s i n gp l a t f o r md e s i g n e db yu sa l s oc a nb eac o m m o n 【i v i d e op r o c e s s i n gp l a t f o r m i nw h i c hw es t u d yo t h e rv i d e op r o c e s s i n ga l g o r i t h m ，h 2 6 4 v i d e oc o m p r e s s i o na l g o r i t h ma d o p t e db yu s ，h a sv e r yi m p o r t a n tr e s e a r c h a n d a p p l i c a t i o nv a l u e w eh o p et h ep e r s o n sw h ot a k i n gp a r ti nm u l t i m e d i at e c h n o l o g ya n d t h e o r yr e s e a r c h ，d i g i t a lv i d e ot e c h n o l o g yd e v e l o p m e n ta n do t h e rc a l lb e n e f i tf r o mi t k e y w o r d s ：t m s 3 2 0 d m 6 4 2 ；h 2 6 4 ；r e a l t i m ei m a g ep r o c e s s i n gp l a t f o r m ；v i d e o c o m p r e s s i o n i i i 华南理工大学 学位论文原创性声明 本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研 究所取得的研究成果。除了文中特别加以标注引用的内容外，本论文 不包含任何其他个人或集体已经发表或撰写的成果作品。对本文的研 究做出重要贡献的个人和集体，均己在文中以明确方式标明。本人完 全意识到本声明的法律后果由本人承担。 作者签名：扬够玩日期：少涉年月侈日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定， 同意学校保留并向国家有关部门或机构送交论文的复印件和电子版， 允许论文被查阅和借阅。本人授权华南理工大学可以将本学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存和汇编本学位论文。 保密口，在年解密后适用本授权书。 本学位论文属于 不保密口。 ( 请在以上相应方框内打“4 ”) 作者签名：扬箩参乙 导师签名：钐劾 日期：少哆年，月侈日 日期：埘年彭月箩日 第一章绪论 第一章绪论弗一早三：百下匕 1 1 引言 早些年间，由于带宽和处理能力的限制，人们在谈到数字信号处理时，更多 的是简单的语音信号处理。近年来，随着技术的发展，特别是半导体技术目新月 异的发展，人们可利用的带宽越来越大，处理能力越来越强，简单的语音已不满 足人们的需求，人们开始关注动态范围更广的音频处理直至现在的视频处理，人 们要求越来越多的视频应用。比如，希望和远方亲人通电话时能看到他们的笑容， 希望随时随地观看电影，希望拍摄家庭聚会的场景同亲友在未来分享回忆，希望 用视频监控保护着家人，等等。多媒体通信逐渐从梦想变为了现实的需求。作为 保证用户在任何时间、任何地点进行可视化交谈的视频技术，将在未来多媒体市 场中发挥重要作用。 1 2 数字媒体处理器 多媒体技术的高速发展阶段，新的视频国际标准不断出现，使用专用芯片设 计的应用系统更新速度太快，因此用可编程处理器为核心设计多媒体终端产品逐 渐受到人们的重视，而高速数字信号处理器( d s p ) 的快速发展也为此提供了基础。 视频处理方面已经由前几年的a s i c 方案转向d s p 平台，在d s p 平台上进行 视频产品开发有以下几方面的优势：第一，用户开发自由度更大，支持多种个性 化开发，可以满足市场不断提出的新的要求，在第一时间提升产品性能，增强产 品的竞争能力；第二，d s p 处理能力强，可以在一个d s p 上同时实现多路音视频 信号的处理；第三，开发周期短，实现快速技术更新和产品换代；第四，芯片功 耗低，对提高产品的稳定性提供可靠保障。 d s p 以其数字器件特有的稳定性、可重复性、可大规模集成，特别是可编程 性高和易于实现自适应处理等特点，给数字信号处理带来了极大的方便。特别是 近年来多媒体技术的发展，一类新的d s p 器件一一数字媒体处理器，越来越得到 产业界的重视。作为媒体处理器，除了应具有普通高速d s p 具有的高性能和高处 理能力外，同时为了满足多媒体处理的应用，还要提供方便的音视频功能。早期 有p h i l i p s 的t r i m e d i a 1 0 0 和i 3 0 0 ，及e q u a t o r 的m a pc a 等；近期全球最大的 d s p 制造商德州仪器( t i ) 也推出了一款高性能媒体处理器t m s 3 2 0 d m 6 4 2 。6 0 0 m h z 的t m s 3 2 0 d m 6 4 2 能以每秒3 0 帧的速度同时处理多达四个m p e g 2 视频译码并达到 d l 格式的分辨率( 7 2 0 x 4 8 0 ) 。同时片内集成了多种多媒体与通信外设，如支持 h d 的视频端口、无缝以太网、多信道音频以及6 6 m h zp c i 连接等。这是一款专 华南理工大学硕士学位论文 门为视频与影像市场量身定制的媒体处理器，也是本文将要重点介绍的图象处理 平台的核心处理器m 。 1 3 视频编码标准化现状 国际电信联盟( i n t e r n a t i o n a lt e l e c o m m u n i c a t i o nu n i o n ，i t u ) 与国际标 准化组织( i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ，i s o ) 是制定视频编 码标准的两大组织。由i t u 电信标准化组织( i t u t ，前称c c i t t ) 制定的标准主 要是针对实时视频通讯的应用，如视频会议和可视电话等，它们大致可以分为： 框架协议、视频标准、音频标准、控制协议、通信帧协议，其中针对视频编码的 标准以h 2 6 x 命名( 如h 2 6 l 、h 2 6 2 、h 2 6 3 和h 2 6 4 ) 。，；而由i s o 和i e c ( i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ，国际电工委员会) 的共同委员 会中的m p e g 组织( m o v i n gp i c t u r ee x p e r tg r o u p ) 制定的标准主要是针对视频 数据的存储( 如d v d ) 、广播电视、因特网或无线网上的流媒体等应用，它们以 m p e g x 命名( 如m p e g l ，m p e g 一2 ，m p e g 一4 ，m p e g 一7 等) n ，。两个组织也共同制定 了一些标准，h 2 6 2 标准等同于m p e g 一2 的视频编码标准，而最新的h 2 6 4 标准则 被纳入m p e g 一4 的第1 0 部分。 各种视频压缩编码标准都是根据人们在不同领域中对声像数据的要求所制定 的，并且随着人们的需求不断地发展。视频压缩编码标准按其制定的时间大概可 以用图1 1 进行描述。 匣夏叵 蔓互 显， m 叵p e g - 1 j u p e 至g - 4 二三m p e g - 7 标准 图1 1 视频压缩编码国际标准的发展 f i g u r e l - 1d e v e l o p m e n to f v i d e oc o m p r e s s i o ni n t e r n a t i o n a ls t a n d a r d 1 4 最新的h 2 6 4 标准 事实上，h 2 6 4 标准的开展可以追溯到1 9 9 6 年。1 9 9 6 年制定h 2 6 3 标准后， i t u t 的视频编码专家组( v c e g ，v i d e oc o d i n ge x p e r t sg r o u p ) 开始了两个方面 的研究：一个是短期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与 h 2 6 3 + + ) ；另一个是长期研究计划，制定一种新标准以支持低码率的视频通信。 长期研究计划产生了h 2 6 l 标准草案，在压缩效率方面与先期的i t u t 视频压缩 标准相比，具有明显的优越性。2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优 2 第一章绪论 势，随后i s o 与i t u 开始组建包括来自i s o i e cm p e g 与i t u tv c e g 的联合视频 组( j v t ，j o i n tv i d e ot e a m ) ，j v t 的主要任务就是将h 2 6 l 草案发展为一个国 际性标准。经过两年的努力，在2 0 0 3 年5 月，i t u 和i s o 共同发布了j v t 制定的 新一代视频压缩编码标准i t u tr e c h 2 6 4i s o i e c1 4 4 9 6 1 0a v c “1 。在i s o i e c 中该标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g 一4 标准的第1 0 个选项； 而在i t u - t 中则正式命名为h 2 6 4 标准。 自发布后，h 2 6 4 就以其强大的技术优势得到了业界强有力支持，特别是在 过去的2 0 0 4 年，h 2 6 4 作为技术标准不仅出现在不同的行业应用中，而且涉及各 个国家、各个组织。 2 0 0 4 年3 月，日本最大的六家电视广播公司决定采纳h 2 6 4 a v c 视频编解码 标准，用于向移动终端发送数字电视广播。日本电视广播公司预计将在2 0 0 6 年3 月以前开始提供面向移动接收的数字地面服务( t e r r e s t r i a ld i g i t a ls e r v i c e ) 。 2 0 0 4 年3 月e n v i v i o 公司在h n s 卫星网络上第一次发布h 2 6 4 a v c 编码内容。 这次直播的源内容采用1 2 m b p s 码流。传统的m p e g 一2 系统要用两倍的带宽来提供 同等质量的内容。 2 0 0 4 年6 月，d v d 论坛正式批准了h d d v d 光盘物理格式v e r s i o n1 0 ， h 2 6 4 a v c 成为主要的编码格式之一。 2 0 0 4 年9 月新一代光盘规格之一的蓝光光盘宣布将正式支持影像编码技术 h 2 6 4 a v c 。 2 0 0 4 年i l 月，d v b 组织正式批准接纳h 2 6 4 为下一代s d t v ，h d t v 编码标准 之一。 2 0 0 3 2 0 0 4 年，h 2 6 4 被3 g p p 逐步采纳。 h 2 6 4 已成为i t u 、m p e g 、d v d 、d v b 、3 g p p 等工业化组织共同推进的下一代 视频编码国际标准。我们知道，i t u 在电信领域，m p e g 和d v d 组织在家用数字a v 产品领域( 如d v d 、v c d ) ，d v b 组织在数字电视领域( d t v 、h d t v ) ，3 g p p 在下一 代移动通信领域都有着不可撼动的地位，他们均得到国际工业界数百家大公司的 支持，可以想见，在这些行业巨擘的推动下，h 2 6 4 技术的应用将迅速进入到视频 服务、媒体制作发行、固定及移动运营网络、平台开发、设备终端制造、芯片开 发等多个领域“1 。 1 5 课题研究背景和论文内容安排 h 2 6 4 标准的推出，是视频编码标准的一次重要进步，它与现有的m p e g 一2 、 m p e g 一4a s p 及h 2 6 3 相比，具有明显的优越性，特别是在编码效率上的提高。在 同等的画质下，h 2 6 4 比上一代编码标准m p e g 一2 平均节约6 4 的传输码流。而比 m p e g 一4a s p 和h 2 6 3 + 要平均节约3 9 的传输码流。这是全球数百名优秀专家6 3 华南理工大学硕士学位论文 年多的工作成果，也是自m p e g 一2 以来视频编码技术又一次真正革命性的突破。 但同时也带来了算法复杂度的大幅度提高，是现有编码压缩标准的4 倍以上。 目前随着集成电路技术的快速发展，特别是高速数字媒体处理器( 如t i 公司的 t m s 3 2 0 d m 6 4 2 ) 的出现，为实现高效的音视频信号处理提供了可能性，才使h 2 6 4 的应用成为现实。 在带宽受限或紧缺的应用场合，h 2 6 4 大大降低了网络带宽需要，同时其白 适应传输能力大大提高了系统抗抖动性能，将使得以前无法满足客户需要的视频 服务成为现实，并且显著提高画面质量，或降低后端服务器建造成本。特别适合 于无线数字视频监控系统，逐渐成为视频监控市场的主流。 本课题是信息产业部第七研究所“驻澳部队实时动态图像传输监控系统”的 一个子单元一一图象压缩解压缩处理单元，主要任务是设计一个基于 t m s 3 2 0 d m 6 4 2 的视频图象处理硬件平台，完成该平台的软件系统构建，并在此 平台上研究和开发能满足于无线电台传输的视频压缩算法一一h 2 6 4 a v c 。 本文各章内容安排如下： 第一章绪论，介绍本课题的研究背景、来源和主要工作内容。 第二章h 2 6 4 a v c 简介及其关键技术，首先简单的介绍了h 2 6 4 a v c 视频压 缩协议；然后，分析和讨论了h 2 6 4 a v c 编解码中的关键技术。 第三章基于t m s 3 2 0 d m 6 4 2 的实时图象处理平台的实现，首先介绍了 t m s 3 2 0 d m 6 4 2 芯片的特点：然后，详细介绍了该图象处理平台的硬件系统。 第四章基于t m s 3 2 0 d m 6 4 2 的h 2 6 4 编解码系统的实现，首先介绍了 t m s 3 2 0 d m 6 4 2 的软件开发环境；然后，实现整个编解码软件系统，包括接口驱 动的开发，h 2 6 4 视频压缩算法在d s p 上移植和优化。 最后是结论、参考文献和致谢。 4 第二章h 2 6 4 1 a v c 简介及其关键技术 第二章h 2 6 4 a v c 简介及其关键技术 2 1h 2 6 4 a v c 视频压缩协议介绍 h 2 6 4 和以前的视频压缩标准一样，也是d p c m 加变换编码的混合编码模式。 但作为新一代视频压缩协议，i - 2 6 4 在继承了以往一些视频压缩协议的优点的基 础上，在码流组织、编码算法和编码模式等方面引入了一些新的方法和内容，加 强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和 丢包的处理，增加了差错恢复能力，能够很好地适应i p 和无线网络的应用。它的 基本系统是开放的，使用不用版权。本章将在j v t g 0 5 0 文档的基础上对h 2 6 4 压缩协议作较为详细的介绍。 2 1 1h 2 6 4 的编解码框架 h 2 6 4 标准的目的是提出一种新的压缩方法，能够获得更高的压缩比和更强 的信道适应能力，它的根本方法仍然采用了经典的混合编码算法的基本结构， h 2 6 4 的主要编解码框图如图2 1 、2 2 所示“，。 图2 1h 2 6 4 编码器 f i g u r e 2 - 1h 2 6 4e n c o d e r h 2 6 4 的编码过程主要分为以下部分： ( 1 ) 将图象分成子图象块( 称为宏块) ，以子图象块作为编码单元。 ( 2 ) 当采用帧内模式编码时，对图象块进行变换和量化，消除图象的空间 冗余。帧内模式中还增加了帧内预测模式。 ( 3 ) 当采用帧间模式编码时，对帧间图象采用运动估计和补偿方法，只对 华南理工大学硕士学位论文 图象序列中的变化部分编码，从而去除时间冗余。 ( 4 ) 变换量化系数最后经重排序和熵编码输出到网络提取层n a l ( n e t w o r k a b s t r a c t i o nl a y e r ) 。 图2 - 2 h 2 6 4 解码器 f i g u r e 2 2h 2 6 4d e c o d e r 2 1 2h 2 6 4 的三级版本 针对不同领域及不同级别的应用要求，h 2 6 4 按算法集的限定被分为了三个 版本( p r o f i l e ) ：b a s e l i n e 、m a i n 及e x t e n d e d 。每个版本支持特定的一组编码算法： 基本版( b a s e l i n ep r o f i l e ) 支持帧内和帧间编码( 用i - s l i c e s 和p - s l i c e s ) 和基于 内容的自适应变长熵编码( c a v l c ，c o n t e x t a d a p t i v ev a r i a b l e - l e n g t hc o d e s ) ：主要 版( m a i np r o f i l e ) 支持隔行扫描视频，帧间编码用b s l i c e s 和预测加权。内容自 适应的二进制算术嫡编码( c a b a c ，c o n t e x t b a s e da r i t h m e t i cc o d i n g ) ；扩展版 ( e x t e n d e dp r o f i l e ) 不支持隔行扫描视频和c a b a c 熵编码，但增加了s p s l i c e s 和s i s l i c e s 模式来保证速率和质量间的最佳，增加了数据分割技术( d a t a p a r t i t i o n i n g ) 来提高差错恢复能力。三个版本之间的关系如图2 3 所示。 各个版本有各自不同的应用领域，其中，b a s e l i n ep r o f i l e 主要包含了低复杂 度、低延时的技术特征，主要是针对交互式的应用，如视频电话或视频会议，也 考虑到了恶劣环境下的容错性，b a s e l i n ep r o f i l e 的内容基本都被其它更高级别的 p r o f i l e 所包含。而m a i np r o f i l e 是针对更高编码效率的应用，如视频广播和视频 存储。e x t e n d e dp r o f i l e 的设计主要针对流媒体及移动通信中的应用，也是本项目 最好的选择，但考虑到难度和时间上的原因，本课题还是先采用b a s e l i n ep r o f i l e ， 以后再往e x t e n d e dp r o f i l e 上探索。 6 第二章h 2 6 4 a v c 简介及其关键技术 图2 - 3h 2 6 4 版本之间关系 f i g u r e 2 - 3r e l a t i o no fh 2 6 4p r o f i l e s 2 1 3h 2 6 4 的分层设计 h 2 6 4 算法在概念上也可分为两层，视频编码层( v c l ，v i d e oc o d i n gl a y e r ) ， 负责高效的视频内容表示；网络提取层( n a l ，n e t w o r ka b s t r a c t i o nl a y e r ) ，负 责以网络要求的恰当的方式对数据进行打包和传送。在v c l 和n a l 之问定义了 一个基于分组方式的接口，打包和相应的信令属于n a l 的一部分。这样，高编 码效率和网络友好性的任务分别由v c l 和n a l 来完成。v c l 层包括基于块的运 动补偿混合编码和些新特性。n a l 负责使用下层网络的分段格式来封装数据， 包括组帧、逻辑信道的信令、定时信息的利用或序列结束信号等。例如，n a l 支 持视频在电路交换信道上的传输格式。支持视频在i n t e r n e t 上利用r t p u d p i p 传 输的格式。n a l 单元包括自己的头部信息、段结构信息和实际载荷信息，即上层 的v c l 数据( 如果采用数据分割技术，数据可能由几个部分组成) 。 2 1 4h 2 6 4 对图片的组织方式 和以往的视频压缩标准一样，h 2 6 4 对图片的处理也是把图片划成许多固定 尺寸的子图象块一宏块( m a c r o b l o c k ) ，每个宏块由一个1 6 1 6 象素采样的亮 度分量及两个8 8 象素采样的色度分量构成。如q c i f ( 1 7 6 15 4 ) 格式的图片 含有9 9 ( 1 l 9 ) 个宏块。类似于h 2 6 3 中的g o b ( 宏块组) ，而且考虑到实时应 用中易受干扰的信道传输，h 2 6 4 提出了一种新的有效的错误掩盖模式一“灵 7 华南理工大学硕士学位论文 活的宏块组织”( f m o ) ，它将图片中的宏块以不同的组织方式分配到几个s l i c e g r o u p 中。由于每个s l i c eg r o u p 都被单独传输，若一个s l i c eg r o u p 在输中丢失， 属于已接收的其它s l i c eg r o u p 并在空间上与其相邻的宏块采样可用来进行有效的 错误掩盖。f m o 有多种模式，从矩形模式到规则的散布模式或是完全随机的散布 模式，图2 5 显示了其中一种f m o 模式一一矩形模式。 图2 - 5f m o 模式时图片s l i c eg r o u p s 的一种组织方式 f i g u r e 2 5ao r g a n i z i n gm a po fs l i c eg r o u p su s i n gf m o m o d e 同时，每个s l i c eg r o u p 又可包含一个或多个分片( s l i c e ) ，每个s l i c e 被独立 解码，互不干扰，有利于抑制错误的蔓延，提高了解码的容锗能力。而且，同一 s l i c eg r o u p 里的每个s l i c e 里的宏块都按逐行顺序编码，这样，s l i c eg r o u p 里只要 指定每个s l i c e 的起始宏块的地址( f i r s t m b i n s l i c e ) ，就可以把s l i c e 划分开来。 为了方便，有时也可以不使用f m o 模式，把整幅图片只划分为一个s l i c e g r o u p 。如图2 - 4 所示为未使用f m o 模式时，q c i f 图片划分为几个s l i c e 的一种 方式”，。 l s l i c e 嚣0 i l s l i c e 嚣1 i i sl o e 嚣2 - l 图2 - 4 未使用f m o 模式时图片划分s l i c e 的一种方式 f i g u r e 2 4a p a t t e r no fd i v i d i n gp i c t u r et os l i c ew i t h o u tf m om o d e 8 第二章h 2 6 4 a v c 简介及其关键技术 2 1 5h 2 6 4 的码流结构 经过前面对h 2 6 4 的分版本( p r o f i l e ) 、分层( 1 a y e r ) 、分片组( s l i c eg r o u p ) 、 分片( s l i c e ) 、分宏块( m a c r o b l o c k ) 的介绍，我们对h 2 6 4 的层次化结构已有较 清晰的映像，现在来看看它的码流结构，它采用的就是基于上述层次化结构的一 种层次性的结构组织方式。 h 2 6 4 在概念上分为n a l 和v c l 两层，在数据流中相应分为n a l 头( n a l h e a d e r ) 和原始字节流载荷( r b s p ，r a wb y t es e q u e n c ep a y l o a d ) ，如图2 - 6 所示。 竺! 兰i ! 竺：竺竺i ! 兰兰i ! ：! ：竺兰l 竺! 兰i ! ! 竺竺! f 图2 - 6 基于n a l 单元的数据流结构 f i g u r e 2 6s e q u e n c es t r u c t u r eb a s e do fn a lu n i t s 每个n a l 单元包含n a lh e a d e r 和r b s p 两部分，以单元的形式组合成数据 流。为了在数据流中划分各个n a l 单元，使解码端能够定位一个n a l 单元从码 流中的什么地方开始，还必须在n a lh e a d e r 中加上定位信息。文档j v t g 0 5 0 的附录b ( a n n e xb ) 中建议了一种划分方法，在每个n a l 单元的头部加上 “o x 0 0 0 0 0 0 0 l ”定位信息，其他的划分将在文档外指定。为了更好地提高h 2 6 4 传输的实时性，现在比较流行的是加上r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 头， 一种针对多媒体数据流的传输协议，主要用来为实时数据的应用提供点到点或点 到多点通信的传输服务。也是本项目最好的选择，但考虑到难度和时间上的原因， 本课题还是先采用附录b 这种比较简单的方法，以后直接用r t p 头替换就行了。 定位信息后紧接着是段结构信息，n a l 单元的组织结构如图2 7 所示。 定位信息 段信息 0 x 0 0 0 0 0 0 0 lf o r b i d d e n ( a n n e xb )z e r ob i t n a lr e fi d cn a l _ u n i t t y p er b s p 数据 b i t 2b i t 5 乩t 图2 7n a l 单元的组织结构 f i g u r e 2 7s t r u c t u r eo fn a l u n i t h 2 6 4 编码器所产生的码流( 即v c l ) 放在n a l 单元的r b s p 部分，需要注 意的是j v t - g 0 5 0 规定放在r b s p 中的数据必须是字节对齐的并且不含 o x 0 0 0 0 0 0 、o x 0 0 0 0 01 、0 x 0 0 0 0 0 2 这几个数( o x 0 0 0 0 0 0 、o x 0 0 0 0 01 、0 x 0 0 0 0 0 2 这几 9 华南理工大学硕士学位论文 个数相应变为0 x 0 0 0 0 0 3 0 0 、0 x 0 0 0 0 0 3 0 1 、0 x 0 0 0 0 0 3 0 2 ) 以免引起帧头竞争，帧头 竞争会使解码端无法定位一个n a l 单元从码流中的什么地方开始。 n a l 的r b s p 数据部分所包含的语法结构由n a l 单元类型( n a l u n i t _ t y p e ) 表示，如表2 1 所示，为j v t - g 0 5 0 目前所支持的r b s p 的语法结构。 表2 1r b s p 的语法结构类型 t a b l e 2 一lr b s p s y n t a xs t r u c t u r et y p e n a l u n i t t y p en a l 单元内容及r b s p 语法结构 o 没指定 1c o d e ds l i c eo fan o n - i d rp i c t u r e 2 c o d e ds l i c ed a t ap a r t i t i o na 3c o d e ds l i c ed a t ap a r t i t i o nb 4 c o d e ds l i c ed a t ap a r t i t i o nc 5c o d e ds l i c eo fa n d r p i c t u r e 6 s u p p l e m e n t a le n h a n c e m e n ti n f o r m a t i o n ( s e i ) 7 s e q u e n c ep a r a m e t e rs e t 8p i c t u r ep a r a m e t e rs e t 9a e c e s su n i td e l i m i t e r l o e n do fs e q u e n c e 1 1e n do fs t r e a m 1 2f i l l e rd a t a 1 3 2 3保留 2 4 3 l没指定 其中，类型1 5 指r b s p 所承载的是图片s l i c e 或s l i c e 分割后的编码码流， 类型7 指r b s p 所承载的是码流参数设置( s e q u e n c ep a r a m e t e rs e t ) ，说明某一段 视频码流的编码特性，包括说明该段视频码流遵循的是h 2 6 4 协议的哪一种配置 ( 哪一版本) ，用以指导解码端调用合适的解码器进行解码，以及该段视频序列中 每帧图像的记数方法和图像帧的长度和宽度等。类型8 指r b s p 所承载的是图像 参数设置( p i c t u r ep a r a m e t e rs e t ) ，说明的是某个图像帧的编码特性，包括编码该 图像帧所采用的熵编码模式( c a v l c 或者c a b a c ) ，所使用的参考帧的数目， 以及对该图像帧的亮度和色度残差进行量化时所采用的量化参数值等，其中最主 要的部分是该图像帧的s l i c eg r o u p 划分方式的表示，说明了该图像帧中s l i c e g r o u p 的数目、s l i c eg r o u p 的划分方式。其它类型r b s p 的具体语法结构在此不 详细介绍，可以参阅j v t - g 0 5 0 文档的相关说明。 l o 第二章h 2 6 4 a v c 简介及