（计算机应用技术专业论文）帧内编码及其快速算法研究.pdf

摘要 摘要 当今时代，人们对多媒体数据的需求正在不断增长，同时多媒体数据本身的 内容也不断增大，如何压缩视频数据量成为多媒体技术发展的关键问题。因此， 视频压缩技术成为一个重要的课题，而由此产生的各种视频压缩标准则为视频数 据的传输和存储提供了解决方案。 h 2 6 4 作为m p e g - 4 标准中的第1 0 部分，具有非常高效的视频编解码效率， 已成为国际上最流行的视频编码标准；中国自主知识产权的数字音视频编解码标 准( a v s 标准) 也于2 0 0 3 年1 2 月份和2 0 0 5 年3 月份分别完成了音视频编码标 准第二部分一视频( a v s1 o ) 和第七部分一移动视频( a v s m ) ，代表了当前 视频编解码领域的最新水平。本文在h 2 6 4 标准和a v s 标准的软件测试平台上， 对帧内编码快速算法，帧内预测模式选取技术进行了深入的研究。 首先，为了解决h 2 6 4 a v c 帧内预测中预测复杂度过大的问题，本文提出 了一种基于d c t 变换的能量函数的快速帧内4 4 块模式选择算法。该算法提出 了一个基于d c t 域的能量函数，用此能量函数来估计帧内预测残差的纹理复杂 度，进而舍弃几种能量值比较大的模式，仅仅对剩下的最多4 种帧内预测模式来 进行率失真最优化的计算，从而达到加快编码速度的目的。试验结果表明：该算 法在保持原有编码效率的基础上能节省约一半的编码时间。 进一步地，针对a v s 帧内编码模式少，预测不够准确的问题，本文提出了一 种基于再生核插值技术的帧内预测算法。该算法的中心思想是用再生核函数算出 插值系数，用来修订标准中的插值系数来进行帧内预测。试验结果表明，与标准 中的帧内预测算法相比，此算法能在不增加编码复杂度的基础上，大幅提高预测 的精度。 在文章的最后部分，对上述两个方面在今后的发展进行了展望。 关键词视频编码；h 2 6 4 a v c ；a v s ；帧内编码；快速算法 a b s t r a c t a b s t r a c t r e c e n t l y ，t h er e q u i r e m e n to fm u l t i m e d i ad a t ah a sb e e ng r e a t l yi n c r e a s e d , a n dt h e c o n t e n to ft h em u l t i m e d i ad a t ah a sb e e ni n c r e a s e da tt h es a m et i m e s o ，h o wt o c o m p r e s st h ev a s tm u l t i m e d i ad a t ah a sb e c o m et h em o s tc o n c e r n e dp r o b l e m ，a n dt h e t e c h n o l o g yo fv i d e oc o d i n gh a sb e c o m eo n eo ft h em o s ti m p o r t a n ti s s u e s b yt h i s t o k e n ，t h ev i d e oc o d i n gs t a n d a r d sg i v eag o o ds o l u t i o nt ot r a n s f e ra n ds t o r et h e m u l t i m e d i ad a t a h 2 6 4i st h ep a r t10o fm p e g _ 4s t a n d a r d ，w h i c hi st h em o s te f f i c i e n ta n d p o p u l a r v i d e oc o d i n gs t a n d a r di nt h ew o r l d p a r t2 ：v i d e oa n dp a r t7 ：m o b i l ev i d e oc h i n e s e a d v a n c e da u d i ov i d e oc o d i n gs t a n d a r d ( a v s ) w i t hi n d e p e n d e n ti n t e l l e c t u a lp r o p e r t y h a sb e e nf i n i s h e di nn o v 2 0 0 3a n dm a r 2 0 0 5 ，t h o s ed e n o t et h em o s ta d v a n c e d i n t e r n a t i o n a lt e c h n o l o g yi nv i d e oc o d i n g ， f i r s t l y ，af a s ti n t r ap r e d i c t i o na l g o r i t h m i sp r o p o s e di n4x4b l o c k sf o rr e d u c i n g t h ec o m p l e x i t yo fi n t r ac o d i n g ad c t - b a s e de n e r g yf u n c t i o ni sp r o p o s e d , w h i c hi s u s e dt oe s t i m a t et h et e x t u r a lc o m p l e x i t yo fr e s i d u a lb l o c k so fi n t r ap r e d i c t i o n t h e n n o tm o r et h a n4m o d e si n s t e a do f9i n t r ap r e d i c t i o nm o d e sf o r4 x 4b l o c kc a l lb e c h o s e nt op e r f o r mr d oa c c o r d i n gt ot h et e x t u r a lc o m p l e x i t yo fr e s i d u a lb l o c k c o n s e q u e n t l y , t h ec o m p l e x i t yd e c r e a s e ss i g n i f i c a n t l y e x p e r i m e n t s s h o wt h a tt h e p r o p o s e da l g o r i t h mc a ns a v ea b o u t4 8 o ft h ec o m p u t a t i o nt i m es t a b l yw h i l e m a i n t a i n i n gt h ep s n r b i t r a t ep e r f o r m a n c eo fh 2 6 4 a v c f a r t h e r , t h i sp a p e rp r o p o s e st oa l li n t r ap r e d i c t i o nb a s e do nr e p r o d u c i n gk e r n e l i n t e r p o l a t i o nf o ri m p r o v i n gi n t r ap r e d i c t i o n t h em a i ni d e ai s t o p r e s e n ta n r e p r o d u c i n gk e r n e li n t e r p o l a t i o nt ow o r ko u ta n dr e v i s et h ep r e d i c t i o nc o e f f i c i e n t so f s o m ep r e d i c t i o nm o d e s e x p e r i i n e n t ss h o wt h a tt h ep r o p o s e di n t r ap r e d i c t i o ns c h e m e c a ni m p r o v et h ee f f i c i e n c yo fi n t r af r a m ec o d i n ga n da c h i e v eb e t t e rp e r f o r m a n c eo f i n t r ap r e d i c t i o n , c o m p a r e dw i l ht h eo r i g i n a li n t r ap r e d i c t i o ns c h e m ei na v s i nt h el a s tp a r t ，t w ot e c h n o l o g i e sm e n t i o n e da b o v ea r ep r o s p e c t e d k e yw o r d s v i d e oc o d i n g ；h 2 6 4 a v c ；a v s ；i n t r ac o d i n g ； f a s ta l g o r i t h m 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：溻金盥日期：丛：生耸 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 签名：型墅金札导师签名：主盟日期：2 亟删 第1 审绪论 曼曼曼皇曼曼皇! 曼量! ! ! ! 曼曼曼曼鼍! 曼曼m= 。n：mm m ：。= 。= n = i 皇皇曼曼曼曼曼! 量曼! 曼! ! 曼鼍 第1 章绪论 随着计算机、数字通信、多媒体和网络技术的发展，信息在急剧膨胀。图像 与视频作为信息最重要的载体之一，已经深入到人们日常的生活，从以前的录像 带、电影、电视及广播，发展至o d v d 、可视化人机交互，直至今天的虚拟现实、 可视通信，多媒体技术正在生活中扮演越来越重要的角色。如何解决海量数据信 息的传输和存储成为关键。因此，视频压缩编码技术越来越受到重视，它作为计 算机多媒体技术的一个分支学科，近年来在国际上逐渐成为研究热点。 为了规范编码技术发展，国际标准化组织( i s o ) 和国际电信联盟( i t u - t ) 从八十年代起制定了一系列的国际标准，这些标准服务于不同的应用场合。过去 的两年，中国也开始制订自主知识产权的国家标准。本章将详细阐述视频编解码 技术的概况和国内外研究现状，随后将介绍论本文的内容排列与组织结构等有关 内容。 1 1 本文研究背景 2 1 世纪是一个飞速发展的数字信息时代，数字信息化几乎涉及到世界的每 一个角落，改变了人类的生活和工作方式。信息技术的发展，使人们的学习和交 流打破了时空界限，为人类的发展带来了新的空问。以多媒体和网络为依托的信 息技术已经成为扩展人类能力的创造性工具。信息化的一个重要特征就是多媒体 技术的广泛应用，随着多媒体业务的不断拓展，多媒体技术已经成为工业界和学 术界的一个研究热点。 多媒体内容丰富，包括文字、声音、图像、图形和视频等数据，信息容量大， 表达能力强，它代替单一的语音通信模拟已经是不可阻挡的趋势。作为数字信号， 它具有易于传输和远距离存储的特点，且没有积累失真，数字化信息可被高品质 地还原。多媒体信息的优势在于，它把视觉信息也纳入了通信领域，为人们提供 了多渠道、多方位的信息来源。与听觉信息相比，视觉信息本身的确切性、直观 性、高效性、多种业务的适应性等优点【l 】，使得视觉信息的处理和通信得到了 较快的发展。但与此同时，多媒体信息的庞大数据量对通信系统中有限的带宽和 存储空间提出了严峻的挑战，对于数字电视，若不采用任何压缩措施，总的数据 码流为2 1 6 m b p s ( 每采样点8 比特量化) 【2 】；对于d v d ，输入视频格式为d l ， 帧率为3 0 f p s ，色差格式为4 ：2 ：2 ，则视频数据码率为7 2 0 x 4 8 0 x 1 6 x 3 0 = 1 6 5 9 m b p s ， d v d 容量为4 7 g b ，仅能存储4 7 8 1 6 5 9 = - 2 2 6 4 秒长度的节目。 从上面的数据可见，视频信息在数据量上和处理的难度上都受到很大的限 制，现有通信和存储设备一般不足以承受几十甚至上百兆的码率。因此，如何压 北求r 业大宁t 宁坝f j 宁位论文 缩视频数据量成为多媒体技术发展的关键问题，它是降低传输和存储成本，缓解 网络带宽和存储空问限制的一个重要手段，视频压缩技术成为一个重要的课题， 而由此产生的各种视频压缩标准则为视频数据的传输和存储提供了解决方案。 1 2 视频编码技术研究现状 目前在视频编码领域中有两个主要的标准化组织：面向电信行业的n u ( 国 际电信联盟) 和面向贸易产业的i s o ( 国际标准化组织) 。自上世纪8 0 年代中后 期至现在，针对不同的实际需求，这两个组织分别制定了一系列的国际标准。这 些标准和建议的制定极大地推动了多媒体技术的实用化和产业化，促进了视频编 码技术快速的发展。图1 1 描述了这两个组织所制定编码标准的进程表。 l 潞。 嗍 凇h j 6 3 + h 艄一莎 i 勰。1 7 = 慨“ b 1 9 8 4 1 9 8 61 9 8 81 9 9 01 9 9 21 9 9 4 1 9 9 6 1 9 9 8 2 0 0 02 0 0 2 2 0 0 4 图1 1 视频编码标准进展图 f i g u r e l le v o l v e m e n to f v i d e oc o d i n gs t a n d a r d s 1 2 1it u - t 及h 2 6 x 系列标准 i t u ( i n t e r n a t i o n a lt e l e c o m m t m i c a t i o mu n i o n ，国际电信联盟) 成立于18 6 5 年。1 9 8 9 年，国际电话和电报咨询委员会( c c i t t ) 发布了第一个数字视频编 码标准：c c i t t 建议h 2 6 1 3 1 。1 9 9 2 年，i t u 命名c c i t r 为i 。 i n j - t 制定的标准是指h 2 6 x 系列，包括：应用于i s d n 视频会议的h 2 6 1 ； 与i s o m c 合作的应用于删宽带视频会议的h 2 6 2 m p e g 2 1 4 , 5 q ；应用于模拟电 话线路传输视频会议以及连接至- i j i n t e r n e t 桌面和移动终端的h 2 6 3 1 6 ；可以工作在 不同网络上，具有更强的信道容错能力，应用于p s t n 和无线通信领域的 h 2 6 3 + 7 、h 2 6 3 + + 【引。从h 2 6 x 系列标准的应用领域可以看出，这些标准主要是 面向在低码率或甚低码率下进行视频传输的需求。 1 2 2 is o ie c 及m p e g - x 系列标准 i s o ( i n t e r n a t i o n a lo r g a n i z a t i o nf o rs t a n d a r d i z a t i o n ，国际标准化组织) 成立于 1 9 4 7 年。所有与计算机相关的活动目前都有关于信息技术的i s o i e c ( 国际电工 泵1 覃绪论 曼曼曼曼曼! 曼! 曼曼曼曼! 曼曼曼曼! 曼曼皇皇曼曼! 曼曼曼寡i ； 一一； ；i ；o 曼 委员会) 联合技术委员会1 ( j t c l ) 负责。i s o i e c 的运动图像专家组( m o v i n g p i c t u r ee x p e r tg r o u p m p e g ) 一直致力于运动图像及其伴音编码标准化工作，并 制定了一系列关于一般活动图像的国际标准。i s o i e c 制定的主要标准有： m p e g 1 【9 】：针对1 5 m b s 速率的数字存储媒体运动图像及其伴音编码， 应用于c d r o m 上存储电影以及c d 、卡拉o k 机、一些数字便携摄像机和i n t e m e t 上的消费视频。 m p e g 一2 【1 0 】：对m p e g 1 标准进一步的扩展和改进，应用于d v d 数字视 频存储、卫星电视、有线电视、地面广播、视频编辑和存储。如今，m p e g 一2 标 准已被选择为美国h d t v 广播系统的视频解码器。 m p e g - 4 1 1 】：是针对于在极低码率( 小于6 4 k b p s ) 下进行音视频传输而 制定的国际标准。m p e g - 4 创造性的提出了对象( o b j e c t ) 的概念，这种以内容 为核心的描述方法更符合人的心里特性，从而不仅能获得更优越的压缩性能，同 时也扩展了应用范围。m p e g - 4 主要的应用领域是：i n t e m e t 视频、交互式视频、 内容管理、专业视频、二维和三维计算机图形以及移动视频通信。 m p e g 一7 【1 2 】：是多媒体内容描述接口( m u l t i m e d i ac o n t e n td e s c r i p t i o n i n t e r f a c e ) 。通过对各种不同类型的多媒体信息进行标准化的描述，并将该描述与 所描述的内容相联系，以实现快速有效的搜索。m p e g 7 的应用领域主要是数字 化图书馆、广播式媒体以及多媒体编辑等。 m p e g 2 1 1 3 】：是一个多媒体传输和消费的开放式框架，核心目标是使用 户能够跨越异构网络和设备，透明和更为广泛的使用多媒体资源。 1 2 3h 2 6 4 a v c 标准 为了进一步改善h 2 6 3 标准在压缩效率、图像质量、运算复杂度、实时性、 抗错能力上的性能，i ，兀j - t 的视频编码专家组( v i d e oc o d i n ge x p e r tg r o u p ， v c e g ) 提出基于低比特率的视频通信，发展新一代的h 2 6 l 标准。2 0 0 1 年，i s o 的m p e g 与i r 兀j _ t 的v c e g 组成了联合视频专家组( j o i n tv i d e ot e a m , j 、，r ) ，共同 开展对新标准的研究。新标准正式名称分别为：r r u tr e c h 2 6 4 和i s o i e c m p e g - 4p a r t1 0a v c 1 4 1 ( 或1 4 4 9 6 1 0a v c ) ( a d v a n c e dv i d e oc o d i n g ，先进视频 编码) 。本文的第一部分的工作是基于h 2 6 4 a v c 进行的，在第2 章中将详细介 绍该标准的主要功能模块以及采用的新技术。 1 2 4a v s 标准 前面介绍了国际上视频编码标准化的进程以及视频编码技术的研究现状。相 比于国际，国内关于视频编码领域的研究工作开始的时间较晚，但近几年，随着 3 北京t 业大学丁学硕l 学位论文 先进音视频编码标准( a u t o d e oc o d i n gs t a n d a r 也a v s ) 的制定，我国在视频 编码领域中的研究也得到了快速发展。 中国信息产业部科学技术司于2 0 0 2 年6 月批准成立了数字音视频编解码技 术标准工作组( 简称a v s i 作组) 。该工作组的任务是：面向我国的信息产业需 求，联合国内企业和科研机构，制( 修) 订数字音视频的压缩、解压缩、处理和 表示等共性技术标准，为数字音视频设备与系统提供高效经济的编解码技术，服 务于高分辨率数字广播、高密度激光数字存储媒体、无线宽带多媒体通讯、互联 网宽带流媒体等重大信息产业应用。2 0 0 4 年，a v s 标准第二部分即视频部分【1 5 】( 第 一版) 已经出台，该标准接收了包括中国科学院计算技术研究所、清华大学、浙 江大学、北京工业大学等多家科研单位的4 2 项技术提案，编码效率是m p e g 2 视频的2 3 倍，而且方案简洁，实现复杂度明显比h 2 删c 低，在高清晰度视 频应用领域处于国际领先水平。本文的第二部分的工作是基于a v s 进行的，在第 3 章中将详细介绍该标准的主要功能模块以及采用的新技术。 1 3 视频编码技术的本质 视频编码技术就是对要处理的数字视频用一定的规则进行变换和组合，从而 达到以尽可能少的代码来表示尽可能多的数据信息的目的。图1 2 描绘了视频编 解码的系统框酬1 6 1 。从图中可以看到，通过对视频源数据的分析，找到可以缩 减的冗余信息，通过变换量化等步骤，得到尽可能简略的数据，最后进行熵编码， 即可通过信道传输了。至于解码端，则是编码过程的逆过程。图1 2 是视频编码 的系统框图。 摄像 显示 i 解码器 j l 一一一一一一一一一一一一一- - - - j 图l - 2 视频编码系统框图 f i g u r e l - 2s y s t e ms t r u c t u r eo f v i d c o d i n g 第1 审绪论 从信息论角度来看，视频编码的本质就是去掉信息冗余，即用尽量少的数据 来表达尽量多的信息内容。在数字视频编码和压缩中，有以下几种基本数据冗余： 空间像素相关冗余，时间运动相关冗余，编码冗余，心理视觉冗余等多种数据冗 余i l7 。具体细节如下： 在视频流的每一个图像帧内部，各个像素之间必然存在着某利相关性，不同 位置关系反映着不同程度大小的相互关系。空间冗余就是利用了帧内各像素之间 的相互关系，通过像素之问的相关性获得其相邻像素的性质。 至于视频流的连续图像帧之间，也有很大的相关性时问冗余。利用这一 特性，可以利用已编码帧中的像素值通过插值预测等方式得到当前帧的像素值， 即为帧间预测编码。 视频图像的像素值都需要用0 、1 按照一定规则表达，而不同的图像内容就 需要有不同的符号序列( 即码字) 来表示。在实际图像中，不同信息出现的概率 不同，如果所对应的码字长度都一样的话，就不能使编码产生的符号序列达到最 小，就会产生编码冗余。利用编码冗余，可以减小图像编码的最后数据长度。 除了以上三种传统意义上的冗余之外，心理视觉冗余逐渐成为近年来的研究 热点之一。因为人的眼睛并不是对所有视觉信息有相同的敏感度，而那些不敏感 的信息就是心理视觉冗余信息。如果去掉了这种冗余信息，尽管实际上会导致定 量信息的损失，但从视觉角度来看，并不会明显降低主观图像质量。 实际上，视频压缩编码的目的就是研究如何有效的去除上述冗余信息。图1 3 为视频编码器的原理框图。 视 图1 3 视频编码器原理框图 f i g u r e l 一3v i d e oe n c o d e rb l o c kd i a g r a m 1 4 课题研究目标与研究意义 本文所涉及的研究课题属于国家自然科学基金面上项目：图像多描述编码方 法研究，课题研究的主要目标是提供一套高效的能够解决海量多媒体数据存储、 编码和传输的理论方法与算法模型，解决数字视音频编解码标准化的关键问题。 本文所讨论的具体研究内容主要围绕着帧内预测技术以及帧内编码算法展 北京t 业大学t 学硕t 。学位论文 开。帧内预测技术是帧内编码最重要的一个环节。本文针对a v s 中预测效率不 高的问题，对预测策略进行改进，显著提高了帧内编码效率；对h 2 6 4 a v c 中 存在的编码复杂度过高的问题，提出了一种基于d c t 变换的能量函数的快速帧 内编码算法，能够有效的降低计算复杂度。 随着视频编码技术研究的逐渐深入，其对人们生活所产生的影响也逐渐增 强。视频编码技术的市场应用前景也越来越乐观，不仅在视听工业、多媒体计算 机等方面有广泛应用，而且在广播电视以及未来的信息高速公路等等各个方面都 有着乐观的应用前景。尤其是高清晰度视频以及高质量的无线视频服务将改变人 们未来的生活方式。因此本课题的研究不仅关系到视频编码技术本身的发展，同 时对人们生活质量也有着深远的影响与意义。 1 5 本文的内容安排与组织结构 本文以新一代的视频编码标准h 2 6 4 a v c 和a v s 为研究对象，在深入研究 h 2 6 4 a v c 和a v s 关于帧内预测技术与帧内编码算法的标准文档和参考软件的 基础上，分别提出了一种帧内编码的快速算法和一种新的帧内预测技术。本文分 为以下几个部分。 第一章绪论。简要阐述了数字视频编码技术的背景、现状、本质以及意义。 第二章h 2 6 4 a v c 视频编码标准。主要介绍了新一代的视频编码标准 - h 2 6 4 a v c 的发展过程、性能优势、应用领域以及编解码原理，并对其采用 的新技术：帧内预测、整数变换、多模式帧问编码、1 4 像素精度的运动估计和 运动补偿、多参考帧、c a b a c 和环路滤波进行了详细分析。 第三章a v s 视频编码标准。主要介绍了我国的视频编码标准的概况，采用 的基本技术，及其发展前景。 第四章基于d c t 变换的能量函数的帧内编码快速算法，针对h 2 6 4 a v c 帧内编码算法复杂性太高的问题，提出了一种帧内编码快速算法。对于4 x 4 块亮 度帧内编码方式，通过定义了针对d c t 变换系数的能量函数，得到采用不同预 测模式的能量值，从而排除几种可能性比较小的模式来减少预测的复杂度。 第五章基于再生核函数的帧内预测算法。针对a v s 帧内预测算法存在的预 测不精确的问题，提出了一种基于再生核函数的帧内预测算法，首先通过再生核 函数计算出插值的系数，然后插值出待预测的像素值。采用新的预测技术可以显 著的提高帧内编码的效率。 最后一章结论。总结本文的主要内容和工作成果，并对下一步的研究进行 了展望。 第2 审h 2 6 4 a v c 视频编码标准 第2 章h 2 6 4 a v c 视频编码标准 h 2 6 4 a v c 是由1 1 u t 和i s o i e c 成立的联合专家组制定的新一代的视频编 码标准。该标准是从h 2 6 l 基础上发展起来，并于2 0 0 3 年正式发布标准文档。 同以前的标准相比，h 2 6 4 a v c 可以提供更高的压缩效率以及更好的解码图像质 量。凭借其卓越的编码性能，h 2 6 4 a v c 已经成为视频编码领域的焦点。 2 1h 2 6 4 a v 0 概述 h 2 6 4 标准规定的不是编解码器的设计方法，而是定义了标准的编码比特流 应该符合什么样的语法以及解码码流的方法。h 2 6 4 的编解码器也是以传统的 d p c m 编解码框架为基础的，除了去块效应滤波【1 8 2 0 】技术，h 2 6 4 的基本压缩 技术模块在以往的标准中都应用过，所不同的是实现这些模块时的技术细节。 h 2 6 4 定义了三个“档次”( p r o f i l e ) ：b a s e l i n e 、e x t e n d e d 和m a i np r o f i l e ，每个 p r o f i l e 支持不同的编码功能。每一个档次中定义了不同的最多1 5 个级别( l e v e l ) 以及相应的编码器解码器。b a s e l i n ep r o f i l e 多用于可视电话、视频会议和无线通 信，m a i l lp r o f i l e 支持电视广播和视频存储，而m a i np r o f i l e 在流媒体中有着广泛 的应用，但是这些应用都不是定义性的，因为每一个p r o f i l e 都非常灵活，可以 支持很多种应用。图2 1 说明了不同的p r o f i l e 之间的关系。 图2 - 1h 2 6 4 的不同编码档次 f i g u r e2 - 1h 2 6 4b a s e l i n e , m a i na n de 】【t e n d e dp r o f n e h 2 6 4 增加了网络结构概念：视频编码层( v c l , v i d e oc o d i n gl a y e r ) 和络提 取层m ，n e t w o r k a b s t r a c tl a y e r ) 。编码输出的是v c l 数据，v c l 加入一些头 北京t 、i p 大宁t 学坝卜学位沦义 信息后封装到n a l 中。对v c l 和n a l 的区分明确了编码和传输的特点。 h 2 6 4 还引入了“条带”( s l i c e ) 的概念，一个s l i c e 包含若干个宏块( ) ，最多 为一帧内的宏块数，在一幅图像内，一个s l i c e 内的宏块不一定是连续的。每个 s l i c e 的编码不参考其它s l i c e 的信息，从而避免了误差或错误的传递，有利于容 错。 2 1 1h 2 6 4 舱l v c 的发展 1 9 9 5 年，在完成h 2 6 3 的制定- 丁作后，1 1 1 - j t 的v c e g 将未来的工作分为长 期和短期两个目标。短期目标是通过对现有的h 2 6 3 不断增加高级选项以扩充其 功能及应用范围，并于1 9 9 8 年公布了h 2 6 3 + 。长期目标是针对低比特率的视频 通信，以h 2 6 3 + 为基础，进一步改善视频编码标准的性能，发展新一代标准即 h 2 6 l 2 1 1 。v c e g 从1 9 9 8 年1 月开始征集关于h 2 6 l 的建议，2 0 0 1 年底，应用h 2 6 l 算法的软件所表现出来的压缩性能已经超过了m p e g 4 ，不但吸引了业界各方面 的注意，同时i s 0 m c 的m p e g 也加入到h 2 6 l 的制定工作中，并与i j - t 的v c e g 联合组成了j 、呵，共同开展对新标准的研究。新标准的名称分别为：1 1 1 j tr e c h 2 6 4 和i s o i e cm p e g - 4p a r t1 0 a v c 2 2 ( 或1 4 4 9 6 1 0 a v c ) ，标准的草案于2 0 0 2 年1 0 月形成，其后的批准工作已在2 0 0 3 年3 月完成。 2 1 2h 2 6 4 a v c 的优势 与以前的标准一样，h 2 6 影a v c 也是基于预测编码加变换编码的混合编码框 架。但由于它采用了多项新的技术，如基于空域的帧内预测、多参考帧以及高精 度的运动估计和补偿等，所以获得了比以往标准更好的压缩m i a ：厶- 1 ：3 匕1 。【2 3 1 ，主要体现在 以下几个方面【2 4 1 。 1 更低的码率：在解码图像质量相同的条件下，与h 2 6 3 + 和m p e g 4 相 比，h 2 6 4 a v c 最多可以节省5 0 的码率。 2 更高的图像质量：无论在高端还是低端，都能够提供连续、流畅的高质 量图像。 3 更强的容错能力：提供了相应的工具以解决在不稳定的网络环境下发生 丢包等错误。 4 更好的网络时延适应能力：无论是在低延时模式下还是在无延时要求的 应用中，都能够取得最佳压缩效果。 5 更强的网络适应能力：通过网络抽象层，可使h 2 6 4 j v c 的码流在不同 网络上传输【2 5 矧。 第2 “r 1 4 , h 2 6 4 a v c 视频编码标准 2 1 3h 2 6 4 a v c 的应用领域 由于无论在低码率下还是在高码率下h 2 6 4 a v c 都能够提供更高的编码效 率，因此它的出现扩充了现有视频编码标准的应用领域。h 2 6 4 a v c 的应用领域 主要包括以下几个方面： 1 交互视频服务：针对码率在1 m b p s 以下、低延迟领域的应用，如：基于 i s d n 视频会议的电路交换实现h 3 2 0 交互式视频服务；基于3 g p p 的交 互式服务；基于i n t e r a c t ，利用t c p i p 实现h 3 2 3 交互式视频服务等。 2 娱乐视频应用：针对码率在i m b p s 至8 m b p s ，0 5 至2 秒中等时延领域 的应用，如：有线、卫星、地面、d s l 等广播电视；标清和高清d v d ； 视频点播等。 3 流媒体服务：针对码率在5 0 k b p s 至1 5 m b p s ，2 秒以上的时延领域的应 用，如：利用i p r t p 进行传输，r t s p 进行控制，实现3 g p p 流媒体以 及有线i n t e r n e t 流媒体服务等。 4 其他服务：主要是针对低码率，无时延要求方面的应用，如：3 g p p 多 媒体信息服务；视频邮件等。 2 2h 2 6 4 a v c 编解码框架 与以前的标准一样，h 2 6 4 _ a v c 并没有定义明确的编解码器，只是定义了编 码和解码的视频流标准语法与必须包含的一些功能模块，而为具体编解码器的实 现留有很大的余地。在h 2 6 4 a v c 中，基本的模块，如：预测、变换、量化、 熵编码等与以前的标准是一致的，关键的区别在于每个模块的技术细节上，这也 是h 2 6 4 a v c 之所以能够提高解码图像质量、降低码率的要点所在。 2 2 1h 2 6 4 a v 0 编码框架 图2 2 为h 2 删c 的编码框架。从图中可以看出数据流有两个分支：一个 是前向的预测、编码分支；一个是后向的解码、重构分支。 在预测、编码分支中，对于当前待编码块e ：如果是帧内编码方式，参考 同一帧中已经解码过的相邻像素信息得到待编码块的预测值，并求出预测残差 见，对预测残差块进行变换、量化、熵编码形成码流，传送至网络抽象层。如 果是帧间编码，参考前面已经解码过的一帧或几帧，进行运动估计和运动补偿， 得到待编码块的预测值以及相应的运动向量。对预测残差块进行变换、量化，对 量化后的系数以及运动向量进行熵编码形成码流，传送至网络抽象层。 在解码、重构分支中，对量化后的系数进行反量化和反变换，得到重构残差 d 。，与预测值相加得到重构值u f 。对重构值进行环路滤波去除块效应后，得 9 北京t 业大学t 学硕l ：学位论文 到最终的重构块并存入帧存中作为后面的参考。 图2 2h 2 6 4 a v c 编码框架 f i g u r e 2 - 2f r a m 印v o r k o f h 2 6 4 a v co n e o d o r 2 2 2 h 2 6 4 a v c 解码框架 图2 3 描述了h 2 6 4 a v c 的解码框架。在解码端对从网络抽象层接收到的码 流首先进行熵解码，接着做反量化和反变换，得到重构残差d j 。根据从码流中 得到的预测模式、运动向量( 帧间编码) 以及参考帧的信息( 帧问编码) ，预测 当前块并得到预测值，将预测值与重构残差相加得到重构块订。同样需要对重 构块进行环滤波，再存入帧存中，这样就保证了编解码端的参考帧是一致的。 图2 - 3h 2 6 4 ，a v c 解码框架 f i g u r e 2 - 3f r a m e w o r ko f i - l 2 6 4 a v c d o c o d c r 2 3h 2 6 4 a v c 的关键技术 h 2 6 4 a v c 编解码器的基本模块，如预测、变换、量化及熵编码都与以前的 第2 币h 2 6 4 a v c 视频编码标准 标准类似，而差别在于每个模块采片j 的具体的编码技术。正是由于采用了这些新 技术，h 2 “斛c 才能极大的提高编码效率以及解码图像的质量，达到最好的压 缩效果。下面就简单介绍一下h 2 删c 中的关键技术。 2 3 1 基于空域的帧内预测 在以前的标准中，帧内编码是以8 x 8 块为单位直接对待编码宏块进行变换处 理。这样并不能去除i 帧中大量的空间冗余信息，所以i 帧编码的码率很高。在 h 2 6 3 + 中，利用频域内相邻块直流( d c ) 和交流( a c ) 系数预测待编码块的 d c 和部分a c 系数。由于相邻块的系数之间存在着一定的相关性，这样就能去 除部分空问冗余信息。但是，由于只是对部分a c 系数进行预测，而且没有考虑 到图像纹理方向的特点，因此这种帧内预测技术的效果并不理想。 h 2 6 4 a v c 充分挖掘图像自身空间上的相关性，将基于空域的帧内预测技术 引入到帧内编码巾。利用图像中空问上相邻块的信息对待编码块进行预测，只对 预测残差进行变换、量化。由于残差一般比真实值小，在变换、量化后会出现更 多的零系数，因此可以减少编码的数据量，降低码率1 2 7 。对于亮度信息h 2 6 4 a v c 规定了两种编码方式：4 x 4 块方式和1 6 x 1 6 宏块方式。每一种编码方式又有多种 可选的预测模式，这样就可以在最大程度上去除图像中的空间冗余信息。有关帧 内预测技术以及帧内编码的相关算法会在第4 章中详细介绍。 2 3 2 多模式帧间编码 对于帧问编码，以前的标准将待编码宏块最细只是划分至8 x 8 块进行运动估 计。但由于视频图像的复杂性，在较大的块中可能包含多个具有不同运动状态和 不同形状的对象。特别是在运动剧烈的局部区域中，用1 个( 1 6 x 1 6 ) 或4 个( 8 x 8 ) 运动矢量并不能准确的描述一个宏块全部的运动细节。这样就可能由于帧问编码 方式无法满足预测的精度，而不得不采用帧内编码方式，从而增加了p 帧和b 帧编码的码率。 h 2 6 4 a v c 对宏块进行了进一步的划分，一共划分为7 种模式：1 6 x 1 6 、1 6 x 8 、 8 x 1 6 、8 x 8 、8 x 4 、4 x 8 和4 x 4 ，如图2 _ 4 所示。以子块为单位进行运动估计，每 一个子块都可以得到一个( 在一个参考帧的情况下) 运动向量。匹配模式的多样 性使得h 2 6 4 a v c 在面对运动程度不同的宏块时，可以采用不同的预测模式。 例如，对于运动一致的宏块，可以用一个运动向量进行编码，而对于运动比较复 杂的宏块则可使用最多1 6 个运动向量进行运动估计，并且不同运动向量对应的 分块有可能是正方形的也有可能是矩形的，这就大大提高了帧间预测的准确性， 从而减少了因为运动估计不精确而不得不采用帧内编码的情况。同时，以更小的 块为单位进行运动估计和补偿还可以消除由于物体局部细小运动带来的块效应， 北京t 业大学t 学硕十学位论文 增强图像的主观质量。试验证明：在解码图像质量相同的情况下，以更小子块为 单位进行运动估计可以节省1 5 以上的码率。 1 6 1 61 6 88 1 68 8 8 4 4 84 4 匪田口 图2 - 4 宏块的划分 f i g u r e 2 - 4p a r t i t i o nf o ram a c r o b l o e k 2 3 31 4 像素精度的运动估计和运动补偿 运动估计是利用连续图像在时域上的相关性，产生相应的运动矢量，尽可能 准确的描述待编码块在时域中的运动。因此运动矢量的精度越高，运动估计的匹 配程度也就越高，就能够在降低码率的同时提高解码图像的质量。 在h 2 6 3 、m p e g 1 、m p e g - 2 中，采用的是基于整像素或1 2 像素精度运动 估计和补偿，由于运动向量并不是很精确，导致帧间预测的残差很大。在m p e g - 4 第二部分高级类部分，首次提出采用基于1 4 像素精度的运动估计和补偿技术， 但是内插的复杂度太高。 h 2 6 4 a v c 支持亮度分量1 4 像素精度和色度分量1 8 像素精度的运动估计 和补偿，同时降低了内插的复杂度( 利用6 抽头滤波器产生l 2 像素，线性插值 产生1 4 像素，4 抽头滤波器产生1 8 像素) ，极大的提高匹配精度，使得运动估 计和补偿更为准确，从而获得更高的编码效率。另一方面，在要求解码图像质量 相近的情况下，采用基于1 4 像素精度的运动估计可以满足对于预测精度的要求， 而传统的基于1 2 像素精度的运动估计可能就达不到要求，只能采用帧内编码， 这样就会增加码率。所以，更精确的运动估计意味着在帧间编码中所需码率更小。 试验证明：在解码图像质量相同的情况下，采用基于1 4 像素精度的运动估计和 补偿技术可以节省2 0 以上的码率。 2 3 4 多参考帧 在以前的标准中，p 帧只使用一帧，b 帧只使用两帧图像作为参考进行预测。 h 2 6 4 a v c 最多可以支持使用3 1 个参考帧，即通过在多个参考帧中进行运动搜索， 寻找出待编码块的最佳匹配块。在一些特定的情况下，如快速的周期运动、快速 笫2 章h 2 6 4 a v c 视频编码标准 的场景相互切换、物体存在遮蔽现象等，使用多参考帧的效果更突出【2 引。尽管会 增加编码端和解码端缓存的容量，但是使用多参考帧预测可以在很大程度上提高 编码效率和主观图像的质量。更重要的是，使用多参考帧可以增强h 2 6 4 a v c 码 流的容错能力。试验证明：使用多参考帧可以节省5 1 0 的码率。 2 3 5 基于4 x 4 块的整数d c t 变换 在编码过程巾，运动估计和d c t 是计算量最大的两个部分。在以前的标准 中，采用的是8 x 8 浮点数d c t ，会存在以下几点弊端： 1 ) 运算量巨大； 2 ) 不利于移植到定点d s p 中；