（计算机应用技术专业论文）h264到avs转码研究.pdf

摘要 曼! 曼曼曼! 曼曼曼曼曼蔓鼍! ! 曼曼曼皇曼! ! 曼曼笪鼍! 曼曼曼曼曼曼曼曼曼曼曼曼曼ii l l l 曼皇! ! 曼蔓曼璺! 曼! ! 曼蔓! 曼曼曼! ! ! ! ! ! 曼! 曼曼曼曼曼曼曼曼鼍曼曼曼 摘要 视频是多媒体信息的重要组成部分，由于其数据量巨大，实际应用中需要先 进行压缩编码再进行存储和传输。目前，已经建立了多个视频编码标准，包括应 用于存储运动图像的数字媒体群v c d 的m p e g - 1 标准，面向数字视频广播和d v d 的m p e g - 2 标准，适用于移动视频终端以及因特网上的高质量流媒体应用的 m p e g 4 标准，适用于低码率通信的h 2 6 3 标准，编码性能较以往标准更加优越的 h 2 6 4 标准和我国具备自主知识产权的信源编码标准a v s 。随着数字视频技术的 广泛应用和多种网络资源的融合，实现各种视频编码格式之间的转码要求变得越 来越迫切。 2 0 0 3 年，i t u t 和i s o i e c 组织联合制定了最新的视频压缩编码国际标准 h 2 6 4 ，该编码标准在以往基于m c 、d c t 模式的各种视频编码标准的基础上，采 用了许多新技术，与之前的各种视频编码标准相比，同样图像质量下具有更高的 编码效率，同时还有良好的网络适应性和抗误码性，因此被普遍认为是下一代广 泛应用的视频编码标准，目前，已经有很多基于h 2 6 4 的应用领域。 a v s 标准是以h 2 6 4 框架为起点，自主制定的适合既定应用的中国标准。a v s 标准具有算法复杂度低和性能优越的优势，主要应用于高清晰数字电视、网络电 视、数字存储媒体和无线移动多媒体通信等方面。随着a v s 产业的壮大，a v s 在 我国将有很大的发展空间。因此，将h 2 6 4 转化为a v s 具有一定的应用价值，本 文的研究工作就是围绕这两种视频标准的转码技术展开的。 本文介绍了视频转码的目的、当前国内外的研究现状和发展方向，分析了 h 2 4 6 和a v s 视频压缩标准的基本框架和编码流程，重点介绍视频编码层的关键 技术。在对比分析h 2 6 4 和a v s 技术实现细节上的异同并讨论现有各种视频标准 转码结构的基础上，研究转码技术的关键算法，实现本文转码的系统结构。 文中在细致分析h 2 4 6 和a v s 的帧内预测、帧间预测原理后，详细介绍了利 用h 。2 6 4 解码的帧内预测信息和帧间运动补偿信息进行转码的算法，该算法有效 地简化编码端编码的预测过程，提高预测模式判定过程的速度，并分析该转码结 构的计算复杂度，评价转码后视频的质量。实验结果表明，在有效降低编码复杂 度的同时，该算法可以达到和像素域完全级联转码结构相近的图像质量。 关键词转码；h 2 6 4 ；a 、，s ；模式重用；运动矢量重用 a b s 仃a c t a b s tr a c t 硼1 ep r i m a r yp r o p o r t i o no fm u l t i m e d i ai s c o m p o s e do fv i d e oi n f o r m a t i o n b e c a u s eo fi t sh u g ev o l u m eo fd a t a , i np r a c t i c a la p p l i c a t i o n , v i d e oi n f o r m a t i o nd a t ai s n e e dt ob ec o d i n gf i r s t l ya n dt h e nm a k es t o r a g ea n dt r a n s m i s s i o n s of a r , s e v e r a l i n t e r n a t i o n a lv i d e oc o m p r e s s i o ns t a n d a r d sa r ee s t a b l i s h e d ，s u c ha sm p e g - 1s t a n d a r d t h a ta p p l i e st od i g i t a ls t o r a g ev i z v c d ；m p e g 一2s t a n d a r d ，w h i c hi sf o rd i g i t a lv i d e o b r o a d c a s t i n ga n dd v d ；m p e g 一4s t a n d a r d ，w h i c hi sa p p l i c a b l et om o b i l ev i d e o t e r m i n a l so rt h ei n t e r a c t ，a n dh i 曲一q u a l i t ys t r e a m i n gm e d i aa p p l i c a t i o n s ；h 2 6 3 s t a n d a r d ，w h i c hi sa p p l i c a b l et ol o wb i tr a t ec o m m u n i c a t i o na p p l i c a t i o n s ；h 2 6 4 s t a n d a r d 。w h o s ec o d i n gp e r f o r m a n c ei st h em o s tf a v o r a b l et h a nb e f o r e ；斟ss t a n d a r d 。 w h i c hi sc h i n a si n d e p e n d e n ti n t e l l e c t u a lp r o p e r t yr i g h t s w i t l la 、析d er a n g eo f 击西t a lv i d e ot e c h n o l o g ya p p l i c a t i o n sa n dt h ei n t e g r a t i o no fav a r i e t yo fn e t w o r k r e s o u r c e s ，t oa c h i e v eav a r i e t yo fv i d e oc o d i n gf o r m a tt r a n s c o d i n gb e t w e e nt h e e x i s t i n gv i d e oc o d i n gs t a n d a r d sb e c o m e st ob ea l lu r g e n td e m a n di n c r e a s i n g l y i t u ta n di s o i e c o r g a n i z a t i o n sj o i n t l yd e v e l o p e dh 2 6 4 ，t h e l a t e s t i n t e r n a t i o n a ls t a n d a r df o rv i d e oc o m p r e s s i o nc o d i n gi n2 0 0 3 h 2 6 4i sb a s e do n v a r i o u sv i d e oc o d i n gs t a n d a r d st h a tu s em ca n dd c ta sp r i m a r yt e c h n o l o g i e s ， m a k e su s eo fm a n yn e wt e c h n o l o g i e s c o m p a r i n gw i t ht h ep r e v i o u sv i d e oc o d i n g s t a n d a r d s ，h 2 6 4n o to n l yk e e p sah i g h e rc o d i n ge f f i c i e n c yw i t ht h es a m ei m a g e q u a l i t y , b u ta l s or e p r e s e n t s ag o o dn e t w o r k a d a p t a b i l i t ya n d e r r o rr e s i l i e n c e ， t h e r e f o r e ，i ti sg e n e r a l l yc o n s i d e r e dt h en e x tg e n e r a t i o no fw i d e l yu s e dv i d e oc o d i n g s t a n d a r d s of a r , l o t so fa p p l i c a t i o n st h a tb a s e do nh 2 6 4s t a n d a r da r ea p p e a r e d a v si sb a s e do nh 2 6 4f r a m e w o r ka sas t a r t i n gp o i n t ，i n d e p e n d e n t l yd e v e l o p e d b yc h i n af o rt h ee s t a b l i s h e da p p l i c a t i o n s a v ss t a n d a r da p p l i e sa l g o r i t h m sw i ml o w c o m p l e x i t ya n de f f i c i e n tp e r f e r m e n c ea d v a n t a g e s ，i sm a i n l yu s e di nh i 曲- d e f i n i t i o n d i g i t a lt e l e v i s i o n ，n e t w o r kt e l e v i s i o n ，d i g i t a ls t o r a g em e d i a ，a n dw i r e l e s sm o b i l e m u l t i m e d i ac o m m u n i c a t i o n s w i t ht h eg r o w t ho fa v si n d u s t r y , a v si no u rc o u n t r y w i l lh a v eah u g es p a c ef o rd e v e l o p m e n t a sar e s u l t ，t r a n s c o d i n go fh 2 6 4t oa v si s v a l u a b l ea n dt h er e s e a r c hi nt h i sp a p e ri sf o c u s e do nt r a n s c o d i n gt e c h n o l o g yb e t w e e n t h e s et w ov i d e os t a n d a r d s t h i sp a p e ri n t r o d u c e st h ep u r p o s eo fv i d e ot r a n s c o d i n g ，t h ec u r r e n td o m e s t i c a n df o r e i g nr e s e a r c ha n dd e v e l o p m e n ti n t e r e s t a na n a l y s i so ft h eb a s i cf r a m e w o r k , c o d i n gp r o c e s s ，a n dt h ef o c u so fk e yt e c h n o l o g i e so fv i d e oc o d i n gl a y e rf o ra v sa n d h 2 4 6v i d e os t a n d a r di sp r o p o s e d b a s e do nt h ec o m p a r a t i v ea n a l y s i so ft h ed e t a i l m s i m i l 碰t i e sa 1 1 dd i f f e r e n c e st e c h n o l o g yb e t w e e nh 2 6 4a n da v s ，r e f e r st h ee x i s t i n g r e s e a r c ho fv i d e ot r a n s c o d i n gs t r u c t u r ea n dk e y t e c h n i c a la l g o r i t h m sb e t w e e nt h e s e t w os t a n d a r d s ，a n dt h e ni m p l e m e n tt h ep r o p o s e dt r a n s c o d i n gs y s t e m a r c h i t e c t u r e i nt h i sp a p e r , w i t ht h ei n d e p t ha n a l y s i so ft h ei n t r af r a m ep r e d i c t i o na n di n t e r f r a m ep r e d i c t i o np r i n c i p l e ，r e p r e s e n ta nd e t a i l e di n t r o d u c t i o no f t h er e u s eo fd e c o d e d h 2 6 4b i t s t r e a mi n t r af r a m ep r e d i c t i o n i n f o r m a t i o na n di n t e rf r a m em o t i o n c o m p e n s a t i o ni n f o r m a t i o nt o e n c o d ef o ra v s ，w h i c he f f e c t i v e l ys i m p l i f y t h e 口r e d i c t i o no fe n c o d i n gp r o c e s sa n dr e d u c et r a n s c o d i n gc o m p u t a t i o n a lc o m p l e x i t y ； r e p r e s e n tt h ev i d e oq u a l i t ye v a l u a t i o na f t e rt r a n s c o d i n g t h es i m u l a t i o nr e s u k ss h o w t h a tt h et r a n s c o d i n ga l g o r i t h m se f f e c t i v e l yr e d u c et h ec o m p l e x i t yo fa v s e n c o d i n g ， m e a l l t i m e “c a i lb ea c h i e v e ds i m i l a ri m a g eq u a l i t yc o m p a r i n gt o c a s c a d e dp i x e l d o m a i nt r a n s c o d i n gs t r u c t u r e k e y w o r d st r a n s c o d i n g ；h 2 6 4 ；a v s ；m o d er e u s e ；m o t i o n v e c t o rr e u s e i v 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：至室! 主! 日期：翌翌：丝：垆 | 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：一事虮导师签名： 第1 章绪论 1 1 本文研究背景 章绪论| p ，h ，u 随着信息技术的不断进步，现代人每天都在获取越来越丰富的信息。信息 的本身和获取信息的渠道变得更加丰富，信息已经不仅仅是传统的文字，它还 包括了声音、视频等元素，除了传统的文字形式，整合的多媒体信息扮演了非 常重要的角色，其中尤其以视觉信息为主要部分。据统计，人们每天获取的视 觉信息约占外界信息总量的7 0 左右【l 】。借助于通信和计算机技术的快速发展 和成熟，数字视频技术广泛应用于数字电视、媒体存储、视频会议、视频电话、 移动视频终端等领域。 视频的编解码是视频技术的核心，视频编码的原理是通过对视频原始信号 进行去除时域和空域冗余信息以达到压缩数据量的目的，有效的编码使得视频 信息的存储及传输效率得到很大提高。不同的视频编码标准在变换、量化、熵 编码、运动估计和运动补偿等去除时域和空域冗余的技术细节上存在差别。随 着多媒体技术的发展，面向不同应用的视频编码标准应运而生。 国际标准化组织( i s o ) 和国际电信联盟0 t u ) 相继制定了一系列图像和视频 编码标准，包括应用于静止图象压缩的j p e g 2 1 、面向i s d n 视频传输的h 2 6 1 【j j 、 用于数字视频和音频传输及存储的m p e g 1 1 4 1 、支持高品质数字视频和音频传 输与存储的m p e g 2 e 5 1 、适合于低码率视频传输的h 2 6 3e 6 1 、基于对象的视频编 码标准m p e g 4 1 7 1 和适用于多领域的高效的视频编码标准h 2 6 4 1 、我国自主制 定的a v s 信源编码标准【8 】。这些编码标准的建立展现了图像及视频编码技术的 发展历程，促进了多媒体技术应用的成熟。 然而，由于各种编码标准的存在，大量的视频数据按照不同的标准和格式 进行压缩编码，分布存储在不同的设备上。为了能够在异构网络之间、不同种 类设备之间以及不同媒体数据格式之间能够透明地提供服务，实现各种视频编 码格式之间转码的要求越来越迫切。针对不同应用环境的编码标准在编码框架、 码流结构等方面既有区别，又有共同点，这就使得不同格式、标准间的兼容和 转换具有可行性。当前，涉及h 2 6 4 和a v s 的相关研究正在成为新的热点。 2 0 0 3 年，i t u t 的v c e g 和i s o i e c 的m p e g 联合制定了最新的视频压缩 编码标准h 2 6 4 ，该编码标准在以往基于运动补偿l j c 订c ) 和散余弦变换( d c d 的各 种视频编码标准的基础上，采用了许多新技术，与以前的视频编码标准相比， 在同等的条件下能节约5 0 的码率 9 1 。h 2 6 4 的优势主要体现在侧重于实用、高 效，可广泛应用于不同介质的数字广播、数字存储及流媒体、移动通信等领域 北京工业大学工学硕士学位论文 1 l 肛1 。北美、欧洲和日本已经开始使用h 2 6 4 编码标准的数字电视广播，通讯 和多媒体应用上也出现了基于h 2 6 4 的产品，光碟存储领域也采纳了这一标准。 a v s 标准是以当h 2 6 4 框架为起点，自主制定适合既定应用的中国标准。 a v s 标准具有算法复杂度低、容易实现以及性能优异的优势，主要应用于高清 晰数字电视、网络电视、数字存储媒体等方面，具有广泛的应用前景【1 2 1 训。与 a v s 相关的数字电视广播、口t v 、无线移动多媒体通信等应用正蓬勃发展，为 a v s 的成长壮大提供了很大的发展空间。 不难预见，这两种视频编码标准将因各自的优势而存在较长时间，并且会 有广泛的应用。基于h 2 6 4 标准的各种应用有很好的国际市场，因此，研究h 2 6 4 和a v s 标准的编解码技术，并将国际标准h 2 6 4 转化为我国自主的a v s 标准 具有一定的应用价值。目前，存在一些a v s 到h 2 6 4 及其它标准转码的研究， 还没有完整的h 2 6 4 到a v s 转码方面的研究。 1 2 转码研究现状 视频转码的思想是把用某一标准压缩的视频码流直接转换成另一种格式或 标准的压缩数据，并兼顾码流转换后图像的质量和转码运算的复杂性。最直接 的转码是用压缩码流相应的解码器将其完全解码成像素域数据，再使用目的编 码器进行特定需求的编码，从而实现码流转码。这种完全解码和编码的转码过 程具有最好的转码后图像质量，但是由于运算复杂，往往不适宣实际应用。目 前，转码研究的热点问题是如何对压缩视频流中的编码数据进行有效的再利用， 以尽量避免重新编码中的复杂运算。 从应用类型和处理方式上来说当前视频转码主要分为码率转换、分辨率转 换、不同编码标准间转换和其它特殊目的的转码。不同应用的转码具有不同的 研究重点，下面依次进行介绍。 1 2 1 比特率转换 比特率转换是研究同一种编码标准下的压缩视频流格式的转码，把同一种 编码标准的视频数据流从适合某一环境的比特率转换成适合于另一环境的比特 率，目的是根据应用环境的变化来动态调整视频流的码率，如实现广播电视中 不同级别的兼容性和解决网络传输带宽的局限性等。这方面的研究成果主要集 中在m p e g 2 和h 2 6 3 等已广泛应用的标准从高码率到低码率的转换问题。 实现压缩码流比特率转换的主要方法有：频率截断法，即丢弃宏块高频d c t 域系数【1 5 1 。这种方法简单易行，但是丢弃高频d c t 域系数会产生严重的偏差， 2 第1 罩绪论 而且不易于准确控制产生的码率；重量化法，通过对码流进行解码、反量化得 到d c t 域系数，对系数进行某个量化参数的量化，最后进行编码，重量化方法 的前后两次量化会造成一定程度的误差。文献 1 6 1 提出减少重量化补偿偏差的 方法：对于m p e g 系列，d c t 域运动补偿法能够获得和像素域转码相近的质量， 但是由于涉及到浮点运算，代价较高【1 7 1 8 】。 比特率转换在电视广播中应用比较广泛，目前的主要研究问题集中在如何 改善由于再量化误差和漂移引起的图像质量下降和减少转换的复杂性等方面。 1 2 2 分辨率转换 分辨率转换可以分为时间分辨率转换和空间分辨率转换，通过分辨率的转 换可以满足特定的存储和网络传输要求，同时与特定的编码类型兼容，降低用 户终端的处理压力，如由高清晰度电视到标准清晰度电视的转换。 时间分辨率转换，形式上通过减少帧率来减少比特率，满足为网络带宽受 限情况下提供高质量的视频图像质量或者满足终端的处理能力的需求。这部分 的研究应包括：一是研究丢帧策略和丢帧后帧格式的转换，另一个就是参考帧 丢弃后，受影响运动矢量的重新估计。减少时间分辨率的关键问题是对指向丢 弃的参考帧的运动矢量进行重新估计。文献 1 9 提出运动矢量优化算法，文献 2 0 - - - 2 1 提出d c t 域残差重新估计的算法。 相对于时间分辨率转码，空间分辨率的转码复杂一些，它涉及的难点有： 如何从原始压缩码流的运动矢量映射出低分辨率下宏块对应的运动矢量；研究 能够补偿误码扩散的转码结构，从而尽可能地减少图像质量的下降。 文献 2 2 1 讨论了运动矢量映射和宏块数据重用的问题，文献 2 3 1 提出了运动 矢量缩放算法，文献 2 4 提出了d c t 域内进行运动补偿算法。文献 2 5 】提出了 在像素域内重用运动信息进行各种格式转换的算法，有效地提高了效率。 目前分辨率转换的研究主要集中在减少图像质量下降的前提下，如何利用 运动信息，如宏块类型、预测模式、运动矢量和d c t 域系数，提高编码效率。 1 2 3 不同标准间转码 为实现使用不同压缩编码标准的视频系统间的透明性，需要将视频压缩码 流从某一种压缩编码标准转换成为另一种压缩编码标准的码流，称为不同种类 视频编码标准间转码。对于同一标准下的码流转码，参数的定义、码流的结构 都是相同的，解码信息的再利用相对简单一些。而对于不同标准间的转码，由 于原始码流和目标码流所遵循的语法、码流结构和实现细节等存在不同程度的 差别，转码时需要对提取的信息进行有效的处理后再实施简化编码。 3 北京工业大学工学硕士学位论文 不同标准转码一般用于具有相似压缩算法的标准间的转换，它们在编码框 架和主要算法上存在共同点，均为基于帧内预测、帧间运动补偿、d c t 变换和 分级量化的多种编码标准之间的转码，如h 2 6 x 系列标准和m p e g 系列标准的 转码。有关的研究主要集中在从m p e g 2 到h 2 6 3 或m p e g 4 等转码工作上【2 6 j 。 对于新兴的h 2 6 4 和a v s 视频编码标准，有关的标准间转码问题正在成为新的 研究热点。 不同标准转码研究的关键问题是运动信息重用、d c t 域转码结构、提高视 频质量等方面。运动矢量重用算法节省了大量的运算量，而视频质量与进行重 新运动估计的转码方法的视频质量相近，因而是实际中采用较多的转码方案， 也是研究较多的问题。d c t 域转码比像素域转码节省了d c t 和i d c t 变换，可 以降低运算复杂性，主要研究包括d c t 域图像下采样和d c t 域运动补偿算法 2 7 2 8 1 。文献 2 9 详细介绍了标准间转码的相关问题。 1 2 4 其它转换编码 一般的转码是为了将压缩视频流变换成适合于各种网络传输要求和各种视 频设备的形式，达到用户服务的透明性。除此之外，还有其它目的的转码，包 括加入错误恢复信息以实现抗误码的功能，对视频图像加入数字水印以达到加 密的作用等。 通常情况下，数据在信道中传输不可避免的会产生误码的情况，无线信道 的带宽会相对更小，误码率会更大。为了减小误码，除了对经过信道传输的视 频码流进行误差的检测和消除外，在码流本身适当的加入错误恢复信息，可以 提高接收端解码图像质量。在码流中加入的错误恢复信息主要有宏块参考帧选 择、同步标记、数据分割等。在传输过程中，进行错误的检测和恢复措施。 由于加入了包含时域和空域信息的错误恢复信息，对于同一个信道和同一 个输出比特率的码流，需要对码率进行控制。为了提高视频质量和保持码率， 可以通过计算统计的误差传播模型和率失真模型来控制加入合适比特数的信息 【3 0 】。文献 3 u 提出了i 帧自适应刷新( a i r ) 和反馈控制信号( f c s ) 算法，能够有效 提高视频码流的可靠性。 数字水印是在视频压缩码流中加入信息来达到标示知识产权、传送隐秘信 息、判断信息真伪等目的，具有重要的应用。最直接的是对码流完全解码后直 接进行水印加入处理，但计算量大。实际中采用较多的是作用在空域或变换域 上局部图像的算法。加入附加的水印信息，无疑加大了比特数或者降低了视频 图像的质量，需要对误差进行有效地补偿。 4 第1 章绪论 1 3 课题的研究目标 本课题属于国家8 6 3 高技术研究发展计划基金项目( 2 0 0 6 a a 0 1 2 3 1 7 ) ，课 题的研究内容是h 2 6 4 码流到a v s 码流的转换，目标是能够将基本档次和主要 档次的h 2 6 4 编码的码流转码成a v s 编码格式的码流，通过有效地利用解码信 息来减少计算复杂度，并保证转码后的码流与像素域完全级联转码有相近的视 频图像质量。 本文中需要解决的主要问题是： 1 由于两种标准中帧内预测模式种类不同，不能直接重用。解码h 2 6 4 码 流可得到帧内编码的预测模式信息，利用解码的预测模式来推算a v s 编码的预 测模式，避免完全的帧内预测，提高预测模式判定过程的速度，从而降低帧内 预测过程的计算复杂度。 2 由于两种标准中运动补偿分块大小不同，不能直接重用。根据由h 2 6 4 码流解码的运动信息，设计快速有效的算法来推算可用于a v s 编码的运动信息， 加快运动模式选择过程，避免在a v s 编码端进行完全的帧间编码，从而降低帧 间预测过程的计算复杂度。 1 4 本文的内容安排和组织结构 本论文的内容安排和组织结构如下： 第一章，绪论。在本章中首先介绍了视频转码的应用背景、课题的研究目 的与意义，然后按照比特率转码、空间分辨率与时间分辨率转码、视频标准间 转码和其它转码分类，介绍了国内外视频转码的研究内容和现状。最后说明了 本文的研究内容和目标，研究中需要解决的主要问题。 第二章，视频压缩编码和编码标准简介。介绍视频图像编码标准的主要概 念和编码原理，重点介绍彩色空间和采样格式、预测编码、变换编码、量化、 熵编码等主要技术。详细介绍了h 2 6 4 和a v s 视频编码标准的框架和主要算法。 最后对h 2 6 4 和a v s 视频编码标准的异同进行分析。 第三章，h 2 6 4 到a v s 视频转码框架。详细介绍了视频转码的体系结构： 像素域完全级联转码结构、像素域快速级联转码结构、d c t 域重量化级联转码 结构、d c t 域级联转码结构和省略b 帧运动补偿的转码结构，并在此基础上提 出了本文采用的转码结构。 第四章，h 2 6 4 到a v s 转码的关键技术。主要介绍了h 2 6 4 到a v s 转码的 主要技术，如何利用解码信息来简化帧内和帧间预测过程。详细介绍了转码时 两标准的量化参数映射，不同尺寸的亮度和色度分块的帧内预测模式映射，帧 5 北京工业大学工学硕士学位论文 问预测涉及的运动补偿分块的模式重用、运动矢量重用、参考帧的匹配、帧场 类型编码转换等问题。 第五章，h 2 6 4 到a v s 的转码实现和性能分析。介绍了本文采用的像素域 快速级联转码和像素域完全级联转码的实现，并对比分析编码性能。详细分析 了转码算法的计算复杂度。通过实验结果，与像素域完全级联转码相比较，对 比转码算法的效率和转码后视频图像的质量。 最后，概括总结了本文所做的工作，并对未来研究工作的方向作了展望。 6 第2 章视频压缩编码和编码标准简介 第2 章视频压缩编码和编码标准简介 2 1 视频压缩编码原理 视频编码就是指通过特定的算法去除视频图像数据中的冗余部分，最后得 到压缩数据的过程。下面介绍视频编码原理涉及到的主要概念。 2 1 1 颜色空间和采样格式 颜色空间是通过一个抽象的数学模型来描述彩色图像的亮度与色度的方 法，常用的颜色空间模型有：r g b 、c m y k 、y c b c r 、y i q 等，其中计算机应 用中主要为r g b 和y c b c r 两种。 r g b 颜色空间是工业界的一种颜色标准，通过对红( r ) 、绿( g ) 、蓝0 3 ) - - 个 颜色通道的变化以及它们相互之间的叠加来得到各式各样的颜色，r g b 颜色空 间使用r g b 模型为图像中每一个像素的r g b 分量分配一个0 - 2 5 5 范围内的强 度值。 这个标准几乎包括了人类视力所能感知的所有颜色，是目前运用最广的颜 色系统之一，适用于彩色显象管( c m 3 、投影仪、扫描仪、数码相机等。 与r g b 颜色空间信号传输相比，y c b c r 颜色空间最大的优点在于只需占 用教少的频宽。采用y c b c r 颜色空间的重要性是它的亮度信号y 和色度信号 c b 、c r 是分离的。如果只有y 信号分量而没有c b 、c r 分量，那么这样表示的 图像就是黑白灰度图像。 r g b 和y c b c r 之间可以相互转换，如果亮度分量用y 表示，色度用c b ， c r 表示，则由大量实验得出【l 】= y = 0 2 9 9 r + 0 5 8 7 g + 0 1 1 4 b c b = 0 5 6 4 ( b - c r = 0 713 ( r - d ( 2 1 ) 反之，可由式( 2 2 ) 计算得到相应的r 、g 、b 各分量： r = y + 1 4 0 2 c r g = y - 0 3 4 4 c b 一0 714 c r b = y + i 7 7 2 c b ( 2 - 2 ) 计算机视频处理中常用的是y c b c r 颜色空间，主要的采样格式有y c b c r 4 ：2 ：0 、y c b c r4 ：2 ：2 和y c b c r4 ：4 ：4 【1 1 ，每种采样格式的亮度和色度分量的比例 如图2 1 所示： 7 北京工业大学工学硕士学位论文 o o o 圆国 o o o o o o 圆圆 o o o o o o 国 o o o o o o 国 o o o 4 ：2 ：0 取样 q9 舀c q9 c qo o q ? 舀g 4 ：2 ：2 取样 q 奄口q 舀舀舀 q 圣舀 4 ：4 ：4 取样 图2 1 图像采样格式 f i g u r e2 - 1p i c t u r es a m p l i n gf o r m a t ( 1 ) y c b c r 4 ：2 ：0c b 和c r 矩阵水平和垂直方向的尺寸都只有y 矩阵的一半， 每4 个亮度像素相应的有1 个c b 和1 个c r 色度像素。 ( 2 ) y c b c r4 ：2 ：2c b 和c r 矩阵在水平方向的尺寸只有y 矩阵的一半，在垂 直方向的尺寸和y 相同，每4 个亮度像素相应的有2 个c b 和2 个c r 色度像素。 ( 3 ) y c b c r4 ：4 ：4c b 和c r 矩阵在水平和垂直方向的尺寸都和y 矩阵相同， 每4 个亮度像素相应的有4 个c b 和4 个c r 色度像素。 数字视频信号有逐行和隔行扫描之分。隔行图像有时间顺序和空间顺序两 种，时间顺序的隔行图像由连续两个时间的图像组成。空间顺序的隔行图像的 奇数行组成一个场，偶数行组成另一个场，两场数据组成一幅图像。 2 1 2 视频信号格式 视频信号格式是基于应用环境的，许多应用的数字视频系统，例如数字广 播、高清晰度电视、电话会议和视频监控等，都有不同的时空分辨率标准和比 特率要求，如表2 1 所示 2 9 1 。 表2 1 视频帧格式 t a b l e2 1v i d e of r a m ef o r m a t 格式亮度分辨率( 水平垂直)帧率z ) h d t v1 2 8 0 x 7 2 0 6 0 h d t v1 9 2 0 x 1 0 8 03 0 c c t r 6 0 1 7 2 0 4 8 0 3 0 n t s c f u l l d l 7 0 4 x 4 8 0 3 0 n t s c3 4 d 15 4 4 x 4 8 03 0 n t s c 2 3d 1 4 8 0 x 4 8 03 0 p a l 7 2 0 x 5 7 6 2 5 4 c i f7 0 4 x 5 7 63 0 c i f3 5 2 x 2 8 82 9 9 7 s 3 5 2 x 2 4 01 5 3 0 q v g a 1 7 6 x 1 4 41 5 3 0 8 第2 章视频压缩编码和编码标准简介 h q v g a 2 4 0 x 1 7 61 5 旬0 q c i f 1 7 6 x 1 4 47 5 3 0 q s i f 1 7 6 x 1 2 0 1 0 1 5 s q v g a 1 6 0 x 1 2 01 1 5 s q c i f 1 2 8 x 9 67 5 2 1 3 图像质量评价标准 图像质量的正确评价是图像领域内的一个研究热点，其评价指标可以作为 算法优化和校验处理系统的一种衡量准则，主要有主观和客观评价标准。 主观评价是直接利用观察者对被测系统图像的主观反应来确定系统性能的 一种测试；测定图像质量主观评价等级。主观评价通常包括两种类型：一种是 在最佳条件下确定系统的性能，称为质量评价；另一种是在非最佳条件下结合 发送和传输条件确定系统保持质量性能的评价，称为损伤评价。图像的直接感 受者就是观众，因此，主观评价方法的准确性具有一定的优势。由于人的视觉 具有选择的特性，主观评价的关键在于所使用的方法能否产生稳定的结果，需 要采用合适的评价方法和测试图像对系统进行评价。 由于主观评价结果不仅与被测系统的性能有关，而且与评价观看条件、传 输信号质量、测试图像特性、观看人员差异、评分方法、数据统计方法、结果 表达方式等因素有关，因此，评价的结果会存在一定程度的缺陷。 目前，存在各种图像客观评价方法，不同的方法具有各自的评价特性。在 视频处理领域中，最常用的评价标准是峰值信号与噪声之比( p s n r ) u j ： ( 2 n 1 ) 2 艘垤如5 l o l 0 9 1 0 面 ( 2 。3 ) 其中m s e 为原始和编解码后图像之间的均方误差，( 2 n 1 ) 2 为图像种最大可 能的信号值平方，n 为表示每个像素的比特数。 通常情况下，p s n r 数值越高视频的质量越高。但实际上有时并非如此，由 于人的视觉的特性和图像本身的特点，会存在高p s n r 图像比低p s n r 图像的 主观质量差的可能，存在一定程度的误差。 2 1 4 预测编码 预测编码是最简单和实用的视频压缩编码方法。大量统计表明，一幅图像 中相邻像素之间存在着相关性，即像素值比较相近；视频图像是由时间上连续 的图像组成的时间图像序列，它在时间上比在空间上具有更大的相关性。可以 9 北京工业大学工学硕士学位论文 综合利用这些特性进行视频压缩编码，这时需要处理的并不是像素本身的取样 幅值，而是该取样的预测值和实际值之差。 帧内编码用来减少图像的空间冗余，充分利用相邻宏块之间的空间相关性， 在对一个给定的宏块编码时，首先可以根据周围的宏块进行预测，典型的是根 据左上角的宏块，因为此宏块已经被编码处理，然后对预测值与实际值的差值 进行编码。相对于直接对该帧编码而言，可以很大程度减小编码后的码率。 帧间预测编码利用连续帧中的时间相关性冗余来进行运动估计和运动补 偿，是视频压缩的关键技术之一。首先将活动图像分成若干子块，并搜索出每 个子块在邻近帧图像中的位置，并得出两者之间的相对偏移量即为运动矢量， 得到运动矢量的过程被称为运动估计。运动矢量和经过运动匹配后得到的预测 残差共同发送到解码端，在解码端根据运动矢量，到已解码的邻近参考帧图像 中寻找相应的子块，与预测误差相加后就得到了子块在当前帧中的位置，这一 过程称为运动补偿。 由于自然物体运动的连续性，相邻两帧之间的分块的运动矢量可能是以1 4 像素或者甚至1 8 像素等亚像素作为单位的，由此出现亚像素运动估计和补偿， 亚像素运动估计往往能明显提高编码性能。 一般而言，帧间预测编码编码效率比帧内更高。据统计，对于缓慢变化的 2 5 6 级灰度的黑白图像序列，帧间差超过阈值3 的像素不到一帧像素的4 ；对 于剧烈变化的2 5 6 亮度值的彩色电视序列，帧间差超过阈值6 的像素平均只占 一帧的7 5 【l 】，因此，预测编码在视频编码中占有重要的地位。 2 1 5 变换编码 变换编码不直接对空间域图像数据进行编码，而是将原始数据变换到另一 个更为紧凑的表示空间，变换后能够将原始信号的能量集中到那些包含图像主 要信息的系数上，再对系数进行量化和编码。变换系数通常可以通过逆变换恢 复成原始图像信号，主要内容损失较小。不重要的系数就被量化过程去除，因 而比直接对图像数据本身进行压缩更容易获得教高的效率。 最理想的变换操作应对整个图像进行，以便去除所有像素间的相关性，但 这样的操作计算量太大。实际上，往往把图像分为若干块，以块为单位进行变 换。首先用某种变换把图像块数据映射变换到另一个正交向量空间，得到变换 域中的系数矩阵，实现图像数据由时间域到频率域的转换。经变换后的能量主 要集中在直流分量和低频率的分量上。在误差允许的条件下，只采用直流和有 限的低频分量来代表原图像数据，进而对这些系数进行下一步的编码处理。 1 0 第2 章视频压缩编码和编码标准简介 一般可用于图像编码的正交变换有k l 变换、离散傅利叶变换( d f ，r ) 、离 散余弦变换( d c t ) 和h a d a m a r d 变换。k l 变换的编码性能最理想，但实现存在 困难，变换矩阵因图像而异，因而只用来参考比较。h a d a m a r d 变换的函数简单， 适合硬件操作，但是去相关性的性能略差。实际上，在视频压缩中最常用的变 换方法是离散余弦变换c ，r ) 。 d c t 是先将整幅图像分成多个分块，然后对各分块逐一进行d c t 。对于 n x n 个像素的分块，图像样值取，y ) 的二维d c t 定义为： ) 胃2 小) n 一- l - i f ( x , y ) c o s 紊协+ 1 ) ” c o s 嘉州 f ( 刚) = 百c ( 甜) c ( v -c o s l 熹( 2 工+ 1 ) ”l c o s l 熹( 2 y + 1 ) vl j 工= 0y = ol 厶j jl 厶j “，v = 0 ，1 ，n - 1 ( 2 - 4 ) 其中，c 蛳( 垆l 、：2 l , 小u = 0 一1 反变换( i d c t ) 为： ( x ，y ) = 万2n 乙- i 己n - 1 c ) c ( v ) 罗( 鹚v ) c 。s l 景( 2 x + 1 ) 掰l c 。s l 素( 2 ) ，+ 1 ) vl ( 2 - 5 ) u s 0 v = 0 ( x ，y ) = 百乙己c ) c ( v ) 罗( 鹚v ) c o s l 等( 2 x + 1 ) 掰l c o s l 等( 2 ) ，+