（信号与信息处理专业论文）基于pc平台的h264编码器的实现和优化.pdf

南京邮电学院硕十学位论文 摘要 摘要 h 2 6 4 是i t u t 的视频编码专家组 ( m p e g ) 联合制定的视频编码新标准 并能适应不同的网络环境。 ( v c e g ) 和i s o i e c 的活动图像专家组 其目的是为了获得更好的图像压缩效果 本文首先分析和介绍了h 2 6 4 所采用的新的编码技术，然后对h2 6 4 的参考 模型j m 6 进行分析，得出在p c 平台上的优化策略。本文的主要工作是对j m 6 参考模型在p c 平台上优化。采用的优化手段有两种：算法级优化、代码级优化。 算法级优化主要是：模式选择优化算法、运动估计快速算法、全零块判决算法。 代码级优化主要是：对j m 模型进行c 语言的优化，对运算密集模块进行m m x 优化。最后给出了优化的结果，并对结果进行分析。 本文在p c 平台上对h 2 6 4 ( b a s e l i n ep r o f i l e ) 的优化结果较为理想，其中 c i f 格式的标准视频序列在2 4 g 主频的p e n t i u m 4 p c 机上，编码速率达到1 0 帧 以上。并且在编码速度和编码质量上取得了较好的折衷。 关键词：h 2 6 4 、p c 平台、模式选择、运动估汁、全零系数块、m m x 技术 南京椰t 乜学院硕j ：学位论文 摘要 a b s t r a c t h2 6 4i st h en e w e s tv i d e oc o d i n gs t a n d a r dt h a tt h ei t u - tv i d e oc o d i n ge x p e r t s g r o u pa n dt h ei s o i e cm o v i n gp i c t u r ee x p e l sg r o u pc o n s t i t u t ej o i n t l y t h em a i n g o a l so ft h eh 2 6 4s t a n d a r d i z a t i o ne f f o r ti st oe n h a n c ec o m p r e s s i o np e r f o r m a n c ea n d p r o v i d ea “n e t w o r k f r i e n d l y v i d e or e p r e s e n t a t i o na d d r e s s i n g “c o n v e r s a t i o n a l ”f v i d e o t e l e p h o n y ) a n d “n o n c o n v e r s a t i o n a l ”( s t o r a g e ，b r o a d c a s t ，o rs t r e a m i n g ) a p p l i c a t i o n s f i r s t l y , t h i sp a p e rs u m m a r i l yp r e s e n t sa no v e r v i e wo ft h et e c h n i c a lf e a t u r e so f h 2 6 4a n da na n a l y s i so f t h ej m 6 t h e nt h em e t h o do f o p t i m i z i n gc o d e cw i l lb eg i v e n t h em a i nw o r ko ft h i sp a p e ri st o o p t i m i z et h e e n c o d es p e e do fh 2 6 4b a s e do n j m 6m o d e lo v e l t h ep cp l a t f o r m t h e r ea r et w om e t h o d s ：i m p r o v e m e n to f t h e e n c o d ea l g o r i t h ma n dm o d i f i c a t i o no fp r o g r a mc o d e ，t h ee n c o d ea l g o r i t h mi n c l u d e m o d ed e c i s i o n ，m o t i o ns e a r c ha n da l l z e r oc o e f f i c i e n tb l o c kp r e d i c t i o n t h ep r o g r a m c o d em o d i f i c a t i o ni n c l u d ei m p r o v i n gt h es t r u c t u r ea n df u n c t i o n so f t h es o f t w a r eb yc l a n g u a g e ，a n du s i n gi n t e lm m xt e c h n o l o g yt oo p t i m i z et h ec o m p u t a t i o n e x t e n s i v e p a n so f h ，2 6 4 e n c o d e rf i n a l l yr e s u l ta n da n a l y s i sw i l lb es h o w n a tl a s t ，t h ep a p e ra c h i e v e san e a rr e a l - t i m eh 2 6 4e u c o d e r ，a n dt h er e s u l te n c o d e r c a ne n c o d em o r et h a n10f p si nc i fr e s o l u t i o no nap e n t i u m - 42 4 g h zc o m p u t e r t h e e x p e r i m e n tr e s u l t ss h o wt h a tt h ee n c o d e rh a sag o o dt r a d e o f f b e t w e e nt h ee n c o d i n g s p e e da n de n c o d i n gq u a l i t y k e y w o r d ：h 2 6 4 ，p cp l a t f o n - n ，m o d ed e c i s i o n ，m o t i o ns e a r c h ，a l l 。z e r o c o e f f i c i e n t b l o c k ，m m x i l 南京邮电学院学位论文独创性声明 本人声明所呈交的学位论文是我个人在导师指导下进行的研究 工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的 地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包 含为获得南京邮电学院或其它教育机构的学位或证书而使用过的材 料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了 明确的说明并表示了谢意。 研究生签名：日期 南京邮电学院学位论文使用授权声明 南京邮电学院、中国科学技术信息研究所、国家图书馆有权保留 本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其 他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一 致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布 ( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊登) 授权 南京邮电学院研究生部办理。 研究生签名：导师签名： 日期： 南京邮l u 学院硕。卜学位论文 刖禹 日u口 随着数据压缩技术、宽带网络技术、超大规模集成电路技术的发展，视频多 媒体通信成为一种新的应用领域。网络传输技术的发展，促进了数字视频压缩编 码技术的进一步深入，因而视频压缩技术是图像通信研究的重要课题之一。 为了适应不同的应用，国际组织制定了一系列的压缩编码标准。其中有国际 标准化组织( i s o ：i n t e r n a t i o n a ls t a n d a r d i z a t i o no r g a n i z a t i o n ) 、国际电子技术委 员会( i e c ：i n t e r n a t i o n a le l e c t r o t e c h n i c a lc o m m i s s i o n ) 成立的“联合运动图像专 家组”( m p e g ：m o v i n g p i c t u r ee x p e r t sg r o u p ) 制定的m p e g 系列视频压缩标准： m p e g 一1 、m p e g 2 、m p e g 一4 。还有国际电信联盟( i t u t ：i n t e r n a t i o n a l t e l e c o m m u n i c a t i o nu n i o n ，t e l e c o ms t a n d a r d i z a t i o ns e c t i o n ) 制定的h 2 6 x 系列标 准：h 2 6 1 、h 2 6 3 。最近这两个标准制定组织成立了联合视频组( j o i n t v i d e o t e a m j v t ) ，共同制定了最新的国际视频压缩标准h 2 6 4 ，同时也是m p e g 4 v i s u a l p a r t1 0 。本课题主要研究基于p c 的h 2 6 4 视频编码程序优化。 本文主要工作如下： ( 1 ) 较为深入地研究了h 2 6 4 标准，对h 2 6 4 标准中采用的新的编码技术进行 总结和分析； ( 2 ) 对h 2 6 4 的参考模型( j m 6 ) 进行分析和研究，针对p c 平台的特点，分 析影响程序效率的主要因素，提出了优化策略； ( 3 ) 在p c 平台上对h 2 6 4 的参考模型进行算法级和代码级优化，基本实现在 p c 机e 的实时编码。 论文共分六章，各章的内容安排如下： 第一章，视频压缩技术概述，介绍视频压缩技术的基本理论、视频编码的国 际标准以及本文的研究背景； 第二章，h 2 6 4 视频编码关键技术，介绍h 2 6 4 标准主要内容，分析标准所 采用的新的编码技术； 第三章，h 2 6 4 参考模型实现和分析，通过对h 2 6 4 标准参考模型( j m 6 ) 的分析给出了程序优化的策略。通过与h 2 6 3 标准进行性能对比，进一步论证了 南京| | | | ：l u 学院硕士学位论文 n u 画 h2 6 4 标准编码的性能优势； 第四章，h 2 6 4 编码的算法优化，提出了h 2 6 4 编码的快速算法，主要包括： 模式选择快速算法、运动估计快速算法、全零块估计算法； 第五章，h 2 6 4 编码的代码优化，首先针对j m 参考程序的缺陷进行c 语言 层次的调整和优化，然后对h 2 6 4 编码的运算密集模块进行m m x 优化 第六章，h 2 6 4 编码程序在p c 平台上的优化结果，给出本文在p c 平台上 h 2 6 4 编码优化的实验结果。 在上述章节之后是结束语部分，它总结了本文所做工作，并探讨了本课题进 一步的研究方向。 论文最后是参考文献、攻读硕士学位期间完成的论文和致谢。 2 南京1 1 1 1 1 u 学院碗七学位论文第一章视频胍缩技术概论 第一章视频压缩技术概论 近年来，随着计算机技术、微电子技术和信息处理技术的发展，人类社会正 在进入一个信息化的全新时代。那些约束图像通信发展的因素正在逐渐消失，图 像通信必将成为未来信息应用的一个热点。可是数字化的视频信息数据量相当庞 大，这将给存储器的存储容量、通信信道的传输率( 带宽) 以及计算机的处理速 度增加极大的压力。解决这个问题单纯用增加存储器容量和通信信道的带宽及提 高计算机的运算速度等办法是不经济也是不现实的。因此视频数据的压缩编码技 术在过去的十多年里获得了广泛研究和应用。其中，基于个人计算机( p c ) 软件 视频编解码器的实现和优化，为数字视频在各种传输环境的应用提供了一条便捷 之路。 1 1 视频压缩原理 研究视频图像数据可以发现其中存在大量的冗余，减少图像的冗余度就可以 极大地减少图像的数据量，而视频图像数据的冗余主要存在以下两个方面： a 空间冗余度。一幅图像记录的同一景物表面上各数字采样点的颜色闻往 往存在着空间连贯性，通过改变物体表面颜色的像素存储方式来利用空 间连贯性，达到减少数据量的目的。 b时间冗余度。序列图像是位于时间轴区间内的一组连续画面，其中的相 邻帧往往包含相同的背景和移动物体，只不过移动物体所在的空间位置 略有不同，所以前后帧的数据间存在极大的相关性。 除此之外，还存在着信息熵冗余、视觉冗余、结构冗余、知识冗余、纹理统 计冗余等。 1 1 1 经典的视频压缩技术 经典的编码方法以s h a n n o n 的信息理论为基础，利用图像信号的统计相关 性，消除冗余度。常用的方法有预测法、变换法、混合编码等a ( 1 ) 预测编码，又称d p c m ( d i f f e r e n t i a l p u l s ec o d em o d u l a t i o n ) ，一般是 用一组赋以不同加权系数( 或称预测系数) 的历史值的线性组合来对当前值进行 南京邮b 学院硕l 学位论义 第一章视频压缩技术概论 预测，只传输预测值和当前值之间的误差信号。而自适应d p c m 则针对图像的 不同特性采用不同的预测系数，使误差更小。由于d p c m 的压缩效率不高，且 对误差敏感，消除空间相关性没有变换编码( 如d c t ：d i s c r e t ec o s i n e t r a n s f o r m ) 优越，在帧内编码中较少使用。 ( 2 ) 变换编码，利用图像的空间统计相关性将图像空间信号变换到系数空 剧上处理，来达到压缩数据的效果。d c t 由于其性能接近k a r h u n e n l e o v e 变换 ( k l t ) 且具有快速算法而得到广泛使用。在几个国际标准都得到采纳。对d c t 的变换系数采用不同的比特分配，即根据图像的不同特性采用不同的分配表的自 适应方法，可以得到更好的数据压缩效率。 ( 3 ) 混合编码，主要是指预测编码和变换编码两种方法的混合。它可针对 不同的系统，综合多种编码方法，相互取长补短，以获得更高的压缩比和更好的 图像质量。通常，帧内采用变换编码，帧间用预测编码，再结合运动补偿技术， 其压缩性能优异，成为t t 2 6 x 和m p e g x 标准的基础。 ( 4 ) 运动估计在视频编码技术中是一项关键的技术。基于运动补偿的帧间 预测编码具有更高的压缩效率，事实上它己经是几个国际视频编码标准的关键部 分。常用的运动估计方法有块匹配法、像素递归法、相位相关法等。块匹配是最 常用的运动估值算法，它假设块内各像素只作相等的平移运动，由于它算法简单、 易于硬件实现。 带有运动估计的混合编码方法是当前实用视频编码的主流方法在h 2 6 x 和 m p e g x 等系列国际标准无一例外地被采用。 1 1 2 其它视频压缩技术 除了i 述经典的混合编码方法外，还有以下几种常见的编码方法。 ( 1 ) 矢量量化编码( v q ：v e c t o rq u a n t i z a t i o n ) 矢量量化( v q ) 编码将图像的每个像素都看作为一个多维矢量空问的个 点，将矢量空间中位置接近的那些数据可用一个质量来表示，从而获得数据的压 缩。作为经典编码方法，它也受到了全面深入的研究，但由于v q 编码复杂和码 书通用性差，而妨碍了它的应用，因而当初在图像编码的国际标准中的落选。目 前常用的v q 方法有：变换域v q 、有限状态v q 、预测v q 和分类v q 等。 ( 2 ) 小波压缩编码 南京i i l l l u 学院倾士学位论文 第一章视频压缩投术概论 小波分析是自1 9 8 6 年以来由于y m e y e r , s m a l l a t 及l d a u b e c h i e s 等的奠基工 作而速发展起来的门新兴学科。由于小波分析在时域和频域上的完美结合非常 适合处理非平稳信号，使它在图像压缩编码领域也发挥出独特的作用。基于小波 分析的压缩方法很多，比较成功的有小波最好基方法、小波域纹理模型方法、小 波变换零树压缩、小波变换矢量量化压缩等，小波压缩的特点是压缩比高、压缩 速度快、压缩后能保持信号和图像的特征不变，且在传输过程中可以抗干扰。传 统的予带编码等也可以归属于小波编码的范畴。 由于小波变换具有图像压缩率高、没有方块效应，可以多分辨率分层编解码 显示，传输信道干扰影响小等一系列独特优点，近年来有关小波图像压缩的研究 在不断发展中，特别是针对视频图像压缩的三维小波变换技术得到了进一步的研 究。小波变换的应用前景十分看好，应用领域不断扩大，a d 公司推出了硬件小 波视频编解码芯片a d v 6 0 1 ，结合小波和m p e g 混合算法的硬件系统也走向实 用。但是，对于实际的视频应用而言，小波的方法并不具有明显的优越性，因而 它并没有能够取代传统的混合编码方法。 ( 3 ) 分形编码 分形的最大特点是自相似性，即所描述的景物没有特征尺度，无论从任何一 个部分来看都与整体自相似。分形编码理论用分形来描述自然景物是一个合适的 模型，分维作为一个重要特征可以用来分割图像和图像识别。近年来，由于小波 技术的发展，小波变换和分形编码相结合的算法显示出良好的压缩性能，成为新 的研究热点，并努力向实用化发展。 ( 4 ) 模型基编码 模型基编码首先由瑞典f o r c h h e i m e r 等于1 9 8 3 年提出的，随后r 本的 h a r a s h i m a 等也展示了其研究成果，并出现了模型基图像编码研究的高潮。它是 一种综合图像分析和计算机图形学的高效的压缩编码方法，经典的编码方法是描 述图像的二维像素模型，而模型基编码方法考虑景物的3 d 特性来描述图像。由 二模型基方法更多地利用了图像内容的先验知识，因而它的压缩效率要比常用的 基于像素统计特性的压缩方法要高一个数量级以上。但是由于图像模型建立和对 模型的运算的复杂性，这种方法目前基本上还处于研究状态，距离实用还有段 相当的距离。 南京邮 u 学院硕士学位论文 第一章视频压缩技术概论 1 2 视频压缩标准介绍 视频压缩编码标准的制定工作主要是由国际标准化组织( i s o i e c ) 和国际 电信联盟( i t u t ) 完成的。这两个标准化组织2 0 世纪9 0 年代分别领导制定了 两个有关视频图像压缩编码的系列国际标准：1 ) m p e g 系列标准，2 ) h2 6 x 系列标准。 1 2 1m p e g 系列标准 ( 1 ) m p e g 1 m p e g 2 【1 】 2 1 m p e g 运动图像专家小组的活动始于1 9 8 8 年，1 9 9 0 年提出和建立了m p e g 标准草案。1 9 9 2 作为i s o i e c l l l 7 2 号建议正式通过成为m p e g 一1 国际标准。 m p e g 一1 视频是面向比特率大约为1 5 m b i t s 的视频信号的压缩。m p e g 一1 视频具 有：随机存取、快速正向逆向搜索、逆向重播、视听同步、容错性好、编码解码 时延小等特点。其中，随机存取时间大约可达05 s ，编码解码时延不超过1 s 。 1 9 9 3 年正式通过了关于m p e g 2 标准的建议，这个建议包括四个部分：系统 ( i s o i e c1 1 1 7 2 1 ) 、视频( i s o i e c1 1 1 7 2 2 ) 、音频( i s o i e c1 1 1 7 2 3 ) 和一致 测试描述( i s o i e c1 1 1 7 2 4 ) 。m p e g 一2 是m p e g 1 的发展，它有以下特性：随机 访问、快进快退、反向播放、a v 同步、抗差错性好、编码解码时延小、可编辑 性、格式可变性和性能价格折衷等。 ( 2 ) m p e g 4 标准【3 1 1 9 9 6 年2 月在德国m u n i c h 举行的m p e g 第3 3 次会议上正式定义了第一个 m p e g 一4 的视频验证模型v m ( v e r i f i c a t i o nm o d e l ) ，这是m p e g 一4 视频标准发展 的一个重要早程碑。1 9 9 8 年1 1 月公布的国际标准草案f d i s ( f i n a ld r a f t i n t e r n a t i o n a ls t a n d a r d ) ，后来成为正式标准i s o i e c1 4 4 9 6 的第一版。m p e g 一4 标准第二版是对第一版的扩充，增加了物体伸缩编码，提高了编码效率、鲁棒性 和灵活性。这个国际标准包含有纹理和视频编码、任意形状的视频对象编码和视 频流的纠错编码等比较成熟的技术。 南京邮电学院硕士学位论文 第一章视频压缩技术概论 1 2 2h 2 6 x 系列标准 ( 1 ) h 2 6 1 标准1 4 j 1 9 9 0 年，i t u - t 公布了第一个视频编码标准h 2 6 1 ，这是第一个投入广泛实际 应用的数字视频编码标准，它使数字视频信号能够以p 6 4 k b p s ( p = 1 3 0 ) 的 速率在电信网络中传输。更为重要的是，它奠定了混合编码框架的雏形，这个框 架以运动补偿、图像分块变换、标量量化和熵编码等技术为主要特征，至今依然 是实现限失真数字视频编码的最为重要的一种方法。 ( 2 ) h 2 6 3 、h 2 6 3 + 、h 2 6 3 + + 标准【5 1 6 】【7 1 1 9 9 6 年i t u t 推出了针对甚低比特率的视频压缩标准h 2 6 3 建议。h 2 6 3 最 初是针对低于6 4 k b i t s 范围的甚低比特率应用设计的，但实验结果表明，在任意 速率范围内，h 2 6 3 都取得了良好的压缩效果。h 2 6 3 采用了诸如可变尺寸块运 动补偿、重叠块运动补偿、无限制运动矢量和运动矢量预测等一系列新的视频编 码技术，为混合编码框架的进步发展奠定了基础。着手制定h 2 6 3 建议的i t u t 第1 6 研究小组( s g l 6 ) 在h ，2 6 3 建议推出之后继续对其进行改进，将多种新技 术以附件的形式加入到h 2 6 3 中，并提供相应的测试模型( t e s t m o d e l ) ，使h 2 6 3 不断得到完善。 1 9 9 8 年i t u t 推出的h 2 6 3 + 是h 2 6 3 视频编码标准的第二版，它提供了1 2 个新的可选择模式，进一步提高了压缩编码性能。如h 2 6 3 只有5 种视频源格式， h2 6 3 + 允许使用更多的源格式，图像形状和时钟频率也有多种选择，拓宽了应 用范圈：另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增 强了视频信息在易误码、易丢包异构网络环境下的传输。另外，h 2 6 3 + 的图像 分段依赖性也可以是受限的，以减少差错传播。h 2 6 3 + 对h 2 6 3 中的不受限运 动矢量模式进行了改进。1 2 个新增的可选模式分别为：高级帧内编码模式，去 块效应滤波模式，片结构模式，追加增强信息模式，改善的p b 帧模式，参考图 像选择模式，时间、信噪比、空间的可缩放模式，参考图像重采样模式，减少分 辨率更新模式，独立分段解码模式，选择的帧恻变长编码模式，修改量化模式。 2 0 0 0 年i t u t 又推出了h 2 6 3 + + ，对h 2 6 3 又做了一些新的扩展，增加了一些 新的可选技术，从而更加适应于各种网络环境，并增强差错恢复的能力。新增的 可选模式有：增强参考帧选择模式、数据划分片模式、扩展的追加增强信息模式 南京邮i 乜学院硕上学位论文 第一章视频压缩技术概论 等。 1 2 3h 2 6 4 标准1 8 1 9 9 8 年，i t u t 第1 6 研究小组在对h 2 6 3 不断改进的同时，还启动了另一 个研究项目h 2 6 l ，目标是制定一个新的数字视频编码标准，使其编码效率能够 两倍于当时已投入使用的标准。这个项目具体由视频编码专家组( i t u t s g l 6 q 6 的v c e g ) 负责，后来，m p e g 专家组也加入进去，成立了联合视频组( j v t ) ， 共同来完成标准的最终制订工作。2 0 0 3 年3 月，标准的最终草案公布，称作 h 2 6 4 a v c 或m p e g 4v i s u a lp a r t1 0 。与以前的视频编码标准不同，h 2 6 4 不仅 含有一个规定视频编码算法的视频编码层( v c l ) ，还包括一个规定网络传输规 范的网络提取层( n a l ) 。h 2 6 4 的视频编码层采取的编码框架仍然是传统的混 合编码框架，h 2 6 4 编码效率的提高也不是其中某一种新的编码技术所产生的决 定性的结果，而是多种新技术所产生的细微的效果积累而致。这些新技术包括： 多种新的帧内预测方法、可变尺寸块的运动补偿技术、多参考帧的运动补偿技术、 4 4 整数变换技术、新的环路滤波技术。与先前的标准相比较，h 2 6 4 的应用 前景更为f 。泛，它允许在因特网中以1 m b i t s 的速率传送电视质量的视频信号， 它可以使8 m h z 的模拟带宽中容纳两倍于m p e g 一2 编码的数字电视频道，它使 无线视频通信成为可能，它对传统的数字媒体存储技术也将产生巨大的影响。可 以肯定，h 2 6 4 的制定标志着限失真数字视频编码技术开始走向成熟。 除了上述国际标准之外，中国也在制定具有自主知识产权的音视频编码标 准。2 0 0 3 年1 1 月底，中国国家信息产业部“数字音视频编解码标准组”正式发 朽a v s ( a u d i ov i d e oc o d i n gs t a n d a r dw o r k i n gg r o u po f c h i n a ) 标准草案aa v s 是“信息技术先进音视频编码”系列标准的简称，a v s 工作组对外宣称其视频 部分的编码效率达到m p e g 2 的2 到3 倍，超过了国际标准h 2 6 4 a v c ，而且算 法复杂度有所降低p 1 。目自 i a v s 标准正在通过j 下式程序提请成为新的国际音视 频编码标准。 1 3 基于p c 平台的通用视频软件编解码 通常实现视频的编解码的主要途径为1 。1 ：( 1 ) 数字信号处理器( d s p ) 的编 旦堕塑坠堡! ! 塑：兰竺堕兰 兰二茎鲨塑垦塑垫查壁丝 解码器；( 2 ) 基于p c 的编解码器；( 3 ) 专用硬件编码器；( 4 ) 视频信号处理器： ( 5 ) 媒体处理器；( 6 ) 嵌入式处理器。它们相关性能分析见表1 1 。可是看出基 于p c 的视频编解码器在整个视频编解码应用场合有着自己独特的优势。 表1 1 各种平台的视频编解码器性能比较 视频编码性能功率消耗 灵活性能可扩展性能 鬲专用硬件编码器专用硬件编码器 基于p c 的编解码器基于p c 的编解码器 jl 视频信号处理器嵌入式处理器 嵌入式处理器嵌入式处理器 媒体处理器视频信号处理器 d s p 编解码器d s p 编解码器 f 基于p c 的编解码器d s p 编解码器 媒体处理器 媒体处理器 低 d s p 编解码器媒体处理器 视频信号处理器 视频信号处理器 嵌入式处理器基于p c 的编解码器 专用硬件编码器专用硬件编码器 基于p c 的视频编解码系统有以下几个比较主要的特点：( 1 ) 有较为出色的 处理数据性能，主频很高；( 2 ) 支持3 2 b i t 以上的定点数和浮点数计算：( 3 ) 功 率较大( 特殊的移动终端除外) ：( 4 ) 支持s i m d 结构。伴随着p c 的普及、计 算能力的不断增强和网络带宽的迅速增加，基于i p 网络和p c 的软件视频会议 系统将是视频会议的一大发展趋势。而且随着应用桌面化商业环境的全球化趋 势，远距离、低成本的即时沟通的需求越来越迫切，桌面视频会议系统正好迎合 了这种需求。由于使用的简便性和低成本的特点，基于软件的桌面视频会议系统 将是发展趋势。表1 2 给出了p c 的视频编解码器的优缺点的列表。总体来说p c 的视频软件编解码有着较为重要的实际意义。 表1 2 基于p c 的视频编码器的忧缺点 优点缺点 较高的市场消费顶计，广人p c 的人群成为潜“的 汁舅比较集中的越颖编码部分模块都必须 消曲肯；由软件实现； 夺n ，以利用堪fp cm t 台的非常成熟的编详环境和发 夺p c 机的电功率消耗较大 开t 具： 夺 利用p c 的多媒体专用指令集改进视频处理性能 夺町以有效的利用p c 的多任务，多线程机制 夺口j 扩胜性好，框架形成，利于向其他平台转移 9 旦坚塑旦堡兰! ! ! 坠兰垡堡苎； 笙兰兰! ：；坚鲨婴堑型差壁垫查 第二章h 2 6 4 视频编码关键技术 2 1h 2 6 4 标准简介 h 2 6 4 是i t u t 的v c e g 和i s o i e c 的m p e g 的联合视频组( j v t ) 开发的 适用于各种应用场合的新代的数字视频编码标准。它的主要目标提高视频编码 效率和网络的友好性，从而满足多种视频应用的要求。h ，2 6 4 作为i t u 的标准， 同时也是i s o i e c 的1 4 4 9 6 - - 1 0 为m p e g - 4 的第1 0 部分。标准的草案于2 0 0 3 年3 月最终修订完成。 h 2 6 4 是在原有技术框架下开发的新的高效标推。标准的编码技术的高效， 一方面来源于对压缩技术的进一步理解，采纳了当前最新编码技术成果，另一方 面则归功于摩尔定律揭示的技术进步：正是i t 产业的迅猛发展使得过去不可能 采用的复杂技术及高性能硬件可以用于商业用途。h 2 6 4 主要有三个档次 ( p r o f i l e ) ，即基本档次( b a s e l i n ep r o f i l e ) 、主要档次( m a i np r o f i l e ) 、扩展 档次( e x t e n dp r o f i l e ) 。他们分别适用于不同的业务需求：b a s e l i n e p r o f i l e 是 为会议电视、可视电话等实时视频通信设计的，m a i n p r o f i l e 针对电视广播应用， e x t e n dp r o f i l e 则面向视频流媒体、移动信道传输及其他场合的应用。 _视频编码层( v c l ) 控 宏块 制 数 叫数据分割 据 - 1 - it i网络提取层( n l ) h 3 2 3 h 32 0h3 2 4h 32 4 其它 ip 图2 1h 。2 6 4 a v c 的编码结构 h 2 6 4 编码算法总体上如图2 1 所示分为两层：视频编码层( v c l ：v i d e o c o d i n gl a y e r ) 完成对视频数据的有效压缩；网络提取层( n a l ：n e t w o r k a b s t r a c t i o nl a y e r ) 完成在不同网络上视频数据的打包传输。在v c l 和n a l 之 南京邮电学院硕士学位论文 第二章h2 6 4 视频编码关键技术 间定义了一个基于分组方式的接口，打包和相应的信令属于n a l 的部分。这 样提高编码效率和网络传输性能的任务分别由v c l 和n a l 来完成。 h 2 6 4 视频编码的首要目标是在相同的解码图像质量前提下，获得比其它现 有标准更高的压缩效率。其框架结构与以往标准是相似的，编码框图如图2 2 所 示，主要的技术改进之处概括如下： 输入 视频数据 分割成1 6 1 的宏块 幽2 2h 2 6 4 的编码结构框图 ( 1 ) 预测技术的改进： 夺多模式的运动估计； 夺1 4 精度的运动补偿； 夺运动矢量可跨图像边界； 夺多参考帧预测： 夺改进的跳帧( s k i p ) 模式； 夺解码的环路滤波。 ( 2 ) 编码效率的改进： 夺以4 4 为基本单元的变换量化技术： 夺内容自适应算术熵编码( c a b a c ) ； 南京邮f b 学院顾：l 学位论文 第二章h2 6 4 视频编码关键技术 夺内容自适应变长熵编码( c a v l c ) 。 ( 3 ) 适合在网络中传输的特性： 夺灵活的片( s l i c e ) 大小： 夺灵活的宏块顺序( f m o ) ； 夺任意的片( s l i c e ) 顺序( a s o ) ； 夺可冗余的帧数据； 夺s p s i 动态的切换调整码率。 与先前视频压缩标准比较，总的说来，h 2 6 4 有以下优点： ( 1 ) 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 以及m p e g - 4 ( p a r t2 ) 节约5 0 的码流； ( 2 ) h 2 6 4 可在很宽的码流范围内，提供高质量的视频服务： ( 3 ) h 2 6 4 对信道时延的适应性较好，既可工作于低时延模式以满足实时业务， 如会议电视等，又可工作于无时延限制的宽松场合，如视频存储等； ( 4 ) 具备较强的抗误码能力，包括支持传输环境恶劣的无线网络； ( 5 ) 采用分层模式，视频编码层( v c l ) 外特有的网络提取层( n a l ) 专为网 络传输设计，因而进一步提高网络“亲和力”； 2 。2h 2 6 4 标准中主要新技术 与原有标准比较，h 2 6 4 在技术方面的改进主要有以下几个方面 2 2 1 帧内预测技术 i 帧图像进行独立编码，不参考其它帧的图像，但帧内数据包含信息量较大， 为提高编码效率，可以进行帧内预测，利用相关性去除空间冗余度。所以h 2 6 4 引入了帧内预测的概念，即利用相邻块之间的相关性压缩，预测可以基于4 4 的小块，对于存在大面积缓慢变化的图像也可基于1 6 1 6 的宏块。预测的方式可 以根据需要选择多个预测方向，以求更贴近预测对象本身，以4 ；k 4 块模式来说共 有9 种预测模式选择，如图2 3 所示。图中，a q 为相邻像块的像素值，a p 为 待预测的块像素( 4 4 ) ，预测值是通过对a q 进行加权平均求得的。h 2 6 4 的帧内预测模式如图2 4 、图2 5 所示。 南京邮h 学院够! 上学位论文第二章h2 6 4 视频编码关键技术 划彦 n ， 1 r e 8 6 0 abcdefg h ibd jf gh kj kl m p n _ 0 p 图2 3 亮度信号9 种不同的预测模式 0 ( v e r t i c a t ) l ( h o r i z o n t a l )2 ( d c ) 3 ( d i a g o n a l ) 6 ( h o r i z o n t a l d o w n ) mabc ld iefg h i3 熏 直s l、 7 ( v e r t i c a l - i e f t ) t )5 ( v e r t i c a l r i g h t ) 8 ( h o r i z o n t a l u p ) 划2 。44 4 帧内预测模式 图2 51 6 1 6 帧内预测模式 1 3 南京邮 b 学院硕士学位论文第二章h2 6 4 视频编码关键挫术 2 2 2 帧间预测 h 2 6 4 标准中的帧间预测通过采用多模式运动估计、1 4 像素精度运动补偿 和可供选择的多参考帧，对预测帧进行精确预测，从而进一步提高压缩效率。 ( 1 ) 多模式的运动估计 在帧间预测编码时，每个亮度宏块可划分成形状不等的区域，作为运动描 述区域。其划分方法如图2 6 所示：有1 6 x 1 6 ，1 6 8 ，8 1 6 ，8 8 等4 种。 当选用8 8 模式时，可以进一步划分成8 8 ，8 4 ，4 x8 和4 4 共4 个子模 式。 1 6 1 6 1 6 88 1 6 宏块级 运动估计模式 口日田 口目田田 圈2 6h 2 6 4 运动补偿的宏块划分模式 ( 2 ) 1 1 4 像素精度的运动估计 h2 6 4 可以达到四分之一像素的运动精度，如图2 7 所示。这是通过利用整 像素点的亮度值进行内插得到的。内插过程先是通过6 抽头的滤波器来获得半像 素精度，然后用线性滤波器来获得四分之一像素的精度。由于4 ：2 ：0 采样的关系， 色度的运动精度就达到八分之一像素，这也是通过线性滤波器插值得到的。 南京邮l u 学院硕：匕学位论文 第二章h2 6 4 视频编码关键技求 oooooo o o o 0 o 0 o o ooo ooo ( a )当前帧的4 x4 的子块 oooo0o o o oooooo o oo oooooo o 0oo 0 o pooo o oooo oooooo ( b ) 对参考i 帧做运动估计算的 运动矢量( 0 7 5 一0 5 ) 图2 71 4 精度运动估计示意图 图圈匿网圈圈 圈司同 r _ _ _ 】 一 r 可训s - 团 匪 园 圃 匣 囹 叵 匿雪 二 幽2 , 8h 2 6 4 的1 4 像素插值示意图 如图2 8 所示，h 2 6 4 标准中1 4 精度的像素插值过程如下： ( a ) 1 2 精度的插值过程 l 2 精度的插值过程是采用6 抽头的滤波器( 一1 ，5 ，2 0 ，2 0 ，5 ，一1 实 现的，由于具体位置不同，计算稍有区别。下式中“ n ”表示二进制数右移n 位。 像素点b 、h 的计算如下： b l = ( e 5 f + 2 0 g + 2 0 h 5 i + j ) ( 2 1 ) 麟 南京邮i 乜学院硕士学位论文 第二章h2 6 4 视频编码关键技术 h i 2 ( a 一5 c + 2 0 g + 2 0 m 一5 r + t ) ( 2 2 ) b = ( b 1 + 1 6 ) 5 ( 2 3 ) h = ( h l + 1 6 ) 5 ( 2 4 ) 并且要保证b ，h 的值在0 到2 5 5 之间。 像素点j 的计算如下： j 1 = ( c c 一5 d d + 2 0 h l + 2 0 m l 一5 e e + f f )( 2 5 ) 其中c c 、d d 、m l 、e e 、f f 的计算公式和h 1 类似。 j = ( j 1 + 5 1 2 1 0( 2 6 ) 并且要保证j 的值在0 到2 5 5 之间。 ( b ) 1 4 精度的插值过程 1 4 精度的插值过程采用的是线性内插来实现的。由于具体位置不同，计算 略有不同。其中a 、c 、d 、1 2 、f 、i 、k 、q 具有相似的计算公式，以a 为例有： a = ( g + b + 1 ) 1( 27 ) 其中e 、g ，p 、r 具有相似的计算公式，以e 为例有： e = ( b + h + 1 ) 1( 2 8 ) ( 3 ) 多参考帧预测 h2 6 4 还可以采用多参考图像( 最多前向和后向各5 帧) 来进行运动预测。 如图2 9 所示，与h 2 6 3 相比，h 2 6 4 使用多参考帧预测，这样可以对周期性运 动，平移封闭运动和不断在两个场景间切换的视频流具有非常好的运动预测效 果。使用了多参考图像，h 2 6 4 不仅能够提高编码效率，同时也能实现更好的码 流误码恢复，但需要增加额外的时延和存储容量。 h2 6 3 h 2 6 4 务考帧1 参 ! ! 图2 9h 2 6 4 多参考帧预测示意图 1 6 壁堕堕型! ! ! 堕堡主堂垡堡塞 笙三皇型：! 竺望塑塑塑差壁垫查 2 2 3 整数变换和量化 从整体上看h 2 6 4 变换采用了1 6 - b i t 的整数算法，在没有损失精确度的情 况下，避免了反变换的失配问题。在量化过程中还可以有机结合变换中的系数矩 阵，使得变换过程中不再出现小数乘法问题，并且在量化过程中巧妙的回避了除 法运算。图2 1 0 是h 2 6 4 正向变换量化和反变换反量化的实现框图。 辅 块x 反量化 和 前址理 r=f，c，e，=：i1-rf；i!：-1，1。l。；a；2。a。b；。2。；a；2：a。b；。2j1 c ：。， 爿= c j cr。e。，c，=f!2。-：。i-；二1 itr，。a。：-。ab：a。：2 i ：1 1 i ! i 一! 2 一i 1 - 1 2 a b b 2 abli a b b a b b 2 j i l l 2 1 1121 c ：t 。， 爿：c j ( y 。) c ，：l ： 一。 9 【y 】。l 。：。：i l9 ： ! i 一! 2_ 1 1 l c 2 t 。， 一ll l 2 j li 2 一l j 其中a = ，。= 檐 一一 卜 南京1 1 1 _ ；i u 学院硕士学位论文 第二章h2 6 4 视频编码关键技术 y 。= ( i ：! ：1 。r 。f i ： ：；： ，： cz ， x 。= ( f ：! ：1 t z 。 ：；： c 2 z ， r 。= ：! 。 眵。( ：! 。 c z ， 。= ：! 。 z 。( ：! 。 c 2 4 ， y “是前面的变换后的系数，g ，。是量化步长的大小，一n d o 表示取整，2 口是 亮度信号的量化步长q