（计算机应用技术专业论文）基于windows+mobile的视频解码器实现及优化.pdf

摘要 摘要 现代数字视频监控系统是以计算机为核心，结合视频处理、通信、网络和存 储显示技术的一种监控网络系统。目前，视频监控系统正处在模拟系统与数字系 统混合应用并将逐渐向数字系统过渡的阶段。 现有的数字视频监控系统客户端大都基于p c 机、电视等不可移动设备。由 于其可移动性差，没能完全发挥数字视频监控的优点，所以应用领域有限。因此 基于各种智能移动设备的数字视频监控系统以其独特的便捷性正越来越受到人 们的青睐。这为开发移动设备上的视频解码器提供了机遇，然而由于低码率视频 压缩标准中解码算法不可避免的计算复杂性，使得在计算和存储能力都很有限的 移动设备上实现实时解码变的更加困难。因此如何优化解码器成为了实际实现该 系统的关键步骤。 本文介绍了一套可稳定运行在w i n d o w sm o b i l e5 设备上的视频解码器。解 码器设计思路清晰，各模块功能、接口简单明确，便于维护，同步和异常机制的 加入提高了系统的健壮性。解码器的优化部分在详细分析了解码器性能瓶颈的基 础上，对解码器中影响性能的主要模块进行了优化分析。除了充分利用编译器所 提供的优化选项以外，本文分别从程序的系统工程级、c 语言级以及汇编语言级 给出了相应的优化方案，对于如何书写高性能的代码以及利于编译器优化的代码 提出了自己的方法。首先在充分考虑了c 代码优化局限性的基础上，从程序的 逻辑结构和c 语言的特点出发提出了几种优化方法，发挥了c 语言的优势。其 次针对影响解码器性能的关键模块提出了w m m x 汇编优化方法，提高了数据处 理的并行性，并结合处理器的流水线机制对汇编代码顺序进行了适当调整，增加 了流水线的指令吞吐量。最后给出了优化前后解码器运行速度的对比。 实验证明经过优化的解码器可以流畅地运行在w i n d o w sm o b i l e5 平台上， 能满足移动视频监控的基本需求。 关键字： 视频监控， 智能设备，h 2 6 4 ，解码器优化，w m m y a b s t r a c t a b s t r a c t m o d e r nd i g i t a lv i d e os u r v e i l l a n c es y s t e m sa r em o s t l yn e t w o r kb a s e da p p l i c a t i o n s y s t e m st h a tc o m b i n es e v e r a lt e c h n o l o g yf i e l d si n c l u d i n gv i d e op r o c e s s i n g , n e t w o r k c o m m u n i c a t i o n ，s t o r a g ea n dd i s p l a yt e c h n o l o g i e s a tp r e s e n ti t i se x p e r i e n c i n ga t r a n s f o r m i n gs t a g ef r o ma n a l o g o u sv i d e os u r v e i l l a n c et od i g i t a lo n e s o fa l lt h ev i d e os u r v e i l l a n c e s y s t e mp r e s e n t , i ti sm o s tc o m m o nt h a tt h e s u r v e i l l a n c ec l i e n ti sb a s e do nn o n p o r t a b l ed e v i c e ss u c ha sp c so rt v s t h u s ，i t c a n n o tf u l l yt a k e a l lt h ea d v a n t a g e so fd i 百t a lv i d e os u r v e i l l a n c e t h i sm a k e sa r e s t r i c t i n gf a c t o rt h ec o n f i n e si t sd e p l o y m e n t t h i si sa l s oa l lo u t s t a n d i n ga d v a n t a g e t h a ts m a r td e v i c e sh a v eb e c a u s et h e ya r ee a s yt ob ec a r r i e da r o u n d b u td u et ot h e h i g l l l yc o m p u t a t i o n a lc o m p l e x i t yo ft h eh 2 6 4d e c o d e r , i ti sd i f f i c u l tt or e a l i z e r e a l - t i m ev i d e od e c o d i n go ns m a r td e v i c e sw h i c hh a v el e s sc o m p u t i n ga n dl o w e r s t o r a g ea b i l i t i e s s oi ti sak e ys t e pt oo p t i m i z et h ed e c o d e r t h i sp a p e ri n t r o d u c e saf u l ls e to fd e c o d e rs y s t e mt h a tc a nr u ns t a b l yo nw i n d o w s m o b i l e5p l a t f o r m s t h ed e c o d e ri ss i m p l yi m p l e m e n t e da n dh a ss i m p l yi n t e r f a c e sf o r e a c hm o d u l e ，w h i c hm a k e si t m a i n t a i n a b l e s y n c h r o n i z a t i o n a n d e x c e p t i o n m e c h a n i s mg u a r a n t e e st h es t o u t n e s so ft h ew h o l es y s t e m b a s e do nt h ed e t a i l e d a n a l y s i so ft h ed e c o d e ra f t e r w a r d s ，b e s i d e st h eo p t i m i z a t i o nf u n c t i o n st h ec o m p i l e r p r o v i d e s ，o p t i m i z a t i o nm e t h o d sa r ei l l u s t r a t e df r o ms y s t e mp r o j e c tl e v e l ，cl a n g u a g e l e v e lt oa s s e m b l yl a n g u a g el e v e l f i r s t ，b a s e do nt h ec so p t i m i z a t i o nr e s t r i c t s ，f r o m t h ep e r s p e c t i v eo ft h ep r o g r a m sl o g i cs t r u c t u r ea n dc sc h a r a c t e r i s t i c s ，s e v e r a l o p t i m i z a t i o nm e t h o d sa r eg i v e nw h i c hf u l l yt a k et h ea d v a n t a g e so fc s e c o n d ，a st o t h ek e ym o d u l e st h a th a v et h em o s ti m p a c to nt h ep e r f o r m a n c eo ft h ed e c o d e r , w m m xm e t h o d sa r ei n t e r p r e t e dj nd e t a i l e d t h eu s eo fw m m xf a s ti m p r o v e st h e p a r a l l e lo fd a t ap r o c e s s i n g t h ea d j u s t m e n to fi n s t r u c t i o no r d e rf u l l ym a k e su s eo f p r o c e s s o r sp i p e l i n e sm e c h a n i s m ，a n di n e a s et h ep i p e l i n e st h r o u g h p u t a tl a s ta c o n t r a s tr e s u l ti sg i v e n i ti sd e m o n s t r a t e dt h a tt h eo p t i m i z e dd e c o d e rc a nd i nf l u e n t l yo nw i n d o w s m o b i l e i tc a ns a t i s f yt h eb a s i cr e q u i r e m e n t so fm o b i l ev i d e os u r v e i l l a n c e k e yw o r d s ： v i d e os u r v e i l l a n c e ，s m a r td e v i c e , h 2 “，d e c o d e ro p t i m i z a t i o n ，w m m x 1 1 1 图目录 图目录 图2 1h 2 6 4 的混合编码框架。5 图2 2 亮度矩阵的1 4 像素精度搜索。7 图2 3h 2 6 4 使用的多帧运动补偿7 图2 - 4h 2 6 44 4 亮度块帧内预测的9 种预测模式8 图2 - 5h 2 6 41 6 1 6 亮度块和8 8 色度块的4 种帧内预测模式8 图2 - 6 在一个宏块里块的扫描顺序9 图2 7 变换与量化示例1 0 图2 8 量化值对图像质量的影响( 一) ( 左图q p = 2 8 ，右图q p = 2 0 ) 1 0 图2 - 9 量化值对图像质量的影响( 二) ( 左图q p = 2 8 ，右图o e - - 2 0 ) 1 1 图2 1 0 相邻4 x 4 块的垂直边界和水平边界1 2 图2 1 l 抗块效应滤波器效果图( 左图为未采用滤波器的) 1 2 图2 1 2o 墟a c 的编码流程1 4 图2 1 3h 2 6 4 的分层结构1 5 图2 1 4 移动网络中的视频应用1 5 图3 - 1p x a 2 7 x 处理器框图1 7 图3 2w m m x 使用的寄存器与紧缩加法运算1 8 图3 3 在h 2 6 4 运动估计中使用w m m x 寄存器1 9 图3 4p x a 2 7 x 处理器中的流水线1 9 图4 - 1h 2 6 4 解码器方框图2 0 图4 2 系统总体结构图2 2 图4 3 解码器内部主要函数时序图2 3 图4 _ 4 解码线程时序图2 4 图4 5 接收、解码及播放线程示意图2 5 图4 - 6 缓冲区操作示意图2 5 图4 7 接收线程序列图2 6 图4 8 播放线程序列图2 7 图4 - 9 影响造成解码器性能的几个模块在解码器中的位置2 9 v i 图目录 图4 1 0 执行次数最多的五个函数3 5 图4 - 1 1 优化前后各函数执行时间对比3 7 图4 - 1 2 解码器运行效果截图3 8 表目录 表目录 表1 - 1 视频压缩标准发展历程2 表2 - 1 宏块对应的变换矩阵9 表禾1 解码器各模块运行时间比较2 8 表禾2 解码器端最耗时的几个函数及其在解码器中的位置2 9 表4 3v c 编译器提供的部分优化选项3 1 表4 _ 4w m m x 优化的结果3 8 v i i i 第一章绪论 i i 论文研究背景 第一章绪论 随着经济和社会的快速发展，视频监控系统作为集微电子、网络通信、视频 处理和人工智能等各项技术的多学科交叉技术在多领域有着越来越广泛的应用。 已被广泛地应用于工业生产、交通、银行、商场、图书馆等多种场所。并在逐步 扩展到家庭，走向千家万户。 然而成熟的视频监控系统中，其客户端多数基于p c 机等非移动设备。由于 其可移动性差，没能完全发挥数字视频监控的优点，所以应用领域有限。近年来 随着p p c 、s m a r tp h o n e 等手持移动设备软硬件平台的迅速发展，以及针对低码 率应用的新一代视频压缩标准的推出，基于移动设备的实时监控系统的实现已成 为可能，并逐渐成为人们研究的热点问题。 1 2 国内外研究现状 1 2 1 监控系统发展现状 在国内外市场上，网络视频监控产品主要分为两类，即模拟视频监控和以嵌 入式视频w e b 服务器为核心的数字视频监控系统。前者技术发展已经非常成熟 但是建设投入较大。现代数字视频监控系统是以计算机为核心，结合视频处理、 通信、网络和存储显示技术的一种监控网络系统。数字视频监控系统除了具有传 统模拟视频监控系统的所有功能外，还具有更新更实用的功能，特别是在远距离 监控方面，数字视频监控系统具有独特的优势，它与计算机网络系统的结合，使 得异地、远距离监控变得非常方便；与信息管理系统结合，可形成更有实用价值、 功能更强大的网络管理系统。目前，视频监控系统正处在模拟系统与数字系统混 合应用并将逐渐向数字系统过渡的阶段。 第一章绪论 1 2 2 视频压缩标准发展现状 表卜1 所示为视频压缩标准的发展历程 7 1 。由图可知h 2 6 1 是最早出现的实 用的视频编码建议。h 2 6 4 1 1 l 2 1 3 1 4 1 5 i n 是i t u 的v c e g ( 视频编码专家组) 和i s o i e c 的m p e g ( 活动图像编码专家组) 的联合视频组( j v t ) 开发的一个新的数字视频编码 标准，它既是i t u 的h 2 6 4 ，又是i s o i e c 的m p e g 一4 的第1 0 部分。目前是最新 的视频编码标准。其所提供的高压缩比使其成为低码率视频通讯应用的首选编解 码标准。 表1 - 1 视频压缩标准发展历程 标准发布日期标题 应用场合 i s d n ( 综合业务数 h 2 6 1 1 9 9 0 1 2p x 6 4 k b p s 的音视频业务的编解码 字网) 视频会议 面向数字存储的运动图像及其伴音 v c d 、光盘存储、 m p e g l 1 9 9 2 1 1 家用视频、视频监 1 5 m b p s 的编码 控等 数字电视、d v d 、 m p e g 一2 1 9 9 4 1 l运动图像及其伴音的通用编码 高清晰度电视、卫 星电视等 h 2 6 31 9 9 6 3 桌面可视电 低比特率通信的视频编码 h 2 6 3 +1 9 9 8 1话、移动视频等 i p 网、交互式视 m p e g - 41 9 9 9 5 音频视频对象的通用编码频、移动通信、专 业视频等 桌面可视电 h 2 6 3 + +2 0 0 0 1 l 低比特率通信的视频编码 话、移动视频等 数字视频存储以 h 2 6 42 0 0 3 3 先进视频编码及i p t v 、数字卫星 广播、手机电视 2 第一章绪论 1 2 3 无线视频监控的特点及发展前景 g p r s ( g e n e r a lp a c k e tr a d i os e r v i c e ) ( 2 5g ) 是一种基于g s m 系统的无线 分组交换技术，提供端到端的、广域的无线i p ( i n t e r n e tp r o t o c 0 1 ) 连接。g p r s 具有高速、永久在线等特点，是g s m 向第三代移动通信平滑过渡的桥梁。由于借 用了移动的接入网和传输网，所以利用该网来建立远程监控系统，监控的范围不 仅广而且费用低廉。g p r s 有以下特点：( 1 ) 充分利用现有资源。全国范围内的 中国移动电信网络( g s m ) ，能方便、快速、低成本地为用户数据提供远程接入。 g p r s 数据传输速率理论值平均可达到5 7 6k b p s ，最高可达到11 5 1 7 0k b p s ， 基本可以满足视频监控应用的需求，下一代g p r s 业务的传输速率可以达到3 8 4 k b p s 。( 2 ) 接入时间短。g p r s 接入等待时间短，可以快速建立连接，平均为2 s 。 ( 3 ) 提供实时在线功能。用户将始终处于连接和在线状态，这将使访问服务变得 非常简单、快速。( 4 ) 按流量计费。从上述的g p r s 特点可以看出，g p r s 网络适 合于低码率实时视频传输嘲。 有线通信网络可靠性高、速度快，但是成本高、接收端地点固定。现在有许 多企业存在分散于野外的作业点，在恶劣环境下，要无人值守和远传控制，用有线 来做通信媒介构建网络，无论从技术上或经济上来讲，都不太合适，这就推动了无 线通信技术在工业控制领域的应用和发展。 1 3 论文研究内容 本文介绍了h 2 6 4 解码器在w m 5 o 平台上的实现过程，对设计及实现过程中遇 到的问题进行了分析并给出了自己的解决方案。解码器在确保功能完善的基础上 从实用性出发，进一步确保了代码的健壮性与可维护性。后续部分主要对p c 机上 和w i n d o w sm o b i l e 平台上解码器的运行性能进行了分析比对，明确了解码器的性 能瓶颈，并在此基础上针对该解码器的优化问题进行了探讨，给出了从系统工程 级至u c 语言级以及汇编语言级的一系列优化方法，优化方法涉及到c p u 的流水线 机制、w m m x 汇编优化方法和如何设置编译器提供的优化选项以及如何书写具有良 好局部性和利于编译器优化的代码等。对优化过程中采用的c 语言优化方法进行 了详细介绍。并给出了w 姗x 优化的部分参考代码。最后给出了优化前后结果对比。 3 第一章绪论 1 4 论文组织结构 本文分为五章。 第一章绪论，介绍研究背景和国内外研究现状及论文的主要工作。 第二章h 2 6 4 视频编解码技术，详细介绍了视频压缩技术的发展历史及 新一代的视频编解码标准h 2 6 4 的特点。 第三章删x 技术及i n t e lp x a 2 7 x 处理器简介。 第四章解码系统的实现与优化，介绍了适用于w m 5 0 平台的解码客户端 软件的结构与实现，并针对系统设计过程中出现的问题进行了探讨，最后详细介 绍了对解码器进行优化的方法与技巧，并对比了优化前后解码器的性能。 第五章 总结与展望，总结论文的研究成果，并对进一步的研究提出建议。 4 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 第二章h 2 6 4 视频编解码技术及其在无线网络中的 应用 本章前半部分重点介绍了h 2 6 4 标准中重点算法及其引入的新技术：多模式 宏块划分、运动估计与运动补偿、1 4 与1 8 线形内插、4 4 整形变换及量化等。 最后简要说明了h 2 6 4 在无线环境中的应用。 2 1i t 2 6 4 标准概述 h 2 6 4 的编码器用到了以下几个编码工具：预测转换与量化，熵编码和循 环滤波处理。预测可以有效地消除时间和空间冗余度。而转换则是消除空间冗余 度的更有效的方法。经过预测和转换之后，量化将部分高频信息变为零，可进一 步实现有效的数据压缩。预测，转换与量化只是减少了待处理的数据量，熵编码 才能使数据得到真正的压缩。而解码后的数据经过滤波处理后，可以减少区块边 界失真的现象。 预测、转换与量化、熵编码和滤波是以往视频编码标准所用的编码工具。 h 2 6 4 延用了这几个工具，这些工具在功能上和以往的工具几乎没有任何变化，但 是在具体的操作上却有着明显的变化和显著的性能改善。 搐唆t 黼咿享审 朗 1 缸l s 鼎蛊琏 图2 - 1h 2 6 4 的混合编码框架 5 第二章h 2 6 4 视频编解码技术及其在无线同络中的应用 2 1 1h 2 6 4 标准与其他标准的相同点 h 2 6 4 标准是f h i t u t vc e g 和i s 0 i e c mp e g 联合组成的j v t 开发的最新一代的 视频压缩标准，是目前图像通信领域研究的热点。h 2 6 4 标准的主导思想是与现 有的视频编码标准一致的一基于块的混合编码方法。但是它同时运用了大量不 同的技术，使得其视频编码性能远远优于任何其他标准。 h 2 6 4 标准采用了与已制定的视频编码标准( 如h 2 6 3 和m p e g 一4 ) 相似的一些 编解码方法。主要包括如下几项技术【7 l ： 1 将每个视频图像分割成1 6 x1 6 的像素宏块。使得视频图像能以像素宏块 为单位进行处理。 2 利用时域相关性。时域上的相关性在于那些连续图像的块之间，这就使 得在编码时只需考虑编码那些块之间的差值即可。一般是通过运动估计和运动补 偿技术来利用时域相关性的。对于一个像素块来说，在已经编码的前一帧或前几 帧图像中搜索其相关像素块，从而获得其运动矢量，而该运动矢量就在编码端和 解码端被用来预测当前像素块。 3 利用残差的空间冗余度。在运动估值后，编码端只需要编码残差即可， 也就是对当前块与其相应的预测块的差进行编码。编码过程还是采用变换、量化、 扫描输出和熵编码等步骤。 4 其他技术。还包括传统的4 ：2 ：0 $ j 色度数据与亮度数据的采样关系；块运 动矢量；超越图像边界的运动矢量；变换块大小的划分；可分级的量化：i 、p 和b 图像类型等。 2 1 2 h 2 6 4 标准与其他标准的不同点 h 2 6 4 标准与以往的编码方法的不同之处主要体现在以下几个方面【9 l ： 1 运动估值和运动补偿 首先，h 2 6 4 采用了不同大小和形状的宏块分割与亚分割的方法。一个宏块 的1 6 1 6 亮度值可以按照1 6 1 6 、1 6 8 、8 x1 6 和8 x 8 分割，如果选择了8 8 分割，那么还可以按照8 x 8 、8 x 4 、4 x 8 和4 x 4 进行亚分割。 h 2 6 4 运动估计中引入了多帧参考、1 4 象素预测精度、多块尺寸等新特点。 1 4 像素运动补偿增强了图像质量，但增加了搜索范围，增大了程序复杂度。 6 第二章1 1 2 6 4 视频编解码技术及其在无线网络中的应用 oo o o oooo ooo ooo 罗占占 o oooo 。 。o 护占占占 o ooooo oooooo oo oo o o o 。oo 夕。ooo 矗占占占 o ooao 0 0 0oao o o 0 oooooooooo oaoooo oo l a j 4 x 4 蜘斑i l o u r r e r t 晰晰褂b 雠v e e t o r ( 1 - 1 i l c j b 帅雌吣吐：v e c t o r 批聘吨的 图2 - 2 亮度矩阵的1 ，4 像素精度搜索 多参考帧主要思想是增加运动矢量中时间轴的估计参考帧数。在宏块级别 上，允许选择一个或者几个前面的视频帧作为参考帧。用于运动补偿的多帧预测 方式在大多数情况下会明显改善预测增益。不过也增加了计算的复杂度。 4p r i o rd e c o d e dp i c t u r e s a 8r e f e r e n c e c u r r e n t p i c t u r e 图2 - 3h 2 6 4 使用的多帧运动补偿 h 2 6 4 标准所采纳的t 4 像素精度匹配算法增强图像的重建质量。同时也使得 为了得到最佳匹配模块所计算的模块数量大大增加，因此增加了计算的复杂度。 同样在解码端为了还原原图像所使用的1 4 像素内插算法也成为了影响解码器效 率的瓶颈之一。 2 帧内预测 帧内预测用来消除图像的空间冗余度。在以往的标准中采用帧内预测的图像 都是直接把像素块的数值进行变换。这样处理的结果就导致i 图像包含了大量的 信息，压缩效率不是很高。h 2 6 4 根据相邻像素可能有相同的性质，利用了相邻 像素的相关性，采用了新的帧内预测模式。通过当前像素块的左边和上边的像素 ( 已编码重建的) 进行预测，只对实际值和预测值的差值进行编码，这样就能用 较少的比特数来表达帧内编码的像素块信息。在h 2 6 4 标准中，亮度块可以有9 7 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 种4 4 块和4 种1 6 1 6 块的帧内预测模式，而色度8 8 块的4 种模式与亮度的4 种 1 6 1 6 块的模式相同。 图2 4h 2 6 4 4 x 4 亮度块帧内预测的9 种预测模式 图2 - 5h 2 6 41 6 x1 6 亮度块和8 8 色度块的4 种帧内预测模式 4 整数变换与量化 h 2 6 4 把运动估值和帧内( i n t r a ) 预测的残差结果从时域变换到频域，使用了 类似4 4 离散余弦变换d c t ( d i s c r e t ec o s i n et r a n s f o r m ) 的整数变换【1 0 l 【1 1 】，得 到一组相关性很小的变换系数矩阵。而不是像m p e g 一2 和m p e g 4 那样采用8 8 d c t 的浮点数变换。由于h 2 6 4 使用的是以整数为基础的空间变换，具有效果好、计 算快( 只须加法和移位运算) ，反变换过程中不会出现失配的问题等优点，并且结 合量化过程，保证了在1 6 位计算系统中，计算结果有最大精度且不会溢出。同时， 8 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 由于变换块大小从8 x 8 变为4 x 4 ，能够减少块效应和震铃效应。根据残差系数的 不同，h 2 6 4 采用了3 种整数变换矩阵，如下所示： 1111 11 1 1 l l 一11 1 一l 1 1 1 111 21 1 2 1 1 11 1 22 1 亮度直流变换矩阵a色度直流变换矩阵b普通参差变换矩阵c 1 6 1 7 骑睦 图2 - 6 在一个宏块里块的扫描顺序 下表给出了各小块适应的三种整数变换： 表2 - 1 宏块对应的变换矩阵 下标 变换矩阵 - 1 亮度4 x 4 d c 变换矩阵a 1 6 ，1 7 色度2 x 2 d c 变换矩阵b 0 一1 5 ，1 8 2 5 残差4 x 4 a c 变换矩阵c 9 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 图2 - 7 变换与量化示例 如上图所示经过一次变换计算后，6 4 个样值仍然得到6 4 个系数，本身码率并 没有压缩；但是，经变换后，比特数却增加了。原样值是8 比特，数据从0 2 5 5 ； 得到的直流分量的最大值是原来2 5 6 的6 4 8 份，即0 2 0 4 7 ，交流分量的范围是 一1 0 2 4 1 0 2 3 ；但经过第2 个步骤，即量化之后( 图中：4 ) ，大多数高频分量的 系数变为0 ，一般说来，人眼对低频分量比较敏感，对高频分量则不太敏感；因 而量化的结果是去掉了不太重要的高频分量，降低了码率。再通过“之”字型 ( z i g z a g ) 方式读出数据，这样读出也可以减少码率。因为经变换以后，系数 大多数集中在左上角，即低频分量区，因此“之”字型读出实际上是按二维频率 的高低顺序读出系数的。这样就便于采用游程长度编码( r u nl e n g t he n c o d i n g ) ， 因此节省了很多码率。 图2 - 8 量化值对图像质量的影响( 一) ( 左图q p = 2 8 ，右图q p = 2 0 ) l o 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 4 8 4 6 4 4 4 0 3 8 3 6 o p = 2 8 o p = 2 0 卜 一一一一一一j 一一一一一? 一j ，t卜 ，： 、一一。、 r 1 1 一1 1 f 、 一、l _ 一 ； o j ：、 一i 、 j o51 0 1 5 帧数 图2 - 9 量化值对图像质量的影响( 二) ( 左图q p = 2 8 ，右图q p = 2 0 ) 7 抗块效应滤波器 基于块的编码特性之一在于它的块结构。重建块时，往往由于块边界象素值 的量化误差形成影响图象质量的“块效应”。为了消除块效应，提高解码图像的 主观与客观质量，同时为了提供更好的参考图像，引入了基于内容的抗块效应滤 波器。当块边界上两边图象差较小则使用滤波器使差别“平滑”掉，若边界上图 像特征明显则不使用滤波。这样既减弱“块效应”的影响又避免虑掉图像的内容， 同时在相同主管质量下使比特率减小5 1 0 。h 2 6 4 标准中去块效应滤波是基 于4 4 块边界的，也就是说对于每一个宏块的1 6 1 6 亮度分量，需要对其4 条水 平边界和4 条垂直边界进行滤波，而8 8 的色度分量只需要对其2 条水平边界和2 条垂直边界进行滤波。在块边界上，滤波的强度是和块的编码模式、运动矢量和 残差数值相关的，而对于单个像素，基于量化系数的门限值可以取消对任意单个 像素的滤波。 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 v e r t i c a lb o u n d a r y ip 3 0 2 p 1p o a o 口1 q 2q 3 h o r i z o n t a i b o u n d ar y d 3 d 2 d 1 d 0 a o q 1 q 2 a 3 图：2 - 1 0 相邻4 x 4 块的垂直边界和水平边界 图2 - 1 1 抗块效应滤波器效果图( 左图为未采用滤波器的) 环路滤波器的采用在增强图像质量降低比特率的同时也大大增) j n - j , 编解码 器的计算复杂度，使用环路滤波器将增加程序3 0 左右的计算量。 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 8 熵编码 h 2 6 4 使用了两种熵编码方法【1 2 1 ，即基于上下文的自适应变长编码c a v l c 和普 通变字长编码u v l c 相结合的编码和基于上下文的自适应二进制算数编码c a b a c 。 在以往的标准中，都是采用u v l c 的，但是对于u v l c 来说，所有的符号都采用一张 仅从概率分布模型得出的码表，它虽然简单，但是可能会有以下缺点：概率分布 可能不是很符合实际情况；概率分布是静止的；忽略了符号的相关性，没有利用 条件概率；码字必须要有整数个比特。这些缺点影响了u 、，l c 在中高率码率时的压 缩效果。 c a v l c 的设计考虑了以下事实： 1 ) 变换和量化后的预测残差中含有较多的零，这样在“之”字形扫描后，用 游程( r u n ) 和振幅( l e v e l ) 表示预测残差可以有较好的压缩效果。 2 ) 残差末尾的几个非零系数一般为+ l 产l ，c a v l c 对他们单独进行了编码。 3 ) 作为空间相关性的一种表现，当前块中的非零系数个数和周围块中的非零 系数个数应该差不多，c a v l c 利用这一点自适应地选择编码当前块中非零系 数个数的码表。 4 ) 位于低频处的系数一般较大，c a v l c 利用这点自动选择编码振幅的码表。 5 ) 位于低频处的非零系数一般是连着的，中间没有零，因此c a v l c 将游程和 振幅非开单独编码。 c a v l c 利用以上特点根据最近编码的系数的大小来选择可变长码表。这样就 可以有针对性地进行编码，以达到最佳的编码效果，实现更好的压缩。 基于上下文的自适应二进制算术编码c a b a c 是h 2 6 4 标准提出的最新的编码 标准i 埘。如下图所示：c a b a c 编码过程分为：二进制化、上下文建模和二进制 算数编码三个步骤。 1 ) 二进制化，c a b a c 编码为二进制编码，因此在编码每个符号前对于 非二进制的数据要先迸性二进制转换( 0 或者1 ) ，该转化与一个数据符 号转化为可变长的码子相似，但不同的是前者在二进制转化后还要 进行进一步的编码，然后才能进行传输。 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 ：。，。! ! | i ，m m k 叫哆： 图2 - 1 2c a b a c 的编码流程 2 ) 选择上下文模型，当被编码的符号被二进制化后，要为其选择上下 文模型，上下文模型是被二进制化后符号的每个二进制为的概率模型。其 具体的选择是依赖于最近被编码的数据符号的概率； 3 ) 算术编码，根据选择的模型进行算术编码，该编码是针对被二进制化 后符号的每个二进制位进行的： 4 ) 概率估计更新，根据实际编码的值对被选择的概率模型进行更新。 与c a v l c 相比，c a b a c 编码运算量大，运算相对比较复杂，便解码速度较慢， 而且实际使用中其抗误码效率也不如c a v l c 好。因此在h 2 6 4 的b a s e l i n e 中不采用 c a b a c 进行熵编码。但其压缩效率高，具有较好的压缩性能，可以使用在m a i n 或 e x t e n d e d 档。 9 算法的分层结构 h 2 6 4 编码算法总体上分为两层：视频编码层( v c l ) 内容的有效描述；网络适 配层( n a l ) 视频数据的打包传输。在v c l 和n a l 之间定义了一个基于分组方式的接 口，打包和相应的信令属于n a l 的一部分。这样，高效率编码和网络友好性的任 务分别由v c l 和n a l 来完成。 n a l 负责使用下层网络的分段格式来封装v c l 数据，包括组帧、逻辑信道的信 令、定时信息的利用或序列结束信号等。例如，n a l 支持视频在电路交换信道上 的传输格式，支持视频在i n t e r n e t 上利用r t p u d p i p 传输的格式。n a l 包括自己 的头部信息、段结构信息和实际载荷信息，即上层的v c l 数据。分层结构如下图 所示： 1 4 第二章h 批视频编解码技术及其在无线网络中的应用 图2 - 1 3h 2 6 4 的分层结构 2 2h 2 6 4 在无线环境中的应用 由于受无线网络有限的带宽资源和传输能力的限制，目前市场上最终用户还 是按照流量付费的方式来进行无限网络数据服务的。因此，提高压缩率是无线视 频和多媒体应用的主要目标。所以，h 2 6 4 编码标准成为了在多媒体信息服务 ( 姗s ) 、包交换流服务( p s s ) 和会话应用方面最有竞争力的候选标准。然而，除了 高效率的编码，同时经过编码的视频应用应该能很容易地无缝集成到当前和未来 的网络协议结构中。除此之外，视频编码在会话应用中提高容错的支持是重要的， 这也是h 2 6 4 标准制定过程中考虑到的因素之一。时域和空域上的差错掩盖算法 也可利用h 2 6 4 标准为提高编码效率而引进的更小的块大小、多帧参考、1 4 数像 素运动估计等新特点以提高解码器的容错能力。结合无线网络应用h 2 6 4 标准的 服务主要包括1 2 l 【3 】： 1 应用于视频电话和视频会议的电路交换和包交换会话服务( p c s ) ： 2 应用于直播和视频录像的包交换流媒体服务( p s s ) ： 3 多媒体信息服务( 删s ) 图2 - 1 4 移动网络中的视频应用 第二章h 2 6 4 视频编解码技术及其在无线网络中的应用 对于没有实时性的约束多媒体信息服务( m m s ) ，编码、传输和解码完全分离。 记录的视频信号进行离线编码和本地存储，可以在任何时间发送，接受端则在完 全下载后进行解码。对于包交换流媒体服务( p s s ) 应用程序来讲，编码和传输是 分开的。在会话服务( p c s ) 中，要求实时编码传输和解码，因此他们是同时进行 的。 h 2 6 4 视频压缩标准由于其极高的压缩率越来越受到低码率应用的青睐。目 前h 2 6 4 标准在无线领域正发挥着越来越重要的作用1 1 4 1 。 2 3 小结 本章详细介绍了h 2 6 4 视频编码标准，并在比较了其与以往标准的相同点之 后着重介绍了标准中采用的新技术及其在无线环境中的应用。突出强调了新标准 的数据高压缩比及其编解码器的计算复杂度。并以在第四章中实现的解码系统的 运行结果作为佐证，为第四章阐述的解码系统的性能瓶颈分析及解码器的优化方 法做了理论铺垫。 第三章w m m x 简介 第三章w m m x 简介 3 1p x a 2 7 x 处理器简介 i n t e lx s c a l ep x a 2 7 x 1 1 5 堤支持w i r e l e s sm m x 技术的最新的嵌入式处理器。 p x a 2 7 x 处理器拥有更高的主频、创新的无线m m x 技术、更低的能耗以及更高 的数据传输速度等优点。新的p x a 2 7 x 系列c p u 主频从3 1 2 m h z 到6 2 4 m h z ， 频率提升高达5 0 。而这一参数的提升将直接带来整体处理速度的提高。 在p x a 2 7 x 出现后，无线m m x 技术才被应用到无线处理器领域。这一指令 集的增加，使得开发者可以设计出更高性能的多媒体应用。配合2 7 0 0 g 视频加速 芯片，使得在无线设备上可以轻松播放d v d 画质的视频，同时还能支持两个 s x g a 级分辨率的l e d 。同时对多媒体的良好支持，也使得3 d 游戏的运行更加 顺畅。在笔记本c p u v o 常见的s p e e ds t e p 技术这次也出现在了新款c p u 中，这使 得设备在运行过程中就可以动态的改变主频和核心电压，达到节省耗电的效果。 在p x a 2 7 x 中，i n t e l 采用了m o b i l es c a l a b l el i n l 【这种新技术，它允许最多 1 4 路传输同时进行，每路传输的速度高达4 1 6 m b p s 。这一速度对于未来的3 g 甚 至4 g 应用都能轻松满足。 图3 - 1p x a 2 7 x 处理器框图 1 7 第三章w m m x 简介 3 2 w m m x 技术 i n t e l 公司针对x s c a l e 提出的m m x 技术) n w i r e l e s sm m x 1 6 1 。w i r e l e s sm m x 技 术集成了高性能剖j m m x 技术和s s e 的整数功能3 1 r j i n t e lx s c a l e 微体系结构。 w i r e l e s sm m x 指令集支持丰富的平行运算操作，它使用1 6 个6 4 位数据寄存器， 以及4 个控制寄存器，数据被打包成6 4 - b i t ，可以被做为8 个字节、4 个半字、2 个 双字这三种类型进行并行处理。 图3 - 2w m m x 使用的寄存器与紧缩加法运算 w i r e l e s sm m x 指令集可分成四类： ( 1 ) 兼容指令 ( 2 ) 新的w i r e l e s sm m x 指令 ( 3 ) 协处理器数据传输指令 ( 4 ) 协处理器寄存器装载存储指令 编写w m m x 代码的时候需要考虑每个指令的时钟周期，w m m x 中每个指 令的时钟周期并不完全一样，不恰当的编程很容易出现流水线堵塞而需要等待的 情况，这虽然不会造成功能上的错误但是会带来系统性能的下降。 时钟周期为1 的意思是下一条指令能够没有延迟的执行。大于等于2 的话， 下一条指令在用到相关地寄存器资源时会带来延迟，直到前一条指令完全执行完 并对结果执行了正确的赋值为止。 h 2 6 4 编解码算法中有大量的数据循环操作，使其非常适合采用w m m x 寄存 器和s i m d 指令。 第三章w m m x 简介 图3 - 3 在h 2 6 4 运动估计中使用w m m x 寄存器 3 3 p x a 2 7 x 的流水线机制 现代处理器为提高数据处理的并行性而引入了流水线机制。流水线化的一个 重要特征就是增加了系统的吞吐量( 单位时间内完成的总工作量) 。w m m x 涉及到 的流水线包括：执行流水线、成法流水线、内存控制流水线和协处理器接口流水 线。 图3 - 4p x a 2 7 x