（信号与信息处理专业论文）基于dsp的低码率视频编解码系统的研究与实现.pdf

中文摘要 现代信息社会的迅猛发展，使得数字通信技术和信号处理技术的研究与应用 引起了广泛的关注，应用于p s t n 环境下的高性能可视电话系统的设计也成为了 越来越重要的问题。近年来d s p 技术的高速发展大大推动了可视电话系统的研 究，使数字信号处理领域的理论研究成果更加广泛地应用到实际系统中。 本文提出了基于单片t m s 3 2 0 c 8 0d s p 实现h 2 6 3 实时视频编解码系统的设 计与实现。论文首先详细研究了h 2 6 3 视频协议的编解码算法、码流结构和编解 码流程，然后仔细介绍了t m s 3 2 0 c 8 0d s p 的结构功能特性。接着在以上基础上 提出了以t m s 3 2 0 c 8 0d s p 作为核心处理器，用v p 5 2 0 、b t 8 5 1 和b t 8 1 9 等芯 片完成对视频信号进行各种预处理或后处理操作的h ，2 6 3 编解码系统的硬件实 现方案，并详细分析了系统各个功能模块的具体设计方法以及实现时需注意的问 题，讨论了各个接口的时序关系。 然后本文在综合考虑计算时间和系统性能的基础上，讨论了视频编解码任务 中的关键算法的优化和实现流程，并针对具体模块的实现，研究了在1 m s 3 2 0 c 8 0 d s p 上进行多任务与并行处理的具体方案，如片上内存的乒乓方式和处理器使用 的流水线结构等。 最后本文介绍了硬件系统调试的具体方法和过程，讨论了研制过程中遇到的 一些困难及解决方法。 本文给出了h 2 6 3 实时视频编解码系统的硬件平台的研制过程和系统软件 的具体实现，并在目标板上对系统功能和算法进行了实验。对实验结果的分析表 明，本论文提出的方案能够很好的完成h 2 6 3 实对编解码任务。 关键词：可视电话h 2 6 3 t m s 3 2 0 c 8 0d s p视频处理并行处理 a b s t r a c t w i t ht h el h s td e v e l o p m e n to fm o d e m i n f o r m a t i o n a g e ，t h er e s e a r c h e sa n da p p l i c a t i o n s o fd a t ac o m m u n i c a t i o na n ds i g n a lp r o c e s s i n gt e c h n o l o g yc a t c hg r e a ta t t e n t i o n sf r o m r e s e a r c h e r sa l lo v e rt h ew o r l d a tt h es a m et i m e t h ed e s i g no f t 1 1 eh i g hp e r f o r m a n c e v i d e o - t e l e p h o n ya p p l i c a t i o no v e rp s t nh a sb e c o m ea na c t i v er e s e a r c ha r e a i nr e c e n t y e a r s ，t h ed e v e l o p m e n to fd s pt e c h n o l o g yh a sp u s h e dt h er e s e a r c hp r o g r e s so ft h e v i d e o - t e l e p h o n ys y s t e m ，a n dw i d e l yp u tt h et h e o r ya c h i e v e m e n t so fd i g i t a ls i g n a l p r o c e s s i n g f i e l di n t op r a c t i c a ls y s t e m s i n 恤i sp a p e r ，w e p r e s e n t ah a r d w a r ea n ds o f t w a r e i m p l e m e n t a t i o na p p r o a c ho f r e a l t i m eh 2 6 3c o d e eb a s e do nt i st m $ 3 2 0 c 8 0 a d i g i t a ls i g n a lm u l t i p r o c e s s o rw i t h ah i g h l yp a r a l l e li n s t r u c t i o ns e t t h ea l g o r i t h m b i ts t r e a ms y n t a xa n dt h ep r o c e d u r eo f c o d i n ga n dd e c o d i n go f h 2 6 3a r es t u d i e df i r s ti nt h i sp a r ) e r t h e ni ti n t r o d u c e st h e s t r u c t u r a la n dt h ef u n c t i o n a lf e a t u r e so ft m $ 3 2 0 c 8 0i nd e t a i l a f t e rt h a t , w i t ha l 】o f t h ep r e l u d ea b o v e t h ei m p l e m e n t a t i o ns c h e m eo fh 2 6 3c o d e cw i t ht m $ 3 2 0 c 8 0a s t h ec o r ep r o c e s s o ri sp u tf o r w a r d t h i sa p p r o a c ha l s oe m p l o y st h o s ec h i p ss u c ha s v p 5 2 0 ，b t 8 5 1 ，b t 8 1 9t op r o c e s st h ev i d e os i g n a l si n c l u d i n gc o n v e r tt h es i g n a l f o r m a t t h ed e s i g nt e c h n i q u e so fe a c hf u n c t i o nm o d u l eo f t h i ss y s t e ma n d p r o b l e m s i n r e a l i z a t i o na r ea n a l y z e di nd e t a i l m e a n w h i l e ，m e t h o d so fd e t e r m i n i n gt l ei n t e r f a c e t i m i n g a r ed i s c u s s e d a f t e r w a r d s ，u n d e rt h ec o n s i d e r a t i o no ft r a d e o f f sb e t w e e np r o c e s s i n gs p e e da n d s y s t e mp e r f o r m a n c e w em a i n l y a d d r e s s 血e k e yt e c h n i q u e s o ft h ev i d e oc o d e c o p t i m i z e ds o l u t i o n sa r ep r o v i d e d t ot a c k l et h o s et i m e c o n s u m i n gt a s k sa n dt h es y s t e m l e v e la sw e l la ss o m es p e c i f i e dm o d u l ef l o w c h a r t so fs o f t w a r ea r ep r e s e n t e d a l s o i n t h es c o p eo ft h ei m p l e m e n t a t i o no fe a c hm o d u l e ，t h ep a r a l l e lp r o c e s s i n gt e c h n i q u e s ， s u c ha sp i n g p a n gm o d ea n dp i i ，e l i n em o d e ，a r ea d d r e s s e dt h o r o u g h l yt os h o wh o w t l e yc a bh e l p t om a k e 也es o f t w a r em o r ee f f i c i e n t ， t h i sp a p e ra l s oi n t r o d u c e ss o m es p e c i f i cm e t h o d sa n dp r o c e d u r e so fd e b u g g i n gt h e w h o l es y s t e m a tl a s t ，s o m eo ft h o s ed i f f i c u l t i e st h a tw eh a v em e ta n dc o r r e s p o n d i n g s o l u t i o n sa r ea d d r e s s e d t h ed e v e l o p i n gp r o c e d u r e so fh a r d w a r ep l a t f o r ma n dt h ei m p l e m e n t i n go fs y s t e m s o f t w a r ea r ec o v e r e di nt h i sp a p e r w ea l s om a k ee x p e r i m e n t so ft h ec o d e co nt h e t a r g e tb o a r d t h ea n a l y s i so f t h ee x p e r i m e n tr e s u l t si n d i c a t e st h a tt h ei m p l e m e n t a t i o n s c h e m eo ft h i ss y s t e mi sh i g h l yq u a l i f i e dt oa c c o m p l i s ht h et a s ko fr e a l t i m eh 2 6 3 e n c o d i n ga n dd e c o d i n g k e y w o r d s ： v i d e o t e l e p h o n y v i d e op r o c e s s i n g h 2 6 3t m 8 3 2 0 c 8 0d s p p a r a l l e lp r o c e s s i n g 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得盔注盘堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名：孝弃牵 签字日期： 一，年多月鲈日 学位论文版权使用授权书 本学位论文作者完全了解叁生盘芏有关保留、使用学位论文的规定。 特授权墨洼苤堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名 铂夯 l 导师签名： 回 签字同期：豇，d 予年占月尹日签字日期：农哆年月乒日 第一章绪论 第一章绪论 1 1 多媒体数字通信系统概述“儿3 随着社会发展的信息化，多媒体通信逐渐从梦想变为现实的需求。而大规模 集成电路与数字化技术的飞速发展，又逐渐使多媒体通信在一定限度内成为可 能。“作为保证用户在任何时间、任何地点进行可视化交谈的视频技术，将在未 来多媒体市场中发挥重要作用”。很长一段时间以来，局限于调制解调器技术， 可视电话需要i s d n 数字化线路的支持。但是近年来，数字通信与计算机技术的 b 速发展，以及超大规模集成电路( v l s i ) 技术和宽带数字网技术的发展，使 得基j 。i p 网的多媒体业务得到迸一步发展。人们对数字视频业务如可视电话、 会议电视、安全监视、远程教育、高清晰度电视( h d l v ) 、视频点播( v o d ) 和网上购物等也产生了越来越浓厚的兴趣。因此，研究数字视频业务是很有现实 意义的。 进行视频信息传输面临的主要问题是：原始图像信号数据量较大。这将给存 储器的存储容量、通信信道的传输率( 带宽) 以及计算机的处理速度增加极大的 压力。虽然网络的发展使有效带宽变得越来越宽，但网络用户数量的增长速度以 及应用种类的增长速度也非常快，所以单纯增加信道的带宽是不经济也不现实 的。随着计算机技术的发展，计算机的处理速度也增加不少，但是由于互联网是 一个可以随机接入的时空共享信道，网络通信中同一群组中的各个用户可能在机 器类型、操作系统、外设性能、c p u 处理能力等方面存在巨大差异：连接各用 户的网络区段也会在带宽、延时和误码率等方面存在差别，所以单纯的部分计算 机的更新不可能完全解决上述问题。如果采用先迸的视频压缩技术将视频信息的 数据量压缩，则可以节省存储空间，并且可提高通信的传输效率，从而可以满足 网络通信中不同的用户，使得视频通信业务成为可能。因此，视频信号的有效压 缩成为视频传输系统研究的核心。 截止到目前，各标准化组织已制定了许多有关视频压缩的标准。国际标准化 组织( i s o ) 和国际电信联盟一电信标准分部( i t u t ) 已推出了一系列有关视 频压缩的标准，例如，在静止图像压缩方面，i s o 推出了j p e g 标准；在运动图 像方面，1 s o 推出了用于v c d 的m p e g 1 ，用于广播电视和d v d 的m p e g - 2 标准，以及用于存储播放场合的低码率运动图像编码标准m p e g 一4 ，i t u t 推出 的用于i s d n 的电视电话会议协议h 2 6 1 以及用于会议场合的低码率运动图像编 码协议i q 2 6 3 。视频传输系统依赖的标准是有关运动图像方面的标准，包括高码 第一章绪论 率的，也包括低码率的。 在p s t n 上提供多媒体业务有相当地市场需求。虽然近年来各国建立了各种 宽带通信网，如i n t e r n e t 、i n t r a n e t 、a t m 网等，在宽带网中实现视频通信是必然 趋势，但是世界范围看，成熟的、廉价的公共交换电话网( p s t n ) 上的比特率 有所增加，但仍限制在5 6 k b p s 以内。因此，问题的关键是如何在低比特率下进 行视频通讯。i t u - t 的h 2 6 3 协议是用于低比特率多媒体通信的，加上低码率语 音编码的发展，在p s t n 上的多媒体业务已能实用。近年来h 3 2 4 以及与h 3 2 4 相关联的标准的制定，特别是为i p 网的特殊性要求而提出的h 2 6 3 + 和g 7 2 9 等 协议的完成，使得在基于i p 的多媒体会议业务的研究有了突破性进展。总之， 研究低比特率活动图像编码h 2 6 3 协议是实现p s t n ，i p 网上多媒体通信的核心 问题之一，是实现视频的实时性传输的关键问题。 1 2 本论文的任务与结构 本文的工作重点就是基于t m s 3 2 0 c 8 0 实现h 2 6 3 实时编解码器的软件和硬 件系统的研究，包括从原始p a l 制视频信号的捕获、图像格式的转换、图像的 编码和解码以及输出解码后的p a l 制视频图像。 论文的内容安排如下： 第一章绪论 第二章首先介绍了实现h 2 6 3 视频编解码器的核心算法和h 2 6 3 码流的格 式，然后又介绍了本系统的主要芯片t m s 3 2 0 c 8 0 的结构和特点。 第三章首先介绍了v p 5 2 0 、b t s l 9 等芯片的结构特征，然后在深入地分析 各种关键器件的外围接口和时序关系的基础上设计了整个硬件系 统。 第四章结合t m s 3 2 0 c 8 0 的硬件结构以及h 2 6 3 协议的特征，着重阐述了在 t m s 3 2 0 c 8 0 上实现h 2 6 3 编解码器的软件流程。 第五章介绍了系统硬件的调试过程及部分问题的解决方法并对实验结果进 行了分析。 第二章h 2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 g g - 章_ h 2 6 3 视频编码协议与t m s 3 2 0 0 8 0d s p 介绍 21 h 2 6 3 极低码率视频编码协议 2 11 概述4 1 5 1 ” h 2 6 3 是i t u t 建议的作为h3 2 4 终端使用的视频编解码协议，后来又被 h 3 2 3 协议族收录。h 3 2 4 作为公用电话交换网上传输视频、音频及数据信息的 国际标准，其系统框图如图2 - 1 所示。 h 3 2 4 协议 絮幻 视频编解码器 - 5 h 2 6 3 h 2 6 1 音频i ol i 4 音, 频g i n l 延迟| i 酱径卜 复用设备卜 解复用调制解调器p s t n h 2 2 3v 3 4 ，v 8 0 用，o 数据数据通信协议 。应用t 1 2 0 一v 1 4 ，l a p m 控制协议s r p l a p m y系统h 2 4 5进程 调制解调器 控制控制 v 2 5 t e r s l i p ：简单重发协议l a m p ：调解器链路接入进程 图2 1h 3 2 4 多媒体系统框图 h 3 2 4 协议主要包括五部分： 1 、h2 4 5 ： 2 、h 2 2 3 ： 3 、h 2 6 3 ： 4 、g 7 2 3 ： 定义了包括容量交换机制在内的h 3 2 4 系统控制协议。 定义了传输帧结构、场格式和包复用协议。 极低码率视频编解码协议。 传输速率为5 3 和6 3 k b p s 的音频编解码协议。 第二章h2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 5 、v 8 0 ： 针对v 3 4 ( 传输速率2 8 8 k b p s ) 调解器的支持可视电话应用的调制解 调协议。 h 2 6 3 视频编解码器在h 3 2 4 协议族中的功能为：采用特定的视频编解码算 法产生数字化视频信号并进行相应的解码。视频编码不进行b c h 纠错，且允许 以4 i 对称的视频比特率、帧速率、图像分辨率运行。类似于音频编解码器，视频 编解码器使用的编解码算法是在能力交换期间通过h 2 4 5 建议协商得到的。 h 2 6 3 是在已有的在i s d n 上传输数字式会议电视的国际标准h 2 6 1 ( 码率为p 6 4 k b i t s ，p = l 3 0 ) 基础上进行扩展和改进。这主要体现在可支持的图像格式、 码头开销( o v e r h e a d ) 及运动补偿策略( 引入半像素搜索来代替h 2 6 1 中的 l o o p f i l t e r ) 上。h 2 6 3 协议采用一种结合了可减少时间冗余的帧间预测和可减少 空间冗余的残留信号编码的方法，对待传送的符号采用了游程编码。为了提高压 缩比，h 2 6 3 协议较h 2 6 1 协议又采用了一些新的措施：改进了运动估值算法， 充分利用了运动矢量的相关性来提高预测质量；减轻了块效应；精简了部分附加 信息的编码，提高了编码效率。除了基本的视频信源编码外，为了改进性能， h 2 6 3 协议包含4 个可选的编码模式： 1 、无约束运动矢量模式，允许运动矢量指向实际图像的外侧。 2 、算术编码模式，用算术编码代替h u f f m a n 编码。 3 、先进预测模式，采用重叠块运动补偿( o b m c ) 技术，并用四个8 8 运 动矢量代替一个1 6 x1 6 运动矢量，进而提高预测精度，消除块效应。 4 、p b 帧模式，通过将两帧图像编码为p b 帧而在有限增加码率的情况下提 高帧频。 通过对算法的改进及以上可选模式的提供，以一定的计算量为代价，h 2 6 3 在极低码率下提供了比h 2 6 1 更为优越的主观图像质量，从而使以低于6 4 k b i f f s 的码率在p s t n 上传输可视电话成为可能。 为了提高编码效率，1 9 9 7 年9 月i t u t 又制定了h 2 6 3 + 协议，它是兼容 h 2 6 3 的，这不仅是因为当前的低比特率视频应用大部分是来自h 、2 6 3 协议，而 且这也是i t u t 的要求。h 2 6 3 + 能更好的提高恢复图像质量和压缩性能，有广 阔的应用范围。h 2 6 3 + 在h 2 6 3 的基础上实施了许多改进，它允许使用更多的 图像格式、图像形状和时钟频率、这就增加了h 2 6 3 + 应用的灵活性。另外，图 像大小、形状和时钟频率可以在h 2 6 3 + 的比特流中给出。h 2 6 3 + 在h 2 6 3 的 基础上的另一个重要改进是具有可缩放性，它能提高视频信息在易出错、数据丢 失或不同环境中的传输正确率，进一步限制图像分段时相互依赖性，减少误差积 累。 h 2 6 3 + 协议增加了1 2 种精细的编码算法，例如改进的p b 帧、先进帧内预 4 第二章h2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 测编码、去方块效应滤波、可选择的帧间v l c 码表、修正的量化模式以及时问 上、信噪比和空削上可放缩模式等。 2 1 2 信源格式5 3 7 1 h 2 6 3 信源编码器处理的是逐行扫描的、帧频为3 0 h z 的活动图像。图像格 式是指图像宽高比和每帧图像的大小。h 2 6 3 的图像依据c c i r 6 0 1 标准编码为y 、 c r 、c b 三个分量，其允许的图像格式如表2 - 1 所示。 表2 - 1h 2 6 3 图像格式 图像格式亮度分量色差分量 像素数行行数帧像素数行行数帧 s u b q c i f 1 2 89 66 44 8 q c i f 1 7 61 4 48 87 2 c i f3 5 22 8 81 7 61 4 4 4 c i f7 0 45 7 63 5 22 8 8 1 6 c i f1 4 0 81 1 5 27 0 45 7 6 表2 - 1 中，除s u b - q c i f 以外所有图像格式幅型比均为4 ：3 。h 2 6 3 协议规 定所有解码器必须支持s u b q c i f 和q c i f 两种格式，而编码器可以仅支持 s u b q c i f 或q c i f 中的一种格式。以上五种格式中，亮度信号与色差信号间的 关系为4 ：2 ：0 。亮度块与色差块的边界相吻合，如图2 2 所示。 表示亮度抽样点0 表示色差抽样点 一 块边界 图2 2亮度与色差取样点位置关系 第二章h 2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 h 2 6 3 中部分解码器可使用c i f 、4 c i f 和1 6 c i f 格式。编码器可以使用图像 格式s u b q c i f 或q c i f ，使用哪一种图像格式由编码器决定，但不能同时使用两 种图像格式。部分编码器也能使用c i f 、4 c i f 和1 6 c i f 。剥于可能出现的图像格 式和视频编码算法的完整描述见终端描述，如h 3 2 4 建议。 h 2 6 3 中信源图像的层次结构如图2 3 所示，每帧q c i f 图像在垂直方向分 为9 个块组( g o b ) ，每个块组在水平方向分为1 1 个宏块，每个宏块包括四个亮 度块和两个色差块，亮度块和色差块由8 8 个像素组成。四个亮度块和两个色 差块的边界吻合。一帧图像中的宏块按扫描顺序排序，并以此顺序发送。 趔i 丑叠益臣巫 图2 - 3 q c i f 信源图像层次结构 2 1 3 信源编码过程嘲州 h 2 6 3 信源编码器原理框图如图2 - 4 所示：h 2 6 3 视频编码分为帧内编码( i 帧) 、帧间编码( p 帧) 以及可选的p b 帧编码。为控制反变换失配误差的传递， 要求每编码1 3 2 帧至少用帧内模式编码一次。 21 31 运动补偿预测与运动矢量编码 运动矢量的水平和垂直两个分量的范围是【- 1 6 ，1 5 5 1 ，精度为半像素。运动 矢量的搜索只对亮度块进行。对于p 帧图像，常规模式下，每一宏块包含一个 运动矢量。先进模式下，宏块中的四个亮度块各包含一个运动矢量a 色差信号不 第二章h2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 进行运动搜索，而直接由相应宏块中亮度块的运动矢量获得。常规模式下，色差 运动矢量等丁亮度运动矢量除以2 再经表2 2 修正后所得的半像素位置；先进模 式下，色差运动矢量为四个亮度运动矢量的和除以8 ，再经表2 3 修正后所得的 半像素位置。 视 t ：变换 c c ：编码控制 q ：量化系数 q ：量化 t ：传输与否标识 v ：运动矢量 图2 4编码器原理框图 p ：缓存 q z ：量化与否标识 p ：帧间帧内标识 l 求得值 01234567 891 01 11 21 31 41 51 6 l 修正结果0 0 0111111 l111122 2 在先进预测模式和无约束运动矢量模式下，运动矢量可以指向真实图像外 侧，可以保证图像边界处的宏块得到最优预测。在无约束运动矢量模式下，运动 矢量的范围有条件地扩大为 一3 1 5 ，3 1 5 。 第一章h2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 仅对实际运动矢量与被估计的运动矢量间的差值编码。对常规模式中运动矢 量的估计方法如下： 一股情况左边界 图2 - 5一般模式运动矢量估值， jm v ，m v l | m v -m v 上边界右边界 预选矢量与待估值矢量的位置关系 2 1 321 ) c l 变换 对于i 帧，直接对原始亮度和色差块做二维d c t 变换。对于p 帧，对预测 误筹图像块做二维d c t 变换。 21 33 量化 经d c t 变换后，各系数的量化公式如下： 帧内编码块的直流系数：l e v e l = c o f 8 帧内编码块的交流系数：l e v e l = l c o f l ( 2 q p ) 帧间编码块系数：l e v e l = ( i c o f i q p 2 ) ( 2 q p ) 其中，c o f 为待量化的变换系数，l e v e l 为量化结果，q p 为量化等级，是 1 3 1 范围内的整数。对帧内编码块，q p 取恒定值；对帧间编码块，依据缓存 器状态以一定的码率控制策略自适应的调整q p 。 2 1 3 4 熵编码 d c t 变换及量化后，先判断系数块是否为全零( 对于帧内编码块，除 i n t r a d c 外是否全零) 。全零块不必传送，仅在参数c b p 和c b p b 中标识。 c b p = 3 2 p 1 + 1 6 p 2 + 8 p 3 + 4 x p 4 + 2 p 5 + p 6 上式中若块n 为全零，则p n = 1 对于非零块，非零系数主要集中在系数块的左上角。系数块经z i g - z a g 扫描 ( 图2 6 ) 后，按频率递增顺序排列为一维的系数串。以三个参数构造事件。三 个参数分别是l e v e l ( 系数串中非零系数的幅值) 、r u n ( 系数串中该非零系数 前连续的零系数的个数) 和l a s t ( 标识该非零系数是否为系数串中最后一个非 零系数) 。对以上事件序列可以进行h u f f m a n 编码或算术编码。在事件序列相同 的情况下，算术编码可获得更低码率。依据率失真函数理论 8 】，码率一定情况下， 使用算术编码可以获得更高的信噪比。 第- 章h2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绑 l2671 51 6 2 82 9 358 1 41 72 7 3 04 3 491 31 82 63 1 4 24 4 1 01 21 92 53 24 1 4 5 5 4 1 l2 02 43 34 0 4 6 5 35 5 2 l2 33 43 94 7 5 2 5 66 1 2 23 5 3 8 4 85 15 76 0 6 2 3 63 74 9 5 05 85 96 36 4 图2 - 6 z i g z a g 扫描顺序 21 3 5 码率控制策略3 熵编码所得到的是非恒定码率的码流，为了获得恒定码率以满足信道传输的 要求，需要一个缓存器对熵编码后的码流进行均衡，变非恒定码率为恒定码率。 由于缓存器容量有限，并且视频传输延迟不能过大，需要一定的码率控制策 略来保证缓存器不发生上溢和下溢，并保证延迟要求。 h 2 6 3 未指定码率控制策略，编码器的设计者需根据需要设计自己的码率控 制策略。在己发表的几个测试模型中( t m n 5 t m n 8 ) ，给出了几种建议的控制 策略，它们的核心都是通过跳帧保证目标帧频，通过自适应的修正量化器步长保 证每帧图像的比特率。t m n 8 还给出了在离线方式下对整个图像序列优化的码率 控制策略。 以下以t m n 5 为例简述实时可视电话应用中的码率控制策略。 首先定义如下参数： q p 前一帧图像的平均量化等级 q p 当前宏块的量化等级 b “前一帧图像产生的比特数 b当前图像分配的比特数 n a b 当前宏块号 m b 一帧图像总的宏块数，对于q c i f 等于9 9 b m b当前图像到当前宏块为止积累产生的比特数 r目标码率 f r 图像原始帧频，如3 0 f p s 。g e 目标帧频，如1 0 f p s f n缺省的目标帧频 b u f f e rc o n t e n t缓存器充满度标识 f r a m ei n e r跳帧数 第二章h 2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 调整帧频： 1 、帧内编码图像采用恒定量化级，q p = 1 6 。i 帧编码结束后，设定： a r e t =f 0 一q p ，4b u f f e r _ c o n t e n t = r 丘。瞪n + 3 r f r 需保证5 f t 。 3 r f r ) b u f f e r _ c o n t e n t = b u f f e r _ c o n t e n t - - r f r ； f r a m e i n c r 2 f r a m e _ i n c r + 1 ；) 3 、计算目标帧频和将编码图像的预分配比特数。 a r 2 e t = f 0 一q p i 、1 4 ，5 “g e t 0 ，说明在当前帧内到当前宏块为止产生的比特数大于 预分配给这些宏块的比特数，这时当前宏块的量化级应大于前一宏块的量化级， 以减少当前宏块可能产生的比特数。 5 、当前帧编码完成之后，计算当前帧平均量化级、累积产生的比特数和缓 存器的充满度，为新一轮计算做准备。 b u f f e r _ c o n t e n t ；b u f f e r _ c o n t e n t - t - 9 9 9 ，m b 6 、回到步骤2 。 上述的码率控制策略并不是最优的，在t m n 8 中给出了种新的控制策略， 其主要思想体现在调整宏块量化级时，不仅考虑缓冲器的充满度，而且引入宏块 的反映细节特征的统计特性( 亮度块和色差块的标准偏差) ，综合决定新的量化 级。其效果优于t m n 5 的量化策略。但是需要运动补偿后引入额外运算求得误 差图像的标准偏差，而且判断过程也比上述策略复杂。t m n 8 中还提供了一种以 块组为单位的量化策略。 第二章h2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 21 4h 2 6 3 码流结构与码头信息”7 1 2141 码流结构 对应于信源图像层次结构，h 2 6 3 视频码流从上而下分为网个层次，如图2 7 所示。 p i c t u r e h e a d e r i g o bd a t a i g o bd a t a i i 。 1 ， 1 。 i g o bh e a d e r i m b d a t a m b d a t a i ：_ = t e o s 为图像序列结束标忐 每帧图像定义为一图像层 每帧图像中1 6 行y 像素，8 行c r 像 素和8 行c b 像素数据为一块组层 每块组中的1 6 1 6y 像素，8 8c r 与c b 像素数据为一宏块层 宏块中每8 8 个像素数据为一块层 图2 7h 2 6 3 视频码流结构 214 2 各层头部及数据信息 图像层：可视电话h3 2 4 协议中使用的h 2 6 3 视频码流是h 2 6 3 协议中容许的视 频码流的一个子集，图2 8 中给出了该子集的图像层信息。 2 28135 1321变长可选2 2变长 图2 _ 8h 2 6 3 图像层信息 p s c ： ，f r ： p t y p e p q u a n t c p m t r b 0 0 0 00 0 0 00 0 0 00 0 0 010 0 0 0 0 ，起始位字节对正( 利用p s t u f ) 。 当前编码图像在实际图像序列中的序号。 图像类型信息，其中第1 、2 位必须为1 0 以防止假起始码并与h 2 6 1 区别；第6 8 位表示编码图像格式，q c i f 为0 1 0 ；第9 位表示图像 编码类型，0 为i 帧，1 为p 帧；第6 8 位表示是否使用四种可选 模式。 当前图像预置的量化等级，解码器实际采用的量化等级可能由后面 的o q u a n t 和d q u a n t 加以修正。 应用于h 3 2 4 时置0 。 若p t y p e 指明使用p b 帧模式，其值等于从上一个i 帧或p 帧到当 前b 帧未传输帧数加1 。 d b q u a n t ：p b 帧模式下，解码器用来恢复用于b 帧的量化等级。 p e i ：应用于h 3 2 4 时置0 。 e s t u f ：少于8 比特的0 ，用于使e o s 起始位字节对正。 第一章t t 2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介纠 e o s ：0 0 0 00 0 0 00 0 0 00 0 0 0l1 1 1 1 1 。 p s t u f ： 少于8 比特的0 ，用于使p s c 起始位字节对正。 块组层：块组层由块组头部信息和宏块数据组成，如图2 - 9 所示。一帧图像的第 个块组数据不包括块组头。其他的块组也可能不包括块组头部信息。 f堕! 上型!i鱼堡! 竺 i鱼堕【鱼! ! 旦lq q 旦垒塑! 【 m 里! 坠!i 变k1 7525 变长 图2 - 9h 2 6 3 块组层信息 g s t u f ： 少于8 比特的0 ，用于使g b s c 起始位字节对正。 g b s c ：0 0 0 00 0 0 00 0 0 01 。 g n ：块组序号。 g f i d ：块组帧标识符，同一帧图像内所有块组的g f i d 相同；若相邻帧的 p t y p e 相同，则相邻帧的g f i d 也相同，反之不然。 g q u a n t ：当前块组预置的量化等级，解码器实际采用的量化等级可能由后面 的d q u a n t 加以修f 。 宏块层：宏块层信息如图2 1 0 所示。 1变氏变长6变跃2变长变长变长 变长 图2 1 0h 2 6 3 宏块层信息 c o d ：i 帧中宏块不包含c o d ，解码器可以认为c o d 为0 ，因为i 帧中所 有宏块都被编码。p 帧中，若c o d 为0 ，表示该宏块被编码；若 c o d 为1 ，表示该宏块无信息被传送，此时解码器应认为该宏块的 误差系数与运动矢量均为0 。先进预测模式下，c o d 为1 时仍进行 重叠运动补偿( o v e r l a pm o t i o ne s t i m a t i o n ) 。 m c b p c ：指出该宏块编码类型( 帧间或帧内，一个运动矢量或四个运动矢量 是否更新量化等级) 。还指明该宏块内色差块是否被编码( c b p b ) 。 c b p c 与后面的c b p y 起构成参数c b p 。 m o d b ：p b 帧模式下指明该宏块层信息中是否包含c b p b 和m v d b 。 c b p b ：p b 帧模式下，c b p b 对于b 帧的作用相当与c b p 对于i 帧或p 帧 的作用。 c b p y ：指明该宏块内亮度块是否被编码，与c b p b 一起构成参数c b p 。 d q u a n t ：用来最后确定该宏块使用的量化等级。 m v d ：常规模式下，为整个宏块的运动矢量。先进预测模式下，为第一个 亮度块的运动矢量。 m v d 2 4 ：先进预测模式下，为第二至第四个亮度块的运动矢量。 m c d b ：p b 帧模式下用于求得b 帧的运动矢量。 第二章1 1 2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 块层：块层信息如图2 - 1 1 所示。 匾亟丑置 8 变长 图2 - 1 1h 2 6 3 块层信息 i n t r a d c ：帧内编码块的直流分量。 t c o e f ： 交流分量，是三维事件的变字长编码。 2 1 5 信源解码过程 解码器主要包括变字长解码、反量化、i d c t 、运动补偿等部分，在送往显 示系统之前，还要进行色差变换、色差信号内插等后处理过程。h 2 6 3 信源编码 器包含的解码回路同h 2 6 3 信源解码器的主要部分一致。 2 2t m s 3 2 0 c 8 0d s p 介绍 2 2 1 t m s 3 2 0 c 8 0 概述m 1 t m s 3 2 0 c 8 0 是美国德州仪器公司( t i ) 于1 9 9 5 年推出的针对多媒体应用和 移动通信基站应用的数字信号处理器。它基于以往的d s p 设计经验，在许多方 面进行了改进，并针对多媒体应用在许多方面进行优化。主要特点如下： l 、最优情况下支持每秒2 0 亿次操作。 2 、主频为4 0 或5 0 m h z 。 3 、一个集成i e e e 一7 5 4 浮点单元的3 2 b i t r i s c 主处理器。 4 、四个3 2 一b “先进d s p ( a d s p ) 并行处理器。 5 、5 0 k b 片上r a m 。 6 、提供c r o s s b a r 结构和传输控制器( t c ) ，4 2 g b s 片上数据带宽，4 0 0 m b s 片外数据带宽。 7 、4 g b 寻址空间。 8 、视频控制器( v c ) 。 9 、i e e e l l 4 9 1 仿真测试接口。 由于t m s 3 2 0 c 8 0 强大的处理能力，从问世以来，被广泛应用于视频处理、 多媒体通信和工业监控领域。1 9 8 8 年由b d t i ( b e r k e l e yd e s i g nt e c h n o l o g yi n e ) 组织的对市场上主流d s p 产品进行的评测中”“，t m s 3 2 0 c 8 0 依然获得好评。在 优化设计下，对常见的数字信号处理算法，t m s 3 2 0 c 8 0 的运算能力仍然接近新 一代d s pt m s 3 2 0 c 6 2 0 0 的水平。 第二章h 2 6 3 视频编码协议与t m s 3 2 0 c 8 0d s p 介绍 22 2 t m s 3 2 0 0 8 0 体系结构 d s p 的体系结构对丁处理能力有巨大影响，直接关系到方案的设计与优化策 略。t m s 3 2 0 c 8 0 的总体结构框图如图2 一1 2 所示。 对 图2 1 2t m s 3 2 0 c 8 0 总体框图 t m s 3 2 0 c 8 0 是拥有一一个主处理器( m p ) 和四个并行处理器( p p ) 的并行 d s p ，主处理器和并行处理器以及片上r a m 间通过c r o s s b a r 相连。t m s 3 2 0 c 8 0 整体上可配置为m i m d ( 多指令多数据流) 结构，各处理器可独立地运行各自的 程序。各处理器与片外存储器之间以传输控制器相连。各处理器间通过共享片上 存储单元传递消息，极大地减少了处理器之间的通信代价( o v e r h e a d ) 。 2 2 3 存储器结构m 4 t m s 3 2 0 c 8 0 的5 0 k b y t e 片上r a m 分为5 组，每一组包括5 块2 k b y t e 区域。 每个处理器拥有属于自己的1 组r a m ，称为局部r a m 。对于p p 而言，通过局 部口( 1 0 c a lp o r t ) 访问局部r a m ，通过全局口( g l o b a lp o r t ) 访问其他的片上 r a m 。 t m s 3 2 0 c 8 0 的片上r a m 使用改进哈佛结构，即数据存储器与指令存储器分 开。在一个时钟周期下，m p 可以存取一次指令和存取一次数据，p p 可以存取一 次指令和存取两次数据。这样处理器不因为取指令而减慢运算速度。应该指出， p p 的两个存取数据操作必须分别由p p 的局部i ：3