（信号与信息处理专业论文）基于tms320dm642实现h264视频压缩算法.pdf

摘要 h 2 6 4 a v c 是i t u - t 视频编码专家组( v c e g ) 和i s o i e c 运动图像专家组 ( m p e g ) 最新制定的视频编码标准。其目的是提供一个具有更高压缩性能和网络 友好的算法。即适用于“会话服务”( 视频电话) 也适用于“非会话服务”( 存储， 广播，流媒体) 应用。与现存的标准相比，h 2 6 4 a v c 在率失真方面已经取得 了显著的效率提升。 本论文主要介绍的是在基于t it m s 3 2 0 d m 6 4 2 数字媒体处理器的硬件平台上 实现h 2 6 4 “b a s e l i n ep r o f i l e ”编解码器算法。h 2 6 4 性能上的改进导致算法 复杂度的明显提升。利用有限的资源实现h 2 6 4 算法是一个极具挑战性的工作。 在该项目中我主要负责完成p 帧图像的优化工作。 在论文中具体的论述了关于p 帧的优化方法：将解码函数根据图像类型拆分 成相应的子函数，使用汇编语言改写1 4 像素插值模块；优化图像跨越边界处的 处理，优化运动补偿模块，以及图像输出模块等。 已经实现：在t it m s 3 2 0 d m 6 4 2d s p 上解码能力可以达到q c i f 格式图像1 0 0 1 2 0 f p s ，c i f 格式图像2 0 3 0 f p s ；编码能力可达1 5 2 5 f p s 。 关键词：h 2 6 4a v cd m 6 4 2c o d e c a b s t r a c t h 2 6 4 a v ci st h en e w e s tv i d e oc o d i n gs t a n d a r do ft h ei t u - tv i d e oc o d i n g e x p e r t sg r o u p ( v c e g ) a n dt h ei s o i e cm o v i n gp i c t u r ee x p e r t sg r o u p ( m p e g ) t h em a i ng o a l so ft h eh 2 6 4 a v cs t a n d a r d i z a t i o ne f f o r th a v e b e e ne n h a n c e d c o m p r e s s i o np e r f o r m a n c e a n dp r o v i s i o no fa “n e t w o r k f r i e n d l y ”v i d e or e p r e s e n t a t i o n a d d r e s s i n g ”c o n v e r s a t i o n a l ”( v i d e ot e l e p h o n y ) a n d ”n o n c o n v e r s a t i o n a l ”( s t o r a g e ， b r o a d c a s t ，o rs t r e a m i n g ) a p p l i c a t i o n s h 2 6 4 a v ch a sa c h i e v e da s i g n i f i c a n t i m p r o v e m e n ti nr a t e d i s t o r t i o ne f f i c i e n c yr e l a t i v et oe x i s t i n gs t a n d a r d s ， t h em a i nt a s ko ft h i st h e s i si st op o r ta n do p t i m i z eh 2 6 4 “b a s e l i n e ”c o d e c s o f t w a r eo nt h et e x a si n s t r u m e n t s t m s 3 2 0 d m 6 4 2d i g i t a lm e d i ap r o c e s s o r ：t h e p e r f o r m a n c ei m p r o v e m e n ti n t r o d u c e ss i g n i f i c a n tc o m p l e x i t yt oh 2 6 4c o d e c i ti sa c h a l l e n g et oi m p l e m e n tt h ec o d i n ga l g o r i t h mu n d e rt h el i m i t e dr e s o u r c e ia mi n c h a r g eo f o m p i t m i z i n g t h epp i c t u r e 【 if i n i s h e dp o r t i n gh 2 6 4a l g o r i t h mt ot h ee m b e d d e dh a r d w a r ep l a t f o r mo fd m 6 4 2 d s p sp r o c e s s o ls e p a r a t e dt h ed e c o d ef u n c t i o n si n t os u b - f u n c t i o n sa c c o r d i n gt o d i f f e r e n ti m a g et y p e s t h em o d u l e sr e s p o n s i b l ef o ro p t i m i z a t i o na r e ：r e w r i t et h ei 4 p i x e li n t e r p o l a t i o nm o d u l ei na s s e m b l yl a n g u a g e ，o p t i m i z et h em o t i o nc o m p e n s a t i o n m o d u l e ，p r o c e s so fo p t i m i z i n gt h es a m p l e so u t s i d et h ei m a g ee d g e ，a n dt h ei m a g e o u t p u tm o d u l e f i n a l l y , i n t e g r a t et h ed e c o d e rp r o g r a mw i t ht h es y s t e mp r o g r a m i th a db e e nr e a l i z e dt h a tt h ed e c o d ea b i l i t yc a ng e tq c i ff o r m a tp i c t u r eo f 1 0 0 1 2 0 f p so nd m 6 4 2a n dc i ff o r m a tp i c t u r eo f2 0 - 3 0 f p s ；e n d o d ea b i l i t ya b o u t 1 5 - 2 5f p sq c i e k e yw o r d s - h 2 6 4 ，a v c ，d m 6 4 2 ，c o d e c 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其他人已经发表 或撰写过的研究成果，也不包含为获得苤壅盘鲎或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 学位论文作者签名 刁训 签字日期：刀哆年7 月珞日 学位论文版权使用授权书 本学位论文作者完全了解墨注盘茎有关保留、使用学位论文的规定。 特授权墨洼盘鲎可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：乞鸲 导师签名： 学位论文作者签名：矿巧左勺 导师签名： 签字日期：乃巧年7 月邪日签字日期：o 哆f 年2 - 月雹r 日 第一章绪论 第一章绪论 在信息化社会中，数字化后的信息，尤其是数字化后的视频信息具有数据海 量性，它给信息的存储和传输造成较大的困难，成为阻碍人类有效地获取和使用 信息的瓶颈之一。因此，以压缩的形式存储和传输庞大的多媒体数据是必须的选 择。目前，视频编码标准有很多，也在不断地变化，但是这些视频编码的基本原 理和算法是相通的。 1 1 视频编码压缩算法与标准概述1 】- 8 1 1 1 视频编码基本算法 压缩基本上是这样个过程：通过消除存在于视频信号里的冗余成分，来减 少图像或图像组的内容信息。压缩技术总的来说就是要识别并去除这些冗余，从 而减少存储量和传输带宽。 对于许多压缩系统，第一步工作就是识别存在于视频信号的每帧每场中的空 间冗余。消除空间冗余一般是通过变换编码来实现的，其基本思想是将在通常的 空间域中的图像信号变换到另外的正交向量空间( 变换域) 进行描写。空间域的 一个n * n 个像素组成的像块经过正交变换后，在变换域中变成了同样大小的变 换系数块。变换前后的明显差别是：空间域像块中像素之间存在很强的相关性， 能量分布比较均匀：经过正交变换之后，变换域系数间近似是统计独立的，相关 性基本解除，并且能量主要集中在直流和少数低空间频率的变换系数上。在各种 正交变换中，由于k l 变换采用图像本身的特征向量作为变换的基向量，因此 与图像的统计特征完全匹配，是在最小均方误差准则下进行图像压缩的最佳变 换。当以自然图像为编码对象时，d c t ( 离散余弦变换) 的变换性能与k l 最 为接近。由于d c t 有快速算法实现，因此目前被多个国际标准采用。d c t 是一 个无损的、可逆的数学过程。它把空间幅度数据转化为空间频率数据。在用于视 频压缩时，这一运算过程是以亮度采样和相应的色差采样构成的8 + 8 点的块为单 位进行的。由于视频图像的自然属性，d c t 变换经常使代表较高空间频率的d c t 系数的值很小。类似的，由于人类视觉分辨率的特点，许多高频分量可以很粗糙 地定义( 也就是用较少的比特来表达) 或完全弃之不用，也不会引起明显的图像劣 化。目前，一些新一代的压缩算法采用整数变换取代d c t 变换，如h 2 6 4 采用4 第一章绪论 4 整数变换、w m v 一9 使用8 8 4 8 4 4 微软整点变换。 视频信号往往在时间上也有冗余，它是指对于一个给定的图像序列，图像内 容在帧与帧之间变化很小。当景物不含剧烈运动、不发生场景切换以及摄像机不 傲明显运动如推拉镜头、摇镜头时，视频信号的帧差信号( 相邻帧间空问位置对 应的像素差值) 比帧内相邻像素间的差值信号表现出更强的相关性。这种时间上 的冗余可以通过编码端的运动估计和解码端的运动补偿来去除。对帧间相关图像 内容的位置变化( 或称运动) 的计算是帧问压缩的主要组成部分。视频序列通常由 类似的场景组成，在不同帧中某些同样的图像内容处在不同的位置。也就是说， 在某一帧图像中的某个内容运动到了下一帧中的不同位置上。这样，通过运动向 量就可以表示某个内容在帧与帧之间的运动。当前帧可以利用相邻帧来预测，预 测帧与当前帧的误差以及描述预测关系的运动矢量被编码。这样当解码器对残差 帧和运动矢量解码后再依赖已经解码的相邻帧( 参考帧) ，就可以恢复当前帧。 进行数据压缩的另一个重要途径是压缩被编码传输的符号中存在的统计冗 余。根据各个信源符号出现概率不同进行概率匹配编码，即统计编码。在不引起 任何失真的前提下，可将传输每信源符号所需的平均码长降至最低。统计编码 的基本方法如下：一个由k 个信源符号组成的离散、无记忆符号集，其中的每 一个符号根据其出现的概率不同通过一个不定长的二迸制码字表示，出现概率高 的符号分配的码字长度短，出现概率低的符号分配的码字长度长。为了不造成信 息损失，编码必须是单译和可逆的。前缀码满足这样的特点：在码表中没有码字 与任何一个比它长的码字的前缀( 码头) 相同，即不存在能在短码字后面续加若 干码元构成的长码字。由信息论可知，统计编码平均码长的下限是其信源符号的 熵。h u f f m a n 码由于编码后的冗余度小，非常接近平均码长的下限，因此在图像 与视频压缩中被广泛应用。 1 1 2 视频压缩标准历史简述 目前视频流传输中最为重要的编解码标准有国际电联的h 2 6 1 、h 2 6 3 ，运 动静止图像专家组的m - j p e g 和国际标准化组织运动图像专家组的m p e g 系列 标准。此外在互联网上被广泛应用的还有r e a l - n e t w o r k s 的r e a l v i d e o 、微软公司 的w m t 以及a p p l e 公司的q u i e k t i m e 等。具体如下： 一、国际电联的h 2 6 1 、h 2 6 3 、h 2 6 4 标准 1 h 2 6 1 h 2 6 1 又称为p + 6 4 ，其中p 为6 4 k b s 的取值范围，是1 到3 0 的可变参数， 它最初是针对在i s d n 上实现电信会议应用特别是面对面的可视电话和视频会议 第一章绪论 而设计的。实际的编码算法类似于m p e g 算法，但不能与后者兼容。h2 6 1 在实 时编码时比m p e g 所占用的c p u 运算量少得多，此算法为了优化带宽占用量， 引进了在图像质量与运动幅度之间的平衡折中机制，也就是说，剧烈运动的图像 比相对静止的图像质量要差。因此这种方法是属于恒定码流可变质量编码而非恒 定质量可变码流编码。 2 h 2 6 3 h 2 6 3 是国际电联i t u t 的一个标准草案，是为低码率通信而设计的。但实 际上这个标准可用在很宽的码率范围，而非只用于低码率应用，它在许多应用中 认为可取代h 2 6 1 。h 2 6 3 的编码算法与h 2 6 1 一样，但做了一些改善和改变， 以提高性能和纠错能力。h 2 6 3 标准在低码率下能够提供比h 2 6 1 更好的图像效 果，两者的区别有：( 1 ) h 2 6 3 的运动补偿使用半像素精度，而h 2 6 1 则用全像素 精度和循环滤波；( 2 ) 数据流层次结构的某些部分在h 2 6 3 中是可选的，使得编 解码可以配置成更低的数据率或更好的纠错能力；( 3 ) h 2 6 3 包含四个可协商的选 项以改善性能；( 4 ) h 2 6 3 采用无限制的运动向量以及基于语法的算术编码；( 5 ) 采用事先预测和与m p e g 中的p b 帧一样的帧预测方法：( 6 ) h 2 6 3 支持5 种分 辨率，即除了支持h 2 6 1 中所支持的q c i f 和c i f 外，还支持s q c i f 、4 c i f 和 1 6 c i f 。s q c i f 相当于q c i f 一半的分辨率，而4 c i f 和1 6 c i f 分别为c i f 的4 倍和1 6 倍。 1 9 9 8 年i u t - t 推出的h 2 6 3 4 - 是h 2 6 3 建议的第2 版，它提供了1 2 个新的 可协商模式和其他特征，迸一步提高了压缩编码性能。如h 2 6 3 只有5 种视频源 格式，h 2 6 3 4 - 允许使用更多的源格式，图像时钟频率也有多种选择，拓宽应用 范围：另一重要的改进是可扩展性，它允许多显示率、多速率及多分辨率，增强 了视频信息在易误码、易丢包异构网络环境下的传输。另外，h 2 6 3 4 - 对h 2 6 3 中的不受限运动矢量模式进行了改进，加上1 2 个新增的可选模式，不仅提高了 编码性能，而且增强了应用的灵活性。h 2 6 3 已经基本上取代了h 2 6 1 。 3 。h 2 6 4 h 2 6 4 ( h 2 6 l ，j v t ，m p e g - 4p a r t l 0 ) ，适用于下一代高清d v d 广播， m o b i l e 通讯，具有更高的压缩效率和可靠性。 二、m p e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p o r t sg r o u p ) 的缩写，于1 9 8 8 年 成立，是为数字视音频制定压缩标准的专家组，目前已拥有3 0 0 多名成员，包 括i b m 、s u n 、b b c 、n e c 、1 n t e l 、a t & t 等世界知名公司。m p e g 组织最初 得到的授权是制定用于“活动图像”编码的各种标准，随后扩充为“及其伴随的 音频”及其组合编码。后来针对不同的应用需求，解除了“用于数字存储媒体” 第一章绪论 的限制，成为现在制定“活动图像和音频编码”标准的组织。m p e g 组织制定的 各个标准都有不同的目标和应用，目前已提出m p e g 一1 、m p e g 一2 、m p e g 一4 、 m p e g 一7 和m p e g 一2 1 标准。 ( 1 ) m p e g 1 ：可以提供最高达1 s m b p s 的数字视频，只支持逐行扫描。 ( 2 ) m p e g 一2 ：支持的带宽范围从2 m b p s 到超过2 0 m b p s ，m p e g 一2 后向兼容 m p e g 1 ，但增加了对隔行扫描的支持，并有更大的伸缩性和灵活性。 ( 3 ) m p e g 一4 ：支持逐行扫描和隔行扫描，是基于视频对象的编码标准，通过对 象识别提供了空间的可伸缩性。 ( 4 ) m p e g 7 ：是多媒体内容描述接口，与前述标准集中在音频视频内容的编 码和表示不同，它集中在对多媒体内容的描述。 ( 5 ) m p e g 一2 1 ：是数字音视频框架协议。 l 韧81 9 9 01 9 9 21 9 ) 4i ，61 9 9 b2 0 0 02 0 0 22 0 0 4 图1 1 视频压缩标准发展历史 三、其它压缩编码 1 r e a l v i d e o r e a lv i d e o 是r e a ln e t w o r k s 公司开发的在窄带( 主要的互联网) 上进行多媒体 传输的压缩技术。 2 w m t w m t 是微软公司开发的在互联网上进行媒体传输的视频和音频编码压缩技 术，该技术已与w m t 服务器及客户机体系结构结合为一个整体，使用m p e g 一4 标准的一些原理。 3 q u i c k t i m e q u i c k t i m e 是一种存储、传输和播放多媒体文件的文件格式和传输体系结 构，所存储和传输的多媒体通过多重压缩模式压缩而成，传输是通过r t p 协议 第一章绪论 实现的。 标准化是产业化成功的前提，h 2 6 1 、h 2 6 3 推动了电视电话、视频会议的 发展。早期的视频服务器产品基本都采用m y p e g 标准，开创视频非线性编辑时 代。m p e g 1 成功地在中国推动了v c d 产业，m p e g - 2 标准带动了d v d 及数字 电视等多种消费电子产业，其它m p e g 标准的应用也在实施或开发中， r e a l - n e t w o r k s 的r e a lv i d e o 、微软公司的w m t 以及a p p l e 公司的q u i c k t i m e 带 动了网络流媒体的发展，视频压缩编解码标准紧扣应用发展的脉搏，与工业和应 用同步。未来是信息化的社会，各种多媒体数据的传输和存储是信息处理的基本 问题。因此可以肯定，视频压缩编码标准将发挥越来越大的作用。 1 2 本论文的任务与结构 本论文的任务是基于c 6 4d s p 实现 l 2 6 4 a v c 视频压缩算法。 第一章简要介绍了当今流行的主要视频压缩算法以及相应的标准。 第二章主要介绍了d s p 的发展特点，以及d s p 、f p g a 和a s i c 之间的关系。 第三章从语法、语义以及技术特点等方面详细介绍了h 2 6 4 a 、，c 视频算法， 并且对t 提供的参考代码j m 也进行了简要介绍包括其使用方法，程序框架等。 第四章是本论文的重点。介绍了t i 目前最高性能d s p c 6 4 以及最新的多媒 体d s pd m 6 4 2 的特点、c p u 结构；软件优化的流程；软件优化的具体方法以及 流水线技术；最后详细介绍了在d s p 硬件平台上对h 2 6 4 a v c 算法所做的优化 工作一一主要是涉及到运动补偿的p 帧的优化方法。 第五章讨论了有关h 2 6 4 a v c 算法实现的复杂度。 第章绪论 实现的。 标准化是产业化成功的前提，h 2 6 1 、h 2 6 3 推动了龟视电话、视频会议的 旋展。早期的视频服务器产品基本都采用m - j p e g 标准，开创视频非线性编辑时 代。m p e g 一1 成功地在中国推动rv c d 产业，m p e g - 2 标准带动了d y d 及数字 电视等多种消费电子产业，其它m p e g 标准的应用也在实施或开发中， r e a l - n e t w o r k s 的r e a l v i d e o 、微软公司的w m t 以及a p s e 公司的q u i c k t i m e 带 动了网络流媒体的发展，视频压缩编解码标准紧扣应用发展的脉搏，与工业和应 用同步a 未来是信息化的社会，各神多媒体数据的传输和存储是信息处理的基本 问题一因此可以肯定，视频压缩编码标准将发挥越来越大的作用。 1 2 本论文的任务与结构 本论文的任务是基于c 6 4d s p 实现h 2 6 4 a v c 视频压缩算法。 第一章简要介绍了当今流行的主要视频压缩算法以及相应的标准。 第二章主要介绍了d s p 的发展特点，阱及d s p 、f p g a 和a s l c 之间的关系。 第三章从语法、语义以及技术特点等方面详细介绍了h 。2 6 4 1 a v c 视频算法， 并且对丁v t 提供的参考代码j m 也进行了简要介绍包括其使用方法，程序框架等。 第四章是本论文的重点。介绍了t 1 目前最高性能d s p c 6 4 以及摄新的多媒 体d s p d m 6 4 2 的特点、c p u 结构：软件优化的流程；软件优化的具体方法以及 流水线技术：最后详细介绍了在d s p 硬件平台上对h 2 6 4 a v c 算法所做的优化 工作一一主要是涉及到运动补偿的p 帧的优化方法。 第五章讨论了有关t t 2 6 4 a v c 算法实现的复杂度。 第五章讨论了有关h 2 6 4 a v c 算法实现的复杂度。 第二章d s p 简介 第二章d s p 简介 d s p 是d i g i t a ls i g n a lp r o c e s s o r 的缩写，也就是数字信号处理器。它具有区别 于微处理器的特殊的结构设计，更适合于对数字信号的处理。数字信号处理任务 通常需要完成大量的实时计算，如常见的f i r 滤波和f f t 快速算法。数字信号 处理中的数据操作具有高度重复的特点。因此，d s p 在很大程度上就是针对上述 运算特点设计的。 2 1d s p 发展【9 】【1 o 在d s p 出现之前，信号处理一般是通用c p u 完成的。伴随着集成电路制造 工艺不断提高而飞速发展的d s p 给实时信号处理提供了可能。 自从美国i m e l 公司在7 0 年代推出世界上第一块d s p 芯片以来，d s p 己出 现好几代产品和好几个系列的产品。由于开发工具的问题，最初的d s p 开发非 常困难，要设计并实现一个基于d s p 的系统是一个专业性很强的工作。美国t i 公司给d s p 引入许多通用计算机微处理器特点，并为其产品开发了汇编语言和 c 语言代码产生工具以及各种软硬件调试工具，使得d s p 的开发难度大大降低， d s p 在2 0 世纪8 0 年代末和9 0 年代初进入了快速发展的时期。现在t i 公司的 d s p 包括了定点、浮点、多处理器三个类型的产品，每个类型又有不同性能和 价格的具体系列可以供用户选择。 美国t i 公司在1 9 8 3 年推出的t m s 3 2 0 系列的第一个产品t m s 3 2 0 c 1 0 ，标 志实时数字信号处理领域的重大突破。t i 公司的t m s 3 2 0 1 0 第一次使用了哈佛 总线结构和硬件乘法器，允许数据在程序和数据存储空间之间传输，从而提高了 运行速度和编程的灵活性。由于数据可以从程序存储器传送到数据存储器，也就 不用设置专门的系数r o m 。 随着微电子技术的迅速发展，d s p 器件的性能己比第一代产品提高了几个数 量级。1 9 9 5 年，针对蜂窝电话的单个d s p 方案，t i 推出两款不同的d s p t m s 3 2 0 c 5 4 5 与t m s 3 2 0 c 5 4 6 ，以便针对新一代蜂窝电话标准提供业界第一批单 个d s p 解决方案，爱立信、诺基亚及3 0 以上的摩托罗拉手机产品中均使用 c 5 4d s p 。随后，t i 推出t m s 3 2 0 c 6 2 x x 和c 6 7 x x ，这两种高性能d s p 在无线基 站、图像处理等领域得到了广泛应用。2 0 0 1 年，t i 推出了c 6 4 x 和c 5 5 x x 两个 第二章d s p 简介 新型d s p 内核，在高性能和高功效上达到了新的高度。两个新内核将引起从语 音、音频到视频的一场数字应用革命。目前，t i 已形成了t m s 3 2 0 c 2 0 0 0 ( 主要 应用于控制领域) 、t m s 3 2 0 c 5 0 0 0 ( 主要应用于手机等便携式设备中) 和 t m s 3 2 0 c 6 0 0 0 ( 高性能d s p ) 三大系列主流产品，处于世界d s p 界领先地位。 世界上其他d s p 厂家如a d 、摩托罗拉、朗讯等也都推出了各自的d s p 系 列产品，其中不乏高性能或具有特色的优秀产品。 2 2d s p 的主要特点川【2 0 l d s p 的主要结构特点可以概括为以下几点： 1 哈佛结构 总线结构可以分为两种。一种是冯诺依曼结构，另一种是哈佛结构。冯诺 依曼结构的特点是程序存储器和数据存储器共用一个存储空间，程序和数据总线 共享。因此微处理器在执行指令时只能串行执行，执行速度慢，数据吞吐量低。 哈佛结构与冯诺依曼结构相比，更适合处理具有高度实时要求的数字信号。 哈佛结构的特点是程序存储器和数据存储器各具有独立的存储空间，各具有独立 的程序总线和数据总线。而且很多d s p 甚至有两套或两套以上内部数据总线， 这种总线结构称为修正的哈佛结构。对于乘法或加法等运算，一条指令要从存储 器中取两个操作数，多套数据总线就使得两个操作数可以同时取得。 2 流水线技术 所谓流水线操作，就是指取指令和执行指令可以同时进行，从而可以减少指 令执行时间，进一步增强处理器的数据处理能力。流水技术是提高d s p 程序执 行效率的一个主要手段。流水技术使两个或更多不同的操作可以重叠执行。在处 理器内，每条指令的执行分为取指、解码、执行等若干个阶段，每个阶段称为一 级流水。流水处理使得若干条指令的不同执行阶段并行执行，因而能够提高程序 执行速度。流水线的深度为二级以上，不同的产品流水线的深度不同。模拟器件 公司的a d s p 深度为二级，t i 公司的t m s 3 2 0 c 5 4 和m o t o r o l a 公司的5 6 8 x x 深 度为五级，t i 公司的t m s 3 2 0 c 6 0 0 0 系列的深度已经达到了八级，也就是说可以 同时运行8 条指令。 对于流水线汇编还有一个延迟间隙( d e l a ys l o t ) 的问题，即有些指令的执行 时间不是单个周期，指令结果可以使用前有一个或几个周期的等待时间，称为延 迟间隙。对于多数d s p ，延迟间隙问题会给编程带来一些困难。但是对于c 6 0 0 0 系列d s p ，这个问题在线性汇编语言编程中完全不用考虑，而在人工流水线编程 时要特别注意。 第二章d s p 简介 3 特殊的指令系统。 d s p 芯片通常都有一套自己的特殊指令，这个指令系统都是专门为数字信号 处理而设计的。例如。t m s 3 2 0 c 6 4 xd s p 中的l d d w 指令，可以实现一次取两 个字( 8 个字节) 。另外，t m s 3 2 0 c 6 4 xd s p 中还有一些可以实现包处理功能的 指令。例如，a d d 2 一个指令可以实现两个1 6 位的加法，a d d 4 一个指令可以 实现4 个8 位的加法，m p y 2 一个指令可以实现两个1 6 1 6 位的乘法。这对于 提高d s p 芯片的运算效率非常有效。 t m s 3 2 0 c 6 4d s p 不仅新增了一些诸如包处理、位处理的指令，而且一些其 他d s p 也有的指令在功能单元的使用上更加灵活了。例如，a n d 指令，c 6 2 x 和c 6 7 xd s p 只能使用s 和l 功能单元，而在c 6 4 xd s p 中可以使用d 、s 和l 功能单元。 4 。采用硬件乘法器 一般计算机微处理器没有硬件乘法器，它的算术逻辑单元只能完成两个操作 数的加、减和逻辑运算，而乘法和除法是由加法和移位来实现的，因此在一般的 计算机上实现乘法和除法很费时间。但是在数字信号处理中，有大量的乘法运算。 所以，d s p 芯片都有专门的硬件乘法器，t m s 3 2 0 c 6 0 0 0 系列d s p 就有两个乘法 器。通过硬件乘法器和算法的改进，基本解决了乘法运算的速度是数字信号处理 实现的瓶颈问题。硬件乘法器是d s p 区别于通用微处理器的一个重要标志。 5 支持多种寻址方式 d s p 处理的是大量的数据，这些数据都存放在片内或片外存储器上。伴随着 频繁的数据访问，数据地址的计算时间也线性增长，有时计算地址的时间比实际 的算术操作时间还长。因此，在地址计算上作特殊考虑，d s p 通常都有支持地 址计算的算术单元地址产生器。地址产生器与a l u 并行工作，因此地址的 计算不再额外占用c p u 时问。由于有些算法通常需要一次从存储器中取两个操 作数。因此d s p 内的地址产生器一股也有两个。 d s p 的地址产生器一般都支持间接寻址，而且许多d s p 还支持位反转寻 址和循环寻址。 6 高速的时钟周期和强大的处理能力 d s p 芯片的主频和处理能力不断提高，t m s 3 2 0 c 5 0 0 0 、c 6 0 0 0 系列d s p 的 主频已经达到2 0 0 m h z 。t i 公司的最新产品c 6 4 x 预计频率最大将达到1 1 g h z ， 处理能力将达到8 8 0 0 m i p s ( 每秒百万个指令) 。最初的产品频率也将达到6 0 0 m h z - - 8 0 0m h z ，处理能力将达到4 8 0 0 - - 6 4 0 0 m i p s 。 7 设有片内存储器和内存接口 由于d s p 面向的是数据密集型应用，因此存储器访问速度对处理器的性能 第二章1 ) s p 简介 影响很大。通用微处理器的特点是程序一般都很大，片内存储器不会给处理器性 能带来明显改善。因此现代微处理器片内一般不设r o m ( 存储程序) 和r a m ( 存 储数据) ，但是集成有高速缓存( c a c h e ) 。而d s p 算法的特点是需要大量的简单 计算，相应的其程序比较短小。将程序指令存放在d s p 片内可以减少指令的传 输时间，并有效缓解芯片外部总线接口的压力。除了片内程序存储器外，d s p 内般还集成有数据r a m ，用于存放参数和数据。片内数据存储器不存在外部 存储器的总线竞争问题和访问速度不匹配问题，因此访问速度快，可以缓解d s p 的数据瓶颈，充分利用d s p 强大的处理能力。 2 3a s i c 、f p g a 和d s p t 2 1 】 可以用来实现数字信号处理的集成电路主要有三大类：a s i c ( 专用芯片) 、 f p g a ( 现场可编程门阵列) 、d s p ( 数字信号处理器) 。 a s i c 从名称上看很清楚，其目的是针对于某一种特定的应用。在芯片设计 中，a s i c 拥有最大的灵活性，可是在应用中，却只有最小的灵活性。例如，一 片i d c t 专用芯片只能被用来做d c t ，无法在上面实现卷积运算。 f p g a 却拥有非常灵活的设计应用。因为其内部拥有大量相同的可配置的逻 辑单元，用户可以在其上实现自己所需要的任何算法。所有的算法都是通过硬件 来实现的，因而f p g a 拥有很高的处理速度。 d s p 的应用方法类似于一个通用的处理器。它通过一个中央处理单元执行不 同的基本指令来完成复杂的应用。 d s p 、f p g a 、a s i c 彼此之间没有绝对的优劣之分。各有各的长处与短处。 当你需要一个成本低、工作稳定、应用单一的系统时，最好的方式就是寻找市场 上有没有能够完成你的要求的a s i c 。然而，当你需要一个快速进入市场，而随 时又能保持最大灵活性与可升级性的设备时，d s p 也许是最好的选择。 多年以来，以音视频编解码为代表的数字多媒体处理应用由于运算量大、处 理过程复杂等原因一直是采用专用芯片来实现的。f p g a 在面对多媒体处理方 面，因为设计起来相对复杂，所以大多数情况只是作为专用芯片前期研制的雏形， 而并没有作为最终的实现手段被用户所采纳。八十年代初诞生的d s p 具有专门 的硬件结构来支持特殊的数字信号处理指令，例如乘累加，所以在处理数字信号 方面有独特的优势，且易于构成专用系统。数字信号处理器是电信、广播、医疗 图像、消费类电子以及工业和马达控制等嵌入式系统的核心器件。d s p 可以对数 字信号流执行快速的数学运算，其运算能力是普通处理器所无法比拟的。随着技 术的进步，采用d s p 处理运算量大的音视频编解码工作成为了可能，因此使用 第二章d s p 简介 通用d s p 代替专用芯片来完成数字音视频的处理任务是必然的趋势。 根据市场研究公司f o r w a r dc o n c e p t s 报告显示，2 0 0 2 年的全球d s p 销售达 到4 8 6 4 亿美元。2 0 0 2 - - 2 0 0 7 年的复合年增率预计将达2 3 8 。预期2 0 0 3 年 d s p 市场增长至5 8 亿美元，2 0 0 4 年d s p 市场增长至7 7 亿美元，2 0 0 5 年达到 9 9 亿美元，2 0 0 6 和2 0 0 7 年分别为1 2 4 亿和1 4 9 亿美元。由此看出d s p 在未来 将拥有巨大的市场和非常广阔的应用前景。 第三章h2 6 4 a v c 视频压缩算法简要介绍 第三章h 2 6 4 a v c 视频压缩算法介绍 3 1h 2 6 4 a v c 视频压缩算法简要介绍 3 1 1 简介 近年来出现的数字电视和d v d 视频引起了广播电视和家庭娱乐的革命。 m p e g 系列中的下一个标准m p e g - 4 ，使新一代的基于互联网的应用成为可能。 同时i t u th 2 6 3 视频压缩标准正广泛应用于视频会议系统。 m p e g 4 ( 视频) 和h 2 6 3 是始于1 9 9 5 年的基于视频压缩的技术( “视频编 码”) 。作为负责这些标准的两个组织视频编码专家组和运动图像专家组( m p e g 和v c e g ) 联合制定了一个新的视频压缩算法标准，并承诺这个标准明显优于 m p e g - 4 和h 2 6 3 ，在提供更好的视频压缩的同时，具有一系列的特点支持高质 量，低比特率视频流。这个新标准的历史，“a d v a n c e dv i d e oc o d i n g ( a v c ) ”至 少可以追述到八年前。 在1 9 9 5 年完成最初的h 2 6 3 视频电话标准之后，国际电联视频编码专家组 ( i t u - tv c e g ) 开始着手两个更深入的开发领域：一个短期目标一一在h 2 6 3 中加入新的特色( 最终结果是这个标准版本2 的出现) 和一个长期目标一一开发 一个新的标准应用于低比特率视频通信。这个长期目标导致了“h 2 6 l ”草案问 世，它的压缩效率高于之前所有的i t u - t 标准。2 0 0 1 年，i s o 运动图像专家组 ( m p e g ) 认可了这个新标准并成立了联合视频组( t ) ，该组织由m p e g 和 v c e g 共同构成。t 的工作就是将h 2 6 l 草案“模型”发展成个国际标准。 事实上，标准化的结果是创建了两个完全一样的标准：i s om p e g 4 第十章，和 i t u t h 2 6 4 。标准的官方名称是高级视频编码( a d v a n c e v i d e oc o d i n g ) 。然而， 它还是广泛地以旧的名称被人所熟知为：h 2 6 l 和i t u 文档编号h 2 6 4 9 0 。 3 1 2h 2 6 4 a v c 编解码器( c o d e c ) 与之前的视频压缩标准相同( 如m p e g l 、m p e g 2 和m p e g 4 ) ，h 2 6 4 草案标准并没有明确定义编解码器( c o d e ce n c o d e r d e c o d e rp a i r ) 。这个标准 定义了编码码流的语法和解码的方法。然而，符合标准的编解码器框架很有可能 包含图3 1 和3 2 中的功能单元。当然虽然图中的功能单元保证了与标准的一致 性，但是c o d e c 结构仍有发生重大变更的可能。基本功能单元( 预测，变换， 第三章h2 6 4 a v c 视频压缩算法简要介绍 量化，熵编码) 与之前标硝c ( m p e g i ，m p e g 2 ，m p e g 4 ，h 2 6 1 ，h2 6 3 ) 只有很小区 别：h 2 6 4 的主要变化在于各功能单元的细节。 编码器( 囤3 1 ) 包含两条数据流向：一条“前向”通路( 由左至右) 和一 条“重建”通路( 由右至左) 。解码器中的数据流向( 图3 2 ) 由右至左说明了 编码器和解码器的相似性。 图3 - 1h2 6 4 1 a v c 编码器 图3 2h 2 6 4 a v c 解码器 3 1 2 1h 2 6 4 编解码器( 前向通路) 输入帧f n 是被编码的图像。图像以宏块( 对应于原始图像中的1 6 x 1 6 像素) 为处理单元。每一个宏块被编码为“帧内”( i n t r a ) 和“帧间”( i n t e r ) 模式。不论 哪种模式，首先由重建帧形成一个预测宏块p 。在帧内编码模式下，p 是由当 前编码帧n 中编码后重建的样点形成( 图3 一l 中u f 。) 。在帧间预测模式下，由 一个或多个参考帧通过运动补偿预测形成p 。在图中，参考帧表示为f n 】； 然而每个宏块可以使用一个或者两个，之前或之后( 时间顺序) 参考图像作为参 考帧。 当前宏块与其预测值p 的差值d n 通过变换量化得到x ：一系列的量化变换 系数。这些系数还要经过重新排序和熵编码。熵编码信息和其他解码器所需信息 ( 如宏块预测模式、量化步长、运动矢量信息等等) 起发送到网络提取层 第三章h 2 6 4 a v c 视频压缩算法简要介绍 ( n a l ) 。 3 1 2 2 编码器( 重建通路) 量化宏块系数x 经过解码，重建成一副参考图像，以备将来宏块编码需要。 x j 经过反量化( q 。) 反变换( t 。) 形成残差宏块d 。这个d 。与原始残差宏块d 。是不 完全相同的；量化处理导致了d 。数据的失真。 预测宏块p 与d 。相加得到重建的宏块u f 。( 原始宏块的近似值) 。之后一个 滤波器用来取出块效应。一系列的宏块f n 最终构成了重建帧。 3 1 2 3 解码器 数据元素通过熵解码和重新的排序得到一系列量化系数x 。经由反量化和反 变换得到d 。( 与编码器中的d 。相同) 。通过使用码流中的头部信息，解码器创 建一个预测宏块p 。p 与编码器中的原始预测宏快是相同的。将p 与d 。相加得到 u f 。最后经过滤波得到宏块f 。 从图中和前文的讨论中我们需要明确：编码器中重建通路的目的是为了保证 编码器与解码器使用相同的参考帧来形成预测宏块p 。如果不这样，编解码器使 用的p 将不同，导致错误增加并且在编码器与解码器中出现“漂移”( d r i f t ) 。 3 2p r o f i l ea n dl e v e l p r o f i l e 和l e v e l 用来指明一些一致性的信息。这两个参数的作用是使具有相 似需求的大量的应用易于相互协调。p r o f i l e 用来限定在编码过程中使用的工具和 算法。而l e v e l 用来限定码流中的某些关键参数。 对应于某个p r o f i l e 的解码器必须对这个p r o f i l e 所有的特性都支持。编码器 并不要求对某个p r o f i l e 支持的特色集中的所有技术都支持。但是它所编码后的 码流必须可由这个p r o f i l e 限定的解码器正确解码。在h 2 6 4 中，共有3 个p r o f i l e ， 它们是b a s e l i n e ，m a i n ，e x t e n d e dp r o f i l e 。 b a s e l i n ep r o f i l e 支持h 2 6 4 a v c 所有的技术除了下面两个特色子集： 一s e tl ：b 帧、权重预测、c a b a c 、场编码、宏块或者帧图像的帧场自适应 变换。 一s e t 2 ：s p s i 帧、数据分割。 m a i