（信号与信息处理专业论文）h263视频编码芯片设计及部分模块的实现.pdf

摘要 本项目完成的是h 2 6 3 视频编解码芯片的设计。系统采用了一种增强的 s y s t e m m s p a 架构并以此为基础实现了核心模块的i p 化。在f p g a 验证阶段， 本系统提出了对应的三级测试方案，测试系统硬件平台由x i l i n x 公司的 x c 2 s 3 0 0 e ，6 f g 4 5 6 c 评估板和自己设计的接口板构成，软件平台则采用稍作修 改的t m n 源代码。 我在项目中完成的工作主要有： 阅读相关文献资料，了解系统整体原理。 与项目组成员合作设计系统架构，接口规范以及测试方案，根据要求选 择f p g a 验证所用芯片及评估板。 完成d c t - q j q _ i d c t 模块的算法验证，硬件描述语言实现以及综合， 最终配合项目组成员生成g d s i i 文件。 完成前处理接口板原理图以及其中解码芯片s a a 7 1 1 4 h 的配置。 完成f p g a 评估板与p c 机的数据传输软件。 本文首先介绍多媒体数据压缩的基本技术以及h 2 6 3 规范，然后阐述了系 统的构架以及测试方案，重点介绍了我所负责的d c t - q i q _ i d c t 模块的完成 以及接口部分的工作。最后是全文的总结。 关键词：h 2 6 3 、s y s t e m m s p a 、i pc o r e 、d c t a b s t r a c t ai cd e s i g nf o rv i d e oe n c o d e rf o rh 2 6 3v i d e oc o m p r e s s i o ni sp r e s e n t t h e a r c h i t e c t u r ei sb a s e do nb u sc o n n e c t e dh e t e r o g e n e o u sd e d i c a t e dm o d u l e s ，n a m e d a s s y s t e m m s p a a r c h i t e c t u r e f o rv e r i f i c a t i o n ，w eu s e dx c 2 s 3 0 0 e - 6 f g 4 5 6 c e v m b o a r d ，a n dt h es a a 7 1 1 4 hc h i p so nt h ed a u g h t e i 。b o a r di m p l e m e n tt h e t a s k so fr e a v i d e od a t ag a t h e r i n g a n dw ep u tf o r w a r da3l e v e lt e s t b e n c hf o r o u rv e r i f i c a t i o n w h a tih a v ed o n ei nt h ep r o j e c ta r el i s t e db e l o w ： a 1 ：r e a dp a p e r sa s s o c i a t e dw i t hm yp r o j e c ta n dg e tf a m i l i a rw i t hb a s i c p r i n c i p a lo f t h e s y s t e m 。 b 1 ：m a k ec l e a rt h ef r a m eo ft h es y s t e mw i t ho t h e r si nt h ep r o j e c ta n dm a k e t h ei n t e r f a c ec r i t e r i o n c ) ：f i n i s ht h ed c t q l i qi d c tm o d u l e ，i n c l u d i n g t h ea l g o r i t h mc h o s i n g ， s i m u l a t i o n ，r e a l i z a t i o na n d v e r i f i c a t i o n d ) ：m a k et h es c h e m a t i cc i r c u i td i a g r a mo f t h es a a 7 1 1 4 h d a u g h t e l 。b o a r d a n dc o n f i g u r ei t t h em o d u l ea n dh a r d w a r ed e b u g g i n gp r o v e st h a tm yd e s i g nm e e tt h e d e s i g nr e q u i r e m e n t i nt h ep a p e r ，t h ep r i n c i p a lo fv i d e oc o m p r e s s i o na n dh 2 6 3i si n t r o d u c e d f i r s t l y ，t h e no u rs y s t e mi ss t a t e d a f t e rt h a t ，t h ed c t - - q - i q - i d c t m o d u l ei s i n t r o d u c e di nd e t a i li nt h ec h a p t e ro ff o u r i nt h ef i r hc h a p t e r ，m yw o r k a s s o c i a t e dw i t hi n t e r f a c es y s t e mi ss t a t e d k e yw o r d ：h 2 6 3 、s y s t e m - m s p a 、i p c o r e 、d c t i v 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工 作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地 方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含 为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。 与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明 确的说明并表示谢意。 签名：尘拉j 凄一 日期：刖年铲月节日 关于论文使用授权的说明 本学位论文作者完全了解电子科技大学有关保留、使用学位论文 的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁 盘，允许论文被查阅和借阅。本人授权电子科技大学可以将学位论文 的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或 扫描等复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：翅匕迭皂导师签名： 碧阻 日期：例年月7 日 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 第一章引言 随着计算机技术和微电子技术的不断进步，视频处理技术与应用技术有了 很大的发展，而通信网的巨大发展，也为视频技术的高速发展带来了机遇。在 通信网中，无论是有线技术还是无线技术都在朝着宽带化和i p 化方向发展，而 宽带化的网络最重要的特征就是能够充分地支持多媒体业务，主要就是支持不 同速率、不同质量的视频业务。而通信网协议i p 化的发展，也对实时性要求较 高的视频应用提出了新的要求。 在多媒体应用中，视频数据量方面可压缩的信息量最多，而压缩处理后的 视频质量的高低是决定多媒体服务质量好坏的主要因索，因此视频技术是多媒 体应用的核心技术。 在目前已经大量应用的压缩标准中，m p e g 一1 和m p e g 一2 是面向广播级或准广 播级应用的。m p e g i 标准主要是为了视频存贮媒体如v c d 而制定，该标准能够 适应变码流的处理，其主要目的是在1 1 5 m b i t s 的情况下，提供3 0 帧c i i ? ( 3 5 2 2 8 8 ) v h s 的质量的图像。 m p e g 一2 标准扩展了m p e g 一1 标准，能够支持高分辩率图像和声音。目标码 率是在3 1 5 m b i t s 传输速率条件下提供广播级的图像，而且能够提供s n r 、 时间、空间三种分级编码。该标准应用于卫星广播时，在当前的一个模拟信道 中，不牺牲质量的情况下能提供5 路数字的编码节目。 h 2 6 1 与h 2 6 3 标准主要面向于低码率的视频应用，如可视电话和会议电视。 h 2 6 1 是最早出现的视频编码标准，它的输出码率是6 4 k b i t s 的倍数。h 、2 6 1 主要是为了i s d n 的会议电视和可视电话的应用。h 2 6 1 所需要的计算量能够显 著下降。这种算法通过均衡图像质量和运动来优化带宽，所以图像快速运功时 质量会下降。h 2 6 1 的输出速率是恒定的，而图像质量非恒定。 h 2 6 3 是为了支持低速率的通信而制定的标准，但希望能够适应较大的动态 范围，而不仅限于低码率，而且能取代h 2 6 1 。h 2 6 3 能适应误码率高的信道具 备容错的能力。 由于公用电话网( p s t n ) 和无线网络上的传输速率仍然很有限，而且误码率 高，上述的标准不能满足这类高压缩效率和强信道冗错能力的应用要求。针对 以上压缩算法的不足，目前出现了一些新的压缩标准，如h 2 6 3 + 年f lm p e g q 标准。 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 h 2 6 3 + 以及后来的h 2 6 3 + + 、h 2 6 l 能很好地解决低码率视频应用问题，它们在提 高编码压缩效率的同时，提高码流对高误码率信道的容错能力，而且都是通过 选项( o p t i o n ) 的形式提供的，方便灵活，且能够兼容本标准的以前版本。h 2 6 3 v e r s i o n2 ( 或称h 2 6 3 + ) 是在h 2 6 3 的基础上以增加编码的可选项的形式改进 的，在语法上与h 2 6 3 兼容，但编码效率有很大提高，适用范围也更大。其主 要的应用方向仍是低码流的视频业务，用于p s t n 以及无线接入的高误码比的通 信环境，因此在h 2 6 3 + 中既增加了一些改进编码效率的方法，同时也提高了抗误 码性能的能力。由于实现成本较低，h 2 6 3 + 标准已经越来越多地被采用。 目前使用最为广泛且发展前景最好的多媒体业务主要是会议电视、远程教 学、远程医疗、可视电话等业务，不论在国内还是国外可视电话行业都还刚刚 起步，所以市场前景非常广阔。可视电话日前刚刚打入国际市场便在欧洲一跑厂7 走红，人们对此十分热衷。而在国内的各大酒店、宾馆也纷纷使用起了可视电 话，方便国内外客商同发达国家可视通话服务对接，同时也为行业发展带来了 科技信息。据悉，国家旅游局最近有意将可视电话列为评定三星级以上酒店的 硬件设施之一。进入后非典时代以来电信、联通等通信商家开始利用非典为包 括视频通信在内的宽带业务带来一次跃升的机会，开始圈地可视电话领域。 但业内普遍认为，终端设备是可视电话发展的瓶颈之一。可视电话机和摄 像头等终端设备的价格能否尽快降低，是可视电话能否迅速向普通市民推，的 关键之一。而在我国i t 业的进程中，另一个关键就是自主产权核心芯片的设计 研制。 本课题目标是开发一块基于h 2 6 3 + 标准的视频编码芯片，虽然我们目酊的 工作仍然在h 2 6 3 标准的一些基本选项，但h 2 6 3 + 标准是向下兼容的，这位将来 的扩展提供了良好的基础。 本文在第一章叙述了视频电话的相关技术和发展，第二章简要介绍了视频 压缩原理，h 2 6 3 标准以及a s i c 的一般设计流程。第三四五这三章，则是我工 作的一些总结，包括系统规划和测试平台的方案，d c t _ q i q i d c t 模块的实现以 及在硬件接口方面的一些工作。最后是全文的总结。 2 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 第二章视频压缩原理及h 2 6 3 标准介绍 2 1 图像压缩原理 2 1 1 变换编码 变换编码是一种降低信源空间上的冗余度的编码方法。它的基本思想是将 空间域的图象信息变换到另外的正交向量空间一一变换域中进行描述。常见的 付氏变换是一种正交变换。经过变换之后，变换域中总能量不变，但能量将会 重新分布，在空间域中，能量分布具有一定的随机性。由于图像有一定的相关 性，变换域中能量在大部分情况下，集中于零空间频率或低空间频率对应的变 换系数。从而使具有相关性图像的相关性减少。同时由于能量集中于零空间频 率和低空间频率所对应的变换域矩阵元素中，我们对这些元素分配较多的比特 数，而对能量较少的元素分配较少的比特数或不分配比特数，这样，通过对高 低频率分量使用不同粗细不同的量化，删去对图像信号贡献小的系数，只用保 留下的系数来恢复原图像，并不引起明显的失真。这就是利用正交变换进行数 据压缩的基本原理。 d c t 变换编码 研究证明，各种正交变换( 例如，k _ l 变换，余弦变换，沃什变换等) 都能 在不同程度上减少随机向量的相关性。在最小均方误差准则下，最佳的正交变 换是卡南一洛伊夫( k - l ) 变换，它所给出的变换系数是互不相关的。但是t j ：j i - 计算的复杂性，k l 变换的实际应用甚少。 离散余弦变换( d c t ) 是一种性能接近k - l 变换的正交变换，并具有多种快 速算法，因而在数据压缩中被广泛地采用。 一个n x n 的二维d c t 由下式定义： s ( “，v ) ：昙c ( “) c ( v ) y n - i n - i s ( f ，) c 。s 垡娑! 霉c o s ( 2 j + 1 ) v n 2 1 1 s ( “，v ) 2 素c ( “) c ( v ) 善丢印) c o s ! 兰专等曼c 。s 1 j f 一 2 1 - 1 o r - l ，。l 川二v 跗，) ：i 2n - i n 2 - i c ( “) c ( v ) s ( “，v ) c o s 坐蔓坚c 。s ( 2 j + 1 ) v x 2 1 2 s ( “) 2 万刍刍c ( “) c ( v ) s ( “，v ) c 。s ! 兰! ；等竺c 。s 1 万一 2 1 v “- ar t 0二yv - 3 屯子科技大学硕士论文h 2 6 3 视频编码芯片没计及部分模块的实现 0 黜 f 叩- 一。) “咖i l 扣0 ) 其中s ( i j ) 和s ( u ，v ) 分别为图像矩阵和变换矩阵中的元素。 二维o c t 从物理概念上来理解，他是将空间象素的几何分御，变换到空间 频率分布，经变换后的系数，左上角是直流分量。在水平方向上，从左到右代 表了空间频率水平增加，在垂直方向上。从上到下代表了空间频率垂直增加 二维d c t 变换编码压缩和解压缩的框图可以表示如下 一对煳张霍夫曼编码卜_ 一对醐系数r c l 编码卜 对姗系 数霍夫鞣码卜_ 对懿系致r c l 解码卜_ 图2 1二维d c t 变换编码、解码框图 d c t 的比特分配与量化 一4 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 前面已经说过，d c t 变换的作用是使空间域的能量重新分布，降低图像的相 关性，本身并不能达到数据压缩的作用，而要实现图像压缩，就要选择适当的 比特分配方案和量化方法。变换编码方法最重要的部分无疑就是比特分配与量 化了。其好坏主要受限于量化方法。 具体的讲，变换编码的比特分配与量化，要遵循以下的步骤：首先选择量 化器，然后在各个变换域系数间分配一定的比特数，使重建图像的保真度达到 最大。而d c t 变换中因为能量集中于左上部分，所以比特分配时也是对左上部 分的变换域系数分配较大的比特数，这样就可以用尽可能少的比特数达到尽可 能大的保真度。下面是一种d c t 编码中变换域系数比特分配和量化方案的框图 示意： 2 1 2 预测编码 图2 2d c t 变换编码示意框图 在图象编码技术中，预测编码和变换编码是最主要的两种编码方法。预测 编码旨在去除相邻像素之间一一包括帧内和帧问一的冗余度。差分脉冲编码 调制( 简称d p c m ) 是它的一种基本方法。d p c m 的原理方块图如图2 3 ( a ) 所示： 5 电子科技大学硕士论文 h 2 6 3 视频编码芯片设计及部分模块的实现 毋嚣 图2 3d p c m 原理框图 输入信号x ( n ) 是量化前的p c m 图像信号，虚线框内的电路称为预测器， 其中d i 和a i ( i = l ，2 ，n ) 分别为延迟单元和固定的加权系数值，q 为 量化器。对每一个输入的值x n ，预测器根据x n 之前的n 个邻近像素的值估计当 前值x n 的估计值万( 驯： 月 x = a 。x 2 1 ：j j = l 一般最多用4 个临近的值进行预测。编码器对预测误差信号进行量化、编 码传送，而不是传送x n 本身。由于相邻像素之间具有较强的相关性，预测值接 近于x n ，因此预测误差e ( 1 1 ) 主要集中在0 附近的很小的范围内，这样量化预测 误差所产生的数据量就比直接传送图象信息的数据量小的多，在很大程度上降 低了信源的冗余，这便是通过d p c m 进行数据压缩的基本原理。 在解码端利用一个相同的预测器，可以恢复出原信号x ( n ) 的近似值y ( n ) ， 其误差是由于对e ( n ) 的均方值最小。此时的预测器称为最佳预测器。 如果选，乍预测的像素与被预测像素x n 在同一扫描行内( 如图2 3 ( b ) 中 的x l ，x 2 ) ，称为一维预测；当用作预测的像索位于相邻的不同扫描行上时( 如 图2 3 ( b ) 中的x 3 ，x 4 ) 则称为二维预测；如果此外还选择了处于f j 。一帧图象 的象素作为参考值，就称谓三维预测。显然，三位预测属于帧间d p c m 编码。图 像信号的带宽很大，远大于信道的相干带宽b c 。 6 冒擀 电子科技大学顼士论文h 。2 6 3 视频编码芯片设计及部分模块的实现 2 1 3 量化 预测编码是将当前像素值转换为与估计值的预测误差值e ( n ) ：变换编码将 像素值转换为一组变换系数值，二者都是用另外一种形式来表达原来用像素值 表示的图像，并未引起信息损失。也就是说，变换编码和预测编码本身并不能 对数据进行压缩。只有对预测误差或变换系数进行量化、编码，才使得对原始 信息大幅度压缩。在同样的信噪比下，对转换后的参数进行量化所得到的数据 率比对原图像量化要低，从而达到压缩的目的。 要取得好的压缩效果，d p c m 量化器的设计要与e ( n ) 的统计特性相匹配。 同时，考虑到视觉的空间掩蔽效应，在亮度变化密集的局部区域，还可以使用 较大的量化台阶，以进一步提高压缩比。 d c t 系数的量化与d p c m 不同，d p c m 中量化误差只影响与误差产生点相邻的 像素，而某个d c t 系数的量化误差，经反变换后会影响到整块图像中的每一个 像素值。幅度很小的高频d c t 系数量化后为o ，可以忽略。 对于任意的子图象，值大的变换系数对图象的贡献较大，需要较细的量化。 可以将变化系数矩阵分成不同的几块，对每一块乘以不同的加权系数，然后用 同一个量化器对其量化，这相当于对各个系数根据对视觉影响的大小，分别采 用不同大小的台阶量化。然后根据变化系数矩阵所具有的特点，般先采用z z 扫描，以生成更多的连续的0 ，然后对0 的游程编码，可以大幅度提高效率。 为了充分地利用视觉的空问掩蔽效应，提高压缩比，无论是d p c m 。还是d c t 系 数的量化器都可以通过动态的自适应量化器来实现。自适应量化器有一组预先 设定好的量化台阶，根据检测到的图像细节丰富程度，量化器自动选用相应的 量化台阶。 2 1 4 霍夫曼( h u f f m a n ) 编码 霍夫曼编码是消除编码冗余最常见的技术。当对信源符号逐个编码时，霍 夫曼编码能给出最短的码字。霍夫曼码的基本思想是，对出现概率较大的符号 赋予较短的码，而对概率较小的符号则取较长的码，因此它是一种变长码。 下面的例子可以说明它的基本概念和编码方法。假设信源有s l 一一s 6 共6 种符号，每种符号出现的概率如表2 1 所示。 一7 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 _ 再一丁厂f 厂f f 厂- 瓦一 出现概率 霍夫曼码 o 1厂一广厂厂一一r 一 j 0 4 10 0 6 【0 1l 0 0 4 0 3 1 i 0 i 1 + i0 1 0 1 00 1 0 00 1 0 11o ( ) 表2 1信源符号概率表 第一步： 按概率从大到小的顺序排列各个符号，然后将概率最小的两个符号合并到 一个符号，这样就得到五个符号，重新按概率大小排列这五个符号，重复上述 过程，直到最后信源只剩下两个符号。如下表2 2 所示： 第二步： 对每个信源符号赋值。从最后剩的两个信源符号开始，分别赋予0 和l ( 随 机) ，由于概率为0 6 这个符号是由左面两个符号合并而成的，因此左面这两个 符号再随机的在后面添加1 和0 加以区分，而概率为0 4 这个符号是左面符号 直接得到的，不再改变。重复上述过程。直到原始信源被全部编码。如表2 ：3 所示： - 8 - 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 一旦得到霍夫曼编码后，编码或解码都可以用查表的方法实现，非常便于 应用。这种码就有如下特点： 1 它是一种块( 组) 码，因为每个信源符号都被映射成一个固定的码 字符号： 2 它是一种即时码，因为一串码符号中的每个码字都可以不考虑其后 的符号而解开： 3 它是一种可唯一解开的码，任何码符号串只能以一种方式解开。 霍夫曼编码能够进行数据压缩的原因在于，它将信源符号转换成新的符号 ( 0 ，1 ) ，而新符号出现的概率相等，不存在统计冗余。 其他常见编码还有算术编码，仙农码和游程编码等。所有这些编码方式都 不引起信息的损失，因而称为无损编码。 2 2 序歹l j 图像的运动估值 前面主要针对图象信号的空间相关性介绍了实现信息压缩的方法，而对于 序列图象( 视频信号) 而言，消除其在时间上的冗余。是视频编码的另一重要 途径。序列图像的时间冗余表现在： ( 1 ) 对于完全静止的场景，当前帧和前一帧是完全相同的： - 9 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 ( 2 ) 对于运动的物体，只要知道其运动规律，就可以从前一帧图像推算m 它在当前帧中的位置来。 因此，编码器只要将物体的运动信息( 运动速度，或静止) 告知解码器， 解码器就可根据此信息和前一帧图像来更新当前图像，这比传送当前图像所需 的数据量要小得多。这种做法首先要解决的问题是如何从序列图像中提取有关 物体的运动信息，这通常称为运动估值，借助运动估值得到的对象在帧间位移 矢量进行运动补偿后再作帧间预测，可使预测误差明显下降。 在图象编码领域使用的估值方法主要有块匹配方法、像素递归法、相位相 关法及全局运动参数估值等等。其中块匹配方法应用比较广泛。 块匹配方法将当前图像帧划分成一个个像块，并认为每个像块中所有像素 的都做相同的平移运动。如图2 4 ( a ) 所示。对于当前帧中的像块，在以前一 帧的对应位置为中心，分别向上下左右四个方向距离为d m 的范围内进行搜索， 寻求与其最匹配的像块。匹配块偏离原来位置的距离决定了该子块的位移矢量 ( 或称运动矢量) d 。 融两 图2 4 帧间预测与予块位置搜索示意图 判断两个予块匹配最常用的准则是求帧间亮度差的绝对值的均值m a d ： 心d ( f = 嘉薹喜慨( m ) - - s k _ 1 ( 朋“州) i d m i , j 咖2 2 1 其中s k 和s k 一1 分别代表k 和k - 1 帧的像素亮度值，m 、n 为子块的水平和 - l o - 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 垂直像素数，d m 为最大可能平移的水平和垂直像素数( 见图2 4 ( b ) ) 。当m a d 最小时，表示两个子块匹配。 为了寻找最佳匹配块，我们需要将k - 1 帧中对应的子块沿水平和垂直方向 逐个像素移动，每移动一次计算一次m a d 由图2 4 ( b ) 看出，在( m + 2 d m ) ( n + 2 d m ) 的搜索范围内，总的移动次数为( 2 d m + 1 ) 2 。 这种搜索方式称为全搜索，其运算量是很大的。为了加快搜索过程，人们 已经提出了若干不同的搜索方法。 帧间预测编码 帧间预测与消除空问冗余的预测编码相类似，即不直接传送当前帧( k 帧) 的像素值x ，而是传送x 与前一帧的对应像素x 之间的差值。考虑到图像中存 在着运动物体，我们传送x 与前一帧经位移后所对应的像素x ”之间的差值，这 种方法称为具有运动补偿的帧间预测。显然，它给出的预测误差要比简单的帧 问预测低，因而可以达到更高的压缩比。需要指出，在传送经运动补偿的帧间 预测误差的同时，还需将该子块对就的运动量传送给解码器，以便解码器能够 从己收到的前一帧( k 一1 帧) 信息中恢复出该子块来。 用k 一1 帧预测k 帧图像的方式称为前向预测。如果待测子块在k l 帧，而搜索 区处在k 帧，也就是从后续的k 帧预测前面的k 一1 帧图像，这种方式称为后向 预测。为了提高压缩比，往往还采用由前、后两帧来预测中间帧的方法，称为 双向预测，此时有两个运动矢量需要作为附加信息传送给解码器。 2 3h 2 6 3 建议 2 3 1h 2 6 3 简介 h 2 6 3 是 t u t 的关于低于6 4 k b s 比特率的窄带通道视频编码建议，其目 的是能在现有的电话网上传输活动图象。由于h 2 6 3 是面向低速信道的，所以 必须在帧频和图象失真之间作出选择。i 1 2 6 3 是在h 2 6 1 建议的基础上发展起来 的，其信源编码算法仍然是帧间预测d c t 混合编码，但h 2 6 3 与h 2 6 1 不同的 是，它采用半象素的分辨率进行运动补偿，它处理的图象格式可以覆盖从 s u b q c i f 到1 6 c i f ，而且，h 2 6 3 还提供了4 种可协商选择的编码方法：无限制 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 范围的运动矢量、基于语法的算法编码方法、先进预测和p b 帧。h 2 6 3 建议草 案于1 9 9 5 年l i 月完成。 虽然在低比特率、低分辨率的应用中h 2 6 3 有它的优点，但它也有一定的 局限性。对此，最近i t u t 对h 2 6 3 进行了修改，提出了h 2 6 3 + 建议。h 2 6 3 + 建议增加了许多新技术，以扩大建议的应用范围，提高重建图象的主观质量以 及加强对编码比特率的控制。 2 3 2h 2 6 3 的内容和特点 h 2 6 3 采用运动视频编码中常见的编码方法，将编码过程分为帧内编码和 帧间编码两个部分。在帧内用改进的d c t 变换并量化，在帧间采用i 2 象素运 动矢量预测补偿技术，使运动补偿更加精确，量化后使用改进的变长编码表 ( v l c ) 量化数据进行熵编码，得到最终的编码系数。 h 2 6 3 的编码速度快，其设计编码延时不超过1 5 0 m s ：码率低，在5 1 2k 乃 至3 8 4 k 带宽下仍可得到相当满意的图像效果，十分适用于需要双向编解码并 传输的场合( 如：可视电话) 和网络条件不是很好的场合( 如：远程监控) 为了达到这些目标，h 2 6 3 采用如下方法 1 ) 信源编码器基于通用中间格式( c i f ) ，使其可以同时应用于6 2 5 线和5 2 5 线两种电视标准。视频编码器对图象的取样次数为视频信号场线的整数倍，取 样时钟和数字网之间的关系是异步关系，提供可以和其它各种设备信号相结合 的独立的数字比特流。 2 ) 采用可减少时间冗余的帧间预测和可减少空间冗余的残留信号编码方 法。解码器具有运动补偿的能力，并允许可选择地在编码器中增加这种技术。 h 2 6 3 运动补偿采用的是半象素精度，而不是h 2 6 1 建议中的全象素精度和循环 滤波器。而对待传送的符号采用了游程编码。 1 2 电子科技大学硕士论文n 2 6 3 视频编码芯片殴计及部分模块的实现 3 ) 允许采用无限制运动矢量模式，在该模式中，运动矢量被允许指到图片 的外部，可使用更大的运动矢量。允许采用基于句法的算术编码模式代替游程 编码，可将最终的比特数显著降低。允许采用高级预测模式，对p 帧的亮度部 分采用了块重叠运动补偿。对图片中的某些宏块采用4 个8 x 8 矢量来代替原来 的1 个1 6 x 1 6 矢量。编码器必须决定使用哪一种矢量。允许采用p b 帧模式，一 个p b 帧包台一个由前面的解得的p 帧图象预测得出的p 帧和一个由前一个p 帧 和当前解码的p 帧共同预测得出的b 帧。使用这种模式可以在比特率增加幅度 很小的情况下大幅度增加帧频。 4 ) 信源编码器的主要原理是预测，块变换和量化。信源格式信源编码器对 每秒发生3 0 0 0 0 1 0 0 1 ( 大约2 9 9 7 ) 次的图象进行操作。对图象频率的允许误差 为5 0p p m 。采用五种图象格式，图象被编码为一个亮度信号和两个色差成分 ( y ，c b 和c r ) 。五种标准图象格式为：s u b q c i f ，q c i f ，c i f ，4 c i f 和1 6 c i f 。 2 3 3h 2 6 3 的主要技术 h 2 6 3 采用句法和语义学的方法对多路视频来管理的。句法被划分为四层， 四个层分别是图象、块组、宏块、块。图象层每帧图象的数据包含一个图象头， 并紧跟着块组数据，最后是一个e n d o f - s e q u e n c e 码和填塞位。其中包括有图 象开始码( p s c ) ( 2 2b i t s ) 、时域参照( t r ) ( 8b i t s ) 、类型信息( p t y p e ) ( 1 3b it s ) 和量化器信息( p q u a n t ) ( 5b i t s ) 等十三个选项。 每个块组层( g o b ) 包含了一个块组层头，紧跟着宏块数据。每个g o b 包含了 一行或多行宏块。对于每帧图象的第一个g o b ( o 号) ，不需要传送g o b 头。而 对于其它的g o b ，g o b 头可以为空，这决定于编码策略。解码器可以通过外部手 段发送信号给远程编码器要求只传送非空g o b 头，例如建议h 2 4 5 。 每个宏块中包含了一个宏块头和后续的块数据。c o d 只出现在用p t y p e 指定 为”i n t e r ”的图象帧中，对于这些图象中的宏块，当c o d 指定或p t y p e 指示为 ”i n t r a ”时会出现宏块类型色度的编码块样式( m c p b c ) 。如果p t y p e 指示了 ”p b 帧”，对于b 块的宏块( m o d b ) 会出现。只有在m o d b 中指定时才会出现c b p b 1 3 电子科技大学硕士论文n 2 6 3 视频编码芯片设计及部分模块的实现 ( 指示将传送宏块的b 系数) 和b 宏块的运动矢量数据( m v d b ) ( 变长) 。当m c p b c 和c b p y 中指定时会出现”块数据”。 块层如果不在p b 帧模式，一个宏块包含四个亮度块和两个色差块。在p b 帧模式下，一个宏块包含1 2 个块。在缺省h 2 6 3 模式下，首先传送6 个p 块数 据，然后是6 个b 块数据。 - 1 4 电子科技大学硕士论文 m 2 6 3 视频编码芯片设计及部分模块的实现 第三章系统构架及验证方案 3 。1s y s t e m - m s p a 构架 s y s t e m - - m s p a ( m e m o r ys h a r i n gp r o c e s s o ra r r a y ) 构架的最大特点在于各 独立的功能模块通过数据总线共享片外的s d r a m ，同时各模块的工作状态以及总 线上的时序受a g u 控制。这样的体系结构紧凑灵活，既可以节省片内的存储空 间又保证了备模块的高度独立性，同时可以保证各模块的流水线操作以达到较 高的处理速度。 s y s t e m - - m s p a 构架一方面为研发过程中的f p g a 验证带来了方便，另一方面， 也为研发小组成员的工作带来了很大的方便，即使某个具体功能模块的研发人 员中途离职，也不会对进度造成大的影响。 s y s t e m - - m s p a 主要由各功能模块，数据总线，a g u ( a d r r e s sg e n e r a t i o n u n i t ) 单元，片外s d r a m ，片内存储单元，时钟系统等构成。图3 1 是编码部分 的框图。 - 1 5 电子科技大学硕士论文 h 2 6 3 视频编码芯片设计及部分模块的实现 l s d f _ t a m l i _ _ 一一 广一一 a g u gm 薯黜1 m e m - “一。 r 。f ； 111。絮譬。l 、11 1 i 吐 c a m e r ai n p u t b i ts t r e a m c a mi n t ：c a m e r ai n t e r f a c ep r e ：pm a c r o b l o c kr e c o n s t r u c t i o n m e ：m o t i o ne s t i m a t i o n b p r s d ：p r e d l c t i o nm o d e d e s l o n e r r ：e r r o rc o d i n g d b ：d e b i o c k i n gf i l t e r d c t q ：d i s c r e t ec o s i n et r a n s f o r mv l c ：v a r i a b l el e n g t hc o d i n g & q u a n t z a t i o n q i d c t ：l n v e r s eq u a n t l z a t i o n & p c i n t ：p ch o s ti n t e r f a c e i n v e r s ed i s c r e t ec o s i n em e r e ：i n t e r n a lm e m o r y t r a n s f o r l t i t t op c 图3 1s y s t e m - - m s p a 编码端结构 从图中可以看到，每个独立的功能模块与外部的联系仅仅是通过数据总线 与外部s d r a m 交换数据，而这一行为受a g u 所发指令的控制通过这样的方式， 1 6 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 s y s t e m - - m s p a 架构达到了高速与灵活 3 1 1 外部存储器选择 在视频电话中应用最广的的图像格式是q c i f ，它的分辨率为1 7 6 1 4 4 ，帧 率为3 0 帧秒。按照市面上已有的图像压缩芯片( 比如w i n b o n d 的h2 6 3 胍 缩芯片w 9 9 6 1 c f ，p i l i p s 的m p e g 2 压缩芯片s a a 6 7 5 2 s h 等) 规格，我们将系 统工作频率定为2 7 m ，数据总线字长定为8 b i t 。 于是在p b 帧模式下，处理一个宏块所需的时钟周期数可计算如下： t b u d g e t = 2 7 0 0 0 0 0 0 ( 9 9 1 5 、= 1 8 1 8 1 3 1 1 ( 9 9 为一帧q c i f 文件所含宏块数，1 5 为采用p b 帧模式后一秒实际处理的帧 数) 系统所需的存储器带宽可计算如下： b a n d w i d t h b u d g e t = 1 7 6 x 1 4 4 3 0 8 6 m b i t s e c 3 。1 2 我们所选择的存储芯片w 9 8 1 6 1 6 a h ( 5 1 2 k 2 b a n k a 1 6 b i t s 1 3 5 m h z ) 从容量上讲完全满足要求的。至于选择s d r a m ，则是因为它是在 d r a m 中加入同步控制逻辑( 一个状态机) ，利用一个单一的系统时钟同步所有的 地址数据和控制信号。使用s d r a m 不但能提高系统表现，还能简化设计、提 供高速的数据传输。 3 1 2 流水线及调度 各功能模块间的调度和时序控制由a g u 往控制总线发出的指令完成。各功 能模块从外部s d r a s m 接收一个宏块的数据( 1 6 x1 6 p i x e l ) ，执行其处理后再 输出到外部s d r a m 。因此，a g u 必须产生各功能模块的开始信号并逐个产生 s d r a m 的地址以完成功能模块对s d r a m 数据的读写。 各功能模块访问s d r a m 的顺序如图3 2 所示。 - 1 7 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 m ee r r d q c tl ! i q c t i dp r e 【 r r d b b p r e d v l c t i m e 一一 图3 2s d r a m 访问时序 图中未给出相机接口模块对s d r a m 的访问，因为它的处理并非以宏块为 单位，而是以行为单位。当且仅当有视频输入的时候，它可以在任意两个模块 访问s d r a m 的间隙对s d r a m 进行访问。 显然，操作流水将遵从s d r a m 的访问时序。在所有的功能模块中，虽然 在数掘存取上大家所需要的时钟数差别不大，但就内部处理而苦，m e 模块需要 几乎其余所有模块总和的处理时间。表3 1 的数据源自文献1 ，由此我们可以大 致估计各模块的存取时间和处理时间。 模块名处理时钟数存取时钟数 c a r f l e r a1 5 0 0 i n t m e1 2 0 0 01 1 0 0 e r r2 3 0 02 3 0 0 d c t q 1 9 2 01 9 2 0 i q i d c t 1 9 2 01 9 2 0 p r e2 4 3 02 4 3 0 d b1 6 8 01 6 8 0 1 8 - 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 b p r e 1 8 7 01 8 7 0 v l c3 9 0 f 总计 1 2 0 0 01 2 1 2 0 1 5 1 1 0 表3 1 时钟数预算( 一个宏块的数据) 根据各模块的运行时钟数以及处理顺序，我们设计了如图3 3 所示的两级流 水线。 3 1 3 功能模块描述 t i m e 一一 图3 3 流水线示意图 功能模块包括a g u ，m e ，d c t q i q i d c t ，v l c ，p r e ，d b 等，它们各自完成特定 的功能，在s y s t e m - - m s p a 的构架下共同完成一个高速度低功耗的系统。同时诸 如m e ，d c t 等视频编解码系统中的经典模块还可以生成独立的i pc o r e ，为今后 的开发打下良好的基础。以下将简要介绍各功能模块的设计目标，部分模块更 详细的阐述将结合作者的工作在后续章节进行。 3131 地址产生单元a g u 在h 2 6 3 视频编解码系统中，专用的存储器以及其控制模块都是必不可少的 - 1 9 电子科技大学硕士论文h 2 6 3 视频编码芯片设计及部分模块的实现 因为它的处理是基于宏块的，需要存储大量的数据。a g u 模块用于各功能模块 对s d r a m 的访问。 图像数据被分为帧( 1 2 x 1 1 宏块) ，宏块( 4 个y 块，一个c r 块，一个c b 块) ，块( 8 8 象素) ，每个象素为8 比特。 a g u 为每个象素的数据产生地址并为其余功能模块产生访问s d r a m 所需 的控制信号。用尽量少的指令来完成一个相对连续和漫长的数据传输过程是 a o u 的设计目标。 a g u 的地址和控制信号的产生受控于i n s t r u c t i o nr o m 罩的指令，所以我们 最终可以通过芯片配置的外部总线( 如1 2c 总线) 来配置a g u 的工作模式和一 些参数。另外a g u 还被我们设计为可以直接接受来自p c 机的配置信号，这在 开发阶段至关重要。 3 1 3 2 运动估计单元舵 在h 2 6 3 标准中，运动估计模块采用的是块匹配法，采用半象素插值，并 采用3 2 级流水处理结构来完成。 3 1 3 3 离散余弦变化单元d o t d c t 模块一般是难于实现并且会在芯片内占有很大的面积，主要原因在于其 中大量的乘法器。笔者采用的分布式算法具有规则的结构，简单的控制和内部 连接，在性能和复杂度之间取得了良好的平衡。这部分内容将在后续章节进行 详细阐述。 3 13 4 变长编码单元v i _ c v l c 模块的算法复杂度不高，但变量和状态机都较多，而且在h 2 6 3 中， 该模块担任着比特率控制的作用，它将根据当前比特率的状况产生对d c t 系数 的量化系数传给量化模块。 2 0 电子科技大学硕士论文 h 2 6 3 视频编码芯片设计及部分模块的实现 31 3 5p 帧重建单元p r e p 帧重建单元将从前一帧图像和经过i d c t 的预测误