（通信与信息系统专业论文）基于dsp的h264avc编码器的设计与实现.pdf

摘要 摘要 多媒体视频处理终端在视频会议、可视电话、视频监控、p d a 、数字电视 等各个领域具有广泛的应用前景，因此开发高效、轻巧的嵌入式视频压缩系统 具有重要的理论意义与实用价值。 目前，最新的视频编码标准h 2 6 4 显著提高了编码效率，具有很多以往标 准无法比拟的优点【l 】。然而，其较高的算法复杂度严重地影响了其在实时环境 下的应用。另一方面，d s p 芯片技术得到迅猛发展，1 r i 公司生产的高性能通用 多媒体数字可编程处理器1 m s 3 2 0 d m 6 4 2 ，具有超强的计算能力，是实现h 2 6 4 编解码的理想平台。 本论文的工作分别针对h 2 6 4 算法与d s p 平台优化这两个研究热点展开： 基于灰度直方图和自相关的快速帧内模式判决算法的研究：在帧内编码模式中， 利用宏块自身的纹理特点来判断宏块应该采用的帧内编码模式，从而提前得到 该宏块的最佳编码模式，降低了原有标准算法中穷举式算法的复杂性； 结合运动搜索预处理及残差纹理分析的快速帧间模式判决算法的设计：在帧间 编码模式中，将运动估计块匹配过程中得到的中间结果，即绝对值误差和 ( s a d ) ，与自适应阈值相比较，进行中途停止判断。对不满足条件的宏块，结 合运动搜索预处理及残差纹理分析的方法，通过对预测值与实际值的残差分布 进行快速、有效的分析，从而实现帧间模式的快速判别； 基于d s p 芯片特性的优化：结合d m 6 4 2 芯片结构与h 2 6 4 编码器自身特点， 首先，优化了片内存储器，合理分配存储空间，并引入e d m a 数据传输机制， 消除了片内外数据传输的瓶颈；其次，根据性能分析的结果，改写较耗时的c 语言程序；最后，通过重新编写汇编语言的方式，有效地提升了局部运算速度。 经过算法级与d s p 平台两方面的优化后，编码器性能得到了较大幅度的提 升。通过测试验证，该编码器平均达到1 6 5 5 帧，秒c i f 格式标准测试图像的编 码能力，且解码后的视频图像具有较高的主观和客观质量。 关键词：h 2 6 4 ；帧内i 陂间预测；d s p ；优化 a b s t r a c t m u l t i m e d i at e r m i n a l sh a v eb e e nb e c o m i n gm o r ca n dm o p o p u l a ri nav a r i e t yo ff i e l d s , s u c ha sv i d e oc 锄1 ，v i d e op h o n e , v i d e os u r v e i l l a n c e , p d a ，d i g i t a lt va n ds oo i lt h u s ，a n e f f i c i e n ta n ds m a r te m b e d d e dv i d e oc o m p r e s s i o ns y s t e mi sn o to n l ys i g n i f i c a n tt ot h ea c a d e m i a , b u ta l s oh e l p f u lt ot h ei n d u s t r y n o w a d a y s t h ep e r f o r m a n c et h a tt h el a t e s tv i d e oc o d i n gs t a n d a r dh 2 6 4 1 a v ca c h i e v e si s m o r eo u t s t a n d i n gt h 锄a n yo t h e rf o r m e rs t a n d a r d sd i d h o w e v e r , i t sa d d i t i o n a lc o m p l e x i t y c h a l l e n g e st h er e a l - t i m ei m p l e m e n t a t i o na n do p t i m i z a t i o n t h a n k st ot h er a p i dd e v e l o p m e n to f m i c r o p r o c e s s o r s ，t h ec a p a b i l i t yo f d s ph a sb e e nu p g r a d e ds h a r p l y t h eh i g h - p e r f o r m a n c ed i g i t a l m e d i ap r o c e s s o rt m s 3 2 0 d m 6 4 2 ，m a n u f a c t u r e db yt e x a sl n s t r u m e n t i so n eo ft h em o s t p o w e r f u ld s p a v a i l a b l et od a t e a n di ti st h ei d e a lp l a t f o r mt oi m p l e m e n th 2 6 4e n c o d e r t h ew o r ko f t h i sp a p e ri sf c c u s e do nt h eh 2 6 4a l g o d t h ma n dd s po p t i m i z a t i o n ： t h er e a s e r c ho nt h ef a s ti n t r am o d ep r e d i c t i o na l g o r i t h m ，b a s e do nh i s t o g r a ma n d a u t o c o r r e l a t i o u ：i ni n t r a - f r a m em o d e ，t h et e x t u r ec h a r a o e r i s t i ci sa d o p t e dt oj u d g et h eb e s t i n t r a - f r a m ep r e d i c t i o nm o d eb e f o r ec o d i n g , w h i c ha v o i d sc a l c u l a t i n ga l lm o d e sd u r i n gt h ec o d m g p r o c e s s t h ed e s i g no ft h ef a s ti n t e rm o d ep r e d i c t i o na l g o r i t h m , b a s e do nt h ep r e t r e a t m e n to f m o t i o ns e a r c ha n dt h ea u a l y s mo f t e x t u r ed i f f e r c n o e ：i ni n t e r - f r a m em o d e ，t h eh a l f s t o pr o l ei s d e c i d e db yc o m p a r i n gt h es u mo f a b s o l u t ed i f f e r e n c e ( s a d ) w i t ha na n t o - a d o p t e dt h r e s h o l da f t e r t h em o t i o ne s t i m a t i o n a st oo t h e rm a c r o - b l o c k s ，c o m b i n i n gt h ep r e d i s p o s i n gm e t h o da n dt h e a n a l y s i so f t e x t u r ed i f f e r e n c e , an o v e lf a s ti n t e rm o d ep r e d i c t i o na l g o r i t h mi sp r o p o s e d o p t i m i z a t i o nb a s e do nt h ef e a t u r eo fd s pp l a t f o r m ：f i r s t l y , a c c o r d i n gt ot h es t r u c t u r eo f d m 6 4 2a n dt h ec h a r a c t e r i s t i co fh 2 6 4e n e o d e r , t h eo n - c h i pm e m o r yi sr e a l l o c a t e dr e a s o n a b l y m e a n w h i l e , t h ee d m ai sa d o p t e dt oe a t h eb o t t l e n e c ko fd a t aa t 口3 e s s e s s e c o n d l y , t h e t i m e - c o n s u m i n ga n s icc o d e smo p 村m i z e d f i n a l l y , t h el i n e a ra s s e m b l yi si n t r o d u c e dt o a c c e l e r a t et h ep e r f o r m a n c eo f t h ec e r l a i np r o g r a m a f t e rt h eo p t i m i z a t i o no nh 2 6 4a l g o f i t i m t sa sw e l la sd s pp l a t f o r m , t h ep e r f o r m a n c eo f t h e a n c o d c rj si m p r o v e dd r a m a t i c a l l y e x p e r i m e n t a lr e s u l t ss h o wt h a tt h ec o d i i 喀r a t eh a sr e a c h e d 1 6 5 5 危珞i na v e r a g e , w i t hl i t t l ed e g r a d a t i o no f t h ev i d e oq u a l i t yo i lb a t hs u b j e c t i v ea n do b j e c t i v e v i e w s k e y w o r d s ：h 2 6 4 5i a t r a i n t e rm o d ep r e d i c t i n n ；d s p ；o p t i m i z a t i o n 一- 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其 他人已经发表或撰写过的研究成果，也不包含为获得北京工业大学或其它教育 机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何 贡献均已在论文中作了明确的说明并表示了谢意。 签名：李习 日期：卅，2 本论文工作得到北京市自然科学基金( 编号：4 0 6 2 0 0 5 ) 和北京市拔尖创新 人才计划( 编号：0 0 6 2 7 ) 的资助。 关于论文使用授权的说明 本人完全了解北京工业大学有关保留、使用学位论文的规定，即：学校有 权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：孝可 导师签名；日期：川睑 第1 章绪论 第1 章绪论 1 1 课题背景及研究意义 随着信息技术的飞速发展和社会的不断进步，人类对信息的需求也越来越丰 富。人们希望无论何时何地都能便捷的通过语音、数据、图像与视频等各种方式 获取信息，其中视觉信息最具直观性和生动性，因此图像视频的压缩与传输越来 越受到人们的广泛关注。 信息时代的重要特征就是信息的数字化，数字视频也就成了必然的发展趋 势。然而，将模拟视频简单地转化为未经压缩的数字视频，其数据量之大是非常 惊人的。例如，一幅6 4 0 4 8 0 中分辨率的彩色图像( 2 4 比特像素) ，其数据量约 为0 7 5 m b ，如以每秒3 0 帧的速度播放，则需要传输的数码率为2 2 5 m b s ；若用 6 5 0 m 的光盘存储该视频信息，仅仅能播放2 4 秒钟。显然，这样庞大的数据量 对现有的存储和传输技术都是无法接受的，必须对视频信息进行大幅度的压缩。 人们对视觉信息的需求，多年来一直是社会科技进步的推动力之一。近十年 来，图像编码技术得到了迅速发展和广泛应用，并且日臻成熟，其标志就是多个 关于图像编码的国际标准的制定，即国际标准化组织i s o 和国际电工委员会i e c 关于静止图像的编码标准j p e g j p e g 2 0 0 0 ，关于运动图像的编码标准m p e g - 1 ， m p e g - 2 ，m p e g - - 4 等，以及国际电信联盟r r u - t 制定的视频编码标准h 2 6 x 系 列。这些标准采用的图像编码算法融合了各种性能优良的图像编码方法，代表了 目前图像编码的发展水平。表1 1 列出了各视频编码标准的目标码率和应用领域。 h 2 6 4 是由i s o i e c 与i t u t 组成的联合视频组( j v t ) 制定并于2 0 0 3 年3 月 正式获得通过的新一代视频压缩编码标准。1 9 9 6 年制定h 2 6 3 标准后，1 1 1 j - t 的视频编码专家组f v c e g ) 开始了两个方面的研究：一个是短期研究计划，在 h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与h 2 6 3 + 一；另一个是长期研究计划， 制定一种新标准以支持低码率的视频通信。长期研究计划产生了h 2 6 l 标准草 案，在压缩效率方面与先期的u - t 视频压缩标准相比，具有明显的优越性。 2 0 0 1 年，i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后i s o 与i t u 开始组 建包括来自i s o i e cm p e g 与u - tv c e g 的联合视频组( j v t ) ，t 的主要任 务就是将h 2 6 l 草案发展为一个国际性标准。于是，在i s o i e c 中该标准命名为 a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g - 4 标准的第l o 个部分；在m - 1 中 正式命名为h 2 6 4 标准。本文在以后的叙述中统一采用h 2 6 4 这个名称。 北京t 业大学t 学硕+ 学位论文 表1 1 视频编码标准的目标码率和应用领域 组织名称视频编码标准码率范围 典璎应用 在i s d n 等宽带信道上的视频 i t u - t h 2 6 1 p x 6 4 k b p s ，p = 1 3 0 传输，如视频电话等 i s l l l 7 2 _ 2 i s o 1 5 m b p s v c d 中e g 1 i s1 3 8 1 8 - 2 高品质数字视频和音频传输和 i s o4 - 1 0 0m b p s 存储，如d v d 、h d t v ( 高清 m p e g - 2 晰度电视) 等 甚低比特率视频通信，如p s t n i t u t h 2 6 3 6 4 k b p s 或 6 4 k b p s ( 公共开关电话网络) 上的视频 电话和视频会议系统 c d1 4 4 9 6 - 2 实时多媒体监控、低比特率下的 i s o2 4 - 1 0 2 4k b p s 移动多媒体通信、内容存储和检 蹴g - 4 索多媒体系统等 h 2 6 3 、，e r s i o n2 n u - t 6 4 k b p s 同h 2 6 3 ( h 2 6 3 + ) 兼顾广播和电信、覆盖从低码率 i t u - th 2 6 l 6 4 k i p s 到2 4 0 m b d s 通信到高清晰电视的广域标准 h 2 6 4 标准是一个面向未来i p 和无线环境下的视频压缩标准，其在视频压 缩效率方面比目前所有的视频压缩标准都要高。h 2 6 4 采用了传统的基于宏块和 运动补偿的方案，但是在技术细节上却做了较多的改进。在相同的重建图像质量 下，h 2 6 4 比h 2 6 3 + 和m p e g - 4 减小了约5 0 的码率。对信道时延的适应性较 强，既可工作于低时延模式以满足实时业务，如会议电视等；又可工作于无时延 限制的场合，如视频存储等。提高网络适应性，采用“网络友好”的结构和语法， 加强对误码和丢包的处理，提高解码器的差错恢复能力。在编解码器中采用复 杂度可分级设计，在图像质量和编码处理之间可分级，以适应不同复杂度的应用。 虽然h 2 6 4 的编码效率远比以前的视频编码标准高，但由于其具有相当复杂 的编码技术及模式选择，使得其运算复杂度也远高于先前的编码标准。根据t 会议文件的评估结果，h 2 6 4 参考编解码软件j m 2 1 ，相较于m p e g - 4m o m u s y s f p d a m i 0 2 0 4 1 4 ，其编码器复杂度约为1 0 倍以上，而解码器复杂度则为3 倍以 上。如此高的复杂度将使得h 2 6 4 a v c 难以使用在具有即时需求的应用上。因 此如何在不致牺牲h 2 6 4 a v c 的编码效率之前提下，降低其运算复杂度，提高 编码速度，使其趋于实用化程度，已经成为当前相当重要的研究方向。 另一方面，嵌入式系统以其体积小、功耗低、集成度高、环境适应性强等优 点越来越受到市场和消费者的认可，但由于微处理器计算能力的限制，视频产品 的发展受到了一定的制约。自从2 0 世纪8 0 年代初期第一片数字信号处理器芯片 ( d i g i t a ls i g n a lp r o c e s s o o n 世以来，d s p 芯片就以数字器件特有的稳定性，可重 复性，可大规模集成，特别是可编程性和易于实现自适应处理特点，给数字图像 第1 章绪论 信号处理的发展带来了巨大机遇。近年来，由于半导体制造工艺的发展和计算机 体系结构等方面的改进，d s p 芯片的功能越来越强大，而且随着d s p 运算速度 的提高，能够实时处理的信号带宽也大大增加，数字视频技术的实时应用得到有 力支持。在数字图像处理中，d s p 芯片很大程度上是整个数字视频技术的关键。 利用d s p 器件，数字图像处理可达到很高的质量。正是d s p 芯片的迅猛发展， 为实现嵌入式多媒体产品提供了可能，各种多媒体产品也正朝着小型化、集成化 的方向发展。多媒体终端设备具有广泛的应用前景，可以应用于视频会议、可视 电话、视频监控、p d a 、数字电视等各个领域，高效、轻巧的多媒体手持终端设 备一直是通信及娱乐领域研究和开发的主要方向之一。这类设备不仅需要快速、 稳定的处理器作为信号处理的平台，同时也需要先进的软件算法，例如对音视频 信号的压缩处理算法。只有这两者的有机结合才能孕育出具有广阔市场前景的多 媒体手持终端设备。h 2 6 4 提供了高效的视频标准和算法，而d s p 芯片的高速发 展为实现高效的音视频信号处理提供了可能性。因此，将h 2 6 4 算法应用在d s p 平台上，有着十分广阔的应用前景，而且对于多媒体技术的实用化具有一定的意 义和价值。 正是在此背景下，本课题得到了北京市自然科学基金委员会和北京市拔尖创 新人才计划的支持，其目的在于对处于理论前沿的h 2 6 4 视频编码标准进行研究 和改进；同时，将理论同实际相结合，逐步建立起一套具有实际应用价值的视频 压缩及处理系统。 1 2 国内外研究现状 1 2 1h 2 6 4 关键技术的研究现状 h 2 6 4 标准中的关键技术包括：多种更好的运动估计( 小数像素、多模式、 多参考帧) 、4 x 4 小尺寸块的整数变换、更精确的帧内预测、熵编码等。其中针 对帧p j ( i n t r a ) 和帧n ( i n t e r ) 宏块的精确快速的预测模式决策算法、快速的高精度运 动估计算法、高效率的熵编码算法是研究的热点和难点，其研究现状如下： 多模式决策算法：由于多种预测模式的存在，这就要求在编码时对这些模式 进行择优，而择优的方法很多，有必要对其进行研究。择优过程中，h 2 6 4 将基 于t w i e g a n d 提出的率失真优f f , 策略( p n o ) t 2 j 作为重要可选模式。对于帧内预测， 目前参考代码中用的是全搜索的方法，这种方法的计算量比较大，因此可以对决 策步骤进行优化，形成一些快速帧内模式决策方法，所了解到的快速方法有f e n g p a n 等在t 会议中提出的基于边缘方向直方图的方法【3 】和a o j u n m e n g 等提出 的基于分组像素点的方法【4 】等，它们在不同程度上优化了原全搜索方法。对于帧 北京t 业大学t 学硕十学位论文 间预测，目前有d w u 等提出的基于均匀区域的快速帧间预测模式决策 5 1 、p e n g y m 等提出的基于误差表面单调性的快速帧间预测模式决策【6 】等。 运动搜索算法；二维运动估计算法中以块匹配算法最为常用。其中全搜索算 法可以提供给定失真准则下的最优解，但计算复杂度太高。许多快速匹配算法可 以提供较快的搜索速度，但预测性能不太好。因此，为了在低计算复杂性视频编 码算法中应用运动补偿来消除视频信号的时间冗余，必须研究速度快且性能好的 运动估计算法。针对较早的编码标准如h 2 6 3 、m p e g - 4 等提出的优化算法有三 步搜索法、对数搜索法、梯度搜索法、四步搜索法、六边行搜索法、钻石搜索法 以及带状搜索法等。新的快速运动估计算法u m h e x a g o n s ( 中国专利) 是一种运 算量相对于h 2 6 4 中原有的快速全搜索算法可节约9 0 以上的新算法，全名叫 “非对称十字型多层次六边形格点搜索算法”( u n s y m m e t r i c a l c r o s sm u f f - h e x a g o n s e a r c h ) t 7 1 ，这是一种整像素运动估值算法。由于它在高码率大运动图像序列编码 时，在保持较好的率失真性能的条件下，运算量十分低，已被h 2 6 4 标准正式采 纳。 熵编码算法：h 2 6 4 标准中使用了c a v l c t 8 】和c a b a c l 9 1 两种熵编码算法。 基于内容的自适应二进制算术编码( c a b a c ) 与自适应可变长度编码( c a v l c ) 相 比较有3 个优点：( 1 ) 内容建模提供编码符号条件概率的估计，利用恰当的内容 模型，根据在当前要编码的符号附近己经编码符号的不同概率模型之间转换可去 掉符号问冗余；( 2 ) 算术编码为每个字母符号分配非整数位，因此符号几乎以他 们的熵速率编码，对概率大于o 5 的符号很有效。相比h u f f m a n 编码，算术编码 可以实现小数码长的分配，更符合香农的信息论，使压缩率大大提高；( 3 ) 自适 应算术编码允许熵编码器适应变化的符号的统计性，即对每个帧间宏块源图象和 低质量的预测之间的差值编码。通常，大量的运动向量、不同序列和位速率的统 计性在时间和空间上发生变化，因此采用考虑己经编码的运动向量的累进概率的 白适应模型可以使算术编码器更好的适应当前符号的统计性。 除了上述关键技术之外，视频数据在网络传输中的差错控制技术【协1 1 】、变尺 寸整数d c t 变换、可变步长的量化机制、自适应的码率控制以及去除方块效应 的环路滤波技术也是视频编码中的重要技术。具有更高压缩能力但是运算量巨大 的小波视频压缩、分形视频压缩以及面向存储检索的基于视频对象的压缩技术， 正在受到更多的研究与关注。 1 2 2 目前d s p 应用的现状 d s p 即数字信号处理器，是一种应用在实时数字信号处理中的微处理器。它 具有区别于微处理器的特殊的结构设计，更适合于对数字信号的处理。数字信号 第1 章绪论 处理任务通常需要完成大量的实时计算，如常见的f i r 滤波和f f t 快速算法。 数字信号处理中的数据操作具有高度重复的特点。因此，d s p 芯片在很大程度上 就是针对上述运算特点设计的。 d s p 芯片的主要特点可以概括为以下几点 1 2 - 2 1 】： l 、哈佛结构。与传统的冯诺依曼结构相比，哈佛结构更适合处理具有高度 实时要求的数字信号。哈佛结构的特点是程序存储器和数据存储器各具有独立的 存储空间，各具有独立的程序总线和数据总线。而且很多d s p 甚至有两套或两 套以上内部数据总线，这种总线结构称为修正的哈佛结构。 2 、流水线技术。即取指指令和执行指令可以同时进行，从而可以减少指令 执行时间，进一步增强处理器的数据处理能力。流水技术是提高d s p 程序执行 效率的一个主要手段。流水技术使两个或更多不同的操作可以重叠执行。在处理 器内，每条指令的执行分为取指、解码、执行等若干个阶段，每个阶段称为一级 流水。流水处理使得若干条指令的不同执行阶段并行执行，因而能够提高程序执 行速度。 3 、特殊的指令系统。d s p 芯片通常都有一套自己的特殊指令，这个指令系 统都是专门为数字信号处理而设计的，可以更有效的利用片上资源，对于提高 d s p 芯片的运算效率非常有效。 4 、采用硬件乘法器。d s p 芯片都有专门的硬件乘法器，通过硬件乘法器和 算法的改进，基本解决了乘法运算的速度是数字信号处理实现的瓶颈问题。硬件 乘法器是d s p 区别于通用微处理器的一个重要标志。 5 、多总线结构。许多d s p 芯片内部都采用多总线结构，保证在一个极其周 期内可以多次访问程序空间和数据空间。 6 、指令周期短。早期的d s p 的指令周期约4 0 0 n s ，采用4 9 m n m o s 制造工 艺，其运算速度为5 m i p s 。随着集成电路工艺的发展，d s p 广泛采用亚微米c m o s 制造工艺，其运行速度越来越快。 7 、硬件配置强。新一代d s p 的接口功能愈来愈强，片内具有串行口、主机 接口0 - i p l ) 、d m a 控制器、软件控制等待状态产生器、锁相环时钟产生器，以及 实现在片仿真符合i e e e1 1 4 9 1 标准的测试访问口，更易于完成系统设计。许多 d s p 芯片都可以工作在省电方式，使系统功耗降低。 在d s p 设计制造领域，美国t i ( t e x a si n s t r u m e n t s ) 公司有着很丰富的经验， 是业界的领导者。1 1 公司的产品系列包括c 2 0 x ，c 2 4 x ，c 5 x ，c 5 4 x ，c 6 2 x x ， c 6 4 x x 等定点d s p 和c 3 x ，c 4 x ，c 6 7 x x 等浮点d s p ，而每个系列又有不同性能 和价格的具体产品可供用户选择。另外，相对于其他公司，1 r i 公司提供了更完 善的技术支持和更稳定的芯片供应，所以一直是数字信号处理芯片用户的首选。 在产业界，还有许多专用的数字图像处理芯片，例如p h i l i p s 公司的t r i m e d i a 北京工业大学丁学硕十学位论文 系列多媒体芯片；a d i 公司的b l a e k f i n 系列芯片；甚至还有专门为m p e g - 4 和 h 2 6 4 设计的专用处理芯片，例如b r o a d e o m 公司推出支持用于高清晰消费类视 频产品的h 2 6 4 标准的芯片b c m 7 4 1 1 ；意法半导体的单芯片机顶盒解码芯片 s t b 7 1 0 0 。它们的共同特点是硬件设计围绕数字图像处理常用算法进行，所以相 比其他通用数字信号处理芯片有着较高的实现效率。但是这种做法的不利后果便 是系统不够灵活，无法进行算法的升级与更新。只有当某一种视频压缩编码算法 相对成熟，为业界普遍接受后，相应的专用芯片才会出现，另外就是芯片的通用 性受到影响，导致芯片很难运用在其他领域，系统设计者必须同时掌握每一种专 用芯片的特性和设计方法，而这在很多情况下都是很难做到的。 d s p 在多媒体数据处理中的优势主要体现在：高性价比、极高的运算速度、 合理的数据管理、简单的外围电路和可编程性等几个方面。基于以上考虑，本课 题研究设计的系统采用n 公司出品的t m s 3 2 0 3 2 0 d m 6 4 2 通用多媒体数字可编 程处理器。d m 6 4 2 基于c 6 4 x 内核，主频高达6 0 0 m h z ，峰值运算能力可达 4 8 0 0 m i p s ，采用扩展的高级甚长指令字( v l i w ) 体系结构，两级缓存结构，以及 4 个独立通道的e d m a 控制器等技术，大幅度提高了程序运行的性能。 1 3 本论文的研究内容及目标 本文主要的工作目标是：在对h 2 6 4 视频编码算法的研究和改进基础上，提 出并实现基于1 m s 3 2 0 d m “2 平台的b a s e l i n e 标准的h 2 6 4 视频编码方案，且通 过算法与d m 6 4 2 平台的优化后，达到平均1 5 帧秒标准c i f 测试序列的编码能 力。 针对这一目标，本文首先深入研究了h 2 6 4 视频压缩标准，针对目前h 2 6 4 视频压缩编码方案的特点，分别提出了帧内及帧间编码模式选择方法的改进算 法，使得在保证图像质量的前提下，有效地减少了h 2 6 4 压缩编码算法的运算量。 然后在数字信号处理器d m 6 4 2 平台上实现了h 2 6 4 视频压缩编码算法，并结合 d m 6 4 2 芯片结构，从优化数据流、优化存储器系统、程序代码级优化等几方面 对编码器进行了优化。通过验证，该h 2 6 4 编码器在保持了很高的图像质量和较 高的压缩比的同时，有效提高了编码速度，对c i f 格式标准测试序列图像进行编 码，目前最高己以达到1 8 6 9 帧，秒，平均可达到1 5 帧，秒以上。 针对h 2 6 4 算法复杂度高、编码速度慢的特点和d s p 平台的优化，本文的 研究重点主要集中在以下两方面： l 、h 2 6 4 算法的改进。 通过广泛阅读和研究相关资料和文献，对h 2 6 4 视频压缩标准有了深入的理 解。详细分析了h 2 6 4 视频压缩标准中的多种关键技术，尤其是帧内及帧间编码 第1 章绪论 的模式选择算法。在不改变h 2 6 4 的码流结构的前提下，降低了原有算法的复杂 度，提高了编码效率，同时保证了编码后码流可由标准解码器解码。 改进算法的主要思路是找到一种算法替代原有的复杂的遍历算法。这就要求 替代算法在复杂程度上要和原算法有很大的区别。这样才能够通过新算法的引入 达到提高编码速度的目的。具体的工作主要集中在以下两方面： ( 1 ) 快速帧内模式判决算法：利用宏块自身的纹理特点来判断宏块应该采 用的帧内编码模式，通过计算宏块灰度直方图及其自相关特性，直接从两种预测 模式中选取一种，从而避免对每一个宏块都进行两种模式的预测，提高编码速度。 ( 2 ) 快速帧间模式判决算法：充分考虑了视频序列在时间上的相关性，采 用运动估计块匹配过程中得到的中间结果一绝对值误差和( s a d ) 与自适应阈值 相比较的方法，进行中途停止判断。对不满足条件的宏块，结合运动搜索预处理 及残差纹理分析的方法，通过对预测值与实际值的残差分布进行快速、有效的分 析，从而实现帧间模式的快速判别。 2 、基于d m 6 4 2 平台的编码器优化。 深入了解1 m s 3 2 0 d m “2 芯片结构，熟悉芯片特性，掌握内核工作原理， 从优化存储器系统、优化数据流、程序代码级优化、提高指令的并行性等几个方 面优化基于d m 6 4 2 平台的h 2 6 4 编码器，有效地提高了其编码性能。 1 4 论文的结构安排 本论文结构安排如下： 第一章为绪论，概述课题背景、研究现状、内容、目标以及论文安排。 第二章详细介绍了h 2 6 4 视频编码标准及其中的一些关键技术。 第三章在第二章的基础上，分别针对帧内预测模式和帧间预测模式两部分， 从算法上对h 2 “编码器进行优化。 第四章介绍了d m 6 4 2 芯片特点、开发流程及本文所采用的各种优化方法。 并给出实验结果，验证了基于d m 6 4 2 的h 2 6 4 编码器性能。 最后对全文进行了总结，并对本文涉及到的技术领域进行了展望。 北京t 业大学t 学硕士学位论文 第2 章h 2 6 4 视频编码标准的特点及关键技术 2 1 视频编码标准演进 i t u t 和i s o i e cj t c i 是目前国际上制定视频编码标准的正式组织，i t u t 的标准称之为建议，并命名为h 2 6 x 系列，比如h 2 6 1 、h 2 6 3 等。i s o i e c 的 标准称为m p e g - x ，比如m p e g - 1 、m p e g - 2 、m p e g - 4 等。h 2 6 x 系列标准主要 用于实时视频通信，比如视频会议、可视电话等；m p e g 系列标准主要用于视频 存储( d v d ) 、视频广播和视频流媒体( 如基于i n t e m e t 、d s l 的视频，无线视频 等等) 。图2 - 1 说明了这两族标准的发展历程： 州j i 篇，) | 渊：，卜卜+ 卜+ + 8 s t o n d o r d s j o i n l 卜：懈一：l i 卜脚删ci i t u - t m p e g s t a n d a r d s j m p e g 4 上m 瞄，4m p e g “j m r g - l 0 e r s i o n1 l 目惭酾霉 s t a n d a r d s 1 lil1 1 9 髂1 9 9 0 1 9 9 2 1 9 9 41 卵6 1 9 9 8 2 0 0 0 2 0 0 22 0 0 4 图2 - 1 视频编码标准的发展过程 c c i t t ( 国际电报电话咨询委员会) 于1 9 8 4 年成立了一个专家组，专门研 究电视电话的编码问题，并于1 9 9 0 年完成和批准了c c i t t 推荐书h 2 6 1 。在 h 2 6 1 的基础上，1 9 9 6 年i t u t 完成了h 2 6 3 编码标准。在编码算法复杂度增加 较少的基础上，h 2 6 3 能提供更好的图像质量、更低的速率。目前，h 2 6 3 编码 是口视频通信采用最多的一种编码方法。1 9 9 8 年i t u - t 推出的h 2 6 3 + 是h 2 6 3 建议的第二版，它提供了1 2 个新的可协商模式和其他特征，进一步提高了压缩 编码性能。i t u 还制定一系列音频编码标准，如1 2 7 1 1 、1 2 7 2 2 、g 7 2 3 、g 7 2 7 、 1 2 7 2 8 、1 2 7 2 9 等。 m p e g 是i s o i e cj t c l1 9 8 8 年成立的运动图像专家组( m o v i n gp i c t u r e e x p e r tg r o u p ) 的简称，负责数字视频、音频和其他媒体的压缩、解压缩、处理和 表示等国际技术标准的制定工作。从1 9 8 8 年开始，m p e g 专家组每年召开四次 左右的国际会议，主要内容是制定、修订、发展m p e g 系列多媒体标准。已推 第2 章h 2 6 4 视频编码标准的特点及关键技术 出的标准包括m p e g - 1 、m p e g - 2 、m p e g - 4 、m p e g - 7 、m p e g - 2 1 。目前，m p e g 系列标准已经成为影响最大的多媒体技术标准，对数字电视、视听消费电子产品、 多媒体通信等信息产业的重要产品产生了深远影响。 除了联合开发h 2 6 2 m p e g - 2 标准外，大多数情况下，这两个组织独立制定 相关标准。自1 9 9 7 年，1 1 u - tv c e g 与i s o i e cm p e g 再次合作，成立了j o i n t v i d e ot e a m ( j v t ) ，致力于开发新一代的视频编码标准h 2 6 4 1 8 1 。1 9 9 8 年1 月， 开始草案征集；1 9 9 9 年9 月，完成了第一个草案；2 0 0 1 年5 月，制定了其测试 模式t m l 8 ；2 0 0 2 年6 月，t 第5 次会议通过了h 2 6 4 的f c d 版；2 0 0 2 年 1 2 月，玎u - t 在日本的会议上正式通过了h 2 6 4 标准，并于2 0 0 3 年5 月正式公 布了该标准。国际电信联盟将该系统命名为h 2 酬a v c ，国际标准化组织和国际 电工委员会将其称为1 4 4 9 6 1 0 m p e g - 4a v c 。本文在以后的章节中统一使用 h 2 6 4 的名称。 2 2h 2 6 4 视频编码标准概述 h 2 6 4 和以前的标准一样，也是d p c m 加变换编码的混合编码模式。但它采 用“回归基本”的简洁设计，不用众多的选项，获得比h 2 6 3 + + 好得多的压缩性能； 加强了对各种信道的适应能力，采用“网络友好”的结构和语法，有利于对误码和 丢包的处理；应用目标范围较宽，以满足不同速率、不同解析度以及不同传输( 存 储) 场合的需求1 2 2 1 。 技术上，它集中了以往标准的优点，并吸收了标准制定中积累的经验。与 h 2 6 3v 2 ( h 2 6 3 + ) 或m p e g - 4 简单类( s i m p l ep r o f i l e ) 相比，h 2 6 4 在使用与上述编 码方法类似的最佳编码器时，在大多数码率下最多可节省5 0 的码率。h 2 6 4 在 所有码率下都能持续提供较高的视频质量。h 2 6 4 能工作在低延时模式以适应实 时通信的应用( 如视频会议) ，同时又能很好地工作在没有延时限制的应用，如视 频存储和以服务器为基础的视频流式应用。h 2 6 4 提供包传输网中处理包丢失所 需的工具，以及在易误码的无线网中处理比特误码的工具。 在系统层面上，h 2 6 4 提出了一个新的概念，在视频编码层( v i d e oc o d i n g l a y e r ，v c l ) 和网络提取层( n e t w o r ka b s t r a c t i o nl a y e r , n a l ) 之间进行概念性分 割，前者是视频内容的核心压缩内容之表述，后者是通过特定类型网络进行递送 的表述，这样的结构便于信息的封装和对信息进行更好的优先级控制【2 3 】。图2 - 2 说明了这种分层次的结构，在图中，由v c l - n a l i n t e r f a c e 将编码器分为上下两 部分，上面是v c l 编码部分，下面是n a l 网络接口部分。n a l 引入了面向口 包的编码机制，有利于网络中的分组传输，支持网络中视频的流媒体传输。h 2 6 4 具有较强的抗误码特性，可适应丢包率高、干扰严重的无线信道中的视频传输。 北京t 业大学t 学硕十学位论文 h 2 6 4 支持不同网络资源下的分级编码传输，从而获得平稳的图像质量。h 2 6 4 能适应于不同网络中的视频传输，网络亲和性好。 图2 - 2h 2 6 4 视频编码标准中的分层示意图 目前，h 2 6 4 标准己经制定完成，从各种实验来看，它达到了当初提出的目 标。相对于其它标准，h 2 6 4 具有以下特点： 低码率，高质量。 图2 - 3h 2 6 4 和其它标准的比较 2 4 1 h 2 6 4 和其他一些编码标准的比较见图2 3 。从图中可以看出。在相同质量 的情况下，h 2 6 4 相对干h 2 6 3 的b a s e l i n e 可以节约4 0 5 0 的码率。 广阔的应用范围 第2 章h 2 6 4 视频编码标准的特点及关键技术 h 2 6 4 的不同p r o f i l e 既可以应用于有严格时延限制的实时通信中，也可以应 用于对时延要求不高的其他应用中( 视频存储、流媒体等等) 。 鲁棒性 h 2 6 4 在设计时，针对分组交换网如i n t c m c t 中的分组丢失和无线网络中比 特误码都提出了相应的工具，使得h 2 6 l 在这些网络中传播时具有更强的抗误码 性能。 对各种网络的友好性 h 2 6 4 中增加了n a l 层，负责将编码器的输出码流适配到各种类型的网络 中，从而提供了友好的网络接口。 和以往视频编码标准相比，h 2 6 4 具有突出的性能，它将具有广阔的应用前 景和商业价值。它的应用领域包括： 通过电缆、卫星、c a b l e m o d e m 、d s l 、陆地等媒介的广播 在光学或磁性设备、d v d 上的交互式储存 基于i s d n 、以太网、l a n 、d s l 、无线移动网络、调制解调器的会话 服务 基于i s d n 、c a b l e m o d e m 、d s l 、l a n 、无线网络的视频点播和多媒体 流服务 基于i s d n 、d s l 、以太网、l a i n 、无线和移动网络等的多媒体消息服 务( m m s l 2 3h 2 6 4 视频编码器 和以往视频编码标准类似，h 2 6 4 文档中只描述了码流结构与语法，以及实 现这些技术的方法，并没有明确规定编解码器是如何实现的，这也给用户开发提 供了较大的自由度。 如前所述，h 2 6 4 标准压缩系统由视频编码层( v c l ) 和网络提取层0 n a l ) 两 部分组成。v c l 中包括v c