（通信与信息系统专业论文）视频编码算法研究及其在dm642上的实现.pdf

浙江大学硕士学位论文 摘要 视频编解码是多媒体系统的核心技术，是构建多媒体应用的核心模块之一。 目前，视频编码器的实现主要有以下几种常见的方法:一是基于p c机，用软件 实现，但通用p c机非专用于视频处理，故实现效率不高;二是使用专用的视频 压缩 a s i c芯片:还有，就是采用 d s p 。数字媒体处理器是一种针对视音频的 d s p ，为了 用于实现视音频等多媒体数据处理， 其处理器结构经过了特别优化设 计， 且提供了 丰富的多媒体处理指令集。 基于d s p 的视频编码器的灵活性比a s i c 编码器要高，易于升级更新换代，开发周期短。 d m6 4 2 是t i 公司新一代高性能 数字媒体处理器， 它是专用于视频系统应用的高性能d s p ， 具有4 8 0 0 mi p s的运 算性能和丰富的外围接口( 多通道视频口、以 太网口 等) 。 所以， d m 6 4 2 是日 前 实现视频应用系统的理想平台之一。 本文围绕对视频编码器运动估计算法的研究及编码器基于d m6 4 2 的实现工 作而展开。 首先讨论了针对运动量较小的、 包含有大量背景块的视频序列的快速 运动估计算法， 包括整像素和半像素快速算法。 快速算法不光只是用于h .2 6 3 编 码器， 还可用于诸如mp e g 4 等其他标准的视频编码器中; 接着， 我们结合d m6 4 2 嵌入式系统的硬件特性， 从调整编码器软件框架流程、 优化使用存储器系统、 程 序代码级优化、 提高指令的并行性等几方面进行讨论， 优化和实现了基于d m6 4 2 的h .2 6 3 软件实时编码器， 己 初步能达到4 c i f 视频的实时编码。 在这个过程中， 总结了基于d m6 4 2 的视频压缩编码软件开发的一些方法和技巧，可为今后基于 t i d m 6 4 2 平台的软件开发提供借鉴。 全文第一章介绍了视频压缩编码技术的发展历程和视频编码器的实现方法; 第二章对目 前主流的 几种视频编码标准 ( h .2 6 3 . m p e g 4 和h .2 6 4 ) 作了介绍和 比 较; 第三、 四章是本文的主要内 容， 分别讨论了 运动估计快速算法和h . 2 6 3 编 码器在d m6 4 2 处理器上的优化和实现; 最后， 第五章对本文的工作进行了总结， 并提出了今后工作的方向。 【 关键词】视频编码，h .2 6 3 ，运动估计快速算法，d m6 4 2 ，数字媒体处理器 浙江大学硕士学位论文 ab s t r a c t v i d e o c o m p r e s s i o n i s k e y t e c h n o l o g y o f m u l t i m e d i a d a t a p r o c e s s i n g , a n d v i d e o c o d e c i s o n e o f t h e m o s t i m p o r t a n t c o r e m o d u l e s f o r a m u l t i m e d i a a p p l i c a t i o n s y s t e m s . c u r r e n t l y , t h e i m p l e m e n t a t i o n o f v i d e o e n c o d e r i s a s f o l l o w s : i)v i d e o e n c o d e r s o f t w a r e o n p c . h o w e v e r , i t i s n o t d e d i c a t e d i n v i d e o d a t a p r o c e s s i n g f o r p c s c p u s o t h a t t h e e n c o d e r s o f t w a r e b a s e d o n p c i s n o t e f f e c t i v e : i i) u s i n g d e d i c a t e d a s i c c h i p f o r v i d e o c o d i n g ; i i i )v i d e o e n c o d e r b a s e d o n p r o g r - a m m a b l e d i g i t a l m e d i a p r o c e s s o r , s u c h a s d s p . t h e h a r d w a r e s t r u c t u r e o f d s p p r - o c e s s o r c o r e i s e s p e c i a l l y d e s i g n e d f o r m u l t i m e d i a d a t a p r o c e s s i n g . n o t o n l y p l e n t i f u l m u l t i m e d i a d a t a p r o c e s s i n g i n s t r u c t i o n s a r e a v a i l a b l e , b u t a l s o i t i s m o r e f l e x i b l e f o r i m p l e m e n t a t i o n o f v i d e o e n c o d e r t h a n a s i c c h i p . t h e i m p l e m e n - t a t i o n u s i n g d s p c a n s h o r t e n t h e t i m e t o m a r k e t a n d o f f e r c o n v e n i e n c e f o r u p g r - a d i n g a n d r e p r o g r a m m i n g . a c 6 0 0 m h z a n d 4 8 0 0 m i p s , t h e n e w g e n e r a t i o n d s p - d m 6 4 2 d i g i t a l m e d i a p r o c e s s o r o f f e r s i n d u s t r y - l e a d i n g p e r f o r m a n c e . t h e p r o c e s s o r w h i c h i s i n t e g r a t e d m u l t i m e d i a a n d n e t w o r k p e r i p h e r a l i n t e r f a c e s r e d u c e s s y s t e m c o s t f o r m u l t i m e d i a a p p l i c a t i o n s , s u c h a s v i d e o p h o n e t e r m i n a l o v e r i p . t h e s y s t e m c a n b e i m p l e m e n t e d t h r o u g h o n - c h i p i n t e g r a t i o n o f k e y a u d i o / v i d e o a n d c o n n e c t i - v i t y p e r i p h e r a l s . s o , d m 6 4 2 i s a n i d e a l p l a t f o r m f o r m u l t i m e d i a a p p l i c a t i o n s . t h e t h e s i s w i l l e m p h a s i s o n r e s e a r c h o f m e a l g o r i t h m a n d t h e i m p l e m e n t a t i o n o f h . 2 6 3 v i d e o e n c o d e r b a s e d o n d m 6 4 2 p l a t f o r m . t h e f a s t i n t e g e r p i x e l m o t i o n e s t i m a t i o n a l g o r i t h m f o r v i d e o s e q u e n c e s w h i c h a r e s m o o t h , v a r y s l o w l y a n d h a v e m a n y b a c k g r o u n d b l o c k s i s d i s c u s s e d . i n a d d i t i o n , t h e s u b - p i x e l m e a l g o r i t h m i s p r o p o s e d . t h e f a s t m e a l g o r i t h m s a r e n o t o n l y u s e d f o r h . 2 6 3 , b u t a l s o o t h e r v i d e o s t a n d a r d s , s u c h a s m p e g 4 , h . 2 6 4 . t h e n , w e w i l l o p t i m i z e 1 1 . 2 6 3 v i d e o e n c o d e r b a s e d o n d m 6 4 2 , a n d m a n y s k i l l s o f s o f t w a r e d e v e l o p m e n t b a s e d o n d m 6 4 2 a r e s u m m a r i z e d . i n t h e f i r s t c h a p t e r , v i d e o c o m p r e s s i n g t e c h n i q u e s a n d v i d e o c o d i n g s t a n d a r d s h i s t o r y a r e i n t r o d u c e d . s e c o n d , w e w i l l i n t r o d u c e t h e m a j o r v i d e o c o d i n g i n t e r n a t i o n a l s t a n d a r d s , s u c h a s h . 2 6 3 , m p e g 4 a n d h . 2 6 4 . t h e n e x t t w o c h a p t e r s a r e m a j o r c o n t e n t s o f t h i s p a p e r , f a s t m e a l g o r i t h m s a n d o p t i m i z a t i o n a n d i m p l e m e n t a t i o n b a s e d o n d m 6 4 2 w i l l b e d i s c u s s e d r e s p e c t i v e l y . i n t h e e n d , t h e f i f t h c h a p t e r i s a b o u t s o m e c o n c l u s i o n s a n d t a s k s i n t h e f u t u r e . ( k e y w o r d s ) v i d e o c o d in g , h .2 6 3 , f a s t m o t io n - e s t i m a t io n a lg o r ith m , d m 6 4 2 , d ig i ta l m e d ia p r o c e s s o r 1 1 浙江大学硕士学位论文 第一章绪论 随着信息社会的发展， 多媒体技术得到了 越来越广泛的应用。 视频图像是多媒体信息的 重要组成部分。 众所周知， 在开发多媒体应用系统时， 遇到的最大的障碍就是对包含巨大数 据量的多媒体信息的采集、存储、处理和传输，其中， 数据量最大的是数字视频图像数据。 因此， 视频压缩处理技术是多媒体技术的关键， 可以 在保证一定图 像质量的 前提下， 减少数 据量， 节省图 像存储空间和便于实现远程可视通信系统。 表 1 - 1 列出了5 种大小格式的原始 视频的数据量，可以看到，若不经压缩进行传输，需要很大的带宽。 表 1 - 1 五种视频格式的数据量 s u b - q c i fq c i f ci f4 ci f1 6 ci f 像素数琦 了 1 2 81 7 63 5 2 7 0 41 4 0 8 行数 9 64 42 8 85 7 61 1 5 2 非压缩数据量 ( 3 0 帧 j 秒) 4 amb / s9 . 1 mb / s 3 7 mb / s1 4 6 mb / s5 8 4 mb / s 视频图 像压缩技术有广泛的 应用， 如视频监控、 远程会议、 远程教学、 可视通信、 数字 视频录像机 ( d v r ) ，以及网络流媒体、i p t v等。 ， . ， 视频压缩编码技术 压缩技术，从压缩前后信息损失与否可分为两大类 1 :一类是无损压缩，如霍夫曼 ( h u f f m a n )的可变长度特征编码、 游程编码、算术编码等， 这类编码技术又称可逆编码， 它的特征是不丢失任何数据，但压缩率比 较低 ( 一般不超过8 : 1 ) ;另一类是有损压缩，有 损压缩意味着解压缩后的数据与压缩前的 数据不一致， 在压缩的 过程中要丢失一些人眼所不 敏感的图像信息， 而且丢失的信息不可恢复， 即是不可逆的。 儿乎所有高压缩率的算法都采 用有损压缩，这样才能达到减少数据量的目 的。当 今流行的视频编码标准都是有损压缩。 视频编码技术从思想方法上大致又可以 分为两大类: 波形编码和模型编码 2 , 3 1 . 波形编码是基于信息论的相关理论思想， 将视频信号视为2 d或3 d波形信号，从其内 在统计规律出发， 研究有效去除视频信号的空间、时间 冗余性，实现信息压缩的编码方法。 常见的预测编码、 变换编码 ( d f t . d c t等) 、 子带小波编码、 分形编码、 矢量量化编码等， 都属于这一类。 模型编码， 顾名思义， 是基于对视频图像内容的理解， 根据图像模型假设， 利用图像中 目 标或景物的结构化特征达到高的压缩比， 实现信息压缩的 编码方法。 模型编码还可细分为 两类: 基于普遍景物的面向 对像的编码和基于特定景物的 面向 语义的编码。 前者针对未知物 浙江大学硕士学位论文 体， 采用一般性的参数集合， 如: 景物集、 形状集、 色彩集等， 描述编码图 像对像; 后者针 对特定景物对像， 采用限定的参数集， 描述编码图像对像。 面向对像的编码， 关于景物的先 验假设、 知识少， 需在编码过程中实时估计模型参数， 实时建模， 因此可以 适用于一般的景 物对像; 但对景物的知识利用较少， 编码效率不够高。 语义编码针对特定的景物， 先建立模 型， 通信时只需要传送基本特征参数或运动参数， 编码效率高。 模型编码在提供高压缩比的 同时， 提供了 对图像内容进行结构化描述的方式， 使其适用于需对图像内 容进行编辑、 操作、 处理的场合。m p e g - 4 标准中就纳入了 模型编码的思想。如: m p e g - 4 中基于形状、纹理、网 格的编码是面向 对像的模型编码; 基于f d p 人脸定义参数集和f a p 人脸活动参数集， 对图 像 中的人脸对像的编码是基于语义的模型编码。 由于模型编码往往具有特定性而且需要较大的 计算量， 并不适合应用在通用的 视频编码 领域中， 所以目 前所流行的视频编码标准， 如h .2 6 x 系列、 m p e g系列都是基于块的波形变 换混合编码。m p e g 4 在实际的应用中也大都没有采用基于对像的 模型编码方法。 1 . 2 视频编码标准的发展历程 自 上个世纪8 0 年代以 来， i s o / 工 e c 制定的m p e g - x 和i t u - t 制定的h . 2 6 x 两大系列视频 编码国际标准的推出，开创了视频通信和存储应用的新纪元。从 h . 2 6 1视频编码建议，到 h . 2 6 2 / 3 / 4 . m p e g - 1 / 2 / 4等都有一个共同的不断追求的目 标，即在尽可能低的 码率 ( 或存 储容量) f 获得尽可能好的图像质量。 而且， 随着市场对图 像传输需求的 增加， 如何适应不 同信道传输特性的问题也日益显现出来。 于是工 e o 月e c 和 工 t u - t 两大国际标准化组织联手 制定了最新一代视频标准h . 2 6 4 来解决这些问题。下面回顾视频编码标准的发展历程。 h . 2 6 1 是最旱出现的视频编码建议，目的是规范 i s d n网上会议电视和可视电话应用中 的视频编码技术。 它采用的算法结合了可减少时间 冗余的帧间运动补偿预测和可减少空间 冗余的d c t 变换的混合编码方法。 以后的视频编码标准都以此为基础。 h . 2 6 3是低码率图像 压缩标准， 在技术上是h . 2 6 1 的改进和扩充， 支持码率小于6 4 k b i t / s 的 应用。 但实质上1 1 . 2 6 3 以 及后来的h . 2 6 3 十 和h . 2 6 3 + + 己 发展成支持全码率应用的建议， 从它支持众多的图 像格式这 一点就可看出，如s u b - q c i f , q c i f , c i f , 4 c i f 甚至1 6 c i f 等格式。 m p e g - 1 标准的码率为1 . 2 m b i t / s左右， 可提供3 0 帧c l f ( 3 5 2 x 2 8 8 ) 质量的图像，是 为 c d - r o m光盘的视频存储和播放所制定的。m p e g - 1标准视频编码部分的基本算法与 h . 2 6 1 / h , 2 6 3 相似，也采用运动补偿的帧间预测、二维 d c t , v a c 游程编码等措施。此外还 引入了帧内帧 ( i ) 、预测帧 ( p ) 、 双向预测帧 ( b ) 和直流帧 ( d )等概念， 进一步提高了 编 码效率。 在m p e g - 1 的基础上， m p e g - 2 标准在提高图像分辨率、 兼容数字电 视等方面做了 一 些改进， 例如它的 运动矢量的 精度为半像素: 在编码运算中 如运动估计和d c t ) 区分 “ 帧” 和 “ 场”; 引入了编码的可分级性技术， 如空间可分级性、 时间可分级性和信噪比 可分级性 等。 1 9 9 9 年推出的” p e g - 4 标准引入了 基于视听对像 ( a v o : a u d i o - v i s u a l o b j e c t ) 的编码， 大大提高了视频通信的交互能力和编码效率。 m p e g - 4 中还采用了一些新的技术， 如形状编 浙江大学硕士学位论文 体，采用一般性的参数集合，如：景物集、形状集、色彩集等，描述编码图像对像；后者针 对特定景物对像，采用限定的参数集，描述编码图像对像。面向对像的编码，关丁景物的先 验假设、知识少，需在编码过程中实时估计模型参数，实时建模，因此可以适用于一般的景 物对像i 但对景物的知识利用较少，编码效率不够高。语义编码针对特定的景物，先建立模 型，通信时只需要传送基本特妊参数或运动参数，编码效率高。模型编码在提供高压缩比的 同时，提供了对图像内容进行结构化描述的方式，使其适用于需对图像内容进行编辑、操作、 处理的场合。m p e g 一4 标准中就纳入了模型编码的思想。如：m p e g 一4 中基于形状、纹理、网 格的编码是面向对像的模型编码；基于f d p 人脸定义参数集和f a p 人脸活动参数集，对图像 中的人脸对像的编码是基于语义的模型编码。 由于模型编码往往具有特定性而且需要较大的计算量，并不适合应用在通用的视频编码 领域中，所以目前所流行的视频编码标准，如h2 6 x 系列、m p e g 系列都是基于块的波形变 换混合编码。m p e g 4 在实际的应用中也大都没有采用基于对像的模型编码方法。 1 2 视频编码标准的发展历程 自上个世纪8 0 年代以来，l s o i e c 制定的m p e g x 和i t u t 制定的h ，2 6 x 两大系列视频 编码国际标准豹推出，开创了视频通信和存储应用的新纪元。从h 2 6 1 视频编码建议，剑 h 2 6 2 3 4 、m p e g 一1 2 4 等都有一个共同的不断追求的目标，即在尽可能低的码率( 或存 储拜量) f 获得尽可能好的图像质量。而且，随着市场对图像传输需求的增加，如何适应不 同信道传输特性的问题也臼益显现出来。丁- 是i e 0 i e c 和i t u t 两大国际标准化绍织联手 制定了最新一代视频标准h 2 6 4 来解决这些问题。下砸回顾视频编码标准的发展历程。 h2 6 1 是最早出现的视频编码建议，目的是规范i s d n 网上会议电视和可视电话应用中 的视频编码技术。它采用的算法结合了可减少时间冗余的帧间运动补偿预测和可减少空闯 冗余的d c t 变换的混合编码方法。以后的视频编码标准都以此为基础。h 2 6 3 是低码率图像 压缩标准，在技术上是h 2 6 1 的改进和扩充，支持码率小于6 4 k b i t s 的应用。但实质上l 2 6 3 以及后来的1 t 2 6 3 + j f t lh 2 6 3 + + 已发展成支持全码率应用的建议，从它支持众多的图像格式这 一点就可看出，如s u b q c i f 、q c i f 、c i f 、4 c i f 甚至1 6 c i f 等格式。 m p e g 一1 标准的码率为12 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 2 8 8 ) 质量的图像，是 为c d r o m 光盘的视频存储和播放所制定的。m p e g - 1 标准视频编码部分的基本算法与 t t 2 6 1 h ，2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v l c 游程编码等措施。此外还 引入了帧内帧( i ) 、预测帧( p ) 、取向预测帧( b ) 和真流帧( d ) 等概念，进一步提高了编 码效率。在m p e g 一1 的基础上，m p e g 一2 标准在提高图像分辨率、兼容数字电视等方面做了一 些改进，例如它的运动矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 区分“帧” 和“场”；引入了编码的可分级性技术，如空间可分级性、时间可分级性和信噪比可分级性 等。1 9 9 9 年推出的m p e g 一4 标准引入了基于视听对像( a v 0 ：a u d i o v is u mo b j e c t ) 的编码， 大大提高了视频通信的交互能力和编码效率。m p e g 一4 中还采用了一些新的技术，如形状编 2 浙江大学硕士学位论文 码、自适应d c t 、任意形状视频对像编码等。但是m p e g 一4 的基本视频编码器还是属f 和h 2 6 3 相似的一类混台编码器。 h 2 6 4 a v c ( a d v a n c e dv i d e oc o d i n g ) 是近年来由i s 0m p e g ( m o v i n gp i c t u r ee x p e r t s g r o u p ) 和i t uv c e 6 ( v i d e oc o d i n ge x p e r t sg r o u p ) 两大国际组织共同制定的最新的视频压 缩编码国际标准。h 2 6 4 标准的主导思想是与其他的视频编解码标准一致的基于块的混 合编码方法，并从中引入了许多当今最新的编码思想和技术，使其编码性能优于以前的标准， 但同时运算量比以前的编码标准要大很多。 视频编码国际标准的发展示意图如图1 1 ： 图1 1视频编码国斯、标准历史发展演变 2 0 0 2 年6 月，我国成立了a v s1 ：作组，并j 二2 0 0 3 年1 2 月定稿a v s 视频部分。 a v s 楚由找国 ： i 主制定| ! ( 爵视频编码技术标准，以当前圈际上晟先进的m p e g 4 a v c i - 2 6 4 槌搬为基础，强龋仁j j 知识产权，旧时充分考虑了实现的复杂艘。棚对r 2 6 4 ， a v s 的主要柑点有：( i ) 8 8 的整数变换o6 4 数量化；( 2 ) 亮度和色度帧内预测都魁以8 8 块 为单倪，亮度块采用5 种子砸测模式，色度块采用4 种预测秘式：( 3 ) 采删t 6 1 6 、1 6 8 、8 1 6 利8 84 种块模式进行帧闻运动补偿；( 4 j 盔1 “豫素运动估计方亟。采削a i 硝的四抽头滤波 器进行f 象索插越和l 4 象索插值；( 5 ) p 帧可以3r j ) ： j 最多2 帧的前向参考帧，而b 帧采瑚前 后再一个参考帧。a v $ 应用目标明确，技术有针对性。在高分辨率应用中，其压缩效率明 显比现在常用于数字电视、光存储媒体中的t 4 p e g - 2 高。同时在压缩效率相当的前提下， 其实现复杂度又较h 2 6 4 的m a i np r o f i l e 大为降低。 1 3 视频压缩编码的实时实现方法 各种视频压缩技术都存在一个共同的特点，那就是计算拦很大。这对丁视频压缩的实时 实现是一个挑战。因此，视频压缩的实时实现方案是一个研究的热点。一般可有两种方法来 实现，一是专用a s i c 芯片硬件实现，二是软件编程实现。软件实现可基丁p c 也可基于d s p 。 浙江大学硕l 二学位论文 基于专用的a s i c 芯片实现既可以作为专用的编解码器，又可以作为其中的核心模块。 这种方法十分有效，因为芯片设计可以针对专门的算法进行高度优化。和微处理器相比，专 用视频解码器芯片不需要取指、译码等过程，还可以将控制器所需要的硬件开销减到最小， 因此它可以获得更高的处理速度，并占用更少的硬件电路。其缺点在于其中有大量的专用模 块，当算法需要修改时，便无法适应新的算法，只能重新设计。 更加灵活的方案是利用可编程多媒体d s p 处理器。在d s p 平台上进行视频产品开发有 以下几方面的优势： 第一，用户开发自由度更大，支持多种个性化开发，可以满足市场不断提出的新的要求， 在第一时间提升产品性能，增强产品的竞争能力。例如h 2 6 3 编解码器可以很容易的修改 成m p e g 4 s i m p l ep r o f i l e 编解码器，如果需要实现更高的框架，只需相应增加更多的功能： 第二，d s p 处理能力强，可以在一个d s p 上同时实现多路音视频信号的压缩处理，还 可提供很多视频专崩功能，比如视频滤波、高分辨显示输出、o s d 功能等； 第三，外围接口丰富，开发周期短，可实现快速技术更新和产品换代； 第四芯片功耗低，为提高产品的稳定性提供可靠保障。 多媒体d s p 处理器早期有p h i l i p s 公司的t r i m e d i a l l 0 0 和1 3 0 0 2 5 ，2 6 ，及e q u a t o r 公司 ；勺8 s p i 5 等。近崩全球最大的d s p 制造商德矧仪器( t r ) 推出了一款高性能多媒体处 理器t m s 3 2 0 d m 6 4 2 ，它基于c 6 4 xd s p 内核，采用二级缓存，并提供了丰富的外围接口，如3 个多通道视频口、以太网接口等，且功耗比t r i m e d i a 和e q u a t o r 等处理器要低。d m 6 4 2 可 用于多媒体应用开发，如可视电话终端、网络摄像机等，系统实现方便，主要芯片只需采用 一片d m 6 4 2 即可，外加存储芯片s d r a m 、视频d e c o d e r 、e n c o d e r 和以太网p , i y 等外围芯片。 d m 6 4 2 可实现多路视频采集和输山。所以，d m 6 4 2 是目前实现视频应用系统的理想平台。 1 4 本文的工作 本文的工作主要是以h 2 6 3 参考软件t m n e n c 3 2 为基础，在t l 公司的新型数字媒体 处理器d m 6 4 2 的硬件平台上，实现和优化h 2 6 3 视频编码器，使编码器能获得实时编码性 能。h 2 6 3 视频编码技术已较成熟，编码计算复杂度不大，易在诸如d s p 之类的媒体处理器 上用软件实时实现，码流带宽较m p e g 4 等编码器要小，是目前视频会议和可视电话等视频 应用系统采用的主要的视频编码技术。基于d m 6 4 2 实现的h 2 6 3 编码器可用于可视电话、 网络视频监控等应用场合，作为其中的视频压缩编码核心模块。用d s p 实现的编码器具有 软件可编程特性，以后可很方便地升级更新和集成到视频应用系统中。 我们所做的丁作主要集中在两个方面： 一是研究了在诸如可视电话、视频监控等应用场合中，编码压缩摄像头静止的视频序列 时所采用的运动搜索快速算法和半像素运动搜索快速算法。快速算法不仅用于h 2 6 3 视频编 码器，还可用于其他视频编码标准中； 二是结合d m 6 4 2 嵌入式系统的硬件特性，调整和优化基丁p c 的编码器软件实现r 4 浙江大学硕 士 学位论文 基于 专用的a s i c 芯片实现既可以作为专用的编解码器，又可以 作为其中的核心模块。 这种方法十分有效， 因为芯片设 计可以 针对专门的算法进行高度优化。 和微处理器相比， 专 用视频解码器芯片不需要取指、 译码等过程， 还可以 将控制器所需要的硬件开销减到最小， 因 此它可以获得更高的处理速度， 并占 用更少的 硬件电路。 其缺点 在于 其中有大量的专用模 块，当算法需要修改时，便无法适应新的算法，只能重新设计。 更加灵活的方案是利用可编程多媒体d s p 处理器。 在d s p 平台上进行视频产品开发有 以下) l 方面的优势: 第一， 用户开发自由 度更大， 支持多种个性化开发， 可以 满足市场不断提出的新的要求， 在第一时间提升产品性能， 增强产品的竞争能力。 例如。 h .2 6 3 编解码器可以很容易的修改 成m p e g - 4 s im p le p r o f il e 编解码器， 如果需 要实 现更高的 框架， 只需 相应增 加更多 的功能; 第二，d s p处理能力强，可以在一个d s p上同时实现多路音视频信号的压缩处理，还 可提供很多视频专用功能，比如视频滤波、高分辨显示输出、o s d功能等; 第三，外围接口丰富，开发周期短，可实现快速技术更新和产品换代; 第四， 芯片功耗低，为提高 产品的稳定性提供可靠保障。 多媒体d s p 处理器早期有p h i l i p s 公司的t r i m e d i a 1 1 0 0 和1 3 0 0 仁 2 5 , 2 6 1 ， 及e q u a t o r 公司的b s p - 1 5 等。近期全球最大的d s ? 制造商德州仪器 ( t 工 )推出了一款高性能多媒体处 理器t m s 3 2 0 d m 6 4 2 ，它基于c 6 4 x d s p 内核， 采用二级缓存，井提供了丰富的外围接口， 如3 个多通道视频口、以 太网接口 等，且功耗比t r i m e d i a 和e q u a t o r 等处理器要低。d m 6 4 2 可 用于多媒体应用开发， 如可视电 话终端、 网络摄像机等， 系统实现方便， 主要芯片只需采用 一片d m 6 4 2 即可， 外加存储芯片s d r a .m 、 视频d e c o d e r . e n c o d e r 和以 太网p h y 等外围芯片 d m 6 4 2 可实现多路视频采集和输出。 所以，d m 6 4 2 是目前实现视频应用系统的理想平台。 1 . 4 本文的工作 本文的_ 作主要是以h .2 6 3 参考软件t m n e n c 3 2为基础，在t i 公司的新型数字媒体 处理器d m6 4 2 的硬件平台上，实现和优化h . 2 6 3 视频编码器，使编码器能获得实时编码性 能。 h . 2 6 3 视频编码技术己较成熟， 编码计算复杂度不大， 易在诸如d s p 之类的媒体处理器 上用软件实时实现， 码流带宽较mp e g 4 等编码器要小， 是目 前视频会议和可视电话等视频 应用系统采用的主要的视频编码技术。基于d m 6 4 2 实现的h . 2 6 3 编码器可用于可视电话、 网 络视频监控等应用场合， 作为 其中的视频压缩编码核心模块。 用d s p实现的编码器具有 软件可编程特性，以后可很方便地升级更新和集成到视频应用系统中。 我们所做的下作主要集中在两个方面: 一是研究了 在诸如可视电话、 视频监控等应用场合中， 编码压缩摄像头静止的视频序列 时所采用的 运动搜索快速算法和半像素运动搜索快速算法。 快速算法不仅用于h .2 6 3 视频编 码器，还可用于其他视频编码标准中; 一 t 1h 合 t ) m6 4 2 嵌入式系统的硬件特性，调整和优化基于p c的编码器软件。实现了 浙江人学硕士学位论文 基于d m 6 4 2 的h . 2 6 3 软件实时编码器。我们将从调整编码器软件框架流程、 优化使用存储 器系统、 程序代码级优化、 提高指令的并行性等几方面进行讨论。 在这个过程中， 总结了基 于d m 6 4 2 的视频压缩编码器软件开发的一些方法和技巧， 可为今后基于t i d m 6 4 2 系统的 软件开发提供借鉴。 浙江大学硕士学位论文 第二章h 2 6 3 及其它视频编码技术 上一章我们已了解了视频编码技术的发展历程，从1 9 9 0 年h 2 6 1 视频压缩标准正式出台 以来新的技术算法和方案不断地涌现。主要有两大组织t u t h i s o i e c 贡献很多，i t u t 主要针对低码率视频编码，制订的标准为h 2 6 x 系列，i s o f l e c 主要提出了m p e g 系列标准， 它不仅包括视频，还有音频系统和复用等。目前所流行的视频编码标准有h 2 6 3 、m p e g 4 n h 2 6 4 等，这些标准的视频压缩编码基本思想都一样，即都是基于块的波形变换混合编码， 其视频编码器的基本框架如下图所示： 图2 1棍频编码器结构框图 本章分别介绍这三种视频编码标准，并重点分析h2 6 3 视频编码技术。 2 1h 2 6 3 视频编码标准 h 2 6 1 标准是i 丁u t 于1 9 9 0 年公布的第一个视频编码标准，帧问编码时采羯了基于i 6 1 6 的宏块的整像素运动估计，而在帧内编码时采用了8 8 数据块的d c t 运算。这些算法 有效地压缩了视频序列在时间和空间上的冗余度，使得h 2 6 1 具有较高的压缩比，适合了二p x 6 4 k b p s 的褪听业务，可用于i s d n 、可视电话和会议电视等应用。h 2 6 1 编码分成四层：图 像层，块组层( g o b ) ，宏块层( m b ) 和块层。每一块8 8 。每一层都有各自头部，复合后， 串行传输。1 t 2 6 1 的视频帧格式被称作公共中间格式( c i f ) 。 h 2 6 3 标准是i t u t 于1 9 9 6 年制订的专门针对甚低码率视频通信应用的视频压缩标 准，是基于h 2 6 1 而发展起来的，目的是在极低码率( j l 十k b i t s ) f 传送高质量的视频。 1 9 9 6 年3 月h 2 6 3 推出了第一版，除了基本模式外。有4 个可选模式；1 9 9 8 年1 月推出了 6 浙江大学硕士学位论文 第二版，又称为h 2 6 3 + ，修正了一个高级模式，增加了1 0 个高级模式 2 0 0 0 年1 1 月推出 了第三版，称为h 2 6 3 + + ，再新增了3 个高级模式。h 2 6 3 版本的升级对旧版本保持兼容， 但功能有了增强，提高了视频压缩效率，增强了传输鲁棒性，扩大了适用范同。 4 ，5 ，6 h 2 6 3 采用的基本编码方式是帧i = i l 编码( i n t r a ) 和基于运动估计和补偿的帧间编码 ( i n t e r ) 。利h 2 6 1 相比。h 2 6 3 作了以下改进： 2 1 1图像格式 图像格式依据每行的像素数、行数和像素的大小比率来表征。h 2 6 1 定义了c i f 和q c i f 2 种图像格式，而在h2 6 3 中有5 种标准的图像格式：s u b - q c l f ，q c i f ，c i f ，4 c i f ，1 6 c i f 。此 外，通过协商，还可支持用户自定义的剀像格式。 每个像素抽样值由三个分量组成：一个亮度( y ) 分每利两个色度分量( c b ，c r ) 。例 如，y = 1 6 代表黑，y = 2 3 5 代表白，而c b 和c r 的值在1 6 雨i2 4 0 之间。c b 和c r 的值1 2 8 表示零色差，或者说灰度区。一般所说的图像格式根据y 分量精度来定义。由于人眼对色差 信号相对不敏感，色著分量在水平和垂直方向上的采样精度各为y 分量的一半。这被称为4 ： 2 ：0 格式，四个y 分量公用一个c b 和c r 分量。如图所示，块边界位于y 分鼍的行或列之 间。 ： o x o xx o x t 闭a 嫦es ；撑剖o oo r o m a n c 跫t 辨 * 一一b 就e 钾e 图2 - 2 亮度分量和色差分量的采样值位置 一定速率的这些图像帧构成了一视频序列。标准规定所有编解码器都应该用标准c i f 图像时钟频率( p c f ) 。c i f 的p c f 为( 3 0 0 0 0 1 0 0 1 ) , n 秒。也允许编解码器使用自定义的 p c f ，甚至可高于3 0 帧秒。 2 1 2 块组结构 目前的视频编码标准都是基于块来操作，把块作为基本单元。h 2 6 3 和h 2 6 1 中对宏块 ( m b ) 的定义是相同的，即一个宏块的大小对应于4 个亮度( y ) 块和2 个色度( c b 和c r ) 块，每个块的大小是8 8 。宏块是编码处理过程中的一个单元。 7 浙江大学硕士学位论文 第二版， 又称为h . 2 6 3 + ， 修正了一个高级模式，增加了1 0 个高级模式: 2 0 0 0 年1 1 月推出 了第三版， 称为h . 2 6 3 + + ，再新增了3 个高级模式。 h . 2 6 3 版本的 升级对旧 版本保持兼容， 但功能有了 增强，提高了 视频压缩效率， 增强了传输鲁棒性， 扩大了 适用范围。仁 4 , 5 , 6 h . 2 6 3采用的基本编码方式是帧内编码 ( i n t r a )和基于运动估计和补偿的帧间编码 ( i n t e r ) 。和h 2 6 1 相比， h 2 6 3 作了以 下改进: 2 . 1 . 1 图像格式 图 像格式依据每行的 像素数、 行数和像素的大小比率来表征。 h . 2 6 1 定义了c i f 和q c i f 2 种图 像格式， 而在h . 2 6 3 中有5 种标 准的图 像格式: s u b - q c i f , q c i f , c i f , 4 c i f , 1 6 c i f 。 此 外，通过协商，还可支持用户自定义的图像格式。 每个像素抽样值由 三个分量组成: 一个亮度 ( y )分量和两个色度分量 ( c b , c r ) 。 例 如，y =1 6 代表黑，y =2 3 5 代表白，而 c b 和c r 的值在 1 6 和2 4 0 之间。c b 和c r的值 1 2 8 表示零色差， 或者说灰度区。 一般所说的图像格式根据y 分量精度来定义。 由于人眼对色差 信号相对不敏感， 色差分量在水平和垂直方向 上的采样精度各为y 分量的一半。 这被称为4 : 2 : 0 格式，四个y 分量公用一个c b 和c r 分量。如图所示，块边界位于y 分量的行或列之 间。 x x x x xx 洲洲 xx 。f奋卜.碑，考 oxxox 洲洲 洲x xxx x x 洲洲 x x:x x o o xxxx t 4 mb i a f y 4 a i .t别 . c n r a 那. _ -; h e 日 h . c 民 e c g e xo 图2 一 2亮度分量和色差分量的采样值位w 一定速率的这些图像帧构成了一视频序列。标准规定所有编解码器都应该用标准 c i f 图像时钟频率 ( p c f ) . c i f的p c f 为 ( 3 0 0 0 0 / 1 0 0 1 ) 帧/ 秒。也允许编解码器使用自定义的 p c f ，甚至可高于3 0 帧/ 秒。 2 . 1 . 2 块组结构 目 前的视频编码标准都是基于块来操作， 把块作为基本单元。 h . 2 6 3 和h . 2 6 1 中对宏块 ( m b )的 定义是相同的， 即一 个宏块的大 小 对应于4 个亮 度( y ) 块和2 个色 度 ( c b 和 c r ) 块，每个块的大小是8 x 8 .宏块是编码处理过程中的一个单元。 浙江大学硕士学位论文 1-r 一亡-c 咙 困y 图2 - 3 4 : 2 : 0 宏块的组成 一帧图 像被分 割成宏块组 ( g o b ) 或 者s l i c e s . 相邻的若干宏块构成一g o b 单元， 由k x1 6 行像素组成。 这里k 的取值与图 像格式的行 数有关。 若行数小于等于4 0 0 ， 则k