（通信与信息系统专业论文）基于pnx1500+dsp的h264编码器研究.pdf

基于p n x l5 0 0d s p 的h 2 6 4 视频编码器的研究 摘要 随着i t 工业的迅速发展，传统的。播和娱乐媒体的地位正在被各种 全新的技术应用一如数字电视、高清晰视频以及网络视频流所震撼。而这 些技术应用都是以先进的视频压缩技术和视频压缩标准为基础的。为了 能获得更好的视频压缩性能，在2 0 0 1 年，由运动图像专家组( m p e g ) 和视频编码专家组( v c e g ) 形成了联合视频小组( j v t ) ，提出了相对 丁m p e g 一4 和h 2 6 3 更加先进的技术，该技术提供更好的视频压缩，同 时也能够提供高品质、低比特率视频流。这就直接导致了先进视频编码 ( a v c ，a d v a n c e dv i d e oc o d i n g ) 标准的产生。该标准也被称之为i t u t h 2 6 4 和i s o i e c1 4 4 9 6 ( m p e g 4 ) 的第十部分。 本论文的研究目标是在p h i l l i p s 公司的p n x l 5 0 0 d s p 开发板上实现 h 2 6 4 编码器。具体功能是通过模拟视频解码器采集模拟p a l 制式的视 频信号，对其进行数字化，然后将该数字视频信号进行格式转换，接着 对转换后的数字视频信号按照h 2 6 4 视频压缩标准进行压缩编码，最后 将得到的h 2 6 4 码流保存在本地的硬盘驱动器上面。得到的h 2 6 4 码流 文件可以用一般的h 2 6 4 解码程序进行解码和显示。整体系统设计采用 n e x p e r i at s s a 体系结构设计。 本论文的主要内容包括： 视频压缩编码的基础理论：包括视频压缩编码标准的发展；视频压 缩编码的信息论基础；无失真压缩编码，包括h u f f m a n 编码、算术编码、 游程编码；限失真压缩编码；运动估计和运动补偿的基本概念和理论以 及d p c m d c t 视频编码器模型。 h 2 6 4 视频压缩标准的研究：包括h 2 6 4 编码器的模型以及编码流程 的分析；h 2 6 4 视频压缩标准的结构和体系框架的介绍；h 2 6 4 视频压缩 标准中所引进的新技术的详细叙述，如可变大小的图像分块、l 4 象素精 度的运动估计、4 x 4 块的整数变换、帧内预测的预测模式、去块效应滤 波器、先进的熵编码技术等。 整体系统的实现：包括对h 2 6 4 编码器性能进行了介绍；对j m 参考 模型的各种配置参数的不同影响以及不同应用做了简要的分析；对h 2 6 4 编码器的优化做了一定的研究，其中包括对本论文中h 2 6 4 所参考和使 用快速算法做了说明和对h 2 6 4 软件编码器进行代码级优化的一些手段 和方法；介绍了本论文中使用的模拟视频解码器( s a a 7 1 1 8 ) 的特性以 及基于p n x l 5 0 0d s p 的l c p1 5 0 0 开发板的主要特点；针对本论文所使 用的n e x p e r i a t s s a 软件体系结构进行了分析：介绍了本论文中所使用的 由p n x l 5 0 0 提供的视频组件的配置和使用方法；给出了本论文中的h 2 6 4 编码器的程序框架；详细说明了整体系统的软件设计、工作流程、关键 代码以及演示效果等。 经大量测试表明，本论文最终实现了论文的研究目标，具有一定的 良好性能，并为进一步研究和开发奠定了良好的基础。 关键字：h 2 6 4 标准，p n x l 5 0 0 ，t s s a ，编码器，视频信号处理 r e a s e a r c h e s0 fh 2 6 4v e 0e n c o d e r0 n p n x l 5 0 0d s p a b s t r a c t w i t ht h er a p i dg r o w t ho fi n f o r m a t i o nt e c h n o l o g yi n d u s t r y , t r a d i o n n a l b r o a d c a s tt e l e v i s i o na n dh o m ee n t e r t a i n m e n t h a sb e e nr e v o l u t i o n i z e db y v a r i o u sa d v a n c e da p p l i c a t i o n ss u c ha sd i g i t a lt v n e t w o r kv i d e os t r e a m i n ga n d d v dv i d e o t 0g e th i g h e rp e r f o r m a n c eo fv i d e oc o m p r e s s i o n ，i n2 0 0 1 ，t h e j o n i tv i d e nt e a m ( j v t )f o r m e db yt h ei s om o t i o np i c t u r e e x p e r t s g r o u p ( m p e g ) a n dt h ei t u tv i d e oc o d i n ge x p e r t sg r o u p ，d e v e l o p p e da n e ws t a n d a r ds i g n i f i c a n t l yo u t p e r f o r m m e g 一4a n dh 2 6 3a n dp r o v i d i n g b e t i e rc o m p r e s s i o no fv i d e oi m a g e sw i t har a n g eo ff e a t u r e ss u p p o r t i n g h i g h q u a n l i t y , l o w e r - b i t r a t es t r e a m i n gv i d e o t h e s eh i s t o r yl e dt od r a ran e w s t a n d a r do f ”a d v a n c e dv i d e oc o d i n g ”( a v c ) w h i c hi sk o w na si t u - t r e c o m e n d a t i o nh 2 6 4a n da si s o i e c1 4 4 9 6 ( m p e g 一4 、p a r t1 0 t h ea i mo f t h ep a p e ri st oi m p l e m e n th 2 6 4e n c o d e rs y s t e mo i ll c p l 5 0 0 p c i p l u g i nd e v e l o p m e n t c a r df o rp n x l5 0 0 n e x p e f i ad i g i t a l m e d i a p r o c e s s o r s 刀，es y s t e mc a nc a p t u r ea n a l o g 刚 v i d e os i g n a la n dd i g i t i z e t h e s es i g n a l t h e nt h es y s t e mc a nt r a n s f o r mt h ef o r r n a to ft h ed i g i t a lv i d e o s i g n a la n de n c o d et h e s es i g n a la sh 2 6 4v i d e oc o m p r e s s i o ns t a n d a r d f i n a l l y , t h es y s t e mc a l ls a v et h eh 2 6 4v i d e os t r e a m i n ga saf i l ei nl o c a lh a r d d i s k t h e f i l ec a nb ed e c o d e da n dd i s p l a y e db yc o m m o nh 2 6 4 d e c o d e r t h ew h o l e s y s t mi sd e s i g n e dr e f e r e n c e dt on e x p e r i at s s as o f t w a r ea r c h i t e c t u r e t h ec o n t e n to f t h ep a p e rm a i n l yi n c l u d ef o l l o w i n g ： i m a g ea n dv i d e oc o m p r e s s i o nf u n d a m e n t a l s ，i n c l u d i n gt h eh i s t o r yo f v i d e o c o m p r e s s i o ns t a n d a r d ，t h e b a s i so fi n f o r m a t i o n t h e o r y ，l o s s l e s s c o m p r e s s i o n s u c ha sh u f f m a n c o d i n g a n da r i t h e m e t i c c o d i n g ，l o s s ) , c o m p r e s s i o n ，m o t i o n e s t i m a t i o na n dm o t i o n c o m p e n s a t i o n ，t h eh y b r i d d p c d c tv i d e oc o d e cm o d e l r e s e a r c - h e so fh 2 6 4s t a n d a r d ，i n c l u d i n gi n t r o d u c t i o no ft h e h 2 6 4 c o d e ca n dh 2 6 4s t r u c t u r e ，e x p l a i n i n gt h em a i na d v a n c e dt e c h n o l o g yu s e d i nh 2 6 4 ，s u c ha sv a r i a b l e b l o c k - s i z e ，q u a r t e r - s a m p l e - a c c u r a t e m o t i o n c o m p e n s a t i o n ，4 x 4i n t e g e rt r a n s f o r m ，d i r e c t i o n a ls p a t i a lp r e d i c t i o nf o ri n t r a c o d i n g ，d e b l o c k i n gf i l t e r i n g ，a d v a n c e de n t r o p yc o d i n g i m p l e m e n t a t i o no ft h ew h o l es y s t e m ，i n c l u d i n ga n a l y s i n gt h ek e yf a c t o r s a n dp a r a n a e t e r sw h i c hh a v eg r e a ti n f l u e n c et oh 2 6 4e n c o d e r , e x p l a i n i n gt h e f a s t a l g o r i t h mu s e di nt h eh 2 6 4e n c o d e ro f t h ep a p e ra n dh o wt oo p t i m i z e t h es o u r c ec o d e s ，i n t r o d u i n gf e a t u r eo fh a r d w a r ei n c l u d i n gm u l t i s t a n d a r d v i d e o d e c o d e r ( s a a 7 1 1 8 ) a n dp n x l 5 0 0d e v e l o p m e n tc a r d ，i l l u s t r a t i n g p n x l 5 0 0v i d e oc o m p o n e n t sa n dt h ep a r a m e t e ro fj mm o d e l ，d e s c r i b i n gt h e d e t a i lo f t h ed e s i g no f t h ew h o l es y s t e m a f t e ral o to ft e s tp e r f o r m a n c e ，t h es y s t e mc a l ls u c c e s s f u l l yc o n v e r tt h e a n a l o gv i d e os i g a n lt oh 2 6 4s t r e a m i n gf i l ea st h ep a p e re x p e c t s k e yw o r d s ：h 2 6 4s t a n d a r d ，p n x l 5 0 0 ，t s s a ，e n e o d e lv i d e os i g n a l p r o c e s s i n g 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究丁作及取得的研究成果。 尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，沦文中不包含其他人 已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他教育机构的学位 或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中 作了明确的说明并表示了谢意。 申请学位论文与瓷抖若有不实之处，本人承担一切相关责任。 奉人签名：肇蠡煎 日期：迎：! ：丝 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即：研究 生在校攻凄学位期间论文工作的知识产权单位属北京邮电大学。学校有权保留并向国 家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借蒯：学校叮以 公布学位沦文的全部或部分内容，可以允许采用影印、缩印或其它复制手段保存、汇 编学位论文。( 保密的学位论文在解密后遵守此规定) 注释：本学 本人签名： 导师签名： 适用本授权书。 日期：垫! ：! ：堑 同期 玉喀! i ；j 一 北京邮电人学硕j ：论文 第1 审绪论 1 1 多媒体通信技术 第1 章绪论 多媒体技术是集计算机、通信和信号处理为一体的综合性应用技术，也是多学科 的交叉技术。多媒体技术之所以能够在2 0 世纪8 0 年代末出现并立即在世界范围内得 到迅速发展，得益于图像压缩编码技术的成熟、大规模集成电路的发展以及大容量数 字存储技术的发展多媒体技术的产生。 多媒体通信综合了多种媒体信息间的通信，它是通过现有的各种通讯网来传输、 转储和接收多媒体信息的通信方式，几乎覆盖了信息技术领域的所有范畴，包括数据、 音频和视频的综合处理和应用技术。多媒体通信系统应具备存储、传输、处理、显示 多种表示媒体( 即多种编码信息) 的功能。多媒体通信系统具备集成性、交互性、同步 性三个特征。集成性：多媒体系统中应至少包括两种或两种以上的表示媒体，同时处 理、存储、传输，并能显示多种感觉媒体，各种媒体之间相互关联，不能分离，组成 统一体。交互性：简单的交互性是检索，更复杂的则是多媒体终端的用户对通信全过 程有完整的有效的交互控制能力。同步性：由于各种表示媒体所采用的编解码方法不 同，存储的数据库不同，传输的途径也可能不同，但在用户多媒体终端显示时必须将 这些表示媒体按要求同步，以构成一个整体的信息。 多媒体通信是未来通信发展方向之一，多媒体通信技术使计算机的交互性、通信 ，】分布性以及电视的真实性融为一体，向人们提供了全新的信息服务。近年来各类通 唐网上出现了越来越多的多媒体应用，多媒体业务将会成为未来通信服务市场的主 流。目前使用最为广泛且发展前景最好的多媒体业务主要是会议电视、远程教学、远 程医疗、可视电话等业务。 1 2 视频压缩编码及标准 1 2 1 视频压缩简介 实现对多媒体信息的交互处理，必须对各种媒体信息进行数字化。在多媒体中， 图像信息占了很大比重，而图像经数字化后的数据量非常之大，如普通的彩色电视信 号，数字化后速率可达1 4 0 m b i t s 左右，如此大的数据量给存储、传输、处理都带来 了巨大的负担。解决这个问题的根本方法是对多媒体信息数据进行压缩。视频压缩的 有两个主要好处：首先，它使得在不能支持原始非压缩视频传输合存储的环境下能够 使用数字视频，例如，一张d v d 仅能存储几秒钟相当于电视质量分辨率合帧率的原 始视频，在这种情况下，如果不使用视频压缩，那么d v d 存储将是不实用的；其次， 北京邮电大学硕士论文第1 章绪论 视频压缩可以用来进行更有效的传输和使用资源，例如，如果存在某种信道，则传输 高分辨率的压缩视频或者多个压缩视频要比传输低分辨率的未压缩的视频具有更高 的效率。因此，虽然存储和传输容量不断提高，但是视频压缩仍然是多媒体技术的核 心内容。 图像信源中的冗余和人眼视觉特性以及对图像的某些特殊要求为图像数据的压 缩提供了可能性。首先，在原始图像信源中存在很大的时间冗余度和空间冗余度，其 次，在许多图像应用领域的接收端允许接收到的图像带有一定程度的失真。第三，由 于在许多情况下人眼常常是图像的最终接收者，在图像数据压缩编码时充分利用人眼 视觉特性，可以在实现高压缩比的同时，恢复的图像仍有较高的主观质量。视频压缩 的目的是在获得有效的压缩效果的同时，使得压缩过程钟引起的失真最小。 视频压缩编码可分为无损压缩编码、有损压缩编码和混合编码几类。 无损压缩也称为无失真压缩，即在压缩过程中信息未受到任何损失，经过解压缩 可以把信息恢复成原样。视频信息的典型的无损压缩算法包括h u f f m a n 编码、游程编 码、算术编码等，无损压缩的压缩比一般为2 ：1 5 ：1 。 有损压缩也称为有失真压缩，即经过压缩之后信息不能恢复原样，但它以牺牲一 些信息而带来其他好处。视频信息的有损压缩算法主要有差分脉冲编码调制d p c m + 运动补偿，变换编码：k l t 变换、离散余弦变换d c t ，子带编码、小波变换，统计 分块编码，模型方法：分形编码、模型基编码，矢量量化。 混合编码将两种以上的编码方法串接起来，以求得最好的压缩效果。i t u - t 制订 的一些图像编码技术标准中均采用了混合编码。如：视听业务视频压缩编码技术标准 h 2 6 x 、彩色静止图像压缩编码技术标准j p e g 、彩色运动图像压缩编码技术标准 m p e g 。 1 2 2 视频编码标准的发展 数字视频发展到今天已经成为一门实用的技术，在可视电话，视频会议到d v d 、 数字电视等各个领域得到广泛采用，数字视频的快速发展和视频编码标准的开发是密 不可分的。目前世界上最广泛使用的数字视频编码标准主要源自两大标准体系，其一 是i t u t ，该组织制定的视频编码标准称为强建议( r e e o m m m a d a t i o n s ) ”，即h 2 6 x 系列( h 2 6 1 、h 2 6 2 、h 2 6 3 和h 2 “) 主要用于实时视频通信，如可视电话、视频 会议。另一个主要的视频编码标准组织为i s o i e c ，其标准主要是m p e g 系列 ( m p e g 1 、m p e g 2 、m p e g - 4 、m p e g - 7 和m p e g 2 1 ) 侧重于视频存储( v c d 、 d v d ) 、视频广播( 电视广播) 以及视频流的应用。两者的共同目标是在尽可能低的码 率( 或存储容量) 下获得尽可能好的图像质量。两大标准化组织的第一次合作是在 h 2 6 2 m p e g 2 标准的开发过程中。随着市场对图像传输需求的增加，如何适应不同 北京邮电人学硕士论文 第1 审绪论 信道传输特性的问题也日益显现出来。两大组织再次联手推出的视频编码新标准，纳 入i t u t 体系称为h 2 6 4 标准，在i s o i e c 体系中作为m p e g 4 的第1 0 部分。目的 在于解决不同特征信道下的视频传输问题。 1 9 9 0 年i t u t 公布的h 2 6 1 ，是最早出现的视频编码建议，目的是规范i s d n 网 上的会议电视和可视电话应用中的视频编码技术。它采用混合编码方法，帧间预测采 用1 6 1 6 的宏块和整数像素的运动搜索，用来消除图象序列的时间冗余：帧内编码 采用8 8 的d c t 变换，用以消除空间冗余。h 2 6 1 具有较高的压缩比，和i s d n 信 道相匹配，其输出码率是p 6 4 k b i t s ，p = 1 3 2 。p 取值较小时，只能传清晰度不太 高的图像，适合于面对面的电视电话；p 取值较大时( 如p 6 ) ，可以传输清晰度较 好的会议电视图像。 h 2 6 3 建议1 9 9 6 年3 月公布，是低码率图像压缩标准，在技术上是h 2 6 1 的改 进和扩充，支持码率小于6 4 k b i t s 的应用。 在图象格式上，除了h 2 6 1 定义的c i f 和q c i f 外，还支持s u b q c i f ，4 c i f 和1 6 c i f ； h 2 6 3 采用半像素精度进行运动估计，取值范围为( 1 6 0 ，+ 1 5 5 ) ，运动矢 量是以差分预测的方式进行编码传输的，h 2 6 3 采用双线性内插获得预测值， 不具备环路滤波功能； 运动矢量采用二维预测与v c l 相结合的方式对预测值残差进行编码传输； d c t 系数采用三维编码表示( l a s t ，r u n ，l e v e l ) 4 个可选模式：非限制运动矢量模式、高级预测模式、p b 帧模式、和基于语 法的算术编码模式。 在此基础上，1 9 9 8 年i t u t 推出h 2 6 3 + ，即h 2 6 3 版本二，它提供了1 2 个新 的可选模式和其它特征，进一步提高了压缩编码性能。h 2 6 3 + 允许更多的源格式、图 象形状和时钟频率，拓宽了应用范围：它允许多显示率、多速率及多分辨率，增强了 视频信息在易误码、易丢包的异构网络环境下的传输；1 2 个可选模式不仅提高了编 码性能，而且增加了应用的灵活性。2 0 0 0 年i t u t 又推出了h 2 6 3 + + ，增加了一些 新的特征从而适应于各种网络环境，并增强差错回复能力。 m p e g 1 标准的码率为1 2 m b i t s 左右，可提供3 0 帧c i f ( 3 5 2 2 8 8 ) 质量的图 像，是为c d r o m 光盘的视频存储和播放所制定的。m p e g 1 标准视频编码部分的 基本算法与h 2 6 1 h 2 6 3 相似，也采用运动补偿的帧间预测、二维d c t 、v l c 游程 编码等措施。此外还引入了帧内帧( i ) 、预测帧( p ) 、双向预测帧( b ) 和直流帧( d ) 等概念，进一步提高了编码效率。 在m p e g 1 的基础上，m p e g 2 标准在提高图像分辨率、兼容数字电视等方面做 了一些改进，例如它的运动矢量的精度为半像素；在编码运算中( 如运动估计和d c t ) 北京邮电大学硕士论文 第1 章绪论 区分“帧”和“场”；引入了编码的可分级性技术，如空间可分级性、时间可分级性 和信噪比可分级性等。 近年推出的m p e g 4 标准引入了基于视听对象( a v o ：a u d i o v i s u a lo b j e c t ) 的 编码，大大提高了视频通信的交互能力和编码效率。m p e g 4 中还采用了一些新的技 术，如形状编码、自适应d c t 、任意形状视频对象编码等。但是m p e g 4 的基本视 频编码器还是属于和h 2 6 3 相似的一类混合编码器。 从压缩编码的发展史可见，h 2 6 1 建议是视频编码的经典之作，h 2 6 3 是其发展， 并将逐步在实际上取而代之，主要应用于通信方面，但h 2 6 3 众多的选项往往令使用 者无所适从。m p e g 系列标准从针对存储媒体的应用发展到适应传输媒体的应用，其 核心视频编码的基本框架是和h 2 6 1 一致的，其中引人注目的m p e g 4 的“基于对象 的编码”部分由于尚有技术障碍，目前还难以普遍应用。而在此基础上发展起来的新 的视频编码建议h 2 6 4 克服了两者的弱点，在混合编码的框架下引入了新的编码方 式，提高了编码效率，面向实际应用。同时，它是两大国际标准化组织共同制定的， 其应用前景是不言而喻的。 1 3 本论文工作内容 本论文的目的是在p n x l 5 0 0d s p 使用t s s a 软件结构设计h 2 6 4 编码器系统， 该系统能将通过摄像机采集的模拟视频信号编码为符合h 2 6 4 标准的视频码流，并将 其保存到本地硬盘驱动器上，该h 2 6 4 文件可使用任何标准的解码程序进行解码输出 并显示。本论文通过对视频压缩编码理论的学习，对h 2 6 4 视频压缩编码标准的分析， 对n e x p e r i at s s a 软件体系结构以及对本论文涉及到的p n x l 5 0 0 开发板的硬件的研 究，完成了整体系统的设计，并成功的在p n x l 5 0 0 开发板上运行，取得了本论文预 期的效果。 4 一 爿 一 、_ - 一 北京邮电入学硕士论文 第2 章视频压缩编码的基本理论 第2 章视频压缩编码的基本理论 2 1 压缩的信息论基础 图像信号数字化之后，具有相当大的数据量。为了提高信道利用率和在有限的信 道容量下传输更多的图像信息，必须对图像数据进行压缩。 仙农信息论是图像数据压缩的理论基础，它给出了数据压缩的理论极限，和数据 压缩的技术途径。以下是信息论中的一些基本概念和理论。 信息量：假设一个信息源所产生的符号序列中的符号取自一个有限符号集，符号 集中的符号s 。发生的概率为e ( s f ) ，则其所携带的信息量，为： ，= 】o g 。( 1 p ) = 一l o g ：( p ) 式( 2 1 ) 熵( 平均信息量) ：离散无记忆信源中一个符号所携带的平均信息量h 定义为 = 一p ( s ，) l 。g 。 p ( sj ) 】 式( 2 - 2 ) 仙农信息论已经证明，熵是离散无记忆信源进行无失真编码的极限，即对离散无 记忆信源进行编码时所能得到的平均码长的最小值不会低于h 信息熵的大小与信源的概率模型具有密切关系。当m 个信源符号出现概率相等 时，即e ( s ，) = i m 时，其熵为最大h = l o g2 m 。信源压缩编码的目的之一就是在一 定信源概率分布条件下，尽可能使编码平均码长接近信源的熵，减少冗余。 如果信源不是离散无记忆的，前后出现的信源符号具有一定的相关性。 互信息量i ( x ，y ) ：假定信源符号x 出现的概率为e ( x ) ，而信源符号y 出现后又出 现符号x 的条件概率为p ( x y ) ，则互信息量 i ( x , y ) = l 。g ：! = 。叁专姜号尘，( x ) 式( 2 3 ) 联合熵：( x ，y ) ：一兰兰尸( x i , y j ) 1 0g ：尸( x i , y j ) 式( 2 4 ) 条件熵：日( xy ) = 一再丢p ( x ，y ) l 。g ：p ( x ，iy j ) 式( 2 5 ) = h ( x ，y ) 一h ( y ) 二者的关系为：( x ，y ) ：( xy ) + ( y ) 式( 2 6 ) 当x 和y 相互独立时，y 的出现丝毫不能减小x 的不肯定性。此时联合熵变为两 个独立熵之和，从而达到它的最大值：h 嘲( x ，y ) = h ( x ) + h ( y ) 。以。( x ，j ，) 与( x ，j ，) 之差反映了此联合信源所含有的冗余。两符号间的相关性越大，冗余也越大，因此数 据压缩的基本途径之一就是去除联合信源中各符号间的相关性。 北京邮电大学硕士论文第2 章视频压缩编码的基本理论 信息论中的率失真理论阐明了失真度与信道容量之间的关系，为限失真编码奠定 了理论基础。在传输中使信号的失真度小于或等于某一值d 所必须的信道容量的最小 值r ( d ) 称为率失真函数。率失真函数定义了在给定失真度量条件下，信源编码所能 达到的比特率下限。率失真函数r ( d ) 和失真的度量标准与信源的统计特性有着密切 的关系。在图像处理与图像编码技术中，通常用均方误差作为图像失真的度量标准。 根据信息论的结论，在假设图像信源是正态分布的条件下，率失真函数为 邶) = m a x ( 0 , j 1l 0 9 2 鲁( 2 - 7 ) 其中：d 为允许的均方误差失真，仃2 为信号的方差。该式表明：所需传输信号的方 差越小、允许的失真越大，所需传输的比特率越低。可以证明：如果图像信号为非正 态分布的，则r ( d ) 的数值只会比上式中得到的数值更低。因此上式在给定信号功率 和允许失真度的条件下，它给出了信源编码至少可以达到的比特率下限。 由率失真理论可以看出，在给定信号允许失真度的条件下，为了减少图像传输的 比特率，应尽量减小传输信号的方差。图像压缩编码中所用到的图像预测编码和图像 变换编码，正是根据这一理论对原始图像进行适当处理，使处理后图像信号的方差减 小，最终达到压缩编码的目的。 2 2 无失真图像压缩编码 信源冗余来自信源本身的相关性和信源概率分布的不均匀性，无失真图像压缩编 码的基本原理就是去除图像信源在空间和时间上的相关性，去除图像信源像素值的概 率分布不均匀性，使编码后的图像数据接近其信息熵而不产生失真。 无失真图像压缩编码的理论基础是仙农无失真编码定理，即在无干扰的情况下， 存在一种无失真的编码方法，使编码的平均长度三与信源的熵日( s ) 任意地接近，即 l = 日( s ) + p ，其中e 为任意小的正数，三以日( s ) 为其下限。 无失真图像压缩编码的方法主要有：基于图像概率分布特性的h u f f m a n 编码、算 术编码和基于图像相关性的游程编码。 1 h u f f m a n 编码 h u f f m a n 编码是根据可变长度最佳编码定理，应用h u f f r n a n 算法而得到的一种编 码方法。对于给定的符号集和概率模型，霍夫曼码在所有整数码中具有最短的平均码 长，它是一种最优码。变字长编码的最佳编码定理：在变字长编码中，对于出现概率 大的信息符号用短字长的码表示，对于概率小的符号用长字长的码表示。如果码字长 度严格按所对应符号出现概率大小逆顺序排列，则平均码字长度一定小于其它任何符 号顺序排列方式。 霍夫曼编码特点： 北京邮电大学硕士论文 第2 章视频压缩编码的基本理论 f a ) h u f f m a n 算法是确定的，但编出的码不是唯一的。 f b ) h u f f m a n 算法构成的码是非歧义的。 ( c ) 由于h u f f m a n 编码的依据是信源符号的概率分布，故其结果取决于信源的统计 特性。 2 算术编码 算术编码是另一种利用信源概率分布特性、能够趋近熵极限的编码方法。它也是 对出现概率大的符号采用短码，对出现概率小的符号采用长码，但其编码原理与 h u f f m a n 编码却不相同，而且在信源概率分布比较均匀的情况下其编码效率高于 h u f f m a n 编码。它和h u f f m a n 编码的最大区别在于它不使用整数码。 算术编码特点： ( a ) 后续符号的编码有可能因为进位而引起已编好的码字串的改变； ( b ) l 主l 于算术编码中，对累计概率为0 的符号编码时不增加已编好的码字串的长 度，因此算术编码时只要将出现概率最大的符号置于累计概率为0 的位置，便可大大 降低码字串长度； ( c ) 算术编码中，随着概率子空间的不断划分，用来表示它的数字位数越来越长， 而且完成算术编码和解码需进行乘法和除法运算，因此实现该算法的难度和复杂度较 高。 算术编码虽然可以在一定程度上减少数据量，但实现复杂，因而在实际的系统中， 更多的还是用霍夫曼编码。 3 游程编码 游程编码的方法就是在某个特定方向上将图像样本值相同的若干像素用一个游 程长度和一个样本值来表示。如：沿水平扫描线上的一串m 个像素具有相同的灰度值 n ，则用( m ，? ) 表示即可。游程编码只是改变了信息的表示方式，不会产生失真。 2 3 限失真图像压缩编码 在大部分情况下无失真压缩方法获得的压缩比为2 ：1 5 ：1 。有损压缩方法利用人 眼对图像中的某些频率成分不敏感的特性，允许压缩过程中损失一定的信息，虽然不 能完全恢复原始数据，却换来了大得多的压缩比，而且所损失的部分对理解原始图像 的影响较小，图像的主观质量下降不明显。限失真压缩编码的理论基础是率失真定理。 限失真编码最常用的两种编码方法是：预测编码和变换编码。 2 3 1 预测编码 对于绝大多数图像来说，在局部空间和时间上是高度相关的，因而可以在已得到 像素的基础上通过对当前像素的预测来减少图像的数据量。可利用x ，x ，1 ，一，x i _ m 来 北京邮电大学硕士论文 第2 章视频压缩编码的基本理论 预测一的值，且预测值曼，可能比较接近于一，因而它们的差值以的方差仃2 以比原始图 像序列的方差c t 以2 小。因此，传输它们的差值就可用较少的比特数。图像的相关性越 大、预测值越接近实际值，预测编码所压缩的数据量也越大。 图2 - l预测编码原理框图 图2 1 中发送端量化器处于预测环路内，预测器利用z ；圳x i _ 1 ，一，z ；一对x ，进行预 测，得到预测值曼，。量化器对差值谚进行量化得到d ；，而口r ；由编码器编成二进制码 发送。收端解码时的预测过程和发端相同，可恢复石；，它是输入信号x ，的近似值。工j 和x ：之间的差别是由发端量化器造成的。对喀量化的越粗糙，压缩比越高，所引起 的失真也越大。发端之所以将量化器处于预测环路内，是为了保持收发端的一致性， 使得量化误差被反馈回环路，从而使得残存的量化误差最小。 预测是预测编码系统的核心，预测器可以是线性的，也可是非线性的；可以是固 定的，也可以是随图像特性自适应变化的。 在预测编码中，量化的对象是预测误差d ，其概率分布特性如图2 - 2 所示。 。 预测误差 u 图2 - 2 预测误差分布特性 针对预测误差的特点和人旦艮视觉特性，在图像预测编码中往往采用非均匀量化 器，即在预测误差绝对值小的部分量化的较精细，而在绝对值较大的部分量化的较粗 糙。由于预测误差分布于零值附近，绝对值小的部分出现的概率大、绝对值较大的部 分出现的概率小，因而采用非均匀量化从统计平均的意义上可以得到较小的平均量化 误差。 在预测编码系统中，预测误差的量化是造成图像质量下降的主要原因，其表现形 式有过载噪声和颗粒噪声。过载噪声是出现在图像灰度急剧变化的边界，表现为图像 北京邮电大学硕士论文 第2 章视频压缩编码的基本理论 轮廓变模糊。颗粒噪声是出现在图像灰度缓变区，表现为图像在平坦区出现颗粒状的 细斑。 2 3 2 变换编码 图像传输时不直接传送图像在时间、空间中某种物理量的表达，而是传送它的某 种变换系数，接收端收到变换系数后，再进行反变换恢复原图像，这种对变换域系数 进行编码传输的方式称为变换编码。变换编码也是利用去除信源序列的相关性来达到 数据压缩的目的。不同的是，预测编码是在空间、时间域进行，而变换编码是在变换 域进行。 图2 3变换编码系统原理框图 图2 3 为变换编码系统的原理图，变换编码通常要经过图像分块、对图像子块变 换、量化等过程，变换编码是一种限失真编码。变换和编码不会引入误差，但量化会 引入量化误差，而且在量化之前还有样本选择的过程。因此接收端所恢复的f ( “，v ) 相 对于f ( u ，v ) ，恢复图像厂7 ( ，k ) 相对于f ( j ，k ) 是有一定失真的。 绝大部分图像信号经过正交变换从空间域变换到频率域后，变换系数之间的相关 性大大降低，能量主要集中在低频部分。变换编码的基本思路就是利用上述特点，在 编码时略去某些能量很小的高频分量，或在量化编码时对方差较小的分量分配以较少 的比特数，以降低码率。变换编码的性能取决于子图像的大小、正交变换的类型和量 化。 在变换编码系统中，考虑到矩阵变换所需的计算量、系统所需的存储容量和系统 延时、变换编码的性能和传输时误码的影响等因素，一般将图像分成若干小的子图像 进行处理。子图像尺寸越大，压缩性能越好，但由于传输误码所造成的图像损伤范围 越大。一般子图像尺寸选为8 8 或1 6 1 6 。 从均方误差最小和主观图像质量两个观点来看，最好的变换类型是离散k l 变 换。但由于离散k l 变换的基核向量不是固定的，一般没有快速算法，只宜于作理 论分析和试验。离散余弦变换d c t 的性能k l 变换最为接近，而且具有多种快速算 法，因而成为图像压缩编码中被广泛应用的正交变换。经过d c t 变换后，系数矩阵 能量集中在直流和低频区；系数基本不相关。 在量化之前，要对d c t 系数进行样本选择。原则上，应保留能量集中、方差大 北京邮电大学硕士论文第2 章视频压缩编码的基本理论 的变换系数予以编码传输。在选定了要编码传输的系数后，需要对其量化，量化方法 可以采用非均匀量化，使量化造成的总均方误差最小。 变换编码中对变换域系数的量化是造成图像质量下降的主要原因，变换编码中图 像质量下降的主要表现形式是块效应，即在图像块的边缘产生较易为人眼所察觉的误 差。 2 4 图像编码中的运动补偿技术 图像编码中的运动补偿技术其实是属于预测编码的。它消除活动序列图像在时间 上的冗余度，是图像压缩编码的一种重要途径，对活动序列图像的压缩编码一般采用 具有运动补偿的帧间预测。具有运动补偿的帧间预测器功能框图见图2 - 4 。 它传送本帧像素x 和前一帧对应像素x 之间的差值，因此是帧间预测。但它并不 只是简单的帧间预测，这种预测把图像分为运动部分和静止部分，对于运动部分，考 虑其位移后的值作为本帧的预测值，这样预测准确率更高，可达到更高的数据压缩率。 因此称为具有运动补偿的帧间预测。 地址 矢量 图2 - 4 具有运动补偿的帧间预测器功能框图 运动估值的方法分为两类：块匹配法和递归法。像素递归法需要将图像分割为静 止的背景和若干运动的物体；块匹配法只对图像进行简单的按块分割，并假定子块内 的所有像素位移相同。在具有运动补偿的帧间预测编码系统中，经常采用块匹配法。 从软硬件实现角度看，块匹配算法相对简单。在实际活动图像压缩编码系统中徨到较 为普遍的应用。因此这里重点介绍块匹配法的相关内容。 2 4 1 块匹配法： 将图像划分为许多子块，认为子块内所有像素的位移量是相同的。对于某一时间 t ，图像帧k 牛的某一子块如果在另一时间t - t l 的帧k - 1 中可以找到若干与其十分相似 的子块，则称其中最为相似的子块为匹配块，并认为该匹配块是帧k - ! 中相应子块位 北京邮t 乜人学硕：l ：论文 第2 章视频压缩编码的基本理论 移的结果。位移矢量由两帧中相应子块的坐标决定。 图2 - 5 块匹配算法原理 考虑到一定时间间隔内物体可能的运动速度、运动范围和匹配搜索所需的计算 量，在匹配搜索时一般仅在一个有限范围内进行。假设m 、为子块的水平和垂直像 素数，子块在给定时间间隔内最大可能的水平和垂直位移为d 。和d ，个像素，则搜索 范围s r 为 s r = ( m + 2 d 。) ( + 2 d 。) 式( 2 8 ) 判断两个子块相似程度的准则有两子块间归一化的二维互相关函数、两子块间亮 度的均方差m s e 、两子块间亮度差绝对值的均值m a d 等。各种判别准则对位移矢 量的估值精度影响差别不是很大，由于m a d 准则的计算不含有乘法和除法运算而成 为最常使用的匹配判别准则。m a d 准则定义如下： m a d ( ”) 2 亩荟孙，j ) - x k _ 1 ( + v ) | 式( 2 - 9 ) 一d h d ，一d ，v d ， 其中x 。和x 分别表示图像在第k 帧和第k 一1 帧的像素值。当m a d 最小时，表 示两个子块匹配。在应用中更多的使用m a d 的变化形式s a d 最小作为判断准则。 黝d ( 办，v ) 2 荟丢i x k ( l j ) - - x k _ 1 ( f + 办，j + v ) i式( 2 1 0 ) 一d h d ，一d ，v d ， 2 4 2 匹配搜索算法 匹配搜索算法主要有以下两种方式。 1 全搜索法：将第k 1 帧中的子块在整个搜索区内逐个像素移动，每移动一次 计算一次判决函数。总的移动次数为( 2 d 。+ 1 ) ( 2 d ，+ 1 ) 。全搜索法简单、直接，但 北京邮电大学硕士论文第2 章视频压缩编码的基本理论 运算量相当大，不能实时应用。 2 不完全搜索：只对搜索范围内的局部像素点进行搜索。也有两种不同的搜索 方法：一种是分级的搜索，先采用比较小的分辨率，确定运动矢量搜索的范围，再逐 渐增加分辨率，确定运动矢量的更准确的位置，但这种方法实际上是简化了的全搜索， 如三步法分三步来逐步缩小搜索范围找到最佳匹配位置；另外一种是局部搜索，先确 定搜索的起始点，沿着起始点，向周围像素搜索，如果满足一定条件时就停止搜索。 现行的图像编码标准均采用了运动补偿的预测编码和基于d c t 的混合编码的图 像压缩算法。采