（控制理论与控制工程专业论文）基于smp8654的mkv播放器设计与实现.pdf

摘要 摘要 随着微电子技术，数字信号处理技术和多媒体技术的进步，数字视频的分辨 率和清晰度逐渐提高，开始由标准清晰度进化到高清晰度。伴随着等离子、液晶 等新一代显示技术的发展，高清影片开始进入到广大消费者的视野，成为视频和 影片的主流。但是传统的家庭娱乐终端，比如v c d 、d v d 等，由于视频质量较 低，已经不能满足消费者的需求。新一代的家庭娱乐终端中蓝光播放机和h t p c 由于片源稀少、功耗较大和操作复杂等原因，不太适合国内的产业环境。高清播 放机逐渐的成为高清播放解决方案的主流选择。 高清影片的流行和高清播放机的普及使得m k v 封装格式也逐渐为消费者所 熟悉。m k v 是由开源组织m a t r o s k a 制定的一种多媒体封装格式。相对于传统的 容器封装格式，m k v 格式支持几乎所有的音视频编码格式，支持多路音频和多 路字幕，十分适合应用于高清影片，目前已经成为互联网上高清影片的主流封装 格式。然而，作为一种近几年出现的丌源封装格式，m k v 应用不够广泛，缺乏 商业公司的推动，导致很多平台对m k v 文件格式不能提供很好的支持。在资源 受限的嵌入式平台上，这个问题尤其严重，大部分高清播放机不能原生支持 m k v ，而m k v 封装格式已经成为高清影片采用的主要封装格式之一，能够支 持m k v 是衡量高清播放机性能的一个重要指标。本文基于s m p 8 6 5 4 芯片，搭 建了一个高清播放平台，在此基础上，设计和开发了一个m k v 播放器，能够支 持对高清m k v 文件的流畅播放。 本文的主要内容如下： 1 基于s m p 8 6 5 4 芯片搭建了一个完整的嵌入式高清播放丌发平台。该平台 性能优异，解码能力强大，能够支持常见的多媒体压缩格式解码，并且 支持多种音视频输出格式。 2 设计和实现了一个m k v 播放器。该播放器能够流畅播放1 0 8 0 i p 的高清 m k v 影片文件，支持m p e g 2 ，m p e g 4 ，h 2 6 4 等编码格式。 3 针对高清影片码流大，解码复杂度高，嵌入式平台资源受限等特点做了 专门优化处理。设计中使用了动态缓冲区技术，在音视频同步方面也做 了改进，优化了内存使用，消除了高码率视频播放时的“卡顿”现象。 4 播放器设计之初就考虑了可扩展性，采用了开放式的软件架构，能够方 便的增加对其它多媒体封装格式的支持。 m k v 播放器已经集成到实际的产品中，并丌始投入市场。经过测试阶段用 户的反馈，播放m k v 文件时运行稳定可靠，画面流畅。视频为h 2 6 4 、v c 1 摘要 等格式播放时均没有出现卡顿，基本达到了设计目标。开放式的框架也在后续开 发中证明了其设计的优异性。 关键词：m k v ，多媒体封装，s m p 8 6 5 4 ，播放器，嵌入式系统 a b s t r a c t a b s t r a c t w i t ht h ep r o g r e s so fm i c r o e l e c t r o n i c s ，t h et e c h n o l o g yo f d i g i t a ls i g n a lp r o c e s s i n g a n dm u l t i m e d i a , t h er e s o l u t i o nr a t i oa n dd e f i n i t i o no fd i g i t a lv i d e oh a v e b e e n i m p r o v e dg r e a t l y a tt h es a m et i m e ，w i t ht h ed e v e l o p m e n to fp d pa n dl c d ，t h eh d m o v i e sh a v eb e e nk n o w nt oc o n s u m e r s b u tt h et r a d i t i o n a lh o m ee n t e r t a i n m e n t t e r m i n a l ss u c ha sv c d 、d v dc a nn o ts a t i s f i e dt h en e e d so fa l lc o n s b m e r sb e c a u s eo f v i d e oq u a l i t y t h eb l u - r a y p l a y e ra n dh t p cc o u l dn o tr e p l a c et h ev c da n dd v d b e c a u s eo ft h el a c ko fm o v i e sa n dp e r p l e x i n go p e r a t i o n s t h eh dm u l t i m e d i ap l a y e r w i l lb et h em a i n s t r e a mc h o i c ef o rc o n s u m e r sg r a d u a l l y m k vf o r m a ti sf a m i l i a rt oc o n s u m e r sa l o n gw i t ht h ep o p u l a ro fh dm u l t i m e d i a p l a y e r m k vi sak i n do fm u l t i m e d i ac o n t a i n e rf o r m a tf o r m u l a t e db yo p e ns o u r c e g r o u p c o m p a r e dt ot r a d i t i o n a lm u l t i m e d i ac o n t a i n e rf o r m a t ，m k vf o r m a ts u p p o r t s a l m o s ta l lt h ev i d e of o r m a ta n da u d i of o r m a t ，a n da l s os u p p o r t sm u l t i w a ya u d i oa n d m u l t i - w a ys u b t i t l e i ti ss u i t a b l ef o rh dm o v i e sb e c a u s eo fi t sm a n ya d v a n t a g e s h o w e v e r , a sa no p e ns o u r c ef o r m a t m k vh a sn o tb e e nu s e dw i d e l y i tc a nn o tg e t s u p p o r tf r o mc o m m e r c i a lc o m p a n y , s ot h e r ei sn o tac o m p l e t e da n de f f i c i e n tp l a y e r f o rm k v t h ep r o b l e mi se s p e c i a l l ys e r i o u si ne m b e d d e dp l a t f o r m m o s th d p l a y e r s c a nn o ts u p p l yn a t i v es u p p o r tf o rm k vf o r m a t i nt h i sp a p e rw e s e tu pa ne m b e d d e d p l a t f o r mb a s e ds m p 8 6 5 4 ，a n dt h e nd e s i g na n dd e v e l o pa l lm k vp l a y e r t h ep l a y e r c a np l a ym k vf i l e ss m o o t h l y t h e p l a y e rc a np l a ym k v f i l e ss m o o t h l y t h em a j o rc o n t e n t so ft h ep a p e ra r el i s t e da sf o l l o w s ： 1 b u i l dac o m p l e t e de m b e d d e dd e v e l o p m e n tp l a t f o r mf o rh dm o v i e sb a s e d s m p 8 6 5 4 t h ep l a t f o r mc a l ld e c o d em a n yc o m p r e s s i o nf o r m a t sw i t hg o o d p e r f o r m a n c e ，a n ds u p p o r tk i n d so fo u t p u tf o r m a t s 2 d e s i g na n di m p l e m e n tam k vp l a y e r t h ep l a y e rc a np l a y 10 8 0 i ph d m o v i e ss m o o t h l y , a n ds u p p o r t sm p e g 一2 ，m p e g 4 ，h 2 6 4a n ds oo n 3 d os o m es p e c i a l o p t i m i z a t i o n sf o rh i g hb i tr a t eo fh dm o v i e s ，h i g h d e c o d i n gc o m p l e x i t ya n dt h ep l a t f o r mo fr e s o u r c e c o n s t r a i n e d i nt h ed e s i g n w eu s ed y n a m i cb u f f e rt or e d u c et h er e q u i r e m e n to fm e m o r y w ea l s o o p t i m i z et h es y n c h r o n i z a t i o nf o ra u d i oa n dv i d e ot oi m p r o v et h ef l u e n c yo f v i d e o 4 a tt h eb e g i n n i n go ft h ed e s i g n w eh a v ec o n s i d e r e dt h es c a l a b i l i t yo ft h e a b s t r a c t p l a y e r t h es o f t w a r ea r c h i t e c t u r eo ft h ep l a y e ri so p e na n de x t e n s i b l e i t c o u l da d dn e w s u p p o r tf o ro t h e rm u l t i m e d i af o r m a t se a s i l y t h em k v p l a y e rh a sb e e ni n t e g r a t e di n t op h y s i c a lp r o d u c t b yt h ec o n s u m e r s f e e d b a c k ，t h ep l a y e rc a np l a ym k vf i l e sr e l i a b l ya n ds m o o t h l y , a n da c h i e v e st h e d e s i g na i m t h eo p e ns o f t w a r ea r c h i t e c t u r ea l s od e m o n s t r a t o r st h ee x c e l l e n c eo f d e s i g n k e yw o r d s ：m k v , m u l t i m e d i ac o n t a i n e r , s m p 8 6 5 4 ，p l a y e r ，e m b e d d e ds y s t e m i v 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰写 过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了明确 的说明。 作者签名：绋 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学拥 有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构送交 论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入有关数据 库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。本人 提交的电子文档的内容和纸质论文的内容相一致。 保密的学位论文在解密后也遵守此规定。 d ，从开口保密( 年) 作者签名：熟宜盆 导师签名：由熠色 导师签名：盈鲨垦 签字日期：翘里：三! 堇f签字日期：垒坠：墨2 第i 章绪论 第1 章绪论 1 1 论文研究背景及研究意义 随着微电子技术、数字信号处理技术和多媒体技术的进步，数字视频的分辨 率和清晰度逐渐提高，开始由s t a n dd e f i n e d ( 标准清晰度) 向h i g hd e f i n e d ( 高 清晰度) 演变( 么刚等，2 0 0 9 ) 。伴随着大屏幕液晶显示技术的发展，传统的v c d 、 d v d 视频质量较低，最高也只能达到4 8 0 p ，不能满足消费者的需求，高清影片 开始进入到广大消费者的视野，逐渐代替传统的标准清晰度的影片，成为视频和 影片的主流。高清影片的采集、制作和传输，都全部采用数字化，分辨率可达 1 9 2 0 1 0 8 0 ，帧率高达6 0 f p s ，能够带来极高的清晰度。除此之外，高清影片的 屏幕宽高比也由原先的4 ：3 变成了1 6 ：9 ，同时在声音系统上，高清影片一般支持 d t s 、t r u e h d 等，支持杜比5 1 声道传送，带给人h i f i 级别的听觉享受，配合 使用大屏幕显示则有亲临影院的感觉。 高清影片的码流相对较大，为了能尽量压缩体积，所采用的压缩算法复杂度 也比较高，这要求c p u 具有相当高的计算能力以用于解码。目前高清播放可供 选择的解决方案并不多，目前国内高清影片的播放主要有三种解决方案：蓝光播 放机、h t p c 和高清播放机。 1 ) 蓝光d v d 播放机 2 0 0 8 年2 月1 6 同，东芝h d d v d 规格正式宣存退出下一带高清光盘格式市 场的竞争，标志着次时代d v d 规格之战正式宣布结束。同本索尼公司主导的蓝 光( b d d v d ) 正式成为下一带高清光盘格式标准。蓝光d v d 机已经进入市场 数年，在国内也算是刚刚兴起的一个产业。蓝光( b l u r a y ) 或称蓝光盘( b l u r a y d i s c ，缩写为b d ) 利用波长较短( 4 0 5 n m ) 的蓝色激光读取和写入数据，并因 此而得名，蓝光光盘单碟容量可以达到2 5 g ，远远超出普通d v d 的4 7 g ，足以 容纳一部高清影片。然而，蓝光播放机价格昂贵，难以像d v d 那样普及丌来。 此外，国内蓝光片源极为匮乏，蓝光碟片也价格不菲，超出了普通人的消费能力。 2 ) h t p c h t p c ( h o m et h e a t e rp e r s o n a lc o m p u t e r ) 是以计算机担当信号源和控制的家 庭影院。通俗来说，也就是一部预装了各种多媒体解码播放软件，可用来对应播 放各种影音媒体，并具有各种接口，可与多种显示设备如电视机、投影机、等离 子显示器、音频解码器、音频放大器等音频数字设备连接使用的个人电脑。 h t p c 具有功能强大，解码库多，软件支持支持好等优点，此外，由于h t p c 第1 章绪论 本身就是一台高性能电脑，除了看高清影片，还可以游戏等。h t p c 的弱点在于 一是功耗太大，由于采用高清能显卡，功耗高达数百瓦；二是h t p c 通常采用 w i n d o w s 系统，安全性较差，容易染毒；三是是在操作上相对麻烦，与传统播放 机操作上差异较大，成本也不具优势，不适于普通家庭的应用，因此并非高清播 放的最佳的选择方式。 3 ) 高清播放机 规范的名称是硬盘式高清播放机，是可以播放硬盘或其它存储介质内的高清 视频文件的机器，简称高清播放机。高清播放器其实就是一台具有解码播放高清 视频文件功能的微型电脑，它采用具有硬解码高清影片能力的专用处理芯片及嵌 入式操作系统，能够支持市面上大多数高清编码格式和封装格式的影片和视频播 放。高清播放机几乎可以支持目前市面上所有的视频格式和编码格式，具有功能 强大，可升级，操作便利，功耗低等优点。高清播放机外观和操作都类似于传统 的d v d 播放机，十分方便用户熟悉使用。 高清播放机在解码能力、音视频格式支持、操作等方面相比其它两种方式有 着显著的优势，并且价格相对低廉，产品众多，对于消费者而言，选择的余地很 大。高清播放机将逐步替代v c d 、d v d 等传统播放器，成为下一代家庭影音娱 乐终端的主流产品。 高清播放机本质上是一个嵌入式系统，核心工作由c p u 来完成。目前有很 多厂商提供了可以硬解高清的嵌入式解决方案，有s i g m ad e s i g n s 、瑞昱 ( r e a l t e k ) 、意法半导体( s t ) 等公司。相比较而言，s i g m ad e s i g n s 公司的解 决方案无论为支持次时代、1 0 8 0 i p 和解码能力方面，都处于领先地位。s i g m a d e s i g n s 公司可以说是高清播放器市场的霸主，其它公司的产品主要应用在机顶 盒、低端播放机等方面。目前国内市面上的高清播放机主流是采用s i g m ad e s i g n s 公司的e m 8 6 2 0 和s m p 8 6 3 0 系列，采用最新一代s m p 8 6 5 0 系列的高清播放机尚 未大规模问世。 s i g m ad e s i g n s 公司为方便下游厂商进行产品开发，提供了一套完整的解决 方案，主要由针对底层播放的m r u a 丌发库和针对上层显示控制的c u r a c a o 开 发库组成，特别是m r u a 库，提供了对常见的音视频格式的近乎完美支持，并 且保持了s i g m ad e s i g n s 平台上的延续性，可以在e m 8 6 2 0 、s m p 8 6 3 0 、s m p 8 6 5 0 系列平台上使用? s i g m ad e s i g n s 公司的产品提供了强大的解码性能，几乎能完 全解码m p e g 1 、m p e g 2 、m p e g 4 、h 2 6 4 、v c 1 、a c 3 、a a c 和d t s 等常 见的音视频编码格式。然而，s i g m ad e s i g n s 的解决方案对各种封装格式的支持 却不完善，只支持a v i 、m p 4 和t s 流等传统格式，对m k v 、f l v 、o g g 等近 几年出现的新多媒体封装格式并不支持。 2 第1 章绪论 多媒体封装格式也称多媒体容器( m u l t i m e d i ac o n t a i n e r ) ，它不同于h 2 6 4 、 m p e g 2 、m p e g - 4 这类编码格式，它只是为多媒体编码提供了一个“外壳 ， 本身不涉及编码( 维基百科) 。封装格式不同于压缩格式，通常他并不涉及新的 压缩算法或者压缩标准，只是在现有的基础上提出了一个适用于新的应用的封装 形式。一部影片通常包含一路视频和多路音频、多路字幕，将一种封装格式转换 为另一种并不涉及编码，只是重新排列组合音视频，以达到更好的效果，或者特 定于某种情况下应用。 a v i 格式出现比较早的一种多媒体封装格式。a v i 是m i c r o s o f t 公司于1 9 9 2 年推出一种封装格式，随w i n d o w s 3 1 一起被人们所认识和熟知，并广泛应用与 微软后续操作系统平台中。a v i 全称a u d i ov i d e oi n t e r a c t i v e ，就是把视频流、音 频流、控制和索引等信息交织存储在文件中。这种视频格式的优点是图像质量好， 可以跨多个平台使用，是目前视频文件的主流。这种格式的文件随处可见，比如 一些游戏、教育软件的片头，多媒体光盘中，都会有不少的a v i 。a v i 所采用 的压缩算法并无统一的标准。也就是说，同样是以a v i 为后缀的视频文件，其 采用的压缩算法可能不同，需要相应的解压软件才能识别和回放该a v i 文件。 视频编码格式的主流是m p e g 2 ，不过除了微软公司之外，其它公司也推出过自 己的压缩算法，只要把该算法的驱动( c o d e c ) 加到w i n d o w s 系统中，就可以播 放用该算法压缩的a v i 文件。最新流行的m p e g 4 视频也借用a v i 的名称，只 要机器安装了它的编码解码，也能够实现正常的播放。这些a v i 都能够在用 a u t h o r w a r e 或p o w e r p i o n t 开发的作品当中正常放映。各种编码c o d e c 所生成的 a v i 文件的大小和质量是不同的，对系统和硬件要求也不同。 a v i 格式上限制比较多，只能有一个视频轨道和一个音频轨道，还可以有一 些附加轨道，如字幕、章节等。a v i 格式不提供任何控制功能。总体而言，以 a v i 为代表的传统容器封装格式结构陈旧，只能包含少数几种音视频格式，并且 不够开放，可扩展性差。正因为如此，才促成了m a t r o s k a 这类新的多媒体封装 格式的诞生。 m k v 全称为m a t r o s k av i d e o ，是一种新的多媒体封装格式。m k v 是由丌源 组织m a t r o s k ad e v e l o p m e n tt e a m 制定的一个标准，总共包括三部分：m k v ( m a t r o s k av i d e o ) 、m k a ( m a t r o s k aa u d i o ) 和m k s ( m a t r o s k as u b t i t l e s ) ，后 两种格式分别针对音频和字幕，应用较少。 m a t r o s k a 的目标就是要取代旧式的多媒体封装格式，其中最主要的目标就是 a v i 。a v i 已经诞生十几年了，目前它依然还保持着旺盛的生命力，但其原始架 构过于陈旧，这使得它在支持新的音视频编码上非常困难，在非微软平台使用也 不够方便。而m a t r o s k a 使用的是一种开放的架构，拥有众多的先进特性，并且 第1 章绪论 能跨平台使用，这是a v i 所望尘莫及的。 m k v 相对于传统的容器封装格式，有如下优点：支持可变帧率( v f r ) ，支 持错误检测以及修复软字幕，支持流式传输，强大的开放性和跨平台兼容性，支 持1 6 路以上的音频流和字幕流等。m a t r o s k a 最大的特点是能容纳几乎所有类型 的视频、音频及字幕流，除h 2 6 4 以外，也可包括m p e g 2 、m p e g 4 、a c 3 、 a a c 等其它视频和音频格式，即使是非常封闭的r e a lm e d i a 及q u i c k t i m e 也被 它包括进去了，并将它们的音视频进行了重新组织来达到更好的效果( a l e x a n d e r n o e ，2 0 0 5 ) 。 由于m k v 封装格式本身具有众多优点，随着高清影片的流行，借助于互联 网的普及m k v 格式得到了广泛的应用，网络上越来越多的高清影片采用m k v 格式封装。然而，m k v 是一个由开源组织制定和推广的标准，缺乏大商业公司 的支持，导致m k v 文件的播放缺乏一个完整和有效的设计实现，在性能和资源 受限的嵌入式平台上，这个问题尤为严重。目前相对较好的分离器主要是h a a l i ， 但是这个主要是针对p c 平台的，并不是适合应在嵌入式系统上。s i g m ad e s i g n s 公司的各系列平台，从a r m 架构的e m 8 6 2 0 系列和m i p s 架构的s m p 8 6 3 0 系列， 一直到最新一代的s m p 8 6 5 0 系列，都没有原生提供对m k v 格式的支持。虽然 目前有部分高清播放机都提供了对m k v 格式的支持，但是大部分实现方案都存 在支持不完善、播放效率比较低的问题，播放高码率的影片时会出现不流畅，画 面卡顿等问题，影响观看效果。特别是对h 2 6 4 和v c 1 编码的文件支持不够完 善，而这两种格式是高清影片采用的主流编码格式。 1 2 本文主要研究内容 针对目前的高清播放机对m k v 封装格式的影片支持存在的诸多问题，本文 提出了一种基于s m p 8 6 5 4 平台的m k v 播放器设计与实现方案。整个播放器设 计上借鉴了f f m p e g 开源播放器的架构，并做了一些适用于嵌入式硬件解码特性 的改进。在设计初始时就考虑到系统后续可能需要继续开发支持f l v 、o g g 等 其它格式，采用了模块化、框架化的开发方法，设计阶段就考虑了通用性和可扩 展性。播放器不仅仅是一个m k v 播放器，还是一个通用的播放框架，可以比较 方便的扩展对其它多媒体封装格式支持。 在性能上，考虑到嵌入式系统和高清解码的特点，做了一些针对性的优化， 并在一些关键技术的设计和实现上有了一定的创新和突破。针对播放器状态复杂 的特点，程序中应用了有限状态机，以实现对系统响应操作的高效处理。由于高 清影片码流比较大，播放中容易出现卡顿，为此程序中设计和使用了动念播放缓 4 第1 章绪论 冲区，有效的解决了播放卡顿问题。此外，在解析m k v 文件上，考虑到m k v 的组成特点，采用了层次化、模块化的解析方法，提高了的代码的可读性，并 定程度上提高了解析效率。 1 3 论文组织结构 本文共分为五章，各章的主要内容如下： 第一章：绪论。简要介绍了高清影片播放的三种解决方案，分析了几种方案 的优势和劣势，指出了高清播放解决方案的未来主流是高清播放机。接着介绍了 高清播放机中经常采用的m k v 多媒体封装格式，然后分析了目前的高清播放解 决方案对m k v 等新格式不支持等问题，说明了本论文的研究背景和意义。 第二章：多媒体压缩格式和封装格式。首先介绍了两大国际标准化组织制定 的m p e g 4 、h 2 6 4 、v c 1 等最新一代的视频编码标准的编码和性能方面的特点。 这些格式是高清影片的主流压缩格式。然后介绍和分析了高清影片通常采用的两 种封装格式：a v i 和m k v 。详细分析了a v i 和m k v 封装格式的规格标准和优 缺点，阐述了m k v 将代替a v i 的必然性。 第三章：播放器平台系统设计。通过分析一般播放器的软硬件系统组成进而 设计了m k v 播放器的总体组成结构。硬件方面论述了芯片选型的要求，介绍了 s i g m ad e s i g n s 公司的s m p 8 6 5 4 芯片的优势。软件方面介绍了嵌入式系统操作系 统选型和文件系统选型的过程，进而搭建起整个的播放器平台。最后介绍了开发 与调试环境的搭建。 第四章：m k v 播放器软件系统总体设计。首先介绍了播放器软件系统的设 计目标，分析了基于s m p 8 6 5 4 芯片的硬件解码实现的特点，然后借助于分析开 源播放器f f m p e g 的组成结构和框架，设计了适用于硬件解码的播放器框架，并 根据功能将系统分为若干个子模块。最后分析了m k v 播放器播放影片的流程和 各个模块的功能实现。 第五章：播放器关键技术设计与实现。本章介绍了播放器软件系统实现过程 中的有限状态机、m k v 解析、动态缓冲区等几个关键技术的设计与实现过程。 第六章：总结和展望。总结了论文所做的各项研究成果，对播放器的实际使 用情况作了探讨。最后分析了目前实现的不足和需要继续改进完善的地方，并对 未来的工作进行了展望。 5 第2 章多媒体压缩格式和封装格式 第2 章多媒体压缩格式和封装格式 多媒体压缩格式和多媒体封装格式是经常被混淆的两个概念，很容易被认为 是同一个东西，其实这两者之问没有必然的直接联系。多媒体压缩格式是指模拟 视频和音频信号经采样、量化和编码后存在的一种格式，高清影片常用的视频格 式有m p e g 2 、m p e g - 4 、h 2 6 4 、v c 1 等。多媒体封装格式是将已经编码压缩 好的视频轨和音频轨按照一定的格式放到一个文件中，封装格式仅仅是一个外壳 或者容器，本身不涉及具体的压缩算法。高清影片常用的封装格式有a v i 、m k v 等。 2 1 多媒体压缩格式 数字音视频技术广泛应用于通信、计算机、广播电视等领域，带来了会议电 视、可视电话及数字电视、媒体存储等一系列应用，促使了许多视频编码标准的 产生。i t u t 与i s o i e c 是制定视频编码标准的两大组织。i t u t 的中文名称是 国际电信联盟远程通信标准化组( i t u tf o rl t ut e l e c o m m u n i c a t i o n s t a n d a r d i z a t i o ns e c t o r ) ，它是国际电信联盟管理下的专门制定远程通信相关国际 标准的组织，该机构创建于1 9 9 3 年，前身是国际电报电话咨询委员会。i t u t 制定的多媒体压缩标准包括h 2 6 1 、h 2 6 3 、h 2 6 4 等，主要应用于实时视频通信 领域，如会议电视，网络视频等。i s o i e c 全称是囡际标准化组织( i s o ) 和国 际电工委员会( i e c ) ，其多媒体领域的标准由隶属于它的运动图像专家组 ( m o v i n gp i c t u r ee x p e l sg r o u p ) 制定。该组织成立于1 9 8 8 年，相继制定了 m p e g 1 、m p e g 2 、m p e g 一4 等一系列标准，主要应用于视频存储( d v d ) 、广 播电视、因特网或无线网上的流媒体传输等( 雷国平等，2 0 0 3 ) 。两个组织也共 同制定了一些标准，h 2 6 2 标准等同于m p e g 2 的视频编码标准，而最新的h 2 6 4 标准则被纳入m p e g 4 的第1 0 部分( m p e g 4p a r t l 0 ) 。 m p e g 压缩标准是针对运动图像而设计的、基本方法是在单位时问内采集并 保存第一帧信息，然后就只存储其余帧相对第一帧发生变化的部分，以达到压缩 的目的。m p e g 压缩标准可实现帧之间的压缩，其平均压缩比可达5 0 ：1 甚至更 高，压缩率比较高，且又有统一的格式，兼容性好。 7 第2 章多媒体压缩格式和封装格式 2 1 1m p e g - 2 m p e g 组织于1 9 9 6 年推出了m p e g 2 标准。m p e g 2 的正式名称为“通用 的图像和声音压缩标准 ，主要是为了解决m p e g 1 标准所存在的一些问题，设 计目标是工业标准的更高的图象质量以及更高的传输率。m p e g 一1 标准的成功制 定，使得以v c d 和m p 3 为代表的m p e g 1 产品在全世界内迅速普及。但是随 着技术的发展和对多媒体需求的提高，m p e g l 已经不能满足需要，存在着诸多 不足。一是压缩比还不够大，新的压缩算法在不影响视觉效果的前提下，已经可 以做到更高的压缩率，电子技术的发展也使得更加复杂的压缩算法可以做到实时 解码。二是图像清晰度还不够高，由于设计上的原因，m p e g 1 最大清晰度仅为 3 5 2 2 8 8 ，已经跟不上当今显示设备的发展脚步，这也是市场反应的主要问题。 三是对传输图像的带宽有一定的要求，不适合网络传输，尤其是在常用的低带宽 网络上无法实现远程多路视频传送。 m p e g 2 所能提供的传输率在3 1 0 m b i t s s e c 间，甚至更高，其在n t s c 制 式下的分辨率可达7 2 0 4 8 0 ，是家用视频制式( v h s ) 录像带分辨率的两倍( 钟 玉琢等，1 9 9 7 ) 。m p e g 2 也可提供并能够提供广播级的视频效果和c d 级的音 质。m p e g 2 的音频编码可提供左右中及两个环绕声道，以及一个加重低音声道 和多达7 个伴音声道( d v d 可有8 种语言配音的原因) 。由于m p e g 2 在设计时 的巧妙处理，使得大多数m p e g 2 解码器也可播放m p e g 1 格式的数据，如v c d 等。由于m p e g 2 的出色性能表现，已经能适用于h d t v ，使得原打算为h d t v 设计的m p e g 一3 ，还没出世就被抛弃了。除了作为d v d 的指定标准外，m p e g 2 还可用于为广播、有线电视网、电缆网络以及卫星直播 ( d i r e c tb r o a d c a s t s a t e l l i t e ) 提供广播级的数字视频。m p e g 2 的另一特点是，其可提供一个较广 的范围改变压缩比，以适应不同画面质量、存储容量以及带宽的要求。 2 1 2m p e g - 4 m p e g - 4 于1 9 9 1 年5 月首次提出，1 9 9 3 年7 月正式启动，经历了长达6 年 的研究与讨论，于1 9 9 9 年1 月公布了i s o 的m p e g 4 ( 视频和音频对象的压缩) 标准的第一版，随后又于1 9 9 9 年1 2 月公布了此标准的第二版。2 0 0 0 年m p e g - 4 被i s o 组织命名为i s o i e c l 4 4 9 6 ，正式成为一项国际标准。 m p e g - 4 标准制定的最初目的是提供低比特率下的多媒体通信，注重多媒体 的交互性和灵活性。m p e g 4 传输速率要求较低，在4 8 0 0 6 4 0 0 0 b p s 之间，分辨 率为1 7 6 1 4 4 ，利用很窄的带宽，通过帧重建技术，压缩和传输数据，以求以 最少的数据获得最佳的图像质量。后来m p e g 4 也向高频发展，支持1 9 2 0 1 0 8 0 第2 章多媒体压缩格式和封装格式 分辨率的视频。较之前两个标准而言，m p e g - 4 为多媒体数据压缩提供了一个更 为广阔的平台。它更多定义的是一种格式、一种架构，而不是具体的算法。m p e g - 4 标准将众多的多媒体应用集成于一个完整的框架内，旨在为多媒体通信及应用环 境提供标准的算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用 领域普遍采用的统一数据格式。 m p e g 4 的最大创新在于赋予用户针对应用建立系统的能力，而不是仅仅是 面向应用的固定标准( 葛双全等，2 0 0 2 ) 。此外，m p e g - 4 将集成尽可能多的数 据类型，例如自然的和合成的数据，以实现各种传输媒体都支持的内容交互的表 达方法。与m p e g 1 和m p e g 2 相比，m p e g 4 更适于交互a v 服务以及远程 监控，它的设计目标使其具有更广的适应性和可扩展性；m p e g 4 传输速率比较 低，可以利用很窄的带宽通过帧重建技术压缩和传输数据，从而能以最少的数据 获得最佳的图像质量。因此，它将在数字电视、动念图像、互联网、实时多媒体 监控、移动多媒体通信、i n t e m e t i n t r a n e t 上的视频流与可视游戏、d v d 上的交 互多媒体应用等方面大显身手。对于普通用户来说，m p e g 一4 最有吸引力的地方 还在于它能在普通c d r o m 上基本实现类似于d v d 的质量。用m p e g 4 压缩 算法的a s f ( a d v a n c e ds t r e a m i n gf o r m a t ，高级格式流) 可以将1 2 0 分钟的电影 压缩为3 0 0 m b 左右的视频流；采用m p e g 4 压缩算法的d i v x 视频编码技术可 以将1 2 0 分钟的电影压缩6 0 0 m b 左右。 e i = 解 停 复 用 = = 习i ， 7 i = 兰：! l e =i 习一 图2 1v o 解码流程图 m p e g 4 标准的一个革命性的贡献是在视频编码中引入了基于对象的思想。 m p e g 一4 以v o ( v i d e oo b j e c t ) 的概念来实现基于内容的表示。v o 的构成依赖 于具体应用和系统实际所处的环境：在要求超低比特率的情况下，v o 可以是个 矩形帧，与传统的标准兼容。v o 也可以是场景中某一物体或某一层面，为画面 中被分割出来的不同物体。每个v o 由三类信息来描述：运动信息、形状信息和 9 第2 章多媒体压缩格式和封装格式 纹理信息( 钟玉琢等，2 0 0 0 ) 。v o 的解码过程如图2 1 所示。 m p e g 4 主要特点是： 1 ) 对不同的对象可采用不同的编码算法，从而可能进一步提高压缩效率； 2 ) 各个对象相对独立，提高了多媒体数据的可重用性； 3 ) 允许用户对单个的对象进行操作( 例如改变某个对象的属性、颜色、大 小等，甚至删除某个对象) ，提供了前所未有的交互性； 4 ) 允许在不同的对象之间灵活分配码率，对重要的对象可分配较多的字节， 对次要的对象可分配较少的字节，从而可能在较低的码率下获得较好的 效果； 5 ) 可以很方便地集成自然的与合成的视频音频对象。 2 1 3h 2 6 4 h 2 6 4 a v c 是i t u t 和i s o l e c 联合制定的最新编码标准，它最先由i t u t 的视频编码专家组( v c e g ) 于1 9 9 7 年提出，目标是提出一种更高性能( 相对 于当时的h 2 6 3 ) 的视频编码标准。1 9 9 6 年制定h 2 6 3 标准后，i t u t 的v c e g 开始了两个方面的研究：一个是短期研究计划，在h 2 6 3 基础上增加选项( 之后 产生了h 2 6 3 + 与h 2 6 3 + + ) ；另一个是长期研究计划，制定一种新标准以支持低 码率的视频通信。长期研究计划产生了h 2 6 l 标准草案，在压缩效率方面与先期 的i t u t 视频压缩标准相比，具有明显的优越性( 毕厚杰等，2 0 0 5 ) 。2 0 0 1 年， i s o 的m p e g 组织认识到h 2 6 l 潜在的优势，随后i s o 与i t u 丌始组建包括来 自i s o i e cm p e g 与i t u tv c e g 的联合视频组( j v t ) ，j v t 的主要任务就是 将h 2 6 l 草案发展为一个国际性标准。于是，在i s o i e c 中该标准命名为a v c ( a d v a n c e dv i d e oc o d i n g ) ，作为m p e g 一4 标准的第1 0 个选项( m p e g 4 ，p a r t l o ) ； 在i t u t 中正式命名为h 2 6 4 标准。 h 2 6 4 的主要优点： 1 ) 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 和m p e g 4 ( s p ) 减小5 0 码 率； 2 ) 对信道时延的适应性较强，既可工作于低时延模式以满足实时业务，如 会议电视等；又可工作于无时延限制的场合，如视频存储等； 3 ) 提高网络适应性，采用“网络友好的结构和语法，加强对误码和丢包 的处理，提高解码器的差错恢复能力； 4 ) 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之问可分 级，以适应不同复杂度的应用。 h 2 6 4 标准具有算法简单易于实现、运算精度高且不溢出、运算速度快、占 1 0 第2 章多媒体压缩格式和封装格式 用内存小、消弱块效应等优点，与以往的视频编码标准相比，h 2 6 4 建议在其系 统结构、运动估计和运动补偿、宏块的变换和量化以及熵编码等各方面都有明显 的提高，具有更高的编码效率和更强的网络适应性。它是一种更为实用有效的图 像编码标准。 2 1 4v c - 1 2 0 0 4 年，微软( m i c r o s o f t ) 公司向美国电影与电视工程师协会( s m p t e ) 提交了基于其专有的w m v 9 视频压缩编码技术的标准v c 1 ( v i d e oc o d e c 1 ) ， 并于2 0 0 6 年4 月正式获得通过，被命名为s m p t e 4 2 1 m 。 v c 1 在性能方面与m p e g 2 和m p e g 4 简化类相比有显著提高，相对于 h 2 6 4 ，其知觉质量感受也非常优秀。在提供相似压缩效率情况下，v c 1 与 h 2 6 4 主类相比复杂性要求较低。在同等视频质量的情况下，v c 1 只有m p e g 4 的二分之一码流，m p e g 2 的四分之一码流，与h 2 6 4 大致相当( 尹明等，2 0 0 5 ) 。 在微软的强力推广下，v c 1 在p c 平台上得到了广泛的应用，获得了大量公司 的商业支持。h d d v d 和b d