（电路与系统专业论文）嵌入式系统中多媒体播放器的设计与实现.pdf

摘要 随着智能手机、掌上电脑为代表的高端嵌入式终端产品的普及率也越来越高，嵌入式系统产品 中对多媒体的应用也越来越多，而在这些多媒体的应用当中，要求对各种多媒体文件的播放支持显 得越来越重要。本文的主要目标是设计与实现在此类产品中支持主流多媒体文件的播放，以丰富产 品的功能，增加产品的竞争力。 本课题以目前流行的运行于p a l m - o s 和w i n d o w s - - c e w i n d o w s - m o b i l e 平台上的开源多媒体播 放器t c p m p 为基础，在基于p x a 2 5 5 和w i n d o w s - c e 的嵌入式平台上实现可以支持包含r m 等视 频文件播放的播放器。本文首先介绍了多媒体以及多媒体播放器相关的背景知识多媒体音频、 视频，数据压缩以及多媒体播放器等。接着简要介绍了课题所采用的运行多媒体播放器的硬件平台 和软件平台及其集成开发环境( w e ) 。然后详细分析了播放器的设计，包括播放器的设计思想、播 放器的播放流程，播放器中功能模块加载、卸载过稃以及一些重要模块的设计，并且在原有播放器 的基础上实现了对r m 格式多媒体文件播放支持包含r m 文件解析器的实现、r m 解码器的封 装等。最后为了提高多媒体播放性能，本文对多媒体播放器提供了图形加速支持，即为播放器提供 d i r e c t d r a w 图形输出支持以代替原先的g d i 图形输出支持。并对改进优化后的播放器进行了一些性 能测试以证实论文的研究成果。 本课题的难点和工作量主要在于r m 解析器的设计和实现以及为播放器提供图形加速支持上。 改进优化后多媒体播放器能够支持r m ( r v l o ，r v 2 0 ) 等多种主流媒体格式文件的播放。经测试， 对于具有v g a 标准的视频流的a v i 文件在同步情况下的播放帧率从图形加速前1 4 4 5 帧秒提商到 了加速后的1 7 6 5 帧秒。 关键词：多媒体，p x a 2 5 5 ，w i n d o w s - c e ，多媒体播放器，r m ，图形加速，d i r e c t d r a w a b s t r a c t a b s t r a c t w i t ht h ew i l d 坤s p r e a do ft h ee m b e d d e dt e r m i n a lp r o d u c t ss u c ha sp m p , p m c ，a n dp d ai n p u b f i c t h ea p p h c a i l o no f m u l t i m e d i ao ne m b e d d e ds y s t e mh a sb e c o m em o r ea n dm o r eu n i v e r s a l , a n d t h ep l a y - b a c ks u p p o r tt om o s tt y p e so f m e d i af i l ea l s ob e c o m em o r ea n dm o r ei m p o r t a n lt h e i m p l e m e n t a t i o no ft h ep i a y - b a c ks u p p o r tt om o s tp o p u l a rm e d i af i l eo ne m b e d d e ds y s t e m i st h em a i n a i mi nt h i sa r t i c l e t h ed e s i g na n di m p l e m e n t a t i o ni sb a s e do nt h ep o p u l a rm u l t i m e d i ap l a y e rt c p m pw h i c hc a n r u no ht h ep l a t f o r mp a l m o sa n dw i n d o w s - c e w i n d o w s - m o b i l e a n dt h ep l a y - b a c ks u p p o r to ft h e r e a l m e d i am e d i af i l ea n dt h ed i r e c t d r a ws u p p o r to f 恤em e d i np l a y e ri st h ec o r e t h e r ea r ef i v e p a r t st o g e t h e r s o m eb a s i ck n o w l e d g eo fm u l t i m e d i aa n dm u l t i m e d i ap l a y e ri n c l u d i n gm u l t i m e d i a a u d i o ，v i d e o , a n dd a t ac o m p r e s s i o nw i l lb ei n t r o d u c e di nt h ef i r s tp a r t t h eh a r d w a r ea n ds o f t w a r e p l a t f o r mw h i c ht h em e d i ap l a y e rr u n so ni si n t r o d u c e di nt h es e c o n dp a r t t h ed e s i g n i n gp r i n c i p l eo f t h em e d i ap l a y e ra n dt h ed e s i g no fs o m ei m p o r t a n tm o d u l e sa r ei n t r o d u c e di nt h et h i r dp a r t t h e f o u r t hd i s c u s s e sh o wt oi m p l e m e n tt h ep l a y - b a c ks u p p o r to ft h er e a l m e d i am e d i af i l ea n dt h e d i r e c t d r a ws u p p o r to ft h em e d i ap l a y e r a tl a 鸭s o m en e c e s s a r yt e s t si si n t r o d u c e dt 0s h o wt h e i m p r o v e m e n to ft h em e d i ap l a y e r s i n c et h em e d i ap l a y e rh a sb e e ni m p r o v e d ，i tc a ns u p p o r tn o to n l yt h ep l a y - b a c ko ft h em e d i a f i l ew h i c hs u p p o r t e db yt h ef o r m e rm e d i ap l a y e r ，b u ta l s ot h ep l a y - b a c ko ft h er e a l m e d i am e d i af i l e ( r v l o ，r v 2 0 ) a n dt h ef l a m er a t ef a ni n c r e a s eb y2 2 1 4 f o ra v if i l ew h i c hc o n t a i n st h ev i d e os t r e a m w i t ht h es t a n d a r do f v g 九 k e y w o r d s ：m u f i m e d i a ，p x a 2 5 5 ，w i n d o w s - c e ，m u l t i m e d i ap l a y e r r l v l ，g r a p h i ca c c e l e r a t i o n , d i r e c t d r a w 学位论文独创性声明 本人声明：所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发 表或撰写过的研究成果，也不包含为获得东南大学或其他教育机构的学位或证书而使用 过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明 并表示了谢意。 研究生签名：玉西)日期：2 型：参尹 关于学位论文使用授权的说明 东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交的学位 论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电 子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被 查询和借阅，可以公布( 包括刊登) 论文的全部或部分内容。论文的公布( 包括刊 登) 授权东南大学研究生院办理。 研究生签名：址导师签名： 日期： 课题研究背景 绪论 嵌入式系统是以面向特定应用为目标，以计算机技术为基础，并且软、硬件可裁剪，适用于应 用系统对功能、可靠性、成本、体积、功耗等有严格要求的专用计算机系统i l j 。伴随着嵌入式计算 机技术的飞速发展，嵌入式系统在信息设备、工业控制、移动应用、消费类电子等市场上的应用日 益广泛。如常见的掌上电脑、智能手机，手持式医疗仪器等都是嵌入式系统的典型应用。 多媒体技术可以处理文字、图形、图像、声音以及视频等多种多媒体并将它们集成，比只能简 单处理单媒体1 2 1 的技术具有不可比拟的优势，同时它更贴近人的学习、生活及工作方式，使得计算 机更具有人性化，从而极大地缩短了人与计算机之间的距离。同时，多媒体技术也逐渐朝标准化、 集成化方向发展，从而使得多媒体的接受、处理、存储、传输和利用变得方便快捷，给人们的工作、 学习、生活带来日益显著的变化l z i 。随着多媒体技术的不断发展，其应用领域也越来越普及。 嵌入式硬件和软件的不断发展和完善，以及多媒体技术应用领域的不断延伸，促成了多媒体在 嵌入式系统中的应用越来越多。当今的嵌入式c p u 已经完全能够胜任对文字，图像、声音和视频等 多媒体的处理，比如i n t e lx s c a l ep x a 2 5 5 1 4 4 1 的主频可以达到4 0 0 m h z 。在嵌入式软件领域，比如 m i c r o s o f t 的嵌入式w i n d o w s - c e l 5 i 操作系统对图形界面，多任务等有着很好的支持。因而越来越多 的曾经应用于台式机或服务器上的多媒体应用也被应用到嵌入式系统中来，像以个人多媒体中心， 掌上电脑为代表的高端嵌入式终端产品就是多媒体在嵌入式系统中的典型应用。而在这些嵌入式产 品中的各种多媒体应用当中，要求对各种多媒体文件的播放支持是一个相当重要的多媒体应用。 在嵌入式终端中实现对多媒体文件的播放支持主要有三种方法：1 使用嵌入式操作系统提供商 提供的免费的多媒体播放器，由于是免费版本所以往往此类播放器支持的多媒体文件格式有限，而 且播放性能欠佳，所以大多情况下不采用；2 向嵌入式操作系统提供商购买高性能的播放器软件， 但是由于要支付软件使用费，为了不另外增加产品的成本，所以对于一般的公司也很少采用；3 下 载某种高性能的开源的播放器软件源代码，对其进行移植、改进或优化，成为可以运行于目标平台 上的播放器。本论文正是采用了上述第三种方法，在基于p x a 2 5 5 和w i n d o w s - c e 的嵌入式平台上 实现了可以支持包括r m ”等视频文件播放的播放器。 课题主要的研究工作 本课题的主要内容是研究如何在基于p x a 2 5 5 和w i n d o w s - c e 的嵌入式移动终端平台中实现多 媒体播放的功能。课题的具体研究工作如下； 前期准备： 阅读课题相关领域的文档、资料，调研嵌入式平台上实现多媒体播放器的各种方案，确定 课题技术路线；深入研究课题采用的软硬件平台；深入研究e v c 4 0 1 ”1 和p l a t f o r mb u u d e r l 4 9 1 开 发环境及其提供的程序调试功能。 播放器的设计与实现： 设计与实现p x a 2 5 5 和w i n d o w sc e 平台上的多媒体播放器，增加其对r m 文件的播放支 持。修改源代码中相关编译文件使其可以在e v c 4 0 下开发与调试；分析原有播放器的框架结构， 功能模块接口；设计与实现r m 文件解析器、r m 解码器。主要工作量和难点是r m 文件解析 器的实现。 播放器的优化： 针对播放器图形输出性能的不足，对播放器的提供了图形加速支持，即实现w i n c e 1 东南大学硕士学位论文 d i r e c t d r a w l 2 2 1 图形显示驱动，代替g d i l 2 2 图形显示驱动，这也是本课题的一个主要难点和工作 所在。 播放器的测试： 课题对实现后的嵌入式播放器进行了一些测试，给出了测试数据。 论文组织结构 本文的重点在于播放器r m 格式媒体文件解析的中设计与实现以及为播放器提供图形加速支持 上。根据课题所涉及的主要研究工作，本论文的内容主要包括一下几个部分：多媒体播放器相关的 基础与原理；本课题所使用的运行播放器的硬件、软件平台；播放器的设计与实现；播放器的优化 与性能测试。具体篇章安排如下： 第一章：基本概念和基础知识，主要介绍了多媒体音频、视频、数据压缩、数据解压缩以及多 媒体播放器等知识； 第二章：软硬件开发平台介绍，介绍了本课题研究所用的硬件、软件平台； 第三章：播放器的设计，介绍了多媒体擂放器的实现，包括设计思想、播放流程、功能模块的 加载卸载、重要功能模块的设计、r m 解析器的实现、r m 解码器实现等； 第四章：播放器的性能优化，介绍了对播放器提供图形加速支持的实现，包括播放器的图形输 出方法、图形加速的设计等。 第五章：播放器的性能测试，针对对原先播放器的改进和优化，对其进行了测试，给出了播放 器的测试数据。 2 第一章摹本概念和基础知识 第一章基本概念和基础知识 本章介绍了多媒体播放相关的基本概念和基础知识，包括多媒体音频、多媒体视频、多媒体数 据压缩与解压缩、多媒体视频文件、播放器等，为后续章节打下必要的基础。 1 1 多媒体 多媒体是数字化处理的文本、照片、图片艺术、声音、动画和视频元素的集合。如果最终用户 多媒体项目的使用者可以控制何时呈现各种元素，则这种多媒体称为交互式多媒体。如果 提供一种链接的元素，用户可以通过导航，交互式的多媒体就成了超级媒体p l 。 上面是广义的多媒体的定义，从应用或项目最终功能角度来看，比如对多媒体播放器而言，多 媒体是指的是声音、动画和视频。下_ 面就针对多媒体播放器来阐述一下多媒体相关的基本概念和基 础知识。 1 2 音频 人们周围是充满声音的世界，人们靠声音进行语言交流、传递信息，开展各种娱乐活动。声音 是人们交流和认识世界的主要媒体，实际上声音是由物体的振动产生的，是一种机械振动波。自然 界中的声音千变万化，而取决声音质量高低的重要因素有三个：音强，音高和音色，也叫声音的三 要素肼。 声音是一种振动波，叫声波。声波是随时间连续变化的物理量，通过能晕转化装置，可以随声 波的变化而改变电压或电流的信号来模拟，利用模拟电压的幅度可以表示声音的强弱。由于模拟量 难以保存和处理，而且计算机无法处理这些模拟量。因此，为了使计算机能够处理音频。必须先把 模拟声音信号经过模数( a d ) 转化电路，转化成数字信号，然后由计算机进行处理；处理后的数 据再由数模( d a ) 转化电路，还原成模拟信号，再放大输出到扬声器或其它设备，这就是音频数 字化的过程。音频数字化技术是整个数字音频领域中最基本和最主要的技术。 数字化音频技术就是把表示声音强弱的模拟信号( 电压) 用数字表示。通过采样量化等操作， 把模拟量表示的音频信号转换成许多1 和0 组成的数字音频文件，从而实现数字化，为计算机处理 奠定基础。数字音频技术中实现模，数( a d ) 转换的关键是将时间上连续变化的模拟信号转换成时 间上离散的数字信号。这个过程主要包含采样、量化和编码三个步骤，如图1 0 l 所示。 图1 0 l 音频模拟信号数字化处理流程 采样，每隔一定时间间隔不停地间断性地在模拟音频的波形上采取一个幅度值，这一过程称为 采样。而每个采样所获得的数据与该时间点的声波信号相对应，称为采样样本。将一连串的样本连 接起来，就可以描述一段声波了。 量化，经过采样得到的样本是模拟音频的离散点。还是用模拟数值表示的。为了把采样得到的 离散序列信号存入计算机，必须将其转换为二进制数字表示，这一过程为量化编码。量化的过程是， 先将整个幅度划分为有限个小幅度( 量化阶距) 的集合，把落入某个阶距的采样归为一类，并赋予 相同的量化值。量化的方法大致有两类：均匀量化和非均匀量化。均匀量化采用相等的量化时间间 隔来度量采样得到的幅度，这种方法对于输入信号不论大小一律采用相同的量化间隔，其优点在于 3 壅堕盔堂堡主堂垡堡塞 获得的音频品质较高，而缺点在于、音频文件容量较大。非均匀量化对输入的信号采用不同的量化 间隔进行量化。对于小信号采用小的量化间隔，对于大信号采用大的量化间隔。虽然非均匀化后文 件容量相对较小，但对于大信号的晕化误差较大。 编码，即编辑数据，就是考虑如何把量化后的数据用计算机二进制的数据格式表示出来。实际 上就是设计如何保存和传输音频数据的方法，例如，m p 3 、w a v 等音频文件格式就是采用不同的编 码方法得到的数字音频文件。 影响数字音频质量的技术指标有采样频率、量化位数、声道数这三个因素。采样频率是指计算 机每秒钟对声波幅度样本采样的次数，是描述声音文件的音质、音调，衡最声卡、声音文件的质量 标准，计量单位是h z ( 赫兹) 。采样率越高，即采样的间隔时间越短，则在单位时间内计算机得到 的声音样本数据就越多，声音文件的数据量也就越大，声音的还原就越真实越自然。采样频率与声 音频率之间有一定的关系，根据奈奎斯特理论，只有声音采样频率高于声音信号最高频率的两北时， 才能把数字信号表示的声音还原成原来的声音。在计算机多媒体音频处理中，采样通常采用三种频 率：1 1 0 2 5 k l t z 、2 2 0 5 1 r i t z ，4 4 1 k h z 。所谓的量化位数也称晕化精度，是描述每个采样点样本值的 二进制位数。量化位数越高音质越好，数据晕也越大。声道通道的个数称为声道数，是指一次采样 所记录的声音波形个数。记录声音时，如果每次生成一个声波数据，称为单声道；每次生成两个声 波数据，称为双声道( 立体声) 。随着声道数的增加，音频文件占用的存贮容量也就成倍增加，同时 声音指令也会越高。 数字音频按用途可以分为语音、音效和音乐三类，按来源可以分为数字化声波、m i d ! 合成和 声音素材库，按格式可以分为波形音频文件( w a v ) 、数字音频文件( m 1 d i ) 、光盘数字音频文件 ( c d - d a ) 。声音文件又叫音频文件，主要有两大类，一类是采用w a v 格式的波形音频文件，另一 类是采用m i d i 格式的乐器数字化接口文件。在多媒体计算机中，存储声音信息的文件主要有w a v 文件、v o c 文件、m i d i 文件、a i f 文件、r m i 文件，m p 3 文件等。下面简要介绍一下m p 3 文件。 m p 3 是根据m p e g 1 1 删视频压缩标准中，对立体声伴音进行三层压缩的方法所得到的声音文 件。m p 3 的全称是m p e g - ia u d i ol a y e r 3 ，是一种在岛保真前提下实现的高效压缩技术。它通过对 音频数据的有损压缩来实现对文件体积的大幅度缩小，同时也是为数甚少的高音质商压缩率的算法 之一。它在运算时剔除了人耳听不到的太高或太底频率的声音特性。在压缩编码方法上，m p 3 首先 以4 4 1 k h z 的采样频率对模拟音频信号进行采样，然后用1 6 位的数值来量化采样点的信号强度。最 后利用可变比特率i l ”( v b r ，v a r i a b l eb i tr a t e ) 的编码方式来对整段音乐进行编码。 1 3 视频 人们处理外界信息舯以上来自视觉，而视觉信息主要指人眼所见的图像，这里的图像既包含 静态的图形和图像，也包含动态的视频和动画等内容i “。下面将针对图形、图像、视频和动画等多 媒体素材进行简要的阐述。 1 3 1 彩色空间 我们看到的图像是带颜色的，实际上颜色是外来的光刺激作用于人的视觉器官产生的主观感觉， 它具有色调、饱和度和亮度三个特性。物体的颜色不仅取决于物体本身，还与光源、周围的环境， 以及观察者的视觉系统有关系。色调又称为色相，是当人跟看到一种或多种波长的光时所产生的色 彩感觉，它反映颜色的种类，是决定颜色的基本特性。色调用红，橙、黄、绿、青、蓝、靛、紫等 术语来刻画。饱和度是指颜色的纯度，即色彩含有某种单色光的纯净程度，它用来区别颜色的深浅 程度，对于同一色调的彩色光，饱和度越深颜色越鲜艳或说越纯，例如鲜红色的饱和度高，而粉红 色的饱和度低。完全饱和的颜色是指没有渗入白光所呈现的颜色，例如由单一波长组成的光谱色就 是完全饱和的颜色。亮度是视觉系统对可见物体辐射或者发光多少的感知属性，亮度是光作用于人 4 第一章摹本概念和摹础知识 眼时所引起的明亮程度的感觉，它与被观察物体的发光强度有关，由于强度的不同，看起来可能会 亮一些或暗一些。通常我们把色调和饱和度称为色度。亮度是用来表示某彩色光的明亮程度，而色 度则表示颜色的类别与深浅程度。 研究表明色光中存在最基本的色光红色、绿色和蓝色。这三种色光既是白光分解后得到的 主要色光，又是混合色光的主要成分。这三种色光以不同比例混合几乎可以得到自然界中的一切色 光。混合方程为c = a ( r ) + b ( g ) + e ( b ) 。其中c 为混合色总量，r ，g ，b 为三原色的单位量， a ，b ，c 为三原色分量系数。此方程明确地表达了复色光中的三原色成分。 为了定晕地描述颜色，人们提出了颜色空间的概念。颜色空间是表示颜色的一种数学方法，用 它可以来指定和产生颜色，是颜色形象化。色彩学中用模型来表示某一种颜色，例如用一维、二维、 三维坐标系模型。坐标系所能定义的色彩范围就是彩色空间，彩色空间就是各种色彩的结合，色彩 种类越多，彩色空间越大，能够表现的色彩范用就越广。颜色空间中的颜色通常使用代表三个参数 的三维坐标来指定，这些参数的描述是颜色在颜色空间中的位置。作为彩色空间三维坐标的三个独 立参数可以上是色彩的心理学属性：色相、明度、饱和度，也可以是其他三个参数r g b 、l a b 或者 c m y 删。只要描述色彩的三个参数相互独立都可以作为彩色空间的三维坐标。 从技术角度上区分，颜色空间可分为三类：r g b 颜色空间，计算机图形颜色空间、x y z 颜色空 间，c m 颜色空间和y u v 颜色空间电视系统颜色空间。第一类主要用于电视机和计算机的颜色显示 系统，比如r g b 、h i s 、h s l 、h s v 等颜色空间。第二类是由国际照明委员会定义的颜色空间。第 三类是由广播电视需求的推动而开发的颜色空间，主要目的是通过压缩色度信息以有效地传送彩色 电视图像，例如y u v 、y i q 、y ，c b c r i ”i 等颜色空间。不同的颜色模型可以通过一定的数学关系相 互转换。 i 3 2 图形与图像 图像是对客观存在的物体的一种相似性的生动模仿或描述p j ，按其数据存储形式可以分为模拟 图像和数字图像。模拟图像是以连续形式存储数据，可用连续的函数来描述，其特点为光照位置和 光照强度连续变化。数字图像是用二进制数值表示资料，可用矩阵或数组描述。一般来说，数字图 像可以分为两大类：一类是位图；另一类称为描绘类、向量类或面向对象图形( 图像) ，位图是以点 阵形式描述图形( 图像) 的，表现的色彩丰富，文件容量一般较大；向量图以数学方法描述的一种 由几何元素组成的图形( 图像) ，对图像的表达细致，文件容鼍小。 图形一般指计算机绘制的画面，是一组描述点、线、面等集合图形的大小形状及其位置、维数 的指令结合，能够描绘出物体的轮廓、形状或外部的界限。在图形文件中只记录生成图的算法和 图上的某些特征，因此也称向晕图。其优点是文件小，可以随意放大而不改变清晰度。但在显示时 需要重新计算，因此显示速度慢些。常见的图形文件格式有w a f 、d x f 、3 d s 等。 图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意幽面，静止图像是由一 些排成行和列的点组成的矩阵，数组中的各项数字是用来描述构成图像的各个点( 称为像素点， p i x e l ) 的强度与颜色等信息的，称之为位图( b i t - m a p p e dp i c t u r e ) 。常用的图像文件格式一直是图 像处理的重要依据。对于同一幅图像，采用不同的文档格式保存时，会在图像的颜色和层次的还原 方面产生不同的效果，这是由于不同的文档格式采用不用的压缩算法的缘故。图像在计算机中的存 储格式有多种，如b m p t * l ( b i tm a pp i c t u r e ) 、d b i 、p c p 、d i f 、w m f 、g i f ( g r a p h i c si n t e r c h a n g e f o r m a t ) 、j p g ( j o i n tp h o t o g r a p h i ce x p o r t sg r o u p ) 、t i f ( t a gi m a g ef i l ef o r m a t ) 、e p s 、p s d ( p h o t o s h o ps t a n d a r d ) 、c d r 、i f f ( i m a g ef i l ef o r m a t ) 等。 关于动态图像，其主要包含动画和视频信息，是连续渐变的静态图像或图形序列，沿时间轴顺 次更换显示，从而构成运动视觉感受的媒体。当序列中的相互关联的若干帧静止图像是有人工或计 算机产生时，这些静止图像连续播放便形成一组动画。当序列中的每帧图像是通过实时摄取自然景 象或活动对象时，我们常称为影像视频，或简称视频。 5 东南大学硕士学位论文 1 3 3 数字视频技术 动态图像是由多幅连续的图像序列构成的，有动画和视频两种形式”。视频信号有模拟信号和 数字信号之分，模拟视频信号就是常见的电视信号和录像机信号，采用模拟方式对图像进行还原处 理，这种图像被称为视频模拟图像( a n a l o g v i d e o ) 。模拟信号需要专门的视频编辑设备进行处理， 计算机无法对其进行编辑，要想让计算机对视频信号进行处理，必须把视频模拟信号转换成数字化 的信号。 数字视频就是先用摄像机之类的视频捕捉设备，将外界影像的颜色和亮度信息转变为电信号， 再记录到存储介质( 如摄像机磁带) 。然后再通过传输线，利用模拟数字( a d ) 转换器经过采样量 化，转变为数字的0 或l ，存储到计算机中，简单的说，数字视频就是将模拟信号表示的视频信息 用数字表示，从而能够在计算机中对其进行操作。 模拟视频的数字化包括很多技术问题，如电视信号具有不同制式而且采用复合的y u v 信号方 式，而计算机工作在r g b 空间；电视机是隔行扫描，计算机显示器大都是逐行扫描：电视图像的分 辨率与显示器的分辨率也不尽相同等。因此模拟视频的数字化主要包括色彩空间转换、光栅扫描的 转化以及分辨率的统一。 1 4 多媒体数据压缩 多媒体数据的一个重要特征就是数字化后的信息量巨大，从而带来了如何存储、如何传输、如 何保证计算速度等问题，实际上这些问题已经成为人们有效获取和利用多媒体数据的瓶颈问题，在 目前数据存储技术、网络传输技术和计算机计算速度的发展水平上，数据压缩技术仍然是解决上述 问题的最佳选择。 目前，多媒体数据包含有文字、数字、图形、图像、动画、音频及视频等单媒体，如果计算机 要处理这些媒体数据，必须先进行离散化处理。下面以视频为例简要说明一下数据压缩的必要性。 假设在1 分钟的2 4 位真彩色、3 2 0 * 2 4 0 分辨率、2 5 帧，秒的p a l 制式的一段电视节目信号。根据计 算公式：视频数据最= ( 行分辨率列分辨率颜色深度频率) 馏( b s ) ，因此可以计算出未经压缩 的1 分钟电视节目所占用的存储空间为( 3 2 0 * 2 4 0 * 2 4 2 5 ) * 6 0 8 ，约为3 2 9 6 m b ，如果采用c d r o m 存储，发现6 5 0 3 2 9 6 约为2 分张。由此可以看出，未经压缩的数据鼍很巨大，如果不对其进行压 缩处理。无疑将给存储器的存储、网络的传输、数据的携带和计算机的计算速度等都带来极大的压 力。 压缩不仅必要，而且是可行的。分析多媒体声音、文字、图形及视频等单媒体，可以发现它们 之间存在极强的相关性，同时还可以根据人的感知生理，心理规律，利用人对某些数据的不敏感性 进行数据的压缩。对多媒体数据压缩编码的方法很多，主要有如图1 - 2 这些分类。 图1 2 常用压缩编码方法的分类图| 3 l 6 苎二皇量查塑查塑苎里! ! 塑望 多媒体数据压缩编码的三个国际标准是j p e g 标准、h 2 6 1 标准和m p e g 标准m 。下面简要介 绍这三个标准。 1 4 1j p e g 标准 j p e g 是联合图像专家组英文名称j o i n tp h o t o g r a p h i ce x p e r t sg r o u p 的缩写，j p e g 标准的实 现目标是为了给出一个实用于连续色调图像的压缩方法，并使之满足；1 达到或接近当前压缩比与 图形保真的技术水平，能覆盖一个较宽的图形质晕等级范围，能达到“很好”或“极好”的评估， 与原始图像相比，人的视觉难以区分；2 能实用于任何种类连续色调图像，且长宽比都不受限制， 同时也不受限于景物内容、图形复杂程度和统计特性；3 计算的复杂是可控制的，其软件可在各种 c p u 上完成，算法也可用硬件实现。j p e g 压缩编码可分为无失真和有失真之分，其编码流程图分 别如图1 3 和1 4 所示。 1 4 2m p e g 标准 图1 4 基于d c t 的有失真的j p e g 编码流程图 m p e g 是英文m o v i n gp i c t u r ee x p e r t sg r o u p ( 运动图像专家组) 的缩写。针对不同的研究内 容和实用对象，m p e g 已经产生了许多版本：m p e g 1 、m p e g - 2 、m p e g - 4 等，根据对象的不同， m p e g 标准包含了三种类型：m p e g 视频、m p e g 音频和视频，立频。图1 5 是m p e g 标准的压缩 流程简图。 图1 5m p e g 标准的压缩流程简图 m p e g 音频前面已经讨论，而且本文讨论的研究的目标主要是多媒体的应用，下面就面向多媒 体应用的m p e g - 4 标准再简要讨论一下。m p e g - 4 标准的编码是基于对象的，这样就便于操作和控 7 壅堕盔堂堡主堂垡丝塞 制对象，而传统压缩方法是基于帧的，显然无法对对象进行操作。m p e g - 4 中的对象操作使用户端 直接将不同对象进行拼接，得到用户自己合成的图像。m p e g - 4 算法很多，可根据需要选用，例如 区域变换有d c t ，s a d c t ，o w t 等。为了支持m p e g - 4 的各种功能：高效压缩、基于内容的交 互以及基于内容的分级扩展，必然要求m p e g - 4 要以基于内容的方式表示视频数据。因此m p e g - 4 中引入了v o ( v i d e oo b j e c t ) 视频对象和v o p ( v i d e oo b j e c tp l a n e ) 视频对象平面的概念来实现基 于内容的表示。图1 6 为m p e g - 4 的编码器框图。第一步是v o 的形成，先要从原始视频流中分割 出v o ，由编码控制机制为不同的v o 以及各个v o 的3 类信息分配编码率，之后各个v o 分别独立 编码，最后将各个v o 的码流复合成一个码流。其中，在编码控制和复合阶段可以加入用户的交互 控制或智能化的算法进行控制。 善黼霹l t 罂氅卜匿& 溢盆滥谶溷 量磊扯 警节l 编璐浔一 隧滥m 盘趟 复用 黪帮露嘲 v 贸鹨筠 一 隧邈谶黼戳谶潮 1 4 3h 2 6 1 与h 2 6 3 图1 6m p e g - 4 的编码器框图 h 2 6 1 标准是图像压缩编码国际标准，其在标准化过程中已经得到许多部门的充分测试，几个 主要的处理部件( 如d c t 、运动估计和变长编码器) 的大规模集成电路芯片在市场上有售。标准已 经广泛应用于远程教育、远程医疗和会议电视中。 与h 2 6 1 标准不同，h 2 6 3 标准是一种基于公共模拟电话网上传输的甚低( 小于等与6 4 k b i t s ) 比特率视频压缩编码标准。由于h 2 6 3 标准是在h 2 6 1 标准基础上发展起来的，因此，在信源编码 的方式上，二者有许多相似之处。然而，它的图像输入格式又规定了第三种格式，即s n b - q c i f 格 式。该图像格式亮度信息的分辨率为1 2 8 9 6 。h 2 6 3 标准的组块( g o b ) 定义也与h 2 6 1 标准略有 不同，在h 2 6 3 标准中一帧q c i f 图像中定义了9 个g o b ，每个g o b 中又定义了1 1 个宏块( m b ) 。 另外，h 2 6 3 标准的d c t 可变长编码，没有采用m p e g 和h 2 6 1 标准的二维行程编码，而采用三 维( l a s t 、r u n 、l e v e l ) 方式，其中l a s t 采用l b i t 表示是否为最后一个非量化系数。h 2 6 3 标准 的运动估值精度采用半像素精度，这与h 2 6 1 的整数像素间隔的运动估值精度不同。h 2 6 3 标准也 不提供任何误码的校验与纠错处理。 1 5 多媒体数据的解压缩 数据的解压缩是上面提到的数据压缩的相反过程，数据的压缩为了节省存储空间以及增加相同 时间内所传输信息( 感兴趣的) 总量。压缩数据是不能够直接由人所辨认的。必须对压缩数据进行 解压缩，解压缩是为了基本恢复或完全恢复压缩静的信息，比如一幅图片或一段声音。下面以m p e g 一4 为例说明一下解码的过程。 解码过程实际上就是从视频编码码流中恢复出v o p ( 视频对象平面) 数据的过程。图1 7 描述了 8 第一章基本概念和萃础知识 一个视频解码过程。解码器主要包含两部分： 运动解码和纹理解码。i 帧中只含有纹理信息，因此 只须解码纹理信息即可恢复i 帧。而p 帧中不仅包含纹理信息，还包含运动信息，所以须解码运动 信息，获得运动矢量并进行运动补偿。另外，还须进行纹理解码获得残差值，将这两部分组合起来 才能重建p 帧。 1 6 多媒体视频文件 图1 7m p e g - 4 解码过程1 2 7 1 多媒体视频文件实际上是一种多媒体容器，其中按照一定的规则存放的是音频、视频或音视频 数据，根据应用的不同这些音视频数据可以是压缩的，可以是不压缩的。视频格式可分为影像格式 和流格式，m p e g 和a v i 就是常见的影像格式，而r m ，m o v 、a s f 和w m v 是常见的流格式。 作为多媒体播放源的文件容器中存储的往往是经过上面提到的压缩技术压缩过的数据。这样在 一定容量的存储器可以存储更多的多媒体信息，而且在嘲络上相同时间内传输的文件( 或人们感兴 趣的信息) 就更多。 图1 8 标记符文件格式1 1 4 1 多媒体视频文件的种类很多，主要由于推出多媒体文件容器的公司或组织往往会规定其自身的 文件格式( 为了保护自身权益或其它原因) 。这些格式基本上遵守标记符文件格式，标记符文件使 9 吼 、1l，_j。j 查堕盔堂堡主堂鱼垒塞 用4 字符编码来标识文件的组成，4 字符编码有3 2 个比特位，由一个到4 个a s c i i 字符( 包含文字 与数字) 组成的序列表示f o u r c c l 4 6 1 ，右边填充空格。标记符文件格式有基本的块( c h u n k ) 组成，块是数据的逻辑单元。比如多媒体流的头信息和多媒体数据包都是由这种块组成的。每个块 包含3 个域： 1 用来标识块类型的4 字符编码 2 块大小( 有3 2 个比特位长) 3 数据 根据块的4 字符编码，可以决定这个块是否有子项，标记符文件格式的存储如图1 8 。下面列出一些 主要的多媒体视频文件： r m ( r e a l m e d i a ) 格式，也即r e a l v i d e o 格式，是r e a ln e t w o r k s 公司开发的一种新犁流式视 频文件格式，主要用来在低速率的广域网上实时传输活动视频影像，可以根据网络数据传输速率的 不同采用不同的压缩比率，从而实现影视数据的实时传送和实时播放。 a s f 和w m v 格式，这类文件的后缀是a s f 和w 1 3 f l v ，是针对r m 文档的缺点而提出的。a s f 是一个可以在网络上实时观赏的视频流格式。w m v 格式，也是一种独立于编码方式的在i n t e r n e t 上实时传播多媒体的技术标准。它们的共同点是采用m p e g 4 压缩算法，所以在压缩率和图像的质 量上都不错。 m o v 格式，q u i c k t i m e ( m o v ) 是a p p l e ( 苹果) 公司创立的一种音频和视频问格式，用于保 存音频和视频信息，具有先进的视频和音频功能，被包括a p p l em r co s 、m i c r o s o f t w i n d o w s 9 5 9 8 n t 在内的所有主流计算机平台支持。这类文件扩展名通常是n o v 。 m p e g 格式，m p e g 格式是运动图像压缩算法的国际标准，它采用有损压缩方法减少运动图像 中的冗余信息，同时保证每秒3 0 帧的图像动态刷新率，已经几乎被所有的计算机平台支持。m p e g 标准包括m p e g 视频、m p e g 音频、m p e g 系统( 视频、音频同步) 三个部分，m p 3 音频档就是 m p e g 音频的一个典颦应用，视频方向则包括m p e g - 1 、m p e g 2 、m p e g - 4 ，而v i d e oc d ( v c d ) 、 s u p e rv c d ( s v c d ) 、d v d ( d i g i t a lv e r s a t i l ed i s k ) 则是全面采用m p e g 技术所产生出来的新型 消费类电子产品。m p e g 压缩标准是针对运动图像而设计的，其基本原理是：在单位时问内采集并 保存第一帧信息，然后只存储其余帧对第一帧发生变化的部分，从而达到压缩的目的。m p e g - 1 被 广泛应用在v c d 的制作和一些视频片段下载方面，几乎所有的v c d 都是使用m p e g - 1 格式压缩的 ( 如* a a t 格式文件) ；m p e g 一2 则应用在d v d 的制作( v o b ) ，同时一些h d t v 高清晰电视广播 和一些高要求的视频剪辑、处理有相当的应用；m p e g - 4 标准主要用于可视电话，可视电子邮件和 电子新闻等。 a v i 格式，是1 9 9 2 年m i c r o s o f t 公司推出的a v i 技术标准。它是一种音视频交插记录的数字视 频格式，此格式允许视频和音频交错在一起同步播放，支持2 5 6 色和r l e 压缩，但是a v ! 并未限 定压缩标准，因此，a v l 只是作为控制接口上的标准，不具有兼容性，用不同压缩算法生成的a v i 文件。必须使用相应的解压缩算法才能播放出来。 m a t r o s k a 文件格式，嘲络一个自由软件组织推出的流媒体文件格式，m a t r o s k a 媒体定义了三 种类型的文件：m k v 是视频文件，它里面可能还包含有音频和字幕；m k a 是单一的音频文件，但 可能有多条及多种类型的音轨；m k s 是字幕文件。这三种文件以m k v 最为常见。 1 7 多媒体播放器 在嵌入式领域多媒体播放器可以是一个实际的用户产品，比如p m p ( 个人媒体播放器) ，它反 映了此嵌入式产品主要的或全部的功能，它的设计包含了硬件平台，软件操作系统( 或没有操作系 统，只是简单的进程调度器) 等的全方位的设计。多媒体播放器也可以是一个软件，它指的是在已 有平台的基础上开发出的一个应用软件，它的设计只包含软件的设计，利用的也只是以有平台上的 操作系统提供的接口( 存储器，外设等的访问接口) 。 1 0 第一章摹本概念和摹础知识 本文所涉及的多媒体播放器是一种应用程序，是用来播放多媒体文件的软件，播放器的设计属 于多媒体应用系统设计范畴。多媒体应用系统，又称多媒体应用软件。它是由各种领域的专家或开 发人员利用计算机语言或多媒体创作工具制作的最终的多媒体产品，是直接面向用户的。多媒体应 用开发系统的开发设计过程不完全与通常应用软件的开发过程相同。按照软件工程的思想，传统应 用软件的开发大致遵循如图1 9 的过程。 髭溢篮溢出篮_ 医避滥雀盆础翻靛盘出出。趔窿醢溢洫越越越滥澍睦盏龇逝盛避誊蓥涵 图1 9 传统软件开发过程1 3 1 但多媒体应用系统的开发过稃，与其说是一个软件开发过程，不如说更像一个电影或电视的创 作过程。多媒体应用系统不仅需要软件开发人员，还需要音乐、美术、动画、文编等专业设计人员。 因此，多媒体应用系统的开发过程就不能采用上述一般应用软件开发过程，而采用图1 1 0 的开发步 骤。 图1 1 0 多媒体应用系统的开发过程 多媒体播放器作为多媒