（通信与信息系统专业论文）便携式多媒体终端的应用研究与开发.pdf

基于便携设备的流媒体应用开发与研究 摘要 随着电子和计算机技术以及通信技术的不断发展，包括个人数字 助理( p d a ) 和智能手机( s m a r tp h o n e ) 在内的便携式设备成为了目 前使用最为广泛的个人电子设备。这些便携设备的运算速度越来越 快，功能也变得越来越强，因此，用户希望这些便携式设备能够提供 更多、更好的服务。其中，目前网路上非常流行的流媒体服务就成了 一个开发的亮点。人们希望他们手中的便携式电子设备不仅仅可以播 放存储在本机的媒体文件，也希望通过无线接入网( 例如g p r s ，w l a n 、，w i m a x ，3 g ) 与工n t e r n e t 进行连接，获得更多的实时的媒体信息，比 、如保全系统监视器信息，路况信息，或者是电视节目，以及那些由于 存储空间所限，不能被存储在便携式设备里的大型媒体文件。 面对上述问题，我们经过大量的调查和可行性研究，综合比较了 目前一些已有的、成熟的开源流媒体系统，同时，也研究了大量可以 进行二次开发的便携式电子设备，最终开发出了一套适用于 m i c r o s o f tw i n d o w s c e n e tp o c k e t p c 2 0 0 3 操作系统的p d a 上的流媒 体播放软件，首先，它有很强的媒体功能，不仅可以播放本地的a v i ， m p 4 以及3 g p p 文件，更可以与流媒体服务器建立连接，播放流媒体 数据，同时，它的占用的存储空间要比具备同等功能的同类型软件小 许多，此外，他的稳定性和鲁棒性也是同类型软件中较为出色的。 本文概述性的介绍了视频编码原理和几种目前市面上流行的嵌 入式系统，并作以比较，同时详细介绍了开发环境的搭建以及整个程 序的文件、代码结构。在最后，介绍了与视频数据接入切换有关的无 线局域网定位项目。 1 、 关键词：便携式设备流媒体播放器w i n d o w s c e 无线局域网定位 t h ed e v e l o p m e n ta n dr e s e a r c ho f s t r e a m i n ga p p u c a t l 0 n o np o r r i ：a b l ed e v i c e a b s t r a c t u n d e r t h e d e v e l o p m e n t o ft h e e l e c t r o n i c ， c o m p u t e r a n d c o m m u n i c a t i o nt e c h n 0 1 0 9 i e s ，t h ep o r t a b l ed e v i c e sl i k ep e r s o n a ld i g i t a l a s s i s t a n t( p d a )a n ds m a r tp h o n eh a v eb e c a m et h em o s tp o p u l a r p e r s o n a le l e c t r o n i cd e v i c ep r e s e n t l y 1 h ec a l c u l a t i n gc a p a b i l i t yo ft h e p o r t a b l ed e v i c ei sg e t t i i l gs t r o n g e ra n ds t r o n g e r a n di t sf u n c t i o ni sg e t t i n g m o r ea n dm o r ep o w e r f u l n o wa l m o s ta 1 1o ft h eu s e r sh o p et h a tt h e p o r t 2 l b l ed e v i c ec a no f e rp l e n t yo fc o n v e n i e n ts e i v i c e s 虹t h ep r e s e n t t i m e ，s t r e a m i n gs e i c eh a sb e e nah i g l l l i g h to ft h e s es e i c e sf o rr e s e a r c h a n dd e v e l o p m e n t p e o p l ea r en om o r ec o n t e n tf o rt h ep l a y i n go fl o c a l m e d i af n e s ，b u tw i s ht h a tt h ep o n a b l ed e v i c ec a nc o i l l l e c tt oi n t e m e tv i a t h ew i r e l e s sa c c e s sn e 锕o r k ( g p r s ，w l 气n ，w i m a xa n d3 g ) t og e t m o r er e a l 一t i m em e d i ar e s o u r c e ， 1 i k e s e c u r i t ym o n i t o ri n f o m a t i o n ， t h e t r a f f i ci n f o 衄a t i o n ，t h et vp r o g r a m ，a n ds o m ee n t e r t a i n m e n tm e d i a w h i c hi st o ob i gt os t o r ei np o r t a b l ed e v i c e f o rr e s o l v i n gt h ep r o b l e ma b o v e ，w ed i dap l e n t yo fr e s e a r c h i n ga n d i n v e s t i g a t i o nw o r k a f t e r1 e a m i n gs o m em a t u r eo p e n s o u r c es t r e a m i n g p l a y e ra n dp l e n t yo fp o r t 2 【b l ed e v i c e sw h i c h c a nd of u r t h e rd e v e l o p m e n t ， w e f i n a l l yd e s i g n e da n df i n i s h e dan e w f i l ea n ds t r e a m i n gp l a y e rw h i c hi s r u n n i n go nm i c r o s o f tw i n d o w sc e n e tp o c k e t p c 2 0 0 3d e v i c e t h i s a p p l i c a t i o nc a nn o to n l yp l a yt h el o c a lm e d i a f i l el i k ea v i ，m p 4o r3 g p p ， b u ta l s oc a ng e tc o n n e c tw i t hs t r e a m i n gs e r v e ra n dp l a yt h es t r e a m i n g d a t aw h i c hi sg o tf r o ms t r e a m i n gs e r v e r c o m p a r e dw i t ho t h e rp l a y e r w h i c hh a st h es a m ef u n c t i o n ，t h i sp 1 a y e rt a k e s1 e s sf 1 a s hm e m o r y ，a n di t s r o b u s ta n ds t l b i l i t yi sp r e t t yg o o d t 1 1 i st h e s i sg i v e sr e a d e r sag e n e r a li n t r o d u c t i o n l b o u tt h ev i d e oc o d e c t h e o r ya n dt h es o m ep o p u l a re n l b e d d e do sf b rp o r t a b l ed e v i c e ，a n dt h e n i tg i v e sr e a d e rad e t a i la b o u tt h es e t l l p0 fd e v e l o p m e n te n v i r o n m e n ta n d t h e 行a m eo fw h 0 1 e 印p l i c a t i o n f i n a l l y ，i ti n t r o d u c e st h ec o r r e l a t i v e p r o j e c t ，t h e a np o s i t i o n i i l go n e k e yw o r d s ：p o r t a b i ed e v i c e s t r e a m i n gp i a y e r w i n d o w s c e 独创性( 或创新性) 声明 本人声明所呈交的论文是本人在导师指导下进行的研究工作及取得的研究 成果。尽我所知，除了文中特别加以标注和致谢中所罗列的内容以外，论文中不 包含其他人已经发表或撰写过的研究成果，也不包含为获得北京邮电大学或其他 教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任 何贡献均已在论文中作了明确的说明并表示了谢意。 申请学位论文与资料若有不实之处，本人承担一切相关责任。 本人签名： 眨! 应j 婴2 乖挚日期：叠塑堕二竺乒一 关于论文使用授权的说明 学位论文作者完全了解北京邮电大学有关保留和使用学位论文的规定，即： 研究生在校攻读学位期间论文工作的知识产权单位属北京邮电大学。学校有权保 留并向国家有关部门或机构送交论文的复印件和磁盘，允许学位论文被查阅和借 阅；学校可以公布学位论文的全部或部分内容，可以允许采用影印、缩印或其它 复制手段保存、汇编学位论文。( 保密的学位论文在解密后遵守此规定) 保密论文注释：本学位论文属于保密在一年解密后适用本授权书。非保密论 文注释：本学位论文不属于保密范围，适用本授权书。 本人签名： 导师签名： 1 1 系统研究背景 第一章绪论 从上世纪末开始，随着计算机和电子技术的发展走上快车道，便携式电子设 备，诸如智能手机，个人电子助理( p d a ) 的运算存储能力和通信能力都得到的 长足的进步，便携式设备的用户界面也变的越来越友好，从早期的只能显示单色 文字的l e d ，发展到现在大尺寸6 万色彩色液晶屏幕。因此，用户已经不再仅仅 满足于早期的便携式电子设备提供的传统的，简单的语音通信或文档处理功能。 随着多媒体技术发展，用户希望能够在轻巧的便携式设备上同样能够享受到过去 只能在笨重的台式机或笔记本电脑上才能享受到语音甚至视频等多媒体服务。 伴随着电子技术的发展，各种无线通信技术的发展同样取得了巨大的进步， 它经历了从模拟到数字，从单一到多样，从简单的语音通信，到大量的数据业务 的发展过程。无线语音通信的质量变得越来越出色，无线数据通信的安全性越来 越高，同时，数据的传输速度也变得越来越快，这就为数据量相对较大的多媒体 通信提供了一个理想的信道条件。 与此同时，多媒体技术随着计算机和互联网的发展变得日益壮大起来，尤其 是互联网的发展，更是促进了一种新的多媒体技术的进步，这就是多媒体数据的 流式传输，简称为流媒体技术。在互联网发展的最初一段时间多媒体数据( 视频 和音频) 是被放置在w | e b 页面上，用户可以通过下载整个文件，然后再进行播 放。这种方式的好处在于一旦完成下载，用户就可以得到可靠的播放质量。但是， 如果多媒体数据文件很大( 几百兆，甚至上千兆都是很常见的) ，用户就不得不 忍受长时间的下载延时，同时，也占用巨大的存储空间，而这些往往是不可接受 的。因此，就必须采用一种称为“流传输”( s t r e a i i l i n g ) 的技术，即不是在文件 完全下载后才播放，而是在文件传输的过程中就已经开始播放数据，这样用户的 等待时间就可以大大地缩短，同时也节省了大量的存储空间。 正是在这样的用户需求和技术支持的背景下，探索并研究基于便携式电子设 备的流媒体的应用与开发就理所当然的成为了多媒体技术一个重要的发展方向。 目前，流媒体技术在p c 以及i n t e m e t 上的应用进行的如火如茶，相比较而言， 在便携式电子设备上的应用就显得比较落后已有的应用，不是被大公司所把持， 收费较高且无法根据用户需求进行二次开发，就是应用平台落后且功能较差，在 本文的研究工作中，我们将致力于研究并开发一个基于目前最新的便携式平台并 向后兼容老式设备，同时拥有强大功能，使用最新压缩标准，且接口开放，便于 用户根据个人需求进行二次开发的流媒体应用。 1 2 本课题任务描述 鉴于上文中对我们所研究开发的应用平台的要求，我们对目前主流的便携式 设备进行了调研，出于可移植性，执行效果，普及程度，设备质量，硬件条件和 开发难度等的综合考虑，我们最终选取了惠普公司( h p ) 所生产的i p a q h 6 3 1 5 这一型号的p d a 作为开发平台，这款机型使用的是w i n d o w s m o b l e 2 0 0 3 s e 操作 系统，也就是p o c k e t p c 2 0 0 3 w i n d o w s c e n e t4 2 这一嵌入式操作系统，他的c p u 是由t i 生产的a r mv 4 型，主频为1 7 6 m h z ，内置w l a n 无线网卡，支持g p r s 。 这款机器的主频相对较低，同时无线接入功能较强，适合测试整个系统的向下兼 容性和在不同网络连接下的表现，以使系统将来可以运行于较低配置的便携设备 和各种网络环境中。 整个系统可以笼统的看作两部分，一是流媒体服务器，这不是我们的开发范 围，但是在整个系统中是必不可少的，它通过网络向便携设备上的客户端提供数 据，另一部份就是我们在便携设备上所开发的流媒体应用，一个支持多种媒体压 缩技术和流式数据传输方式的视音频播放器。 在整个测试系统中，服务器端使用的是两款开源软件，d a r 新n s 仃e a m i n g s e r v e r 和m p 4 l i v e ，他们的功能和特点，我们将在后面具体进行介绍。 客户端我们使用我们自己歼发的流媒体播放器。它的功能就是通过无线网络 接受由服务器发来的流媒体数据，经过解码处理后通过人机界面将多媒体服务提 供给用户。 1 3 国内外研究现状及课题意义 目前，基于便携式电子设备( 包括市面上可以见到的所有产品) 的主流流媒 体应用主要包括以下的几种： 1 w i n d o w sm e d i ap l a y e rf o rp o c k e t p c & s m a n p h o n e 2 0 0 3 ； 优点：1 ) 使用简单，有用户基础( 使用方式与p c 的m e d i a p l a y e r 基本相同) ； 2 ) 技术成熟，且功能较强，有强大的公司背景支持； 3 ) 与操作系统兼容性好( 由操作系统白带) ； 缺点：1 ) 代码不公开，二次开发难度大，只能使用m i c r o s o r 提供的s d k 开发： 2 ) 支持文件类型少，只支持m i c r o s o r 系列媒体文件格式； 3 ) 占用资源较大； 2 r e a l p l a y e rf o rp o c k e t p c & s y m b i a n 优点：1 ) 使用简单，有用户基础( 使用方式与p c 的r e a l p l a y e r 基本相同) ； 2 ) 技术成熟，且功能较强，有强大的公司背景支持； 3 ) 跨平台性好； 缺点：1 ) 代码过于庞大且结构不分明，二次开发难度大； 2 ) 支持文件类型少，只支持r e a l 系列媒体文件格式： 3 ) 需要p c 辅助安装； 3 g p a cp l a y e rf o rp o c k e t p c 优点：1 ) 使用简单，无须安装： 2 ) 支持文件类型较多； 缺点：1 ) 仅支持p o c k e t p c 2 0 0 2 一种平台； 2 ) 功能一般，属于非发行版，不够稳定； 4 v l cp l a y e rf - o rp o c k e t p c 优点：1 ) 功能较强； 2 ) 支持文件类型较多； 缺点：1 ) 需要p c 辅助安装； 2 ) 功能一般，属于非发行版，不够稳定； 可以看出，上述几种具体应用均存在各自的优缺点，本文中的课题是在2 0 0 4 年1 2 月时提出，其目的就是能够实现一个能够汲取上述各个应用程序的优点， 同时又能够解决上述各个应用程序的缺点的一个应用平台，它应该具有开放性 好，结构简单，运行稳定，且能够支持较多文件类型和服务器类型等优点。到本 文完成时止，尽管时间已经过去了一年多，但文中所研究的应用平台优势依然十 分明显。 1 4 本课题的任务及项目的创新意义 在本文的1 2 节中我们已经介绍过目前国内外主要的几种使用在嵌入式编写 设备的媒体播放器，他们分别有各自的优缺点，综合比较，这些播放器的主要有 以下4 个缺点： 1 稳定性差，性能低下； 2 代码不公开，二次开发难度大； 3 代码或操作系统复杂，接口设置不明确； 4 兼容性差，支持的媒体格式很少； 针对以上的问题，我们的开发目标确定为：在一个相对普及的操作系统平台 上，开发一款代码结构简单，功能相对较强，支持所有主流媒体格式的，开放源 代码的，同时，接口简单，便于日后升级的一款便携式媒体播放器。 1 5 系统总体应用结构图及工作任务 下面就是整个系统的结构图，图中红色方框内是我的工作任务，即在便携式 媒体终端上，开发一款支持文件及流媒体的播放器： 图卜1 系统结构 6 第二章视频压缩编码及流媒体系统概述 2 1 视频压缩及编码原理 众所周知，数字视频具有数据量大的特点，因此在存储和传输之前通常需 要进行压缩，以降低所需存储空间和传输带宽。本章将简要介绍视频压缩的基本 原理以及常用的视频压缩编码技术，并介绍了一下现有的各种图像编码标准。 总的来说，视频压缩编码是在充分掌握了图像信息的统计特性的基础上， 利用其中相邻图像间及图像内相关性强额特点，寻求去除或减少这种相关性或改 变图像信源概率分布不均匀的方法和手段，从而实现视频数据量的得压缩。由此 可以看出，去除信源的冗余度是实现视频数据压缩的基本方法。图像中存在如下 冗余 1 2 ：时间冗余，空间冗余，信息熵冗余，结构冗余，知识冗余视觉冗余 等，而对于视频信号而言，空间冗余和时间冗余是最普遍且最重要的两种冗余。 时间冗余性 在视频序列中，前后相邻帧之间的相关性很大，这种相关性直接表现，就 是视频序列中有很大的时间冗余。去除时间冗余的一般方法就是采用预测编码。 空间冗余性 在一幅图像中，规则物体或规则背景的表面物理特性之间有很强的相关性， 这种相关性的表现就是图像中的空间冗余。目前，视频压缩标准中通常采用离散 余弦变换或其他的准正交变换的方法来去除空间冗余。 信息熵冗余 由信息论的有关原理可知，对于图像中的每一个像素点，只要按其信息熵 的大小分配相应的比特数即可。然而对于实际图像的像素，很难得到它的信息熵， 因此在数字图像中的所有像素均采用相同比特数来表示。显然这会在数字图像中 引入冗余，这种冗余我们称为信息熵冗余。 视觉冗余 人类的视觉系统对于图像的注意是非均匀的和非线性的，对图像中的某些 变化都可以被感知，而某些变化则不能被感知。然而在进行图像处理时，人们通 常是假定视觉系统是线性的和均匀的，这必然会有很多的冗余。 除了这些冗余，还有知识冗余，结构冗余等。 下面我们将介绍几种常用的视频编码方式： 预测编码 我们知道一段图像画面在时间和空间上都存在着很大的冗余度，要想压缩 图像的数据量就应该尽量的减少这些冗余信息( 在保证图像质量的前提下) 。为 了达到这一目的，多采用了三种类型的图像来编码：i 帧，p 帧，b 帧。 i 帧：是完整的独立编码的图像，是不能由其他帧构造的帧，必须存储或传 输。i 帧与其他帧无关，可以作为视频序列的起点和数据流中的随机访问点。 p 帧：前向预测图，以参考帧( i 仃一个i 帧或p 帧) 为基础进行编码，也是 后面预测图像的参考帧。编码时通过对它之自订的参考帧进行预测，对预测误差进 行有条件的存储和传输。 b 帧：双向预测图，它的压缩比最高，用双向预测方式则需要前后两个参考 帧。它本身不可以作为参考帧使用。编码时根据自才后的i 帧或p 帧的信息进行插 值编码而获得。 序列图像在时间上存在这很大的冗余度。对于静止不动的场景，当前帧和 6 订一帧的图像内容是完全相同的；对于运动的物体，如果知道其运动规律，就可 以从前一帧图像推算出它在当前帧中的位置。因此对于运动的物体只要把它的运 动信息记录下来，解码端就可根据运动信息和前一帧图像的内容来更新当前图 像，从而达到压缩数据量的目的。运动信息的得到需通过运动估值来得到。 运动补偿技术的关键是计算图像中运动部分位移的两个分量，即运动向量。 跟踪画面内的运动情况，对其加以补偿后再进行帧问预测。 对于运动向量的估值计算有块匹配算法、梯度法和傅立叶变换法。其中块 匹配法最常用。如图2 3 所示， 第k n s 帧 图2 1 块匹配位移量估计算法 块匹配算法把图像分成若干子块图像。设子块是m n 块。若当前帧图像亮 度信号为f k ( m ，n ) ，前一次传送的图像的亮度信号是f 。( m ，n ) ，这里n s 为帧差 数目。一般n s 可能是1 、3 、7 。假定当前帧中的m n 子块是从第k n s 帧中平 行移动而来的，则m n 子块内所有像素都具有同一个位移值( i ，j ) 。设运动 物体在n s 帧差实际内，水平和垂直最大位移均为l ，这样就可在第k n s 帧搜 索区s r 内进行搜索，s r 区为( m + 2 l ，n + 2 l ) 。计算子块位移值时，可以计算两 帧中子块的相关函数n c c f ( i ，j ) ，当n c c f 达到最小值时的( i ，j ) 就确定 为子块的位移值。实际应用中常用下面式子来确定子块匹配： c c t f ( f ，) = m i n i 厶( 小，盯) _ 心一帆( 脚+ f ，胛+ 川，( f ，) 艘 r = 1n = 1 或 暑匹酵 们( j ，) = 幽 五( m ，) 一弘z 一坂+ j ，刀+ 艇，( i ，j ) 艘 聪- lx - 1 这样，当自，j 帧的m n 子块的任意位置( m ，n ) 上的像素完全可用第k n s 帧位置上的像素来预测。使用块匹配算法的缺点是容易使重构的图像产生“方块 效应”，需要另外加预处理或后处理技术来消除。 变换编码 我们在这里讨论的变换编码方式主要是指离散余弦变换。 离散余弦变换( d i s c r e t ec o s i n et r a n s f o r m ) ，是现行比较常用的一种正 交变换方式。二维的d c t 的正变换和反变换分别由下式定义： f ( 甜，v ) = 丢c ( 甜) c ( v ) 砉褰厂( x ，y ) c 。s 学c 。s 警u ，v = o ，1 7 - t j = o v = o 1 u工u 厂( x ，y ) = 丢c ( 材) c ( v ) 耋砉f ( 甜，v ) c 。s 学c 。s 警x ，y = o ，1 7 叶 ”= 0v = 0 1 u1 u 这里d c t 系数矩阵中s ( o ，o ) 称为直流系数d c ，满足瑞利分布，其余s 近似满足拉普拉斯分布。s 的能量主要集中于低频区，变换系数之间基本上不相 关。 如果直接利用正交变换攻势进行一个一维n 点d c t 的计算，需要做n 2 次乘 法运算和n ( n 一1 ) 次加法运算，运算量非常大。在实际中，d c t 是采用快速算 法来实现的，比较常用的是基于d f t 的快速d c t 算法。 熵编码 预测编码与变换编码是基于去除样值间的相关性而达到数据压缩的目的， 如果信源已经是无记忆的，即各样值之间己没有相关性，那么根据信息论的相关 理论可知，只要各事件出现的概率各不相等，该信源就有冗余度存在，所以还有 进一步压缩的可能性，这就是熵编码的理论依据。熵编码是纯粹基于信号统计特 性的编码技术，它是一种无损编码，解码后能无失真的恢复原信号。常用的熵编 码方法有游程编码，霍夫曼编码和算术编码等三种。我们主要介绍一下霍夫曼编 码。 霍夫曼( h u f f m a n ) 编码的基本思想是，对出现概率较大的符号取较短的码 长，而对概率较小的符号则取较长的码长。哈夫曼码是一种最优码，因为再给定 的符号集和概率集模型中，哈夫曼码的平均码长比其他任何整数码都短。其编码 的步骤为： 1 ) 将信源中概率最小的两个事件合并成一个事件。 2 ) 将上一步合并的事件与其他事件按概率大小重新排列，概率相等的事件 可以任意排列。 3 ) 重复前两个步骤，直到信源事件数等于2 。 4 ) 在最后得到的信源中，给排好的事件赋值o ( 或1 ) 或1 ( 或) 。 5 ) 写出各个事件的码。 哈夫曼编码的过程如图2 4 所示。 o 图2 2 哈夫曼编码过程示意图 这样所构造的码就无歧义的，经过编码后：a 1 用0 0 表示，a 2 用0 1 表示，a 3 用1 l 表示，a 4 用1 0 0 表示，a 5 用1 0 1 表示。其平均码长非常接近2 2 ( 2 2 为理想情 况下的平均码长值) 。 矢量量化 香农失真理论指出，即使对于无记忆信源，矢量编码( v q ，v e c t o r q u a n t i z a t i o n ) 总是优于标量编码。基于v q 的图像压缩方法是利用相邻图像数 据之问的高度相关性，将输入的图像数据序列分组。每一组m 个数据被描述为 一个有m 个元素的矢量。实际的矢量量化图像系统中编码器和解码器内置有相 同的码本，码本由所有可能矢量集合的有序子集组成，编码器根据特定的距离准 则在码本中对输入图像进行矢量匹配，然后对匹配码的码本序号进行编码，从而 实现了一个矢量所需要的比特数到一个码字序号所需比特数的压缩。 2 2 主要的几种视频压缩编码技术 2 2 1t p e g 系列 m p e g 是国际标准化组织i s o i e c 下的一个制定动态视频压缩编码标准的 组织，它为视频压缩编码技术的标准化和实用化做出了很多的工作。如针对 c d r o m 的1 5 m b p s 传输率的m p e g 一1 、针对h d t v 的6 m b p s 以上传输速率的 m p e g 一2 都已成功地得到应用，并创造了巨大的商业价值。m p e g 4 是针对视频 会议、可视电话的甚低速率编码标准，它融入了基于内容的检索与编码，可对压 缩数据内容直接访问；2 0 0 1 年制定的m p e g 一7 标准被称为“多媒体内容描述接 口”，这种标准化的描述可以加到任何类型的媒体信息上。不管视频信息的表达 形式或压缩形式如何，具有这种标准化描述的多媒体数据均可被检索。因此， m p e g 。7 的应用领域主要是数字化图书馆和广播式媒体。 一m p e g 一1 m p e g 组织于1 9 9 3 年8 月发布了m p e g 一1i s o i e c1 1 1 7 2 。m p e g 一1 的视频 主要面向位率为1 5 m b p s 的视频信号的压缩编码，音频主要面向每通道6 4 k b s 、 1 2 8 k b s 以及1 9 2 k b s 的数字音频信号的压缩。其最终目标是在一个可以接受的 声音及图像质量下将多媒体数据压缩为大约1 5 m b p s 的一个单一的流。其视频方 面的标准为i s o i e c1 l1 7 2 2 ，所满足的交互式视频应用方面的需求为：视频回 放，即正常播放、倒退播放、快进、快退；单个帧以及随机存取方式；高画质的 静止图像回放；非常低成本的硬件解码方式的实现和容错性。 m p e g 1 主要支持的特性有： 1 ) 运动补偿预测和插补双向预测； 2 ) 基于宏块以及片( s l i c e ) 编解码； 3 ) 支持图组( g o p ) ； 4 ) 半像素运动预测； 5 ) 视觉加权量化矩阵； 6 ) 采用对d c 分量的差值编码； 7 ) 运动补偿特性有：可选的半像素预测( 在编码器中选择) ；运动矢量的范 围有7 种可供选择；对运动矢量的差值进行编码； m p e g 。1 为确保采用该标准的设备的通用性，定义了视频限制参数，如： 宽度 7 2 0 像素、高度s 5 7 6 像素；总的宏块数不大于3 9 6 ，每秒钟的宏块数 m e d i ad e s c j ； r t s p s l i e n t - t 户i 幽n n a t i o na b o u tt l l es e r v e rw e r et a l k i n gt o 术 术p 咖a t ed a t a 姗m b e r0 fc l a s sc p l a y e r s e s s i o n 半 串g e tv a l u e si nr t s p p r e a t e c l i e n t j o r - 却j c p 0o rr t s 耻c r e 酏e _ p l i e m ( ) 枣 s t r u c tr t s p - - c l i e n l c h a r 毒o r i g j l r l ； c h a r 枣u r l ： c h a r 水s e r v e rn a 】n e ： u i n t16tr e d i r e c tc o u n t ： i n tu s e t c p ： 2 9 s t m c ti n a d d rs e n ，e l a d d r ； s t i u c ta d d r i n f o 术a d d i 二i n f o ； u i n t l6 j p o r t ； 水c o m m u n i c a t i o n si n f o n n a t i o n s o c k e t r e c e i v eb u 妇e r 书 i f n d e fw i n 3 2 i n ts e r v e rs o c k e t ； e l s e s o c k e ts e e rs o c k e t ： # e n d i f i n tr e c vt i m e o u t ： 水r t s pi n f o n n a t i o ng l e 锄e d 丘o mo 1 e rp a c k e t s 水 u i n t 3 2tn e x tc s e q ； c h a r 木c o o k i e ： r t s p d e c o d e l j 术d e c o d e l e s p o n s e ； c h a r 木s e s s i o n ： i r t s ds e s s i o nt 串s e s s i o n1 i s t ： 术t 1 1 r e a di n f o 衄a t i o n 术 s t m c t i n tr t pc a l l b a c ks e t ： r t p _ c a l l b a c k - fn p _ c 砒l b a c k ； i r t s p j l l r e a d c a l l b a c k fr c p j e r i o d i c ； v o i d 术r t pu s e r d a t a ： ) n 1 c a l l b a c k m a xr t p j r h r e a d s e s s i o n s ； s d lt h r e a d 幸t h r e a d ： s d lm u t e x 木m s gm u t e x ： r t s h r e a u n f o j 木n u 缸e a d j n f o ； 牵r e c e i v eb u f f e r 半 u i n t 32 jm j u 彘l l e n ，l _ o 凰e t _ p n ； c h a rn 1 _ r e s p _ b u 仃e r r e c v b u f f _ d e f a u l t l e n + 1 ； r t s p d e c o d t i _ t 木s t m c t u r ec o n t a i n i n gi n f o n n a t i o nd b o u tt 1 1 er e s p o n s ef 而mar t s pc o m m a j l d s o m ei n f 0 肌a t i o nw i l lb er e q u i r e db ya p p l i c a t i o n u s e rc a nm o v es t r i n gm e m o w 仔o mt h i ss t r u c t u r e ，b u tm u s t 行e em e m o r va r e ru s i n gi t m a k es u r et os e tf i e l dt o n u l lf o rm e m o r vm o v e d行o mt h i ss t m c t u r e u s e rm u s tc a l l f e ed e c o d er e s p o n s ew h e nc o m p l e t e d 木 木d e f i n ei nc r e a t e s t r e 啪i n g o n d e m a n d ( ) ，g e tv a l u ei nn s p s e n d d e s c r i b e ( ) 木 t y p e d e f s t r u c tn s p d e c o d e j 3 0 u i n t 3 2 c o n t e n u e n 酵h ； u i m 3 2tc s e q ； i n tc l o s ec o r m e c t l o n ； c h a rr e t c o d e 4 ； c h a r 母r e t r e s p ； c h a r o d y ； c h a r 母a c c e p t ； c h a r 木a c c e p te n c o d i n g ； c h a r 木a c c e p u a n g u a g e ； c h a r 宰a l l o wp u b l i c ； c h a r 水a u m o r i z a t i o n ； c h a r 木b a n d 、析d t h ； c h a r 术b l o c k s i z e ； c h a r 木c a c h ec o n t r o i ； c h a r 母c o n t e n tb a s e ； 严3b y t er e t u mc o d e 一od e l i m i t e d 术 c h a r 宰c o n t e n t n c o d i n g ； c h a r 枣c o n t e n t j a n g u a g e ； c h a r 卑c o n t e n t1 0 c a t i o n ； c h a r 木c o n t e n l j y p e ； c h a r 术c o o k i e ； c h a r 半d a t e ： c h a r 木e x p i r e s ； c h a r 木n 。o m ： c h a r 木i fm o d i f i e ds i n c e ； c h a r 宰1 a s t m o d i f i e d ； c h a r 木1 0 c a t i o n ； c h a r 枣p r o x y _ a 1 1 也e n t i c a t e ； c h a r 水p r o x y _ r e q u i r e ； c h a r 木r a i l g e ； c 】a a r 母r e f e r e r ： c h a r 木r e q u i r e ； c h a r 书r e t r y a j f c e r ； c h a r 术r t pi n f o ； c 】 1 a r 木s c a l e ： c h a r 木s e r v e r ； c h a r 木s e s s i o n ： c h a r 誊s p e e d ； c h a r 木t r a n s p o n ； c h a r 卑u n s u p p o r t e d ； c h a r 术u s e l a g e n t ； c h a r 卑v i a 二 c h a r 术w w wa u t h e n t i c a t e ； ，r t s p _ d e c o d e j ； 毋c o n t a i n sb o d yr e t 唧e d 术 r t s p c o m m a n d _ t 术s t m c t u r et 1 1 a tc o n t a i n si n f o n n a t i o nr e q u i r e db yr t s pf o rh e a d e r sw h e ns e n d i n g c o m m a n d s f o rm o s tc o m m a n d s ，1o rm o r ef i e l d sa r er e q u i r e dt ob es e t s e e p r o t o t v p e sf o ri n d i v i ( 1 u a lc o m m a n d sf o rw h i c h6 e l d sa r er e q u i r e d 半 枣d e f i n ea n dg e tv a l u ei nc r e a t e _ s t r e a m i n 臣o n d e m a n d ( ) ，d e f i n ea n dg e tv a l u ei n c r e a t e s t r e a i n i n g ( ) a n dd o p l a y ( ) t o o 丰 t y p e d e fs t m c tr t s p c o m m a n c l - - t c h a r 水a c c e p t ； c h a r 木a c c e p l e n c o d i n g ； c h a r 术a c c e p l l a n g u a g e ； c h a r 木a u t l l o r i z a t i o n ： u i n t 3 2tb a n d w i d m ： u i n t 32tb l o c k s i z e ： c h a r 术c a c h e c o n t r o l ： c h a r 木c o n f 色r e n c e ： c h a r 术c o n n e c t i o n ： c h a r 宰f r o m ： c h a r 木p r o x y a u m ； c h a r 木p r o x y r e q u i r e ； c h a r 木r a n g e ； c h a r 木r e f e r e r ： d o u b l es c a l e ： c h a r 木s e s s i o n ： d o u b l es p e e d ； c h a r 枣t r a l l s p o r t ； c h z u r 木u s e r a g e n t ； c h a r 奉u s e r ： ) r t s p _ o m m a n d j ； f b r m a tl i s tt 木s t m c t u r et h a tc o n t a i nt h ei i l f o m a t i o no fm e d i af o r n l a t w 色c a i lg e tt h e p a r 姗e t e r 行o mr t s pd e s c r i b ep a c k e t 木 t y p e d e fs t r u c tf o 衄a t1 i s tt s t m c tf b n n a t1 i s tt 木n e x t ： s t r u c tm e d i ad e s ct 木m e d i a ： c h a r 木f m t ： n p m a p d e s c j 木n p m a p ； c h a r 半佃tp a r a l n ； ，f o m a t1 i s tt ： 4 2 2 3 主要功能函数 p l a y e r s r c m a i n c p p 一i n tm a i n ( i n ta r g c ，c h a r 女去a g r v ) 3 2 功能描述：程序m p 4 p l a y e r e x e 的程序入口( 舯p 4 p l a y e r e x e 的入口函数为同一目 录下的g u i m a i n c p p 的m a i n 函数) 函数描述：可分为三部分：初始