（通信与信息系统专业论文）基于uclinuxbf561嵌入式播放器的设计与实现.pdf

西南科技大学硕士研究生学位论文第1 页 摘要 随着数字通讯技术、多媒体数据压缩技术以及处理器技术的不断发展， 利用便携式设备实现可视电话、视频会议、视频点播等业务成了学术界以及 工业界的热点领域，本文旨在b 1 a c k f i n 平台上实现流媒体播放和本地文件的 播放功能。 本文基于可视电话的工业开发实际项目设计实现了一种基于 b l a c k f i n 5 6 1 的嵌入式流媒体播放器。该系统在1 6 位高性能嵌入式处理器的 基础上，选择r t p r t c p ，r t s p 为通信传输协议，视频解码算法采用压缩性能 良好而运算量有明显优势的m p e g 一4 标准，音频解码使用m p 3 音频标准。将音 视频解码算法分别运行在b 1 a c k f i n 5 6 l 的两个核中，并行运行提高效率，这 样b 1 a c k f i n 5 6 1 处理器超低的功耗和强大的网络功能、u c l i n u x 完备的t c p i p 协议栈和丰富的源码资源、m p e g 一4 高效的压缩性以及r t p r t c p ，r t s p 协议 的灵活性在本设计中都有机的结合在一起。利用本嵌入式流媒体播放器可以 进行流媒体的视频点播收看业务，具有低功耗，稳定可靠等特点。 本文详细介绍了播放器的音视频标准，传输协议和嵌入式媒体播放器的 硬件框架，分析了开源的l i v e 库和播放器软件结构，对于系统调试平台的搭 建和系统的测试也进行了介绍。 关键词：播放器嵌入式系统流媒体b f 5 6 1u c l i n u x 西南科技大学硕士研究生学位论文第1 i 页 a b s t r a c t w i t ht h ed e v e l o p m e n to fc o m m u n i c a t i o nt e c h n o l o g y ，d a t ac o m p r e s s i o n t e c h n o l o g ya n dp r o c e s s o rt e c h n o l o g y ，t h er e a l i z a t i o no fm u l t i m e d i aa p p l i c a t i o n s u c ha sv i d e o p h o n e ，v i d e oo nd e m a n da n dr e a l t i m ev i d e oc o n f c r e n c eu s i n g p o r t a b l ed e v i c e sh a sb e e no n eo ft h em o s ti m p o i r t a n tf i e l d si nb o t hi n d u s t r ya n d r e s e a f c h t h ep u r p o s eo ft h i st h e s i si st ob u i l ds t r e a m i n gm e d i ap l a y e ra n dl o c a l m e d i ap l a y e rb a s e do nb 1 a c k f i n 561 i nt h i st h e s i s ，i np u l p o s eo fi n d u s t r yp r o je c to fv i d e o p h o n e ，a ne m b e d d e d m e d i ap l a y e rb a s e do nb l a c k f i n 5 61i sd e s i g n e d t h i ss y s t e mi sd e v e l o p e db a s e d o nh i g hp e r f b m a n c ee m b e d d e dp r o c e s s o r i nr e s p e c to fr e a l - t i m et r a n s m i s s i o n p r o t o c o l ，r t p r t c pa n di t s pa r ec h o s e n m p e g 一4w a sc h o s e nt ob et h ev i d e o d e c o d i n ga l g o r i t h md u et oi t sh i g hc o m p r e s s i o nr a t ea n d l o wc o m p u t a t i o n a l a n d t h ea u d i od e c o d i n ga l g o r i t h mi sm p 3 t h et w od e c o d i n ga l g o r i t h ma r ew o r k i n g d i s t i n c t l yi nt w ok e r n e l so f b l a c k f i n 5 61 ，t h u st h ee f f e c t i v ei se n h a n c e d t h el o w p o w e rc o n s u m p t i o na n do u t s t a n d i n g n e t w o r kf u n c t i o no fb f 561 ， c o m p l e t e t c p i pp r o t o c o la n dr i c hr e s o u r c eo fu c l i n u x ，h i g h l ye f f e c t i v ec o m p r e s s i b i l i t yo f m p e g 4 ，r 呵p i t c p ；r t s pp r o t o c o la r ea l lu n i t e dt o g e t h e ri nt h ed e s i g n w i t h t h i sm e d i ap l a y e rw ec a nu s et h ev o da l lo v e rt h en e t w o r k i nt h i st h e s i s ，t h es t a n d a r d so fa u d i oa n dv i d e o ，t r a n s p o r tp r o t o c o la n df r a m e o ft h eh a r d w a r ea r ed e s c r i b e d ，l i v el i b r a r ya n ds o f t w a r es t r u c t u r ea r ea n a l y s i s e d b u i l d i n go fw o r k i n ge n v i r o n m e n to ft h es o f t w a r es y s t e ma n ds y s t e mt e s t i n ga r e a l s og i v e n k e y w o r d ：m e d i ap l a y e r ；e m b e d d e ds y s t e m ；s t r e 锄m e d i a ；b f 5 6 1 ；u c l i n u x 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究、工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得西南科技大学或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：参疏恕 日期：力口葶丘形 关于论文使用和授权的说明 本人完全了解西南科技大学有关保留、使用学位论文的规定，即：学校有权 保留学位论文的复印件，允许该论文被查阅和借阅；学校可以公布该论文的全部 或部分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的学位论文在解密后应遵守此规定) 签名：杏盹燕， 翩鹕。千嗍钞形名 西南科技大学硕士研究生学位论文第1 页 1 绪论 1 1 课题的提出和意义 进入2 0 世纪9 0 年代以来，计算机多媒体技术和网络技术飞速发展，基 于流媒体的多媒体应用也被运用在如网络可视电话、远程监控、视频点播等 诸多领域。伴随着计算机多媒体压缩技术的成熟和网络传输技术的发展，开 发实时可靠、多功能、数字化、操作简单的基于计算机网络通讯技术和多媒 体应用的网络化流媒体播放器已成为计算机、通信、消费电子产品领域技术 发展的主要方向之一。 传统的流媒体播放器主要是基于p c 的流媒体播放器。尽管这类流媒体 播放器具有强大的流媒体播放功能和非常友好的用户界面，但是它具有一个 致命缺点就是使用基于p c 平台的流媒体播放器的用户必须熟练掌握p c 技 术，并且其应用无法脱离多媒体p c 。相对的基于嵌入式技术的流媒体播放器 有效的将嵌入式技术和流媒体技术结合在一起可以很好的解决基于p c 的流 媒体播放器在实际应用中存在的不便。和基于p c 的流媒体播放器相比，基 于嵌入式的流媒体播放器具有体积小、携带方便、功能专业化高、成本较低、 稳定性高、实时性好等特点。 本课题是长虹电器股份有限公司技术中心与四川电信合作推动农村信息 化改进而进行的“视际通 产品开发的一个子系统，主要研究设计一种基于 b l a c k f i n 5 6 1 ( b f 5 6 1 ) 的嵌入式流媒体播放器。该嵌入式流媒体播放器基于嵌入 式处理硬件平台，采用了嵌入式l i n u x 操作系统和针对硬件平台优化过的 m p e g 4 视频解码算法和m p 3 音频解码算法，并且使用流媒体技术。 同时，本流媒体播放器软件设计上采用了标准的音视频压缩标准和实时 传输协议，增加了系统的扩展性和兼容性，提供了一种应用广泛的嵌入式流 媒体播放终端的综合解决方案。 1 2 国内外发展现状 1 2 1流媒体播放器的发展动态 流媒体播放器的设计是一门集计算机技术，通信技术和数字多媒体技术 于一体的综合设计。流媒体在中国的宽带建设中被列为最主要的应用之一， 越来越多的提供网络在线服务的运营商开始采用网络视频媒体服务解决方案 西南科技大学硕士研究生学位论文第2 页 以增强在网络服务上的优势。流媒体将成为未来互联网应用的主流，并将推 动互联网整体架构的革新。 近年来，流媒体技术在世界范围内已有广泛的应用，特别是1 9 9 5 年推出 第一个i n t e r n e t 流媒体播放器以来，i n t e m e t 流媒体应用有了爆炸性增长。互 联网的发展更是决定了流媒体市场的广阔前景。商业网站利用流媒体上新闻， 音乐直播和点播，企业和机构采用点播和流媒体进行员工培训、信息发布、 公司介绍等，可提高效率，节约开支。随着计算机技术、网络技术、数字多 媒体技术等高科技技术的发展，流媒体播放器技术也得到了迅速发展。流媒 体播放器的发展大致可分为两个阶段：基于p c 的流媒体播放器阶段和基于 嵌入式流媒体播放器阶段。 目前基于p c 的流媒体播放器技术市场上主流的流媒体技术有三种，分 别是r e a l n e t w o r k s 公司的r e a l m e d i a ，m i c r o s o r 的w i n d o w s m e d i a 和a p p l e 公司的q u i c k t i m e 。这三家的技术都有自己的专利算法、专利文件格式和专 利传输控制协议这三个关键要素在里面。 a p p l e 公司的q u i c k t i m e 是一个媒体技术集成，是数字媒体领域事实上 的工业标准。之所以说集成这个词是因为q u i c k t i m e 实际上是一个开放式的 架构，包含了各种各样的流式或者非流式的媒体技术。目前的最新版本支持 m p 4 文件格式的播放。 r e a l n e t w o r k 公司在2 0 世纪9 0 年代中期首先推出了流媒体技术，并随 着互联网的极速发展而壮大了自身，在市场上处于主动地位，并拥有最多的 用户数量。r e a l m e d i a 通过基于s m i l 并结合自己的r e a l p i x 和r e a l t e x t 技术 来达到一定的交互能力和媒体控制能力，不过相比q u i c k t i m e 来说还有一段 距离。 m i c o s o r 是三家中最后进入这个市场的，但利用其操作系统的便利很快 便取得了一定的市场份额。w i n d o w sm e d i a 的关键核心是m m s 协议和a s f 数据格式，m m s 用于网络传输控制，a s f 、则用于媒体内容和编码方案的打 包。 。 从一般的角度来看，这三种技术之间的差异并不大。总的来说，如果使 用w i n d o w s 服务器平台，w i n d o w sm e d i a 的费用最少。q u i c k t i m e 在性能价 格比上具有优势，而r e a l m e d i a 则在用户数量上有优势。 目前虽然基于p c 的流媒体播放器系统仍然是多媒体应用的主要市场， 但是它具有一个致命的缺点就是使用基于p c 平台的流媒体播放器的用户必 须熟练掌握p c 技术，并且其应用无法离开多媒体p c 。 西南科技大学硕士研究生学位论文第3 页 近两年随着流媒体技术应用到各个领域，特别是计算机、通信、消费电 子产品，对视频播放系统的要求也越来越高：操作简单、实时可靠、多功能、 数字化、经济实用的流媒体播放器的开发和设计越来越多地受到人们的瞩目。 基于嵌入式技术的流媒体播放器应运而生。 嵌入式系统被定义为：以应用为中心、以计算机技术为基础、软件硬件 可裁剪、适应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用 计算机系统。嵌入式系统以其本身体积小，实时性高、稳定性好，支持以太 网等优点，成为多媒体应用领域的新热点。基于嵌入式技术的流媒体播放器 有效地将嵌入式技术和流媒体技术结合在一起，可以很好的解决基于p c 的 流媒体播放器在实际应用中存在的不便和问题【l 】。 和基于p c 的流媒体播放器相比，基于嵌入式技术的流媒体播放器具有： 体积小，功能专业化高，成本较低，稳定性高，实时性好等特点。因此基于 嵌入式技术的流媒体播放器必将有良好的应用与发展前景，特别是在消费电 子产品领域。 1 2 2 基于嵌入式系统的媒体播放器 1 9 9 8 年，s a e h a n 公司成功推出世界上第一款m p 3 音乐播放器 m p m a n f l 0 。到目前，m p 3 已经蓬勃发展，m p 3 播放器使得用户能够将原先 p c 上才能播放的音乐文件下载到一个小巧的器件中，不再受限于p c 机。 而当前，m p 4 正在影响着我们的生活，三星、i p o d 、i r i v e r 、森海塞尔 s o n y 等公司相继推出它们的产品。如同m p 3 一样，m p 4 也是使得我们能 够脱离p c 机而随时随地享受科技带来的生活质量的改变，所不同的是m p 4 不仅仅是音频，还包含视频。这类手持式媒体播放器支持的格式包括：a v i ， m ，w a v 等。 然而，这类播放器依然不能脱离p c 机而独立存在，m p 4 一般只支持一 种媒体格式和确定的图像大小，依靠运行于p c 的软件完成这种多媒体格式 的转码工作。而且，依靠p c 预先下载媒体文件到播放器中，需要较长的等 待时间，并非流媒体技术所倡导的边下载边播放的传输方式。 ，? ， 1 2 3 嵌入式流媒体点播播放器 以上两类目前主流的产品都各有各的特点，但均不能称为嵌入式流媒体 系统，嵌入式流媒体点播系统应具有以下特点【2 1 ： 1 、独立于p c 而存在，嵌入式流媒体点播系统是独立于p c 机的功能完 西南科技大学硕士研究生学位论文第4 页 全的产品，不再是p c 上的软件，也不依赖于p c 实现其功能。 2 、无需额外处理( 如编码格式转换) ，嵌入式流媒体点播系统能够点播位 于远程服务器上的媒体文件，如同p c 机上的媒体点播软件一样，自身实现 多种多媒体编码格式的解析。 3 、无需预先下载，采用网络流的形式。嵌入式流媒体点播系统能够实现 边下载边播放的功能，无需等待下载完成，同时节省海量的存储器。 1 3 论文工作和安排 第一章综合论述课题的意义，并从流媒体播放器的发展动态、基于嵌入 式系统的媒体播放器与嵌入式流媒体点播播放器三方面讲述了国内外的发展 现状。 第二章介绍嵌入式流媒体系统的关键技术，包括流媒体传输协议、音视 频编码标准。主要分析r t p 、r t c p 、r t s p 、s d p 等流媒体协议，m p e g 4 、 m p 3 等多媒体编码标准。 第三章介绍嵌入式播放器设计的硬件总体方案，b f 5 6 1 的结构和功能以 及播放器的主要芯片。 第四章主要从软件设计的架构，操作系统的选择，l i v e 库的分析，音视 频解码算法，媒体控制等方面介绍嵌入式播放器的软件设计。 第五章介绍嵌入式系统环境的搭建和调试，包括交叉编译工具链的制作， 调试环境的搭建。 第六章介绍系统的测试，包括测试的重要性，测试的结果。 最后是结论部分，总结本论文的主要成果和播放器的特点，以及对今后 工作的展望。 西南科技大学硕士研究生学位论文第5 页 2 嵌入式流媒体系统的关键技术 为了能够充分利用有限的网络带宽资源，同时兼顾流媒体使用者的等待 时间，实时多媒体信息传输方式一般如图2 1 所示。从信息源采集的数据为 原始数据，数据量非常大，需要经过编码才能传输b ，。传输实时媒体数据对 网络协议的延时波动和传输效率有独特的要求，因此需要专用于传输媒体信 息的流媒体传输协议。可以看到，音视频编解码和流媒体传输协议在整个信 息的传递过程中起了核心作用。本章将分节介绍这些流媒体播放处理相关的 技术，为后续流媒体播放器设计及实现作铺垫。 音视频编 解码标准 流媒体传 输协议 、 网络连接 ，。 、，一+ 一一。， 图2 1音视频编解码和流媒体传输协议在信息传递过程中的作用 flg 2 1 u s a g eo fa u dio v e dioe n c o d e d e c o d ea n dt a n s p o r tp r o t o c o ijn jn f o r m a tio nt r a n s f e r 2 1 视频压缩标准 视频数据量是很巨大的。例如n t s c 图像以大约6 4 0 4 8 0 的分辨率， 2 4 b i t s 像素，每秒3 0 帧的质量传输时，其数据率达2 8 m 字节秒或2 2 l m 位 秒。此外，n t s c 声音信号还要使未压缩多媒体数据的比特率再增加一些。 这是一般的网络传输能力所无法承受的，它会很容易的将网络资源吞没，造 西南科技大学硕士研究生学位论文第6 页 成网络拥塞甚至崩溃。而且，以2 8 m 字节秒的速率，一分钟的未压缩图像 将占用1 6 g 字节的存储空间，这对于一般计算机来说也是不可接受的。所以 在多媒体应用中，多媒体数据传输或存储的第一步就是多媒体压缩。这就提 出了一个不同厂家产品的兼容性，因此需要一个全球性的统一的多媒体压缩 标准。下面介绍几种常见的视频压缩标准f 4 】。 2 1 1m p e g 一2 视频 1 9 9 2 年7 月m p e g 专家组制订了m p e g 2 1 5 1 。m p e g 2 是m p e g 制定的 第二个国际标准。经过多次讨论和测试，于1 9 9 3 年1 1 月产生了m p e g 2 草 案，即“活动图像及声音的通用编码 。1 9 9 4 年正式定为国际标准，而其中 的视频编码部分就是h 2 6 2 标准。m p e g 2 所追求的是c c i r 6 0 1 建议的图像 质量，即为d v b ，h d t v 和d v d 等制定的3 m b p s 1 0 m b p s 的运动图像及其 伴音的编码标准。 m p e g 一2 标准扩展了m p e g 1 标准，能够支持高分辨率图像和声音。 m p e g 2 在n t s c 制式下的分辨率可达7 2 0 4 8 0 。m p e g 2 还能够提供s n r 、 时间、空间三种分级编码。该标准应用于卫星广播时，在当前的一个模拟信 道中，不牺牲质量的情况下能提供5 路数字的编码节目。 因为m p e g 2 可以提供一个较广的范围改变压缩比，以适应不同画面质 量、存储容量以及带宽的要求，所以除了作为v c d 和d v d 的指定标准外， m p e g - 2 还可为广播、有线电视网、电缆网络以及卫星直播提供广播级的数 字视频。 2 1 2 m p e g 一4 视频 m p e g 专家组于1 9 9 9 年2 月正式公布了m p e g 4 ( i s o i e c l 4 4 9 6 ) f 6 - ，】标准 第一版本。同年年底m p e g 4 第二版亦告定稿，且于2 0 0 0 年年初正式成为 国际标准。 m p e g 4 与m p e g 1 和m p e g 2 有很大的不同。m p e g 4 不只是具体压 缩算法，它是针对数字电视、交互式绘图应用( 影音合成内容) 、交互式多媒 体等整合及压缩技术的需求而制定的国际标准。m p e g 4 标准将众多的多媒 体应用集成于一个完整的框架内，旨在为多媒体通信及应用环境提供标准的 算法及工具，从而建立起一种能被多媒体传输、存储、检索等应用领域普遍 采用的统一数据格式。 m p e g 一4 的编码理念是：m p e g 4 标准同以前标准的最显著的差别在于 西南科技大学硕士研究生学位论文第7 页 它是采用基于对象的编码理念，即在编码时将一幅景物分成若干在时间和空 间上相联系的视频音频对象，分别编码后，再经过复用传输到接收端，然后 再对不同对象分别解码，从而组合成所需要的视频和音频。这样既方便我们 对不同的对象采用不同的编码方法和表示方法，又有利于不同数据类型间的 融合，并且这样也可以方便的实现对于各种对象的操作及编辑。例如，我们 可以将一个卡通人物放在真实的场景中，或者将真人置于一个虚拟的演播室 里，还可以在互联网上方便的实现交互，根据自己的需要有选择的组合各种 视频音频以及图形文本对象。 m p e g 4 系统的一般框架是：对自然或合成的视听内容的表示；对视听 内容数据流的管理，如多点、同步、缓冲管理等；对灵活性的支持和对系统 不同部分的配置。与m p e g 1 、m p e g 2 相比，m p e g 4 具有如下独特的优点： 1 、基于内容的交互性 m p e g 4 提供了基于内容的多媒体数据访问工具，如索引、超级链接、 上下载、删除等。利用这些工具，用户可以方便地从多媒体数据库中有选择 地获取自己所需的与对象有关的内容，并提供了内容的操作和位流编辑功能， 可应用于交互式家庭购物，淡入淡出的数字化效果等。m p e g 4 提供了高效 的自然或合成的多媒体数据编码方法。它可以把自然场景或对象组合起来成 为合成的多媒体数据。 2 、高效的压缩性 m p e g - 4 基于更高的编码效率。同已有的或即将形成的其它标准相比， 在相同的比特率下，它基于更高的视觉听觉质量，这就使得在低带宽的信道 上传送视频、音频成为可能。同时m p e g 4 还能对同时发生的数据流进行编 码。一个场景的多视角或多声道数据流可以高效、同步地合成为最终数据流。 这可用于虚拟三维游戏、三维电影、飞行仿真练习等。 3 、通用的访问性 m p e g 4 提供了易出错环境的鲁棒性，来保证其在许多无线和有线网络 以及存储介质中的应用，此外，m p e g 4 还支持基于内容的可分级性，即把 内容、质量、复杂性分成许多小块来满足不同用户的不同需求，支持具有不 同带宽，不同存储容量的传输信道和接收端。 2 1 3 h 2 6 4 视频 h 2 6 4 【l o 】是由ls o i e c 与i t u t 组成的联合视频组( j v t ) 制定的新一代 视频压缩编码标准。事实上，h 2 6 4 标准的开展可以追溯到8 年前。1 9 9 6 年 西南科技大学硕士研究生学位论文第8 页 制定h 2 6 3 标准后，i t u t 的视频编码专家组( v c e g ) 开始了两个方面的研 究：一个是短期研究计划，在h 2 6 3 基础上增加选项( 之后产生了h 2 6 3 + 与 h 。2 6 3 + ) ；另一个是长期研究计划，铡定一种新标准以支持低码率的视频通 信。长期研究计划产生了h 2 6 l 标准草案，在压缩效率方面与先期的i t u f 视频压缩标准相比，具有明显的优越性。2 0 0 1 年，l s o 的m p e g 组织认识到 h 2 6 l 潜在的优势，随后i s o 与i t u 开始组建包括来自i s 0 i e cm p e g 与 i t u tv c e g 的联合视频组( j v t ) ，j v t 的主要任务就是将h 2 6 l 草案发展 为一个国际性标准。于是，在l s o ，l e c 中该标准命名为a v c ( a d v 雒e e dv i d e o c o d i n g ) ，作为m p e g 4 标准的第1 0 个选项；在i t u t 中正式命名为h 2 6 4 标准。h 2 6 碡的主要优点如下： 在相同的重建图像质量下，h 2 6 4 比h 2 6 3 + 和m p e g 。4 ( s p ) 减小5 0 码 率。 对信道时延的适应性较强，既可工作予低时延模式以满足实时业务，如 会议电视等；又可工作于无时延限制的场合，如视频存储等。 提高嬲络适应性，采用“网络友好 的结构和语法，加强对误码和丢包 的处理，提高解码器的差错恢复能力。 在编解码器中采用复杂度可分级设计，在图像质量和编码处理之间可分 级，以适应不同复杂度的应用。 相对于先期的视频压缩标准，h 2 6 4 引入了很多先进的技术，包括4 4 整数变换、空域内的帧蠹预测、1 7 4 像素精度的运动估计、多参考帧与多种 大小块的帧间预测技术等。新技术带来了较高的压缩比，同时大大提高了算 法的复杂度。 2 1 4a v s 视频 a v s l l l 是我国自主制定的第二代音视频编码技术标准。a v s 视频当中具 有特征性的核心技术包括：8 8 整数变换、量化、帧内预测、1 4 精度像素 插僮、特殊的帧闯预测运动补偿、二维嫡编码、去块效应环内滤波等。 l 、变换、量化 a v s 的8 8 变换与量化可以在1 6 位处理器上无失真地实现，从而克服 了m p e g 4 、a v c h 2 6 4 之前所有视频压缩编码国际标准中采用的8 8 d c t 变换存在失真的固有问题。a v s 采用了6 4 级量化，可以完全适应不同的应 焉和业务对码率和质量的要求。 2 、帧内预测 西南科技大学硕士研究生学位论文第9 页 a v s 的帧内预测技术沿袭了m p e g 4 、a v c h 2 6 4 帧内预测的思路，用 相邻块的像素预测当前块，采用代表空间域纹理方向的多种预测模式。但 a v s 亮度和色度帧内预测都是以8 8 块为单位的。 3 、多模式帧间预测 帧间运动补偿编码是混合编码技术框架中最重要的部分之一。a v s 标准 采用了1 6 16 、16 8 、8 l6 和8 8 的块模式进行运动补偿，而去除了 m p e g - 4 、a v c h 2 6 4 标准中的8 4 、4 8 、4 4 的块模式，目的是能更好 地刻画物体运动，提高运动搜索的准确性。 4 、1 4 像素运动补偿 a v s 和m p e g 4 、a v c h 2 6 4 都采用了1 4 像素精度的运动补偿技术。 m p e g - 4 、a v c h 2 6 4 采用6 抽头滤波器进行半像素插值并采用双线性滤波 器进行l 4 像素插值。而a v s 采用了不同的4 抽头滤波器进行半像素插值和 l 4 像素插值，在不降低性能的情况下减少插值所需要的参考像素点，减小 了数据存取带宽需求，这在高分辨率视频压缩应用中是非常有意义的。 5 、参考帧 a v s 中p 帧可以利用至多2 帧的前向参考帧，而b 帧采用前后各一个参 考帧，p 帧与b 帧( 包括后向参考帧) 的参考帧数相同，其参考帧存储空间与 数据存取的开销并不比传统视频编码的标准大，而恰恰充分利用了必须预留 的资源。 6 、熵编码 a v s 熵编码采用自适应变长编码技术。在a v s 熵编码过程中，所有的 语法元素和残差数据都是以指数哥伦布码的形式映射成二进制比特流。采用 指数哥伦布码的优势在于：一方面，它的硬件复杂度比较低，可以根据闭合 公式解析码字，无需查表；另一方面，它可以根据编码元素的概率分布灵活 地确定以k 阶指数哥伦布码编码，如果k 选得恰当，则编码效率可以逼近信 息熵。 2 2 音频压缩标准 2 2 1m p 3 音频 m p e g 1 音频定义了3 个分明的层次，它们的基本模型是相同的。层l 是最基础的，层2 和层3 都在层1 的基础上有所提高。每个后继的层次都有 更高的压缩比，但也因此需要更加复杂的解码器。我们平时说的m p 3 【：】解码 西南科技大学硕士研究生学位论文第1 0 页 就是说m p e g 1 音频解码标准的第三层。 m p e g 1 声音标准所提供的三个独立的压缩层次具体如下： 层1 ：编码器最为简单，编码的输出数据率为3 8 4 k b p s ，主要用于小型数 字盒式磁带； 层2 ：编码器的复杂程度较高，编码输出数据率为2 5 6 k b s 到1 9 2 k b s ， 广泛应用于c d ，v c d 等； 层3 ：编码器最为复杂，编码器的输出数据率为6 4 k b s ，即为现今非常 流行的m p 3 。 m p 3 的数据是以帧流的形式存储或传输的，每个帧由帧头和帧数据组 成。每一帧包含的比特数可以是不定的，但是能从帧头信息中的数据计算得 到。公式为：帧内比特数= 帧内采样数位率采样率。对于m p 3 ，帧内数据 包含2 5 7 6 个时域采样值，采样率有4 4 1 k h z ，4 8 k h z ，3 2 k h z 三种，位率 是从3 2 k b p s 至03 2 0 k b p s 。 帧头( h e a d e r ) 包括头信息( 4 个字节) ，c r c 校验数据( 可选，2 个字节) ， 帧边信息( 也可称为附加信息。单声道为1 7 个字节，双声道为3 2 个字节) 。 其中头信息中包含了m p 3 帧流的特征信息，有4 个字节，3 2 位。具体为： 同步字( o x f f f ) 、标识符、层、c r c 校验位使能、位串指数、采样频率、填 充位、私有标志、模式、模式扩展位、版权、原始流复制流和增强方式。帧 边信息，包含了解码所需的一切信息。如主数据开始指针、主数据位数、与 h u f f m a n 解码相关的信息、与逆量化相关的信息等。 帧数据( m a i nd a t a ) 包括两个粒度组的数据，这两个粒度的数据几乎是相 互独立的。每个粒度有5 7 6 个时域的采样值。每个粒度的数据又包含了每个 声道的数据( 分单声道和双声道) ，而每个声道数据中具体包含了m p 3 解码所 需要的比例因子和h u f f m a n 编码的数据。最后是辅助数据。 标准立体声m p 3 编码的一帧数据构成如图2 2 所示，对于其它模式其中 有些部分是可选的。 粒度组1粒度组2 头信 c r c 左声道右声道左声道右声道辅助数 息校验 h u f f m a n 编h u f f m 锄编 据 缩放因子缩放因子 码数据码数据 图2 2 m p 3 编码的数据构成 f ig 2 2d a t ac o m p o s e do fm p 3e n c o d e 西南科技大学硕士研究生学位论文第l1 页 但是，用于解码的帧的主数据的起始位置并不一定在该帧边信息后，而 是根据帧边信息中主数据开始的值来决定主数据起始位置的前移字节数。 2 2 2 a c c 音频 a a c 【t 3 】【- 1 的全名为a d v a n c e da u d i oc o d i n g ，其意思为高级音频编码，是 国际标准化组织( i s o ) 制定的音频标准格式，也是m p e g 规范的一部分。在 m p e g 2 里提出，在m p e g 4 里进一步扩展和完善。采样频率选择性更高， 更接近c d 音质；并且采用了解析度更高的滤波器组，达到很高的压缩率， 并且可大幅度降低传输时间及介绍存储空间，适合新一代音乐产品使用。和 m p 3 相比，a a c 有如下一些优点可以使a a c 在不久的将来替代m p 3 成为网 络音频的音频数据格式的首选。 进步了的数据压缩技术使得在更小的数据量的前提下获得更好的音 质； 支持多声道音频，最高支持4 8 路的全音域声道； 更高的采样音频，最高支持9 6 k h z 的采样频率； 提高了解码效率，使得解码器所占的资源更少。 一般来说，专家级的听众听不出1 2 8 k b p s ( 双声道) 的a a c 音频数据和无 压缩数据之间的区别，9 6 k b p s 的a a c 音频数据就可以达到1 2 8 k b p s 的m p 3 音频数据的音质；就是6 4 k b p s 的a a c 音频数据的音质也好于绝大多数其他 的数据压缩格式的音质。 a a c 是个大家族，目前已经制定了如表2 1 的9 种规格【：】，以适应不同 场合的需要： m a i n ( 主规格) 包含了除增益控制( g a i nc o n t r 0 1 ) 之外的全部功能，其音质 最好。 低复杂度规格( l o wc o m p l e x i t y ) 则使用比较简单的时域杂乱信息修正 ( t e m p o r a ln o i s es h a p i n g ，t n s ) 模块，也缺少了预测( p r e d i c t i o n ) 和增益控制 ( g a i nc o n t r 0 1 ) 模块，以此降低复杂度，提高编码效率。s s r ( s c a l a b l es a m p l i n g r a t e 可变采样率规格) 和l c 规格大体相同，但是多了增益控制功能。 m p e g 4a a cl t p ( l o n gt e r mp r e d i c t i o n ，长时期预测规格) 、m p e g 4 a a cl d ( l o wd e l a y ，低延迟规格) 和m p e g 一4a a c h e ( h i g he 伍c i e n c y ，高效 率规格) 都是用在低码率下的规格，尤其是m p e g 4 a a ch e 规格由于高效率 高音质( 低码率下而言) 被越来越多地应用到低码率编码中。实际上，m a i n 规 格和l c 规格的音质相差并不大，但是编码效率确相差明显，所以目前使用 西南科技大学硕士研究生学位论文第1 2 页 最多的当属l c 规格。无怪乎很多编码器只支持l c 规格了【1 0 1 。 t a bl e 2 1 表2 1 从c 的规格分类 类型规格 m p e g 2a a cl c m p e g 2a a cm a i n m p e g - 2a a cs s r m p e g 4a a cl c m p e g 。4a a cm a i n m p e g 4a a cs s r m p e g 4a a cl t p m p e g - 4a a cl d m p e g 一4a a ch e 低复杂度规格( l o wc o m p l e x i t y ) 主规格 可变采样率规格( s c a l a b l es a m p l i n gr a t e ) 低复杂度规格( l o wc o m p l e x i t y ) 主规格 可变采样率规格s c a l a b l es a m p l i n gr a t e 长时间预测规格 低延迟规格 高效率规格( h i g he m c i e n c y ) 2 3 流媒体传输协议分析 2 3 1 流式传输基础 流式传输s 堤：流媒体实现的关键技术。流式传输定义很广泛，现在主 要指通过网络传送媒体( 如视频、音频) 的技术总称。其特定含义为通过 i n t e r n e t i n t r a n e t 将影视节目传送到目的终端。 首先，流式传输的实现需要缓存。这是因为要使用缓存系统来弥补延迟 和抖动的影响，并保证数据包的顺序正确，从而使媒体数据能连续输出，而 不会因为网络暂时拥塞使播放出现停顿。通常高速缓存所需的容量并不大， 因为高速缓存使用环形链表结构来存储数据；通过丢弃已经播放的内容，流 可以重新利用空出的高速缓存空间来缓存后续尚未播放的内容。 再次，流式传输的实现需要合适的传输协议。w w w 技术是以h t t p 为 基础的，而h t t p 又建立在t c p 基础上。由于t c p 需要较多的开销，故不 太适合传输实时数据。在流式传输的实现方案中，一般采用h t t p t c p 来传 输控制信息，而用r t p u d p 来传输实时声音视频数据。 流式传输的过程一般是这样的：用户选择某一流媒体服务后，w e b 浏览 西南科技大学硕士研究生学位论文第1 3 页 器与w e b 服务器之间使用h t t p t c p 交换信息，以便把需要传输的实时数据 从原始信息中检索出来；然后客户机上的w e b 浏览器启动流媒体播放程序， 使用h t t p 从w e b 服务器检索相关的参数对流媒体播放程序初始化。这些参 数可能包括目录信息、a v 数据编码类型或与a v 检索相关的服务器地址。 流式传输的过程如图所示1 1 7 】： 图2 3流式传输过程 流媒体播放程序及a v 服务器运行实时流协议( r t s p ) ，以交换a v 传输所需的控制信息。与c d 播放机或录像机所提供的功能相似，r t s p 提供 了操作播放、快进、快退、暂停及录制等命令的方法。v 服务器使用 r 仲u d p 协议将a v 数据传输给a v 客户程序，一旦a v 数据抵达客户端， 流媒体播放程序即可播放输出。 2 3 2 流式传输方式 实现流式传输有两种方法【1 8 】：实时流式( r e a l t i m es t r e 锄i n g ) 传输和顺 序流式( p r o g r e s s i v es t r e a m i n g ) 传输。一般说来，如视频为实时广播，或使 用流式传输媒体服务器，或应用如r t s p 的实时协议，即为实时流式传输； 如使用h t t p 服务器文件即通过顺序流发送，这种传输方式就称为顺序流式 传输。 一 l 、顺序流式传输 顺序流式传输是顺序下载，在下载文件的同时用户可以观看在线媒体。 在给定时刻，用户只能观看已下载的那部分，而不能跳到还未下载的前头部 分。由于标准的h t t p 服务器可发送这种形式的文件，也不需要其他的协议， 它经常被称作h t t p 流式传输。顺序流式传输比较适合高质量的短片段，如 西南科技大学硕士研究生学位论文第1 4 页 片头、片尾和广告，由于该文件在播放前观看的部分是无损下载的，所以这 种方法能够保证电影播放的最终质量。但这就意味着用户在观看前，必须经 历延迟，对较慢的连接尤其如此。 对通过调制解调器发布短片段，顺序流式传输显得很实用，它允许用比 调制解调器更高的数据速率创建视频片段。尽管有延迟，毕竟可发布较高质 量的视频片断。顺序流式传输不适合长片段和随机访问要求的视频，如讲座、 演说与演示，也不支持现场广播。严格说来，顺序流式传输其实是一种点播 技术。 2 、实时流式传输 实时流式传输旨在保证媒体信号带宽与网络连接匹配，使媒体可被实时 观看到。实时流与h t t p 流式传输不同，它需要专用的流媒体服务器与传输 协议。 实时流式传输总是实时传送，特别适合现场事件，也支持随机访问，用 户可快进或后退以观看前面或后面的内容。理论上，实时流一经播放就可不 停止，但实际上，可能发生周期暂停。 实时流式传输必须匹配连接带宽，这意味着在以调制解调器速度连接时 图像质量较差。而且，由于出错丢失的信息被忽略掉，网络拥挤或出现问题 时，视频质量很差。如欲保证视频质量，顺序流式传输也许更好。实时流式 传输需要特定的服务器，如q u i c k t i m es t r e a m i n gs e r v e r 、r e a l s e r v e r 与 w i n d o w sm e d i as e r v e r 。这些服务器允许用户对媒体发送进行更多级别的控 制，因而系统设置、管理比标准h t t p 服务器更复杂。实时流式传输还需要 特殊的网络协议，如r t s p ( r e a l t i m es t r e 锄i n gp r o t o c 0 1 ) 或m m s ( m i c r o s o r m e d i as e r v e r ) 。这些协议在防火墙存在的情况下有时会出现问题，导致用户 不能看到一些地点的实时内容。 2 3 3实时传输协议( r t p ) 实时传输协议r t p 【1 9 - 2 ij ( r e a l t i m et r a n s p o r tp r o t o c 0 1 )是用于 i n t e r n e t i n t r a n e t 针对多媒体数据流的一种传输协议。r t p 被定义为在一对一 或一对多传输的情况下工作，其目的是提供时间信息和实现流同步。r t p 通 常使用u d p 来传送数据，但r t p 也可以在t c p 或a t m 等其他协议上工作。 当应用程序开始一个r t p 会话时将使用两个端口：一个给r t p ，一个给 r t c p 。r t p 本身并不能为按顺序传送数据包提供可靠的传送机制，也