（信息与通信工程专业论文）基于智能手机的流媒体客户端研究与实现.pdf

p h o n e s 主题词：流媒体，智能手机，w i n d o w sm o b i l e ，r t p k 。 k e y w o r d s ：s t r e a m i n gm e d i a ，s m a r tp h o n e ，w i n d o w sm o b i l e ，r t p 、 夕、 2 、基于s d l 及f f m p e g 函数库，设计实现了一个轻量级播放器引擎。并研究了其中 的音视频同步算法，遵循节电的设计原则，改进了音视频同步算法，使用近似及 设置门限的方法有效减少了同步运算的开销，同时也保证了音视频的同步。 3 、研究并重构了s e p 会话协议，使之适用于手机流媒体系统。这里面主要包括将原 本只支持p 2 p 架构的s e p 协议改进成同时适用于p 2 p 及c s 两种架构，且针对无 线网络抖动大的特点，加入了自适应网络带宽等功能。 4 、分析了手机软硬件环境的特点，并研究了红黑树结构的运算复杂度优势。在两者 基础之上，设计并开发了内存文件缓冲机制，读取、写入速度较快的同时，也比 传统的闪存缓冲机制减低了电量消耗。 基于以上的工作，最终开发了一种基于w i n d o w sm o b i l e 平台的移动流媒体客户端。 并在t d s c d m a 实验网络中进行了测试，具有较好的画质及流畅度。 关键词：流媒体，智能手机，w i n d o w sm o b i l e ，r t p 飞 j ：l 南京邮电大学硕士研究生学位论文 a b s t r a c t a st h eg r o w i n gp o p u l a r i t ya n dp e r f o r m a n c eo fs m a r tp h o n e s ，s m a r tp h o n e s - b a s e dm o b i l e m e d i as t r e a m i n ga p p l i c a t i o n sb e c o m ei n c r e a s i n g l yp o p u l a r s t r e a m i n gm e d i aa l em u l t i m e d i a t h a ta r ec o n s t a n t l yr e c e i v e db y , a n dn o r m a l l yp r e s e n t e dt o ，a l le n d - u s e rw h i l eb e i n gd e l i v e r e db y as t r e a m i n gp r o v i d e r t h en a m er e f e r st ot h ed e l i v e r ym e t h o do ft h em e d i u mr a t h e rt h a nt ot h e m e d i u mi t s e l f b e f o r et h eb i r t ho fs t r e a m i n gm e d i a , v i d e o sm u s tb ef u l l yd o w n l o a d e db e f o r e e n d u s e rw a n tt ow a t c hv i d e o s s t r e a m i n ge n a b l e su s e r st ow a t c hl i v eo rs t o r e dv i d e oo nt h e m e d i as e r v e r t h em a i n w o r ko ft h i sp a p e r ： 1 s t u d yt h ep r i n c i p l ea n dm e t h o do fw i n d o w sm o b i l ep l a t f o r mc o m p i l e r t h e np o r tt h e s d la n df f m p e gl i b r a r yt ot h i sp l a t f o r m a n db a s e d0 1 1t h es t u d yo ff f m p e gs o u r c e p r o t o c o ll a y e r , an e wd a t as o u r c 圮m o d e l ，m e m o r yf i l e ，h a sb e e ni n t r o d u c e d 2 b a s e do ns d la n df f m p e g , al i g h t w e i g h tp l a y e re n g i n eh a sb e e nd e s i g n e da n d i m p l e m e n t e d f o l l o w i n g t h e d e s i g np r i n c i p l e o f e l e c t r i c i t ys a v i n g , t h e a v s y n c h r o n i z a t i o na l g o r i t h mh a sb e e ns t u d i e da n di m p r o v e db yr e d u c i n gc o m p u t a t i o n 3 s t u d ya n dr e c o n s t r u c tt h es e pp r o t o c o l ，w h i c hh a sb e e ni m p r o v e dt ob ec o m p a t i b l e w i t hp 2 pa n de x t r ac sa r c h t e c t u r e c o n s i d e r i n gt h ew i r e l e s sn e t w o r kj i t t e r , t h e f e a t u r e ss u c ha sa d a p t i v eb a n d w i d t hh a v eb e e ni n t r o d u c e d 4 a f t e rt h ea n a l y s i so fm o b i l eh a r d w a r ea n ds o f t w a r ee n v i r o n m e n t , d e s i g nab u f f e r i n g m e c h a n i s mc a l l e dm e m o r yf i l ew h i c hd e r i v e df r o mr e d - b l a c kt r e es t r u c t u r e w h i c h g a i nb e t t e rr e a d w r i t es p e e da n dl o w e rp o w e rc o n s u m p t i o nt h a nf l a s hb u f f e r i n g b a s e do nt h ew o r ka b o v e ，f i n a l l 弘d e s i g na n di m p l e m e n tt h em o b i l es t r e a m i n gc l i e n t a f t e r t h et e s t si nt d s c d m ae n v i r o n m e n t , t h er e s u l t sd e m o n s t r a t et h a tt h ec l i e n to b t a i nb e t t e r p l a y b a c kq u a l i t y k e yw o r d s ：s t r e a m i n gm e d i a , s m a r tp h o n e ，w i n d o w sm o b i l e ，r t p 3 1 视频编码基本原理8 3 1 1 编解码基本结构8 3 1 - 2 压缩编码基本方法1 0 3 2h 2 6 4 a v c 标准的主要应用与特点。1 1 3 3h 2 6 4 a v c 标准的构成。1 2 3 3 1 基本概念一1 2 3 3 2 基本分级。13 第四章系统框架设计及实现1 4 4 1 系统需求 ”。1 4 4 2 系统方案选择1 5 4 3 系统框架设计。1 6 4 3 1 系统组件的功能定义。1 6 4 3 2 系统组件基本交互过程。17 4 3 3 关键报文解析18 4 4 软件开发平台介绍 4 5 第三方函数库移植 2 4 2 5 4 5 1 交叉编译2 5 4 5 2s d l 函数库2 6 i l l 南京邮电大学硕士研究生学位论文目录 4 5 3f f m p e g 函数库。2 7 第五章流媒体客户端在智能手机上的实现 5 1 客户端软件框架。2 8 5 2 媒体引擎框架2 9 5 2 1 媒体引擎结构2 9 5 2 2 媒体引擎关键流程3 l 5 2 2 1 点播引擎线程设计3 2 5 2 2 2 直播引擎线程设计3 2 5 2 3 媒体引擎状态机3 3 5 3 播放模块详细设计。一3 3 5 3 1 模块外部接口3 3 5 3 2 音视频同步算法。3 4 5 3 2 1 基于音频时钟同步3 5 5 3 2 2 改进的基于视频时钟的同步算法。3 5 5 4 网络代理模块详细设计一3 7 5 4 1r t p 传输设计3 7 5 4 2 网络带宽计算3 8 5 5 内存文件映射模块详细设计二。3 9 5 5 1 内存文件映射理论基础3 9 5 5 2 内存文件关键操作设计。4 0 5 5 2 1 读取操作4 l 5 5 2 2 插入操作4 3 5 5 2 - 3 校验数据操作4 3 5 6 毫定件集爿览蓼萌试4 6 5 6 1 测试环境配置。4 6 5 6 2 系统接入功能。4 7 5 6 3d s n 资源查找功能4 8 5 6 4 点播影片播放功能4 9 5 6 5 直播影片播放功能5 0 第六章结论与展望。5 3 6 1 工作总结 6 2 研究展望 5 3 j 【谢5 6 参考文献。 攻读硕士学位期间发表的论文 5 7 i v 南京邮电大学硕士研究生学位论文第一章绪论 1 1 项目研究背景 第一章绪论 如今，电子通信、计算机技术高速发展，新技术不断涌现，互联网得到了前所未有的 普及，无线移动通信也迅速在各个领域广泛应用，成为人们生活工作中不可或缺的一部分。 两者的网络覆盖面积越来越大，骨干网、接入网的传输速率也越来越快，核心网设备及终 端功能越来越强，同时终端的体积越来越小，功耗日益降低，价格大幅下降。在其飞速发 展的同时，两者也开始迅速地融合。移动p 也逐渐走进人们的视野。其实，从g s m 蜂 窝通讯系统起，移动通信系统就具有一定的数据通信能力，其主要是基于电路型数据业务， 如短信服务。但是，在数据通信的发展过程中，人们不仅希望得到简单的文字信息，更希 望能够提供包括语音、图像内容的多媒体信息，也即多媒体通信。这就给移动运营商们提 出了一个新课题，即增加传输带宽，进一步发展数据业务及各种增值业务，尤其是与互联 网相结合的数据业务。移动多媒体通信正是在这种环境下开始成为移动通信的主要发展趋 势之一。 通过无线通信系统接入互联网的方式分为两大类：一是基于蜂窝移动通信的接入技 术，如c d m a ，g p r s 等；二是基于无线局域网的技术，如w l a n ，b l u e t o o t h 等。总的 来说，可以采用的主要有：m o d e m ，w l a n ，g p r s ，b l u c t o o t h ，移动m 以及w a p 等等。 尽管它们解决问题的层面和侧重点不尽相同，但出发点都是相似的：例如计算机设备( p c 、 c o n s o l e 等) 如何实现移动性；便携式终端如何接入互联网并获取和显示信息等。实际上， 这两者也是相辅相成的，并且部分已经进入实用阶段。另一方面，网络应用中多媒体通信 是重要的组成部分之一。多媒体信息主要是指包括图像、声音和文本三大类的信息类型， 其中视频、音频等信号的信息量非常大，且这些信息的表现形式、输入、输出的要求也各 不相同，因此，对这些数据进行有效的表示和处理显得非常重要。为了满足多媒体通信对 带宽的需求，无线网络都将网络传输速率作为其规格参数中的关键指标。例如g p r s 网络 的理论最大数据传输速率达1 0 7 2 k b p s ，c d m a1 x 的理论值最大可达1 5 3 6 k b p s ，3 g 标准 则规定不管何种无线技术均须提供2 m b p s 以上的传输速率，以满足业务需求，而基于 8 0 2 1 l n 的无线局域网目前则可以提供高达3 0 0 m b p s 的传输速率，这一速率还将在日后得 南京邮电大学硕士研究生学位论文 第一章绪论 到进一步提高。此外，多媒体信息的压缩技术的日臻进步也为移动多媒体通信的实现提供 了技术保证。 目前的手持移动设备的有许多钟，如p d a ( 个人数字助理) 、m d ( 移动互联网设备) 、 手提电脑、w a p 手机、智能手机、导航仪等。这些手持设备的功能日益强大，已经出现 了融合的趋势，市场上表现为互相渗透。结合了p d a 和行动电话关键功能的智能手机正 是这种趋势的必然产物。现在全球智能手机的出货量逐年大幅度攀升，其自身也在日趋完 善，使得智能手机市场蕴藏着巨大的商机。 智能手机( s m a r tp h o n e ) 至少有四个标准：可以语音和数据通信，这是手机的基本功 能；基本的p d a 功能；通信功能与p d a 功能无缝融合，而非简单的“i + i ”；开放式操 作系统，第三方可根据操作系统提供的a p i 为智能手机开发各种扩展应用和提供各种扩 展硬件，这是智能手机的根本特性。通俗的说，智能手机是一种在手机内安装了相应开放 式操作系统的手机。通常使用的操作系统有：s y m b i a n 、w i n d o w sm o b i l e 、i p h o n eo s 、l i n u x ( 含a n d r o i d 、m a e m o 和w e b o s ) 、p a l mo s 和b l a c k b e r r yo s 。他们之间的应用软件互不 兼容。因为可以安装第三方软件，所以智能手机有丰富的功能。智能手机这个说法主要是 针对功能手机( f e a t u r ep h o n e ) 而来的，本身并不意味着这个手机有多智能( s m a r t ) ；从 另一个角度来讲，所谓的智能手机就是一台可以随意安装和卸载应用软件的手机。功能手 机是不能随意安装卸载软件的，j a v a 的出现使后来的功能手机具备了安装j a v a 应用程序 的功能，但是j a v a 程序的操作友好性，运行效率及对系统资源的占用都比智能手机差很 多。由于智能手机自身的特点，许多原本基于p c 互联网应用开始逐渐向智能手机等手持 平台延伸。 1 2 主要的研究工作及内容安排 长期以来，人们对流媒体技术的研究主要集中在固定终端及个人电脑平台，而对以手 持平台为基础的高码率流媒体系统研究较少。本文针对智能手机平台的特点，在充分利用 手机操作系统自身的特点的基础上，同时考虑到软件可移植性，对移动流媒体客户进行了 研究与实现。 具体内容安排如下： 第一章首先介绍了本课题的研究背景，具体介绍了多媒体通信及智能手机概念，现有 主流手机操作系统以及发展现状。 2 南京邮电大学硕士研究生学位论文第一章绪论 第二章讨论了流媒体技术的基础知识，重点研究了流媒体相关标准。 第三章研究了用于移动手持设备的相关音视频编码技术，及相关标准。 第四章研究了w i n d o w sm o b i l e 平台上的编译原理及方法，将s d l 与f f m p e g 函数库 移植n t 此平台上。且研究了f f m p e g 的数据源协议层，进而扩展了一种新的数据源模型， 即内存文件。研究并重构了s e p 会话协议，使之适用于手机流媒体系统。这里面主要包 括将原本只支持p 2 p 架构的s e p 协议改进成同时适用于p 2 p 及c s 两种架构。 第五章基于s d l 及f f m p e g 函数库，设计实现了一个轻量级播放器引擎。并研究了 其中的音视频同步算法，遵循节电的设计原则，改进了音视频同步算法，使用近似及设置 门限的方法有效减少了同步运算的开销，同时也保证了音视频的同步。同时，详细设计了 网络代理模块，针对无线网络抖动大的特点，加入了自适应网络带宽等功能。设计并开发 了内存文件缓冲机制，读取、写入速度较快的同时，也比传统的闪存缓冲机制减低了电量 消耗。 第六章对全文进行了总结，讨论了在音频，视频回放效率及质量等若干问题及对移动 p 2 p 进一步研究的展望。 南京邮电大学硕士研究生学位论文第二章流媒体技术概述 2 1 流媒体技术概述 第二章移动流媒体简介 流媒体( s t r e a m i n gm e d i a ) 技术是为了在网络上传播多媒体文件( 包括音视频、所开发 的一整套技术架构，包括流媒体压缩技术、时基编码技术、传输控制协议等。基本原理是 根据网络的传输能力进行相应比例的有损压缩，确保基本信息的实时传输：在编码时插入 时基标志，便于同步、缓存和拖动浏览：以客户端服务器的架构提供文件服务，并使用实 时传输协议在网络上传输，以确保传输质量。流媒体的出现为i n t e r n e t 上的多媒体信息 发布特别是连续的流媒体信息的发布提供了全新的手段。通过移动网络在移动手持终端上 采用流媒体技术实现的应用简称移动流媒体应用，典型的应用实例包括移动视频点播、移 动视频聊天等。而通过互联网、有线电视网在p c 、电视机等设备上采用流媒体技术实现 的应用称为宽带流媒体应用，典型应用包括在线影院和视频聊天等。 目前在网络上获取音视频等多媒体资源主要有下载播放和流式播放两种。对于下载播 放而言，由于音视频文件往往很大，需要大量的存储空间。这一要求对于具备大容量硬盘 的p c 可能并不是问题，但对于存储容量很有限的手机而言却是一个难以克服的问题。于 是人们很自然地想到了将流媒体技术应用到移动网络和终端上，并称之为移动流媒体。所 谓移动流媒体就是把连续的影像和声音信息经过压缩处理后放到网络媒体服务器上，让移 动终端能够一边下载一边观看、收听，而不需要等到整个多媒体文件下载完成就可以即时 观看的技术。实际上移动流媒体技术是网络音视频技术和移动通讯技术发展到一定阶段的 产物，它是融合很多网络技术之后所产生的技术，它会涉及到流媒体数据的采集、压缩、 存储以及网络通信等多项技术。其主要有三大特点：1 ，能够实时播放视频和音频等多媒 体内容。视频、音频等文件边下载边播放，当多媒体文件在客户机上播放的同时，文件的 剩余部分在后台继续从服务器上下载，这样可以大大缩短启动延时。2 ，流媒体文件不需 要在客户端保存，节省了客户端的存储空间，而且也不需要较大的缓存。3 ，由于流媒体 文件不需要在客户端保存，从而简化了媒体内容的版权保护。这些特点决定了移动流媒体 业务具有良好的应用前景，尤其在增值业务成为主要盈利点的3 g 时代。 移动流媒体业务就是指流媒体技术在移动无线网络及其终端上的应用，主要是利用现 4 南京邮电大学硕士研究生学位论文第二章流媒体技术概述 有的2 5 g 或3 g 的移动网络，为手机终端提供音视频的流媒体服务。移动流媒体业务的 内容包括新闻资讯、影视、娱乐、体育、教育、行业应用等。移动流媒体业务根据数据内 容的播放方式可以分为三种业务类型，分别是点播，直播和下载。随着3 g 技术的逐步成 熟，将移动流媒体技术引入移动增值业务，已经成为目前全球范围内移动业务研究的热点 之一。3 g p p 、3 g p p 2 等标准化组织早已开展了移动流媒体的应用研究工作，并已经制定 了相应的标准。 2 2 移动流媒体系统相关标准 在实现移动流媒体业务的协议中，音频、视频等流媒体数据主要通过r t p 、u d p 协 议传输，而如静态图像、文本信息则一般使用h t l v 协议进行传输。r t s p 及s d p 协议用 于会话的建立与控制，m i m e 用于描述媒体类型，r t p 是媒体负载的单元。 2 2 1 实时传输协议r t p r t p ( r e a l t i m et r a n s p o r tp r o t o c 0 1 ) 是针对互联网上多媒体数据流的一个传输协议，国 际电信联盟h u t 也发布了自己的r t p 文档，作为h 2 2 5 0 ，但是后来当i e t f 发布了关 于它的稳定的标准r f c l 8 8 9 后就被取消了。它作为因特网标准在r f c3 5 5 0 ( 该文档的旧 版本是r f c1 8 8 9 ) 有详细说明。r f c3 5 5 1 ( s t d6 5 ，旧版本是r f c1 8 9 0 ) 详细描述了 使用最小控制的音频和视频会议。r t p 被定义为在一对一或一对多的传输情况下工作， 其目的是提供时间信息和实现流同步。r t p 的典型应用建立在u d p 上，但也可以在t c p 或a t m 等其他协议之上工作。r t p 本身只保证实时数据的传输，并不能为按顺序传送数 据包提供可靠的传送机制，也不提供流量控制或拥塞控制，它依靠r t c p 提供这些服务。 流媒体数据传输中一个关键的问题就是到达时间不可预料。但是流媒体的传输是需要 数据按时到达用以正确回放。r t p 协议提供了时间戳，序列号以及其它的结构字段用于 控制数据的流式回放。在流的概念中“时间戳 是最重要的信息，发送端依照即时采样信 息在数据包里填入时间戳字段。在接收端收到数据包后，就按照时间戳按将流数据恢复成 原始的采样数据。不同的媒体格式有着不同的时间戳属性。但是r t p 协议本身并不负责 同步，它只是传输层协议，主要为简化运输层处理，提高该层的效率。部分运输层协议功 能( 比如流量控制) 在应用层得到实现。同步的功能就是在应用层协议中完成的。r t p 没有运输层协议的完整功能，不提供任何机制来保证数据的实时传输，不支持资源预留， 5 话通知协议( s e s s i o n a n n o u n c e m e n tp r o t o c 0 1 ) 、会话初始协议( s e s s i o ni n i t i a t i o np r o t o c 0 1 ) 、 实时流协议( r e a l - t i m es t r e a m i n gp r o t o c 0 1 ) 、m i m e ( m u l t i p u r p o s ei n t e m e tm a i le x t e n s i o i a s ) 协议的电子邮件以及超文本传输协议( h y p e r t e x t t r a n s p o r t p r o t o c 0 1 ) 。 s d p 的设计宗旨是通用性，它可以应用于大范围的网络环境和应用程序，而不仅仅 局限于组播会话目录，但s d p 不支持会话内容或媒体编码的协商。在因特网组播骨干网 中，会话目录工具被用于通告多媒体会议，并为参与者传送会议地址和参与者所需的会议 特定工具信息，这由s d p 完成。s d p 连接好会话后，传送足够的信息给会话参与者。 s d p 信息发送利用了会话通知协议( s a p ) ，它周期性地组播通知数据包到已知组播地址 和端口处。这些信息是u d p 数据包，其中包含s a p 协议头和文本有效载荷( t e x t p a y l o a d ) 。这里文本有效载荷指的是s d p 会话描述。此外信息也可以通过电子邮件或万 维网的方式进行发送。 2 2 3 实时流媒体协议r t s p r t s p ( r e a lt i m es t r e a m i n gp r o t o c 0 1 ) 是用来控制声音或视频的流媒体协议，蓝允许 同时多个串流需求控制，传输时所用的网络通讯协议蓝不在其定义的范围内，服务器端可 以自行选择使用t c p 或u d p 来传输串流内容，它的语法和运行跟h t t p1 1 类似，但蓝 6 7 南京邮电大学硕士研究生学位论文第三章视频编解码技术综述 第三章视频编解码技术综述 视频编解码技术在整个流媒体系统中占有至关重要的位置，移动流媒体作为无线网络 上的视频应用，音视频编解码技术对其影响很大。首先，由于无线网络带宽相对小，抖动 大，就要求编码要有高的压缩效率，压缩效率越高，传输占用带宽越小，才能保持良好的 流畅度；其次，需要有较好的图像质量，质量越高，用户体验则越好。 当前主流的视频编码格式有以下几种：m p e g 2 ( i s o e c1 3 8 1 8 2 ) 、m p e g - 4 p a r t 2 ( i s o i e c l 4 4 9 6 2 ) 、h 2 6 4 a v c ( m p e g - 4p a r t l 0 ) 、微软的w m v 系列，r e a l 公司的r e a lm e d i a 系列等，前三者为公开的国际标准，后两者为企业的私有标准。 m p e g - 2 是为d v d 所用的标准，编解码比较简单，以t s ( t r a n s p o r ts t r e a m ) 流传输方式 为主。m p e g - 4p a r t2 标准在同等条件下的编码复杂度是m p e g 2 的3 倍，图像质量是m p e g 2 的约1 5 - 3 倍。h 2 6 4 是3 g p p 编码标准之一，也是h d - d v d 与b l u e r a y 的存储格式之一，同 等条件下的编码复杂度是m p e g 2 的4 倍，图像质量是m p e g 2 的约4 - - 一8 倍。 h 2 6 4 a v c 具有较高的编码效率和图像质量，是编码技术的发展趋势。同时，由于标 准的开放性以及获得了3 g p p 、d v d 论坛的支持，h 2 6 4 已被工业界所看好，它将成为互联 网上视频业务的编码标准。本课题就选用了此编码标准。 3 1 视频编码基本原理 3 1 1 编解码基本结构 如图3 1 所示，视频编码方式与采用的信源模型有关。假设采用“一幅图像由许多像 素构成”的信源模型，此信源模型的参数就是每个像素的亮度值和色度值。对这些参数进 行压缩编码称为基于波形的编码。假设采用一个分量有几个物体构成的信源模型，此信源 模型的参数就是各个物体的形状、运动及纹理。对这些参数进行压缩编码的技术被称为基 于内容的编码。 由此可见，根据信源模型的不同，视频编码可以分为两大类，基于波形的编码和基于 内容的编码。它们是利用不同的压缩编码方法，得到相应的量化前的参数，再对这些参数 现提高编码压缩率的目标。基于波形的编码就是采用了把预测编码和变换编码组合起来的 基于块的混合编码方法。为了降低编码的复杂性，使视频编码易于运算和编程，采用混合 编码方法时，首先要把一幅图像分成固定大小的块，例如块1 6 x1 6 ( 即每块1 6 行，每行 1 6 个像素) 、块3 2 x 3 2 ( 每块3 2 行，每行3 2 个像素) 等等，然后对块进行压缩编码处理。 自从1 9 8 9 年u t 发布了第一个视频编码标准- h 2 6 1 以来，至今已陆续发布了h 2 6 3 、 h 2 6 4 等视频编码标准以及h 3 2 0 、h 3 2 3 等多媒体标准。同时，国际标准化组织i s o 下 属的m p e g ( 运动图像专家组) 也发布了m p e g 1 、m p e g 2 、m p e g - 4 等一系列娱乐和 数字电视压缩编码标准。u - t 于2 0 0 3 年发布的h 2 6 4 视频编码标准不仅有着较高的数 据压缩比率，而且具有良好的网络亲和性，特别是对口互联网、无线移动网等易误码、 易阻塞、q o s 不容易得到保证的网络视频传输性能有明显的改善。h 2 6 4 视频编码都采用 了基于块的混合编码法，都属于基于波形的编码。 2 基于内容的编码 正如上面所说的，基于块的编码易于操作与计算，但也因人为地把一幅图像划分成许 多固定大小的块，当包含边界的块属于不同的物体时，它们各自具有不同的运动，便不可 以用相同的运动矢量表示该边界块的运动状态。如果强制划分成固定大小的块，这种边界 块就肯定会产生较高的预测误差和失真，很大程度影响了压缩编码数据的质量。于是，就 9 南京邮电大学硕士研究生学位论文第三章视频编解码技术综述 产生了基于内容的编码技术。这是先把视频帧分成对应于不同物体的区域，然后再对其编 码，即对不同物体的形状、运动和纹理进行编码。在较简单情况下，利用二维轮廓描述物 体的形状；利用运动矢量描述其运动状态；而纹理则用颜色的波形进行描述。当视频信号 序列中的物体种类已知时，可采用基于认知或基于模型的编码。例如，对人的脸部，已开 发了一些预定义的轮廓对脸的特征进行编码，这时编码效率很高，只需要较少的比特位就 能描述其特征。对于人脸的表情( 如高兴、愤怒等) ，可能出现的行为可用语义编码，由 于物体可能的行为数不是很多，因此可以获得非常高的编码效率。m p e g - 4 系列标准采用 的编码方法就既是基于块的混合编码，又是基于内容的编码方法。 3 1 2 压缩编码基本方法 1 预测编码 预测编码是最简单和实用的视频压缩编码方法，这时压缩编码后的数据并不是像素本 身的采样幅值，而是该采样的预测值和实际值之间的差。大量统计表明，同一幅图像的靠 近的像素之间有着大量相关性，或者说这些像素值相似。邻近像素之间毫无相关性的概率 很小。且同一帧图像中邻近行之间对应位置上的像素间也有较强的相关性。人们就是利用 了这些特点对视频进行压缩编码。 2 变换编码 大部分图像都有一个共同的特点，那就是平坦的区域和内容缓慢变化的区域在一幅图 像中占据了绝大部分，而细节区域和内容高频率变化的区域则只占小部分。也可以说，图 像中直流和低频区占大部分，高频区占小部分。这样一来，图像从空间域变换到了频域， 其间会产生一些相关性很小的变换系数，并可对其进行压缩编码，即所说的变换编码。变 换方法中有一类叫做正交变换，适用于图像编码。自从1 9 6 8 年利用f f t ( 快速傅立叶变换) 进行图像压缩编码以来，期间出现了多种正交变换方法，如k - l 变换、d c t 变换( 离散余 弦变换) 等。其中，编码性能以k - l 变换最理想，但没有快速算法，且变换矩阵随图像而 异，不同图像需计算不同的变换矩阵，因此一般只用来参考比较，难以进入实用领域。d c t 变换编码性能仅次于k - l 变换，但具有快速算法，所以在图像编码领域有着广泛的应用。 3 熵编码 熵编码法是一种进行无损失数据压缩的技术，在这种技术中一段文字中的每个字母被 一段不同长度的b i t ( 比特) 所代替。在此方法中原文的一段字母列被其它字母取代。要 使得所有的字母可以在压缩后互相区别需要一定数量的比特，因此每个字母被取代的比特 1 0 南京邮电大学硕士研究生学位论文第三章视频编解码技术综述 数不能无限小。每个字母按照其出现的可能性所获得的最佳比特数取泱于埴。在视频编码 中常用的熵编码方法有变长编码、算数编码、哈夫曼编码等。 3 2h 2 6 4 a v c 标准的主要应用与特点 运动图像专家组( m o v i n gp i c t u r ee x p e r t sg r o u p ) 和视频编码专家组( v i d e oc o d i n g e x p e r t sg r o u p ) 联合开发了一个比早期的m p e g 系列和h 2 6 3 性能更好的视频压缩编码 标准，这就是名为a v c ( a d v a n c e dv i d e oc o d i n g ) 的编码方法，习惯上也被称为u t h 2 6 4 建议或m p e g 一4p a r t1 0 的标准。在本文里，简称它为h 2 6 4 a v c 或h 2 6 4 。这 个国际标准已于2 0 0 3 年3 月正式被盯u t 所通过并在国际上正式颁布。可以说，h 2 6 4 的出现是视频压缩编码领域发展中的一件大事，它优异的压缩性能也将广泛应用于数字电 视广播( d 、仍) 、视频实时通信、网络视频流媒体传输以及多媒体短信等各个领域。数字 电视广播的优越性已是公认的，但它的广泛应用还有赖于高效的压缩技术。例如，利用 m p e g 一2 压缩的一路1 0 8 0 p 的高清晰度电视( h d t v ) ，需要约2 0 m b s 的带宽，而利用 h 2 6 4 进行一路1 0 8 0 ph d t v 的压缩，大概只需5 m b s 的带宽。众所周知，美国已在2 0 1 0 年( 我国约在2 0 1 5 年) 停止模拟电视广播，全部采用数字电视广播，假如h d t v 在中国 要获得较大规模的应用，必须降低现有成本。以传输开销而言，采用h 2 6 4 可使传输开销 降为原来的1 4 ，这是一个十分诱人的数字。h d t v 在中国即将走进人们的生活，压缩性 能优异、图像质量高h 2 6 4 编码技术和设备的市场前景是非常可观的。现在有的省市( 如 南京) 已在有线电视信道上开通了数字电视，采用压缩性能优异的h 2 6 4 显得更为有意义。 视频通信是h 2 6 4 又一个重要应用，自2 0 世纪9 0 年代初以来，电视会议在我国得到 了迅速发展，利用通信网络召开会议，其优点是节约大量旅途出差时间及费用，还争取了 时间及时作出相应决策，短短数年，全国从中央到省、地市甚至县，已经建立了几千个电 视会议室，在国民经济的发展中发挥了重要作用，但仍然有其不足之处：首先不是很方便， 必须到电信部门专用的电视会议厅才能参加会议，这让一些领导同志更是不方便；其次， 花费较为昂贵，当时采用h 2 6 1 作为视频编码标准，压缩比不高，且图像质量也不是很好， 设备价格昂贵，传输费用也高昂，所以直到今天，尚未被广泛地应用，其中一个重要原因 就是视频回放质量不是很理想，这与视频编码技术有着密切的关系。特别是由于互联网在 上世纪9 0 年代的迅猛发展，人们越来越希望希望利用口网络来传输视频，现在人们已可 以看到，在网络没有发生拥塞时，人们看到的视频电话质量尚能接受( 尽管不是非常满意) ， 堕塞塑皇奎堂堡主堑壅竺堂垡丝奎兰三童望塑叁堡塑茎查堡垄 由于口网络带宽的抖动性，当流量大时，网络会发生拥塞，这时经常会发生丢包、误码 等现象，用户此时所看到图像中带有不少的色块，说明数据发生了丢失，这样的视频质量 是无法让人接受的，于是对视频编码提出了新的要求，不仅要高压缩比，而且应在恶劣的 传输条件下( 包括移动网络的衰减) 具有抗阻塞、抗误码的鲁棒性。h 2 6 4 不仅具有优 秀的压缩性能，而且具有良好的网络友善性，这对实时视频通信是十分重要的。 h 2 6 4 还有一个重要应用，即网络上的流媒体。近年来，应用了流媒体技术的 v o d ( v i d e oo nd e m a n d ) 有了迅速的发展，据统计，v o d 在韩国的家庭宽带应用中占据了 第二位。我国的宽带用户现已达1 0 0 0 万以上，而且还在继续迅速增加。不论在桌面市场 还是移动市场，v o d 业务的发展前景也是相当令人期待的，本课题的研究便是在此领域 的展开。 3 3h 2 6 4 a v c 标准的构成 3 3 1 基本概念 视频的一帧或一场可以用来产生一个编码图像。一般来说，视频帧可分为两种类型： 逐行和隔行视频的。在传统的模拟电视中，为了减少大面积的闪烁现象，一个完整的逐行 帧需要分成两个隔行的场。可以看见，这时帧内相邻行之间的空间相关性较强，因此运动 较小或静止的图像宜采用帧编码方式，对运动量较大的运动图像则宜采用场编码的方式。 一个编码图像通常划分成若干个宏块，一个宏块由一个1 6 x 1 6 亮度像素值和一个8 x 8 的 c b 和一个8 x 8 的c r 彩色像素值块组成( y u v 4 2 0 采样格式) 。每个图像中，这些宏块被 排列成片的形式。i 片只包含i 宏块，p 片可包含p 和i 宏块，而b 片可包含b 和i 宏块。 i 宏块利用当前片中已解码的像素作为参考进行帧内预测( 不能取其它片中的已解码像素 作为参考进行帧内预测) 。p 宏块利用前面已编码图象作为参考进行帧内预测，一个帧内 编码的宏块可进一步作宏块的分割：即1 6 x 1 6 、1 6 x 8 、8 x 1 6 或8 x 8 亮度像素值块( 以及 附带的彩色像素值) ；如果选了8 x 8 的子宏块，则还可以再分割成各种子宏块，尺寸可为 8 x 8 、8 x 4 、4 x 8 或4 x 4 亮度像素块( 以及附带的彩色像素) 。b 宏块则利用双向的即过去 的和将来的已编码图像作为参考进行帧内预测。 1 2 南京邮电大学硕士研究生学位论文 第三章视频编解码技术综述 3 3 2 基本分级 h 2 6 4 a v c 划定了三种档次，每个档次支持一组特定的编码功能，并支持一类特定的 应用。 基本层次( b a s e l i n ep r o f i l e ) ：主要利用了i 片和p 片，支持帧内和帧间编码，支持基 于上下文的自适应变长编码进行的( c a v l c ) 。主要应用于视频电话、电视会议、无线通 信等要求实时性、低延迟的场合。 主要层次( m a i np r o f i l e ) ：支持隔行视频，可采用b 片的帧间编码和采用加权预测的帧 内编码。其支持基于上下文的自适应的算术编码( c a b a c ) 。主要应用于数字广播电视与 数字视频存储。 扩展层次( e x t e n d e dp r o f i l e ) ：支持码流之间有效的切换( s p 和s i 片) 、通过数据分割 改进误码性能，但不支持隔行视频和基于上下文的自适应的算术编码( c a b a c ) 。 1 3 南京邮电大学硕士研究生学位论文第四章系统框架实现及设计 第四章系统框架设计及实现 随着3 g 时代的到来和手机硬件配置的大幅提高，例如高分辨率显示屏、高速c p u 、 大容量存储，甚至配备独立的g p u 等，手机将逐渐从简单的语音通信工具发展成支持互 联网浏览、移动电子商务、多媒体娱乐等以信息为中心的移动个人信息设备。因此，越来 越多的人使用手机去观