（信号与信息处理专业论文）基于windows+ce的流媒体及其关键技术研究.pdf

中文摘要 嵌入式系统的发展，流媒体技术的日渐成熟和网络技术的发展，尤其是3 g 时代的到来，给嵌入式终端的流媒体应用带来了机遇。w i n d o w sc e 是微软公司 的嵌入式实时操作系统，它具有很强的网络支持和媒体处理能力，很适合作为 嵌入式流媒体应用的操作系统平台。因此本文研究基于w i n d o w sc e 的流媒体。 本论文第一章概括介绍了嵌入式系统的定义、发展阶段、核心软硬件以及 w m d o w sc e 的简介，并对流媒体技术迸行了概述，包括流媒体的播放方式、 文件格式等。第二章介绍了流媒体的关键技术，包括传输技术和编码压缩技术。 本论文仿真了一个流媒体系统，此系统由服务器和客户端两部分组成，服务器 通过w r m s o c k 与客户端通信，接收客户端的连接请求并发送流媒体数据，客户 端接收流媒体数据并通过d i r e c t s h o w 解压缩播放。此系统完成了跨平台通信、 流媒体传输和图像再现等功能。从第三章开始介绍与此系统设计相关的问题。 第三章是系统的总体结构，并介绍了w m d o w sc e 操作系统的组成和设备开发 过程，以及w m d o w sc e 应用程序设计的相关问题，并在此章的最后给出了创 建客户端工程的过程。第四章介绍了客户端的o s 设计和平台定制，以及生成 s d k 、导出s d k 的过程。第五章给出了客户端的界面设计以及需要注意的字符 集的闯题。第六章从网络方面分析了在w m d o w sc e 上开发流媒体的可行性， 介绍了在w m d o w sc e 上开发网络应用程序的方法，并给出了系统中的网络通 信和传输的设计。第七章从多媒体处理方面分析了在w - m d o w sc e 上开发流媒 体的可行性，介绍了d i r e * t s h o w 流媒体处理框架，最后介绍了本系统的流媒 体处理部分的设计。第八章是测试和总结，给出了平台和应用程序的测试过程 和结果，并分析了此系统存在的不足和改进方法。 关键词：w i n d o w sc e 、嵌入式系统、流媒体、w i n s o c k 、d i r e c t s h o w a b s t i 矾c t t h ed e v e l o p m e n to fe m b e d d e ds y s t e m , t h em a t u r i t yo fs t r e a m i n gm e d i a t e c h n o l o g ya n dt h ep r o g r e s so fn e t w o r kt e c h n o l o g y , e s p e c i a l l yt h ei n - c o m i n go f3 g e r a , b r i n gn 删o p p o r t u n i t i e so fs t r e a m i n gm e s aa p p l i c a t i o nt oe m b e d d e dt a - m i n a l s w i n d o w sc e ( w m c ef o rs h o r t ) ，a ne m b e d d e dr e a i - t t m eo sp r o d d e db ym i c r o s o f t c o r p o m t i o n , w h i c hh a ss t r o n gn e t w o r ks u p p o r t sa n dm e d i ap r o c e s s i n ga b i l i t i e s i s 趾 a p p r o p r i a t eo sp l a t f o r mf o re m b e d d e ds 仃e a m i n gm e s aa p p l i c a t i o n s ot h et h e s i s r e s e a r c h e st h es t r e a m i n gm e ab a s e do nw m c e i nt h et h e s i s ，t h ef i r s tc h a p t e ri n t r o d u c e st h ed e f i n i t i o n , d e v e l o t m a e n tp h a s e s ， k e ys o f t w a r ea n dh a r d w a r eo fe m b e d d e ds y s t e m i ta l s og i v e sab r i e fd e s c r i p t i o n o fw m c ea n ds 心e a m i n gm e d i at e c h n o l o g y t h es e c o n dc h a p t e ri n t r o d u c e st h e s t r e a m i n gm e d i at e c h n o l o g i e s , i n c l u d i n g 恤a n s m i s s i o na n dc e d i n gc o m p a s s i o n t h et h e s i ss i m u l a t e sas t r e a m i n gm e d i as y s t e mw h i c hc o m p o s e so fas e t v e ra n da c l i e n t t h es e r v e rc o m m u n i c a t e sw i t ht h ec l i e n tt h r o u g hw - m s o c k , a c c e p t st h e r e q u e s to f t h ec l i e n ta n d t r a n s f e r sd a t at ot h ec l i e n t t h ec l i e n tr e c e i v e st h ed a t aa n d p u t st h ed a t at od i r e c t s h o wt op l a y b a c k t h es y s t e mi m p l e m e n t st h ef u n c t i o n so f c r o s s - p l a t f o r mc o m m u n i c a t i o n , s 岫 卸1 i n gm e d i at r a n s m i s s i o na n dp l a y b a c k t h e t h i r dc h a p t e ri n t r o d u c e st h es y s t e mi ng e n e r a l ，d e s c r i b e st h e 删t c c t u r eo fw _ m c e ， d e v i c ed e v e l o p m e n ta n da p p l i c a t i o nd e s i g n i ta l s od e s c r i b e st h ec l i e n tp r o j e c t b u i l d i n gp r o c e s s t h ef o u r t hc h a p t e ri n t r o d u c e st h ep r o c e s so fc l i e n to sd e s i g n , p l a t f o r mc u s t o m i z a t i o n , c r e a t i o na n de x p o r to fs d k t h ef i f t hc h a p t e rd e s c r i b e st h e c l i e n ti n t e r f a c ed e s i g na n dc h a r a c t e rs e t st h a ts h o u l db ep a i da t t e n t i o nt o t h es i x t h c h a p t e ra n a l y z e st h ef e a s i b i l i t yo fs t r e a m i n gm e d i ab a s e do nw i n c e 鼬t h e n e t w o r ka s p e c t , i n t r o d u c e st h em e t h o do f d c 、，e l o p i n gw m c en e t w o r ka p p l i c a t i o n , a n dp r o v i d e st h ec o m m u n i c a t i o na n dl r a n s m i s s i o nd e s i g ni nt h es y s t e m t h e s e v e n t hc h a p t e ra n a l y z e st h ef e a s i b i l i t yo fs t r e a m i n gm e d i ab a s e do nw i n c ef r o m t h em u l t i m e d i aa 印e c t ，i n t r o d u c e sd i r e c t s h o wa r c h i t e c t u r ea n dt i cd e s i g no f s t r e a m i n gm e d i ap r o c e s s i n gi nt h es y s t e m t h ee i g h t hc h a p t e ri sa b o u tt h et e s t sa n d r e s u l t s ，a n ds 咖u pt h es y s t e mb ya n a l y z i n gt h ed e f i c i e n c i e sa n dt h es o l u t i o n k e yw o r d s ：w i n d o w sc e ，e m b e d d e ds y s t e m ，s t r e a m i n gm e d i a ，w i n s o c k ， d i r e c t s h o w 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得 的研究成果，除了文中特别加以标注和致谢之处外，论文中不包含其它人已经 发表或撰写过的研究成果，也不包含为获得苤洼盘茎或其它教育机构的学 位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已 在论文中作了明确的说明并表示了谢意。 学位论文作者签名声同旃 签字日期沙年1 月易日 学位论文版权使用授权书 本学位论文作者完全了解鑫星盘茎有关保留、使用学位论文的规定。 特授权盘壅盘堂可以将学位论文的全部或部分内容编入有关数据库进行检 索，并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学 校向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名：左闷晦 签字日期：狮年1 月9 日 j 导师签名： 签字日期厶6 年1月驴日 第一章绪论 1 1 嵌入式系统概述 第一章绪论 嵌入式系统的出现至今已经有3 0 多年的历史，近年以来，随着硬件、软件 和网络技术的发展，嵌入式系统的研究已成为一个热点。 根据i e e e 的定义，嵌入式系统是“用于控制、监视或者辅助设备、机器 或车间操作的装置”。而嵌入式系统的一般定义是以应用为中心，以计算机技术 为基础，软件硬件可裁剪，适应应用系统对功能、可靠性、成本、体积、功耗 严格要求的专用计算机系统。嵌入式系统的应用相当广泛，可以应用于工业控 制、交通管理，信息家电、家庭智能管理系统、p o s 网络及电子商务、环境监 测、机器人等领域。 嵌入式技术的发展大致经历四个阶段； 第一阶段是以单芯片为核心的可编程控制器形式的系统，大部分应用于一 些专业性强的工业控制系统中。此阶段的嵌入式系统般没有操作系统的支持， 主要通过汇编语言编程实现控制。系统结构简单、功能单一、用户交互少是这 一阶段系统的主要特点。 第二阶段是以嵌入式c p u 为基础、以简单操作系统为核心的嵌入式系统。 此阶段的主要特点是：c p u 种类繁多，通用性比较弱；系统开销小，效率高； 操作系统达到一定的兼容性和扩展性：应用软件较专业化，用户界面不够友好。 第三阶段是以嵌入式操作系统为标志的嵌入式系统。主要特点是有了较强 大的操作系统的支持，可以进行文件管理、内存管理，具有较好的用户界面， 开发应用程序较简单，因此系统功能大大增强，嵌入式应用软件丰富。 第四阶段是以互联网为标志的嵌入式系统。目前大多数嵌入式系统还孤立 于网络之外，随着网络通信技术的发展，嵌入式设备必将与网络紧密结合，具 有更多的功能，带给人们更大的便利。 1 1 1 嵌入式系统硬件 嵌入式系统的核心硬件是嵌入式处理器，主要包括嵌入式微处理器、嵌入 式单片机、嵌入式d s p 和嵌入式片上系统。 嵌入式微处理器( m p t o ：嵌入式微处理器的核心是通用计算机中的c p u 。 第一章绪论 在应用中将微处理器装配在专门设计的电路板上，去除其它冗余功能，只保留 和嵌入式应用有关的功能，这样可以大幅度减小系统体积和功耗。嵌入式微处 理器虽然在功能上虽然和标准微处理器基本相同，但是在工作温度、抗电磁干 扰、可靠性等方面一般都作了各种增强以满足嵌入式应用的特殊要求。 嵌入式d s p 处理器：专门用于信号处理方面的处理器，它在系统结构和指 令算法方面进行了特殊设计，具有很高的编译效率和指令执行速度。在数字滤 波、f f t 、频谱分析等方面有大规模的应用。 嵌入式微控制器( m c u ) ：嵌入式微控制器又称单片机，一般以某种微处理 器内核为核心，片内集成r o m e p r o m 、r a m 、总线、总线逻辑、定时计数 器、看门狗、i o 、串行口、脉宽调制输出、a d 、d a 、f l a s h 、e e p r o m 等各 种必要的功能和外设。与嵌入式微处理器相比，徼控制器的最大特点是单片化， 体积大大减小，从而使功耗和成本下降、可靠性提高。微控制器是目前工业嵌 入式系统的主流。 嵌入式片上系统( s o t ) ：嵌入式片上系统是在一个硅片上实现一个更为复 杂的系统。各种通用处理器内核将和许多其它嵌入式系统外设一样成为v l s i 设计中的一种标准器件，用标准的v h d l 等语言描述，存储在器件库中。用户 只需定义出整个应用系统，仿真通过后就可以将设计图交给半导体工厂制作样 品。这样除个别无法集成的器件以外，整个嵌入式系统大部分均可集成到一块 或几块芯片中，应用系统电路扳将变得很简洁，对于减小体积和功耗，以及提 高可靠性都非常有利。 1 1 2 嵌入式系统软件 嵌入式系统的软件包括操作系统和应用软件，其核心软件是嵌入式操作系 统，嵌入式操作系统具有两个基本功能：使硬件便于使用，高效组织和正确使 用资源。嵌入式操作系统有四个主要任务：进程管理、进程间通信与同步、内 存管理和i o 资源管理等。嵌入式操作系统具有以下特点： 可定制性：嵌入式操作系统应该具有模块化的特点，一般由内核和其它功 能模块组成，可以根据不同的应用进行剪裁定制。 可移植性：嵌入式操作系统应该能够支持多种国际主流微处理器的硬件平 台，给用户硬件选择带来灵活性。 实时性：大多数嵌入式系统工作在实时性要求很高的环境中，因此要求嵌 入式操作系统必须具有一定的实时性。 低资源占有性：因为嵌入式系统通常存储空间有限，所以在保证其功能的 2 第一章绪论 前提下，应尽可能减少系统对资源的占用。 目前常见的嵌入式操作系统有v x w o r k s 、w i n d o w sc e 、p a l m o s 、嵌入式 l i n u x 等。v x w o r k s 是美国g r m d r i v 盯公司于1 9 8 3 年设计开发的一种嵌入式实 时操作系统( r t o s ) 。此系统具有良好的持续发展能力、高性能的内核以及友好 的用户开发环境，以卓越的可靠性和实时性被广泛应用于通信、军事、航空航 天等高精尖技术领域中。嵌入式l i n u x 是开放源码的操作系统，使用双内核来 实现实时支持，l i n u x 有完善的文档和强大的网络功能，系统稳定，简单易用， 应用非常广泛，包括手机、机器人、网络装置等。p a l m o s 在p d a 市场上占有 很大份额，它的出现开创了一个崭新的计算领域。p a l m o s 是专门针对p d a 的， 它的系统小，有合理的内存管理和节能功能。 1 1 3w i n d o w sc e 简介 g r m d o w sc e 是微软公司的嵌入式操作系统。w i n d o w sc e 具有以下特点： ( 1 ) 模块化 ( 2 ) 多任务 ( 3 ) 良好的通信和网络功能 ( 4 ) 丰富的多媒体支持 ( 5 ) 强大的开发工具 微软公司自1 9 9 6 年发布w m d o w sc e1 0 以来，w i n d o w sc e 经历了2 x 、 3 0 、4 x 等众多版本，并于2 0 0 5 年发布了w i n d o w sc e 5 0 。w i n d o w sc e 具有 模块化的特点，用户可以根据具体应用进行定制。w i n d o w sc e 是一个具有抢 占式多任务的操作系统，可以同时执行多个任务。w m d o w sc e 的网络功能强 大，包括对有线、无线网络的支持。丰富的用户界面和多媒体支持也是w i n d o w s c e 的一个特点。w i n d o w sc e 提供了强大的开发环境，包括定制和调试操作系 统的p l a t f o r mb u i l d e r ，开发应用软件的e m b e d d e dv i s u a lc + + 、v i s u a ls t u d i o 。 v v i n d o w sc e 支持四个主要系列的微处理器，包括a r m 、m i p s 、s h 和x 8 6 。 w i n d o w sc e5 0 是一个开放、可靠、可裁减的3 2 位实时操作系统。，在以 前版本的基础上有很大改进，包括；提高生产率；测试和维护中增加w i n d o w s 错误报告、c e t k 增强功能；高级多媒体，支持d 3 dm o b i l e 、f a s t s t a r t 、g d i 、 功能增强；增强安全性；提供了广泛的源代码访问和设计灵活性。 w i n d o w sc e 的应用主要包括t 移动手持设备、口语音电话、瘦客户端、 医疗设备、机顶盒、消费类电子设备、车内导向系统、工业自动化等。 第一章绪论 1 2 流媒体技术概述 在网络上传输音视频等多媒体信息主要有两种方式：一种是下载，一种是 流式传输。下载的方式是服务器会按照一定的次序将文件分成若干个独立的数 据包，然后通过网络将数据包依次发送传送到目的地，而客户端的程序会将这 些数据包重新组装起来，最终形成和原来完全一样的完整的文件，即文件再次 被存储。由于网络延时的影响，下载需要很长的时间，尤其是文件较大时，另 外也需要很大存储空闭。而流式传输则可以改善这两个方面。流式传输是指首 先下载- d , 部分数据放入缓冲区，余下的部分一边操作一边下载，而且不必全 部存储，后下载的数据可以覆盖已经操作过的先下载数据的空间。 流媒体指在i n t e m c f f i n a a n e t 中使用流式传输技术的连续时基媒体，如音 频、视频或多媒体文件。根据传输媒体形式的不同，流媒体可分为流式音频、 流式视频、流式动画、流式图像、流式文本五类，本文主要研究流式音视频技 术。 1 2 1 流媒体的播放方式 1 单播 在客户端与媒体服务器之间需要建立一个单独的数据通道，从一台服务器 送出的每个数据包只能传送给一个客户端，这种传送方式称为单播。每个用户 必须分别对媒体服务器发送单独的查询，而媒体服务器必须向每个用户发送所 申请的数据包拷贝。 2 组播 i p 组播技术构建一种具有组播能力的网络。允许路由器一次将数据包复制 到多个通道上。采用组播方式，单台服务器能够对几十万台客户端同时发送连 续数据流而无延时。媒体服务器只需要发送一个信息包，而不是多个，所有发 出请求的客户端共享同一信息包。 在i p v 4 网络上，i p 地址分为五类，a 类、b 类、c 类、d 类和e 类。其中d 类地址用于组播，其范围在2 2 4 0 0 0 到2 3 9 2 5 5 2 5 5 2 5 5 之间。 3 点播与广播 点播连接是客户端与服务器之间的主动连接。在点播连接中，用户通过选 择内容项目来初始化客户端连接。用户可以开始、停止、后退、快进或暂停流。 点播连接提供了对流的最大控制。广播指的是用户被动接收流。在广播过程中， 客户端可以接收流，但不能控制流。例如，用户不能暂停、快进或后退该流。 4 第一章绪论 广播方式中数据包的单独一个拷贝将发送给网络上的所有用户。 1 2 2 流媒体文件格式 流媒体文件格式根据不同的阶段分成三个类型；压缩媒体文件格式、流式 文件格式和媒体发布格式。 1 压缩媒体文件格式 流媒体系统通常应用在一些对实时性要求比较高的场合，而一般原始数据 量都非常大，若直接传送会占用很大带宽，并且会花较长的时间，因此常常需 要对声音、视频、动画等进行压缩，这样的文件格式称为压缩媒体格式，它包 含了描述一段声音和图像的同样信息，但它的文件大小被处理得更小。我们熟 悉的m p g 、m o v 、a v i 、m p 3 等都是压缩媒体文件格式。本文在第二章会简要 介绍常用的压缩标准及算法。 2 流式文件格式 文件格式经过编码压缩后就适合在网络上进行流式传输，但是要保证一定 的播放质量、减少用户的延时和存储空间还需要对压缩文件进行特殊处理，添 加些附加信息如计时、压缩和版权信息等，这就是流式文件格式。常用的流式 文件类型有：a s k r i l l 、r a 、r p r t s w f 、v i v 、3 9 p 3 9 p 2 。 3 媒体发布格式 媒体发布格式不是压缩格式，也不是传输协议，其本身并不描述视听数据， 也不提供编码方法。媒体发布格式是视听数据安排的唯一途径，物理数据无关 紧要，仅需要知道数据类型和安排方式，可以通俗地理解为播放列表。播放列 表可以使不同媒体内容集中在一起，按所指定的任意顺序播放，为应用不同压 缩标准和媒体文件格式的媒体发布提供一个标准方法。媒体发布格式能包含不 同类型媒体的所有信息，如计时、多个流同步、版权和所有人信息。常用媒体 发布格式有a s k s n a i l 、s m i l 、舢、m a p 、a s x 、- x m l 。 1 2 3 流媒体应用 流媒体的应用非常广泛，常见的行业应用主要有以下几种： 1 远程教育：目前应用比较广泛，而且具有很好的市场应用前景。通过流 媒体平台可以实现比较基本的远程教学，可以将老师讲课的情况实时发送给学 生观看，也可以录制后供学生点播，还可以以会议的方式进行课堂交流等。 2 远程监控：目前已经渗透到教育、政府、娱乐场所、医院、酒店、运动 第一章绪论 场馆、城市治安等多种领域。随着网络技术的发展，视频监控系统可以通过网 络将监控信息以流媒体的形式传输，而用户则通过网络进行监控远程的场景。 3 视频会议：可以是双方的，也可以是多方的。前者可以作为视频电话。 视频流媒体信息以点到点的方式传送。多方的视频会议需要多点控制单元，需 要以广播的方式传输。视频会议是典型的具有交互性的流媒体应用。 4 电子商务：通过流媒体平台，货品展示不再限于图片的二维观看，当用 户看到感兴趣的商品，通过点击就会有讲解员和商品的影像出现，这样的方式 可以达到更好的展示效果，丽且可以与讲解员进行现场交流。 5 互联网娱乐：用户p c 通过互联网与服务器进行连接，可以进行在线影 院观看电影，通过在线电台听广播、音乐。 6 i p t v ：也叫交互式网络电视，就是利用流媒体平台通过宽带网络传输数 字电视信号给用户，可以采用组播( 或广播) 方式和视频点播方式两种不同的方 式给用户提供电视服务。网络电视相对于传统电视有互动和点播等优势。另外 由于i p t v 是基于互联网的方式来实现连接传输的，因此也能提供现有的互联网 的服务，通过i p t v 可以处理电子邮件、浏览互联网以及其它的应用。 7 移动流媒体：2 5 g 、3 g 以及超3 g 无线网络的发展也使得流媒体技术可 以被用到无线终端设备上。另外手机设备运算能力越来越强，存储空间越来越 大。当前，尽管移动流媒体业务还没有进入大规模商用阶段，但手机电视等业 务己成为业界关注的热点。基于移动流媒体的业务应用开始变得广泛，移动流 媒体的主要应用有信息服务、娱乐服务、通信服务、监控服务、定位服务等。 1 3 本章小结 嵌入式系统是以应用为中心，以计算机技术为基础，软件硬件可裁剪，适 应应用系统对功能、可靠性、成本、体积、功耗严格要求的专用计算机系统。 嵌入式系统的核心硬件是嵌入式处理器，主要包括嵌入式微处理器、嵌入式单 片机、嵌入式d s p 和嵌入式片上系统。嵌入式系统的软件包括操作系统和应用 软件，其核心软件是嵌入式操作系统。嵌入式操作系统有四个主要任务：进程 管理、迸程间通信与同步、内存管理和i o 资源管理等。 流媒体指在i n t e m e t j i n t r a n c t 中使用流式传输技术的连续时基媒体，如音 频、视频或多媒体文件。流媒体有单播、组播、点播与广播等播放方式。流媒 体的文件格式包括压缩媒体文件格式、流式文件格式和媒体发布格式。流媒体 的应用非常广泛，可以应用于远程教育、远程监控、视频会议、电子商务、互 联网娱乐、i p t v 、移动流媒体等领域。 6 第二章流媒体关键技术 第二章流媒体关键技术 流媒体技术是一项综合的技术，包括了压缩、传输等多项技术。 2 1 压缩编码技术 媒体数据必须经过编码压缩减少数据量后才适合网络传输，以减少网络占 用率和传输时间。尤其是视频数据，普通清晰度电视( s d t v ) 就已达2 7 0 3 6 0 m b i t s 。如果不经过压缩，这样的数据量对网络传输来说就是天文数字。而 经过变换、预测等手段对图像压缩编码后的数据量就小得多。 2 1 1 音频压缩 1 脉冲编码调制( p c m ) 脉冲编码调制经过抽样、量化、编码三个步骤将语音信号变为数字信号。 为了减少量化噪声通常使用非线性量化器，量化器的步长随着信号的幅度增大 而增加，可以有效地减少码率及提高质量。采用脉冲编码调制的标准有g 7 1 1 ， 有a 律和n 律两种压扩特性，使用8 k h z 的采样频率和8 b i t 的编码，码率为 6 4 k b i t s 。 2 差分脉冲编码调制( d p c m ) 对大多数音频信号而言，其相邻取样值幅度之差的变化范围小于实际取样 值的变化范围。利用此事实，在d p c m 中对取样值之差，即差分信号进行编码， 可以减少量化比特数。事实上，对于基于p c m 的声音信号，可以把码率从 6 4 k b i t s 减少到5 6 k b i t s 。 3 自适应差分脉冲编码调* j j ( a d p c m ) 在d p c m 的基础上，对不同变化范围的差分值采用不同的比特数编码，变 化范围小的差分值用较少的比特编码，通过变比特编码方法，可以有效减少带 宽或者改善信号的质量。采用a d p c m 的国际标准有q 7 2 1 、g 7 2 2 和g 7 2 6 。 g 7 2 1 采样频率为8 k h z ，使用4 位编码，码率为3 2 k b i t s 。q 7 2 2 由g 7 2 1 派 生面来，将输入语音的带宽扩展到了5 0 h z - 7 k i - i z ，提高了语音的质量，采用子 带编码，将语音分成两个子带分别编码，且使用不同的采样率和码率，再将两 个比特流复用，q 7 2 2 的码率可以是6 4 、5 6 或4 8 k b i t s 。g 7 2 6 采用子带编码 7 第二章流媒体关键技术 和自适应预测，输入语音带宽最高为3 4 k h z ，码率为4 0 、3 2 、2 4 或1 6 k b i t s 。 4 线性预测编硒j ( l p c ) 线性预测编码是将语音信号加以分析，提出包含的听觉特征值，即音调、 周期、响度，以及确定出发音系统的声道激励参数( 包括浊音和清音两种) 等。 在解码端的发声模型利用这些参数就能合成出语音信号。采用l p c 可以获得特 别低的数据速率，可以达到2 4 k b i t s ，甚至1 2 k b i t s 。 5 码激励线性预测编码( c e l p ) 码激励线性预测编码同样是使用发声模型合成语音信号，但是并不是对每 一段信号都分别进行编码，而是将差值信号可能出现的各种样值的组合形成模 板，将模板规则排列后存放在编码器和解码器的码本中。编码时在本地的码本 中选与当前信号最接近的模板的地址码，将地址发送到解码器，由于发送的是 地址，因此可以大大减少码率。采用此方法的国际标准有g 7 2 9 、g 7 2 9 、q 7 2 9 ( a ) 和g 7 2 3 1 。表2 1 是这几个标准的码率比较。 标准 码率( k b i t s ) g 7 2 81 6 g 7 2 98 g 7 2 9 ( a ) s q 7 2 3 1 5 3 ，6 3 表2 - 1 几种c e l p 编码标准比较 6 m p e g l 音频编码 m p e g l 音频编码主要由子带划分和变换编码构成，其主要步骤为： ( 1 ) 将音频信号用滤波器组分为3 2 个子带； ( 2 ) 用f f t 将子带变换到频率域； ( 3 ) 利用生理声学模型对能感知的噪声阙值进行估计； 一( 4 根据对噪声闺值的估计进行比特分配和量化。 m p e g l 音频编码是三种音频编码和压缩方案的一个系列，分为m p e g l 声 音的k l y e r l 、l a y e r 2 、l a y e r 3 ，随着层数的增加算法复杂度越大，且向前兼容。 这三个层次主要的区别在于第( 3 ) 步和第( 4 ) 步的具体做法不同。层2 与 m u s i c a m ( m a s k i n gp a t t e r na d a p t e du n i v e r s a ls u b - b a n di n t e g r a t e dc o d i n ga n d m u l t i p l e x i n g ) 算法相同。对于最高频率为2 0 k h z 的音乐信号，以4 8 k h z ( 或 4 4 1 k h z ) 采样并用1 6 或1 8 比特量化，可以将双声道立体声的一个声道的数据 压缩到9 6 或1 2 8 k b i t s 。层1 是层2 的简化形式，它的单声道压缩码率为1 9 2 8 第二章流撵体关键技术 或2 5 6 k b i t s 。层3 是m u s i c a m 和a s p e c ( a d a p t i v es p e c t r a lp e r c e p t u a le n t r o p y c o d i n g ) 两种算法的结合，压缩码率为每声道6 4 k b i t s ，但其音质仍非常接近c d 音乐的水平。 2 1 2 视频压缩标准 目前主要的视频压缩标准有m p e g 系列和h 2 6 x 系列。 2 1 2 1m p e g 系列标准 m p e g 是活动图像专家组( m o v i n gp i c t u r ee x p e r tg r o u p ) f l q 缩写，是标准化 组织( i s o ) 和国际电工委员会( i e c ) 制订的运动图像和声音的数字编码标准。它 包含一系列标准，目前主要的压缩标准有m p e g 1 、m p e g - 2 和m p e g - 4 。 1 m p e g 1 标准 m p e g 1 标准于1 9 9 3 年8 月公布，是针对1 5 m b p s 以下数据传输率的 数字存储媒体运动图像及其伴音编码的国际标准。标准的正式规范在 i s 伽e c l l l 7 2 中。该标准包括五个部分：系统、视频、音频、一致性、参考软 件。m p e g - 1 所支持的输入图像格式是s i f 格式。m p e g - 1 使用了三种编码帧： i 帧、p 帧和b 帧。 i 帧：采用帧内编码，在编码时不参照其它帧，其压缩率比较低。 p 帧：采用预测编码方法，利用瞬时的冗余性，对过去的i 帧或p 帧进行 运动补偿预测，可以获得较高的压缩比。 b 帧：采用双向预测编码方法，能提供最大限度的压缩，需要过去和将来 的参考帧( i 帧或p 帧) 进行运动补偿，但它本身不能用作预测参考帧。 m p e g 1 的码流分成图像序列、图像组( g o p ) 、图像、条、宏块、块等六 个层次。其中图像序列的序列头给出图像分辨率、帧率和使用的量化表的类型 等信息。o o p 是进行随机存取的单元，g o p 的第一帧是i 帧。图像是基本的 编码单元，其头信息中记录着该帧的类型和它在c o p 中的序号。条是进行再同 步的单元，可以防止解码的累积误差。宏块是运动补偿的基本单元。块是d c t 的基本单元，由8 8 像素组成。 2 m p e g - 2 标准 m p e g - 2 于1 9 9 5 年推出，为i s o i e c l 3 8 1 8 国际标准。m p e g - 2 是传输速 率在3 - 1 0 m b p s 之间的运动图像及其伴音的编码标准，在n t s c 制式下分辨率 可达到7 2 0 x 4 8 6 ，图像质量很高。m p e g 一2 在m p e g - l 基础上增加了以下功能： 9 第二章流媒体关键技术 ( 1 ) 对隔行扫描的视频信号的处理：m p e g - 2 中设置了“按帧编码”和“按 场编码”两种方式，增加了场图像的场间预测、帧图像的场间预测、用于p 帧 的双基预测和用于场图像的1 6 x 8 预测等4 种对隔行扫描图像更为有效的预测 模式。 ( 2 ) 除了支持m p e g - 1 的4 ：2 ：0 的模式外，还支持4 ：2 ：2 和4 ：4 ：4 模式。 ( 3 ) 可伸缩的视频编码方式：m p e g - 2 提供了简单、主、信噪比可分级、空 间可分级、高级等5 个范畴以及低级、主要级、高1 4 4 0 级和高级等4 个图像 级别，以适应不同的应用。 ( 4 ) 系统层语法的扩展：m p e g - 2 中有传输流和节目流两类数据码流。传输 流适合数据易丢失的场合，节目流格式与m p e g - 1 兼容，并针对多媒体进行了 优化。传输流和节目流都建立在分组结构之上，适合在a 1 m 网络上传输。 ( 5 ) 采用了交替扫描、d c t 系数更细量化，提供了更细的量化器量化系数。 3 m p e g 4 标准 m p e g - 4 是一个适应各种多媒体应用的“视听对象的编码”标准，国际标 准为i s o i e c l 4 4 9 6 ，是以内容为中心的描述方法和对音视频对象的编码。 m p e g 4 利用很窄的带宽，通过帧重建技术压缩和传输数据，以求从最少的数 据获得最佳的图像质量。基于内容的压缩、更高的压缩率和时空可伸缩性是 m p e g - 4 的三个最重要的特点。 m p e g 1 或m p e g 2 中采用的是矩形、方块的块处理图像的方法，也就是 把整帧的图像分割成固定尺寸、固定开头的子块来进行处理。而在m p e g - 4 中 则将场景表示为若干音视频对象( a v o ) 的组合，对对象进行编码。对每个对象 的编码形成一个对象码流层，该层码流中包含着对象的形状、位置、纹理以及 其它属性。 m p e g - 4 用运动补偿消除时域冗余，用d c t 消除空域冗余，与以往视频编 码标准相同。为支持基于对象编码，m p e g - 4 还采用形状编码和与之相关的形 状自适应d c t ( s a - d c t ) 技术，以支持任意形状的视频对象编码。m p e g - 4 标准 是对对象的编码，而静止的对象面v o p 编码产生的信息量很少，运动的v o p 一般只占整个图像的很小的一部分，因此复用之后产生的比特率要比用其它方 法小的多。 m p e g - 4 引入了合成与自然混合编码。支持对人工合成a v o 数据与自然 a v o 数据混合编码，提供对人工合成信息的具体描述，设计了合成图形对象的 描述框架及通用的数据流结构和灵活的接口，定义了有关图形文本的多种表达 方式。对于频繁出现的视觉对象分别定义了它们的纹理形状和动画参数。这样 的合成编码可极大地提高编码效率。 l o 第二章流媒体关键技术 2 1 2 2h 2 6 x 系列标准 1 h 2 6 1 h 2 6 1 是国际电信联盟电信标准化组织叮r u 1 ) 主要为可视电话和电视会 议制定的，是“p x 6 4 k b i _ i ，s 视频编解码器”标准，其中p 的取值在1 3 0 之间， 代表i s d n 的b 通道数量，标准中所建议的视频编码算法应具有实时处理能力， 延时应控制到最小程度。 h - 2 6 1 规定采用c i f 和q c i f 作为可视电话的视频编码格式。每个图像 样本都由三个8 位矩阵组成，分别是亮度矩阵y ，蓝色度矩阵c b 和红色度 矩阵c r 。色度矩阵的水平和垂直分辨率都只是亮度矩阵的一半，采用4 ：1 ：1 形 式。h 2 6 1 中的视频帧采用层次化结构描述，分成四个层次：图像层、g o b 层、 宏块层、块层。 h 2 6 1 标准的视频编码算法同时使用了帧内和帧间两种编码方法，编码器 在编码时必须为每个宏块选择一种压缩模式。原则是采用哪种方式的编码比特 小就用哪种方式。如果经判决采用帧间模式，则经运动补偿的预测误差被编码 发送，否则当前块就以帧内模式编码发送，将图像数据直接进行d c t 。由于该 标准用于实时业务，需要较小的编解码延时，因此只利用前一帧作参考进行前 向预测。 2 h 2 6 3 标准 h 2 6 3 标准是关于低速率下会议电视视频编码标准，这个标准是在h 2 6 1 的基础之上加以改进，在低于6 4 k b i t ，s 的速率下能得到更好的图像质量。 h 2 6 3 支持更多的图像格式，包括s q c i f 、q c i f 、c i f ，4 c i f 、1 6 c i f 等五 种。h 2 6 3 吸取m p e g 的经验对h 2 6 1 进行改进，来保证在极低的码率下取 得较高的质量，主要进行下面的扩展： ( 1 ) 半像素精度的运动补偿 在h 2 6 3 中通过将配位周围的像素进行内插使运动矢量的精度是半个像 素，从而找到更精确匹配的位置。 ( 2 ) 非限制运动矢量 当运动跨越图像边界时，由运动矢量确定的宏块位置可能会有一部分落在 边界之外，此时可以用边界上的像素值表示界外的像素值，从而降低预测误差。 ( 3 ) 基于句法的算术编码 这种编码具有较高的效率和自适应能力。 ( 4 ) 高级预测模式 对宏块中的4 个8 8 的亮度块分别进行运动估计获得4 个运动矢量。如果 第二章流媒体关键技术 利用4 个运动矢量所得到的预测误差比使用整个宏块估值的单个运动矢量所得 到的预测误差小，贝i j 传送4 个运动矢量。 ( 5 ) p b 帧模式 将p 帧和由之预测的b 帧作为一个单元一起编码来降低编解码延时。 3 。h 2 6 4 标准 h 2 6 4 ，怂，c 是u - t 和i s 0 肛c 联合制定的最新编码标准，它既是u - t 的h 2 6 4 ，又是i s o m c 的m p e g - - 4 的第1 0 部分。 枥潍继承了h 2 6 3 和m p e g 2 4 视频标准协议的优点，但在结构上并没有 变化，只是在各个主要的功能模块内部使用了一些先进的技术，提高了编码效 率。主要有： ( 1 ) 分层设计 h 2 6 4 算法在概念上分为两层： 视频编码层( v c l ：v i d e oc o d i n gl a y e r ) 负责高效的视频内容表示；网络提 取层( n a l ：n e t w o r ka b s t r a c t i o nl a y e r ) 负责以网络所要求的恰当方式对数据进 行打包和传送。 。 ( 2 ) 多帧参考和多模式运动估计 h 2 6 4 允许使用多于一帧的先前帧作为参考进行预测，并在运动估计中采 用了多种新技术：用去块效应滤波器消除解码图像中的块效应；宏块可以分成 7 种不同模式的块尺寸，更能适应图像中实际运动物体的形状，提高了运动估 计的精确程度；亚像素精度的运动估计，h 2 6 4 支持i 4 或1 8 像素精度的运动 矢量。 ( 3 ) 采用帧内预测编码模式 h 2 6 4 引入了i n t r a 预测的方法，利用相邻宏块的相关性对待编码的宏块进 行预测，对预测残差进行变换编码，以消除空间冗余。 ( 4 1 整数变换 h 2 6 4 标准中使用4 4 的整数d c t 对经过运动补偿预测或者帧内预测后 的包含残差数据的4 x 4 块进行变换。一方面使用整数而非以前的实数来减少因 四舍五入引起的精度误差，另一方面用4 x 4 宏块代替8 8 宏块，使运算量减 少，同时也减少了边缘误差，并且可以进行二次变换。 ( 5 ) 统一v l c h 2 6 4 中采用了两种熵编码模式：统一v l c f o v l c ) 编码和上下文自适应二 进制算术编码c a b a c ( c o n t e x t - a d a p t i v eb