（通信与信息系统专业论文）移动流媒体视频监控系统的研究和实现.pdf

分类号t n 9 2 9 5 密级 重庆邮电大学硕士学位论文 论文题目移动流媒体视频监控系统的研究和实现 英文题目t h er e s e a r c h & i m p l e m e n t a t i o no fv i d e o 硕士研究生左乐旭一 指导教师睦直达邀撞 一 学科专业通信与信息系统 论文提交曰期2 q 些! ：墨：! 曼 论丈答辩目蔑且_ 2 立q ! 墨3 一一 论文评阅几一奎云 副熬援重庆酆虫太掌一 垒纯熬拯重鏖金匦盘楚盔睦金司 答辩委员会主席刘光明教授重庆邮电大学 o b i l e 摘要 摘要 移动流媒体是流媒体技术在移动终端上的应用，为移动终端提供音视 频的流媒体服务。它是无线通信网络技术和多媒体通信技术相结合的产 物，是3 g 以及4 g 移动通信中的核心增值业务。鉴于移动流媒体的重要性， 在3 g p p r 4 版本中就开始对移动流媒体作出相应的规范。 目前，安全成为人们非常关注的问题。把监控功能加入到手机上，随 时随地监控所关注的场所，是监控业务发展的+ 个趋势。因此，移动流媒 体技术用于监控服务业，是今后监控行业发展的一个新亮点。 本文首先简介了目前先进的视频编码标准m p e g 一4 、h2 6 4 、a v s 以及 智能手机操作平台s y m b a i n 的相关知识，阐述了移动流媒体的应用前景， 并分析了r t p r t c p 、r t s p 、r t v p 等相关传输协议。在此基础上，进步 研究了移动流媒体协议封装技术。根据移动视频监控的业务需要，本文提 出了一种通用的移动流媒体系统架构，该架构是三层模型，清晰地定义移 动流媒体视频系统所需的模块和接口，有利于系统的实际开发工作，也有 利于提高监控系统的性能。论文进一步对视频监控系统业务流程做了合理 定义和规划，抽象出监控中两大业务，个人监控和公共监控，并将两种业 务很好地统一在一个平台上，使系统更加符合普通用户的操作习惯。并对 该系统的数据库进行了详细设计，同时对用户信息的安全问题也做了一定 探讨。然后，论文分析了移动流媒体视频监控系统中的服务器端的r t s p 和r t p r t c p 子系统、移动流媒体播放器、客户端和服务器端通信流程和具 体实现方法。最后，作者总结了本文主要工作，并对进一一步需要研究的t 作进行说明和展望。 关键词：移动流媒体，r t p r t c p ，r t s p ，系统架构，通信流程 重庆邮电人学硕十3 沦文 a b s t r a c t m o b i l es t r e a m i n gm e d i ai sas t r e a m i n gm e d i aa p p l i c a t i o no nt h em o b i l e t e r m i n a l s ，w h i c hi sf o rm o b i l et e r m i n a l st op r o v i d ea u d i oa n dv i d e os t r e a m i n g m e d i as e r v i c e i ti st h ec o m b i n a t i o nf r o mw i r e l e s sn e t w o r kt e c h n o l o g ya n d m u l t i m e d i ac o m m u n i c a t i o nt e c h n o l o g y m o b i l es t r e a m i n gm e d i a ，a so n eo f t h ec o r ea d d - v a l u e db u s i n e s s e si n3 go r4 g , i sg i v e nt h ec o r r e s p o n d i n g s t a n d a r d sf r o mt h e3 g p pr 4v e r s i o n c u r r e n t l y ，s e c u r i t y b e c o m e sam a t t e r o fg r e a tc o n c e r n a d d i n g m o n i t o r i n gf u n c t i o ni n t om o b i l ep h o n e ，t om o n i t o rt h ep l a c ew h i c hy o u c a r ei n a n y t i m eo ra n y w h e r e ，i sat r e n do fm o n i t o r i n gb u s i n e s s ，t h e r e f o r e ，t oa p p l y m o b i l es t r e a m i n gm e d i at e c h n o l o g yi n t ov i d e o m o n i t o r ，i san e wb r i g h ts p o t o fm o n i t o r i n gb u s i n e s s t h i sp a p e rf i r s to u t l i n e saa d v a n c e dv i d e oc o d i n gs t a n d a r d s ，m p e g 一4 ， h 2 6 4 ，a v s t h e ni n t r o d u c e ss y m b i a np l a t f o r m ，m o b i l es t r e a m i n g m e d i a a p p l i c a t i o n s ，a n dr t p ，r t s p ，r t v pr e l a t e dp r o t o c a l s o nt h i sb a s i s ，f u r t h e r s t u d yt h em o b i l es t r e a m i n gm e d i ap a c k a g i n gt e c h n o l o g ya c c o r d i n gt o t h e n e e do fb u s i n e s s ，d e s i g nac o m m o ns y s t e ms t r u c t u r e ，w h i c hi sat h r e e l a y e r m o d e l ，a n dac l e a rd e f i n i t i o nf o rt h em o d u l e sa n di n t e r f a c e st ot h e a c t u a l d e v e l o p m e n tw o r k f u r t h e rd e s i g nar e a s o n a b l eb u s i n e s sp r o c e s s e s ，a b s t r a c t t w ok i n d so fb u s i n e s s ：p e r s o n a lm o n i t o r i n gb u s i n e s sa n dp u b l i cm o n i t o r i n g b u s i n e s s ，a n dc o m b i n eb o t ho ft h e mo n t oau n i f i e dp l a t f o r m w h i c hm a k e st h e o p e r a t i o nm o r ef r i e n d l y t h e nd a t a b a s ed e s i g n ，a n ds o m er es e a r c ha b o u tt h e u s e r si n f o r m a t i o ns e c u r i t ya n dt h e n ，g i v eam e t h o d o rm o b i l es t r e a m i n g m e d i av i d e om o n i t o r i n gs y s t e mo fr t pa n dr t s ps u b s y s t e m s ，m o b i l e s t r e a m i n g m e d i a p l a y e r ，c o m m u n i c a t i o np r o c e s s e sb e t w e e nc l i e n ta n d s e r v e rf i n a l l y ，t h ea u t h o rs u m m a r i z e st h ep a p e r ，p u t s f o r w a r dt h ef u r t h e r r e s e a r c ho ft h ew o r ka n dt h ep r o s p e c t o fm o b i l es t r e a m i n gm e d i at e c h n o l o g y k e y w o r d s ：m o b i l es t r e a m i n gm e d i a r t p r t c p r f f s p s s t e r ns t r u c t u r e c o i n l l l u n l c a t l 0 1 1p r o c es s 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及 取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论 文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得重庆 业电太堂或其他教育机构的学位或证书而使用过的材料。与我同工作 的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢 意。 学位论文作者签名：亏乐想签字隰上矿哆年办2 日 学位论文版权使用授权书 本学位论文作者完全了解重废自5 鱼盍堂有关保留、使用学位论 文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘， 允许论文被查阅和借阅。本人授权重废邮电太堂可以将学位论文的 全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫捕等 复制手段保存、汇编学位论文。 ( 保密的学位论文在解密后适用本授议如) 、 学位论文作者签名：伤芍絮 签字口! | j j ：卫，0 7 i f “j2 1第， 重庆邮电大学硕士论文第一章绪论 第一章绪论 随着移动通信技术飞速发展以及移动终端移动处理能力的提高，人们 不再满足于仅有的文本，声音和图像信息的交流，还希望能够随时随地得 到高质量的视频媒体信息的服务。移动视频服务被认为是3 g 以及b 3 g 移 动通信中的核心应用之一。移动流媒体将传统的网络流媒体技术应用到无 线传输领域，结合移动媒体的编解码技术成为移动通信应用领域的新热 点。下一代网络能够提供内容丰富的多媒体服务，但只是一个高效率单纯 流媒体网络，而不是什么多媒体网络。 1 1 移动流媒体概念 流媒体是指在网络中使用流式传输技术的连续媒体，例如：音频、视 频、动画或其他多媒体文件。 流媒体技术有三大特点1 2 ： 能够实时播放音视频和多媒体内容，这样可以大大缩短启动延时， 避免了用户必须等待整个文件全部从服务器源上下载完成后才能 观看的缺点； 播放的流媒体文件不需要在客户端保存，减少了对客户端存储空间 的要求，也减少了缓存容量的需求； 由于流媒体文件不在客户端保存，从而在一定程度上解决了媒体文 件的版权保护问题。 流媒体技术是网络音视频技术发展到一定阶段的产物，是一种解决多 媒体播放时的网络带宽问题的“软技术”。流媒体技术并不是单一的技术， 它是融合很多网络技术所产生的技术，涉及到流媒体数据的采集、压缩、 传输以及网络通信等技术。 移动流媒体是流媒体技术在移动网络和移动终端上的应用。移动流媒 体业务根据数据内容的播放方式可以分为以下三种业务类型1 3 】= 流媒体点播( v o d ) ：内容提供商将预先录制好的多媒体内容编码压 缩成相应格式，存放在内容服务器上并把内容的描述信息以及链接 放置在流媒体的门户网站上。终端用户就可以通过访问门户网站， 发现感兴趣的内容，有选择地进行播放。 重庆邮电大学硕士论文第一章绪论 流媒体直播：流媒体编码服务器将实时信号编码压缩成相应的格 式，并经由流媒体服务器分发到用户的终端播放器。根据实时内容 信号源的不同，又可以分为电视直播、远程监控等。 下载播放：用户将流媒体内容下载并存储到本地终端中，然后可以 选择在任意时间进行播放。对于下载播放，主要的限制是终端的处 理能力和终端的存储能力，内容提供商可以制作出较高质量的视音 频内容，但需要考虑内容的下载时间及终端的存储空间。 1 2 移动流媒体的研究 宽带化的无线网络是多媒体服务的物质基础。全球3 g 正快速发展， 截止2 0 0 6 年底，3 g 全球用户数已超过l 亿，据g s a 统计，已有9 8 个h s p a 网络开通商用服务。在全球3 g 的大潮中，中国主导的t d s c d m a 技术也 逐渐成熟。2 0 0 7 年3 月到l o 月，中国移动开始在北京、上海、天津等8 个城市建设t d - s c d m a 试商用网络，其商用化的程度、规模和成果将对 中国的3 g 产业起巨大的推动作用1 4 1 。同时，移动终端处理能力也越来越 强，存储空间越来越大，迸一步推动了无线视频的快速发展。 除了通信技术和通信设备上的保障，面向无线网络的流媒体应用对当 前的编码和传输技术提出了更大的挑战。相对于有线网络而言，无线网络 状况更不稳定，除去网络流量所造成的传输速率的波动外，手持设备的移 动速度和所在位置也会严重地影响到传输速率，因此高效的可自适应的编 码技术至关重要。 i s o i e c 的标准称为m p e g x ，比如m p e g 1 m p e g 2 。m p e g 4 等。 m p e g 系列标准主要用于视频存储( d v d ) 、视频广播和视频流媒体( 如基于 i n t e r n e t ，d s l 的视频，无线视频等) 。 i t u - t 的标准称之为建议，并命名为h 2 6 x 系列，比如h 2 6 1 ，h 2 6 3 等。h 2 6 x 系列标准主要用于实时视频通信，比如视频会议、可视电话等。 除了从1 9 9 0 年开始联合开发m p e g 2 h 2 6 2 标准外，大多数情况下， 这两个组织独立制定相关标准。但自1 9 9 0 年起，i t u tv c e g 与i s o i e c m p e g 再次合作，成立了j o i n tv i d e ot e a m ( j v t ) ，致力于开发新一代的低 码率的视频编码标准。j v t 的成果就是2 0 0 3 年5 月正式公布的h 2 6 4 标准。 i t u - t 将该标准命名为h 2 6 4 a v c ，而i s o i e c 将其称为 1 4 4 9 6 1 0 m p e g 4 a v c l 5 1 。 2 重庆邮电大学硕士论文第一章绪论 i 咖寸 甜蕊， t y 拽籀； t 胁托警狲 ；# 7 i 瓤懒 ， ， ， lm # 苎蟊 。釜，：鼍。 缈。 l 鼬n 漱 l 僦4 s 强1 蝴1 嘲1 孵21 蛳 蝴1 豹8 约2 掀蛰嘲 图1 1m p e g x 和h 2 6 x 的演进时间表 a v s ( a u d i ov i d e oc o d i n gs t a n d a r d ，a v s ) 【6 l 标准是数字音视频编解码 技术标准工作组一一a v s 工作组制定的数字音视频编码标准。a v s 工作组 成立2 0 0 2 年6 月，成员包括国内外从事数字音视频编码技术和产品研究 开发的机构和企业，a v s 工作组的任务是面向我国的信息产业需求组织制 定行业和信源编码技术标准。 a v s 标准包括系统、视频、音频数字版权管理、移动视频等9 个部分。 目前，a v s 标准涉及视频压缩编码的有两个独立的部分：a v s 第二部分 ( a v s l - p 2 ) ，主要针对高清晰度数字电视广播和高密度存储媒体应用； a v s 第七部分( a v s p 7 ) ，主要针对低码率、低复杂度、较低图像分辨率 的移动媒体应用。 a v s p 2 信息技术先进音视频编码第2 部分：视频已经获得国家标 准化管理委员会批准，国家标准号g b t 2 0 0 9 0 2 2 0 0 6 ，并于2 0 0 6 年3 月1 日开始实施。 a v s 视频标准支持多种视频业务，考虑到不同业务之间的互操作性， a v s 标准定义了档次( p r o f i l e ) 和级别( 1 e v e l ) 。目前，a v s p 2 已定义了 一个基本档次( p r o f i l e ) ，这个档次又分4 个级别：用于标准清晰度图像的 4 0 级别和4 2 级别，以及用于高清晰图像的6 0 级别和6 2 级别。 1 3 移动流媒体发展前景 新浪网对手机用户的调查：最希望手机加强的功能是什么? 有4 5 的用户认为应该增加m p 3 和视频类多媒体的功能； 8 0 的消费者对有g p s 和电影功能的手机感兴趣； 3 重庆邮电大学硕士论文第一章绪论 美国i s u p p l i 公司的调查显示，移动通信运营商正在通过提供收费的 多媒体内容服务，弥补因语音通信a r p u ( 从每个用户获得的平均收入) 下 降而减少的收益。2 0 0 6 年，全球1 3 家主要的移动通信运营商的语音通信 a r p u 平均减少5 。2 0 0 7 年之后预计还会继续减少。移动电视、视频流 下载等视频内容市场还处于发展的初级阶段，但前景十分看好。预计到 2 0 1 1 年，全球的移动电视用户数将从2 0 0 6 年的3 2 0 万增至1 3 亿。2 0 0 6 年的视频内容市场销售额为1 0 亿美元。今后这一数字将以每年7 6 7 的速 度增长，到2 0 1 1 年将达到1 7 6 亿美元。这些业务的主要应用体现在视频 服务上，而视频服务，目前比较合适的方式就是采用流媒体技术。 3 g 的主要应用业务之一是移动视频服务，移动流媒体业务可能会成 为未来移动通信的“杀手级”业务。 1 4 智能手机 移动网络和移动终端的发展共同决定移动流媒体业务市场的发展进 程。无线信息设备( w i r e l e s si n f o r n n a t i o nd e v i c e s ，w i d ) 包括( p d a 、笔记本 电脑) ，也将随之成为人们日常生活中必不可少的工具。在移动流媒体行业， 一场更高性能、更快速度、更强配置的产品争夺战正如火如茶地进行：硬件 功能不断提升的同时，软件的比拼也呈现出群雄争霸的态势。除了各大手 机厂商自行推出的操作系统( o p e r a t i n gs y s t e m ，o s ) 之外，以3 g 网络的高 数据传输、多媒体应用为准备方向的第三方智能手机o s 也纷纷浮出水面。 智能手机除了具备手机的通话功能外，还具备了p d a 的大部分功能， 特别是个人信息管理以及基于无线数据通信的浏览器和电子邮件功能。智 能手机为用户提供了足够的屏幕尺寸和带宽，既方便随身携带，又为软件 运行和内容服务提供了广阔的舞台，很多增值业务可以就此展开，如：股票、 新闻、天气、交通、商品、应用程序下载，音乐图片下载等等，到2 0 0 9 年，智能手机市场将增长到3 6 0 亿美元。融合3 c( c o m p u t e r , c o m m u n i c a t i o n ，c o n s u m e r ) 的智能手机必将成为未来手机发展的新方向。 目前，智能手机的操作系统大略可分为s y m b i a no s 、w i n d o w sm o b i l e 、 p a l m0 s 和l i n u x 四种系统，2 0 0 5 年9 月，p a l ms o u r c e 被日本的爱可信公 司收购，而后者直致力于l i n u x 操作系统的开发。对于p a l m 操作系统 的未来，爱可信发言人说原有p a l ms o u r c e 的应用都可以平移到爱可信 l i n u x 平台运行，而p a l ms o u r c e 原有4 2 万人的社区也将帮助l i n u x 进行 开发。 4 重庆邮电大学硕士论文 第一章绪论 如此就形成了s y m b i a n 、微软w i n d o w sm o b i l e 、l i n u x 三足鼎立的局 面。赛迪顾问2 0 0 6 年1 2 月对截至去年1 0 月中国智能手机市场按操作 系统划分的产品销售结构给出了一份数据。其中，s y m b i a n 为6 3 2 、l i n u x 为3 0 3 、微软的操作系统占到了5 4 17 1 。 s y m b i a n 操作系统译i s y m b i a no s 是由英国s y m b i a n 公司推出的面向消费类电子产品的嵌 入式操作系统，其前身是在欧洲广受欢迎的手持式设备p s i o n 。 s y m b i a n 操作系统是所有s y m b i a no s 电话共享的应用编程接口 ( ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ，a p i ) 技术的公共核心。这个核心被命 名为“通用技术”( g e n e r i ct e c h n o l o g y ，简称为g t ) ，它被分成不同的版本。 g t 包括一个多任务核心、通讯、数据管理和图表中间件，低级图形用户 界面框架和应用程序引擎。s y m b i a n 系统由多个层次的子系统组成。系统 的子系统对程序员开放了内存分配、线程调度、进程间通信等面向系统底 层的接口。由于手持式设备对于内存管理的苛刻要求，系统没有采用标准 c 语言运行库或者s t l ，而是采用了专有的s y s t e ma p i 。系统重载了n e w 运算符，跟踪每一个申请的内存块，一旦发现内存泄漏，系统就会挂起 ( ( p a n i c ) 。在s y m b i a n 设计的时候，c + + 的模板功能还不完善，对于内嵌对 象( h a s a ) 建构的内存开销，s y m b i a n 使用c l e a n s t a e k 来管理，而不是在 c + + 中由编译器展开模板，来保证对象生成的顺序。 通信子系统提供了红外、蓝牙、g m s 等多种底层协议，上层实现了 t c p i p 、w a p 协议栈。应用方面还集成了w e b 浏览器、w a p 浏览器、电 子邮件、传真、s m s 短信服务等功能。对于个人通信，s y m b i a n 系统中包 含有日历、日程安排、备忘录等p d a 常用功能。 ( 1 ) s y m b i a no s 的主要特点 s y m b i a no s 是一个开放的操作系统。它采用基于静态优先级的抢占式 多任务机制并且配合时间片轮转，构造简捷、高效的内核，具有模块化的 系统结构，提供了良好的扩充空间，支持强大的通信及多媒体功能。 高可靠性。具有高效电源管理机制，而且即使在电池耗尽的情况下， 也能确保不丢失任何用户数据。由于采用特殊的编程规范，可以及 时高效地管理系统内存资源的分配和回收，不会造成内存的泄漏。 因此，以s y m b i a no s 为操作系统的设备可连续运行多年而无须重 新启动，这也是对无线信息设备的基本要求。 采用面向对象的设计和编程，程序代码具有很好的可重用性。 重庆邮电大学硕士论文 第一章绪论 s y m b i a no s 支持c + + 和j a v a 两种应用广泛的面向对象的编程语 言，提供各种常用的3 2 位应用程序接口函数，而且具有图形用户 界面编程框架，可以方便地创建用户应用程序。系统支持u n i c o d e ， 容易进行本地化。 支持多任务、提供多种通信协议并具有一定的实时性，增强了与其 他设备的互操作性。支持标准的国际互联网通信协议( t c p i ep p p , t e l n e t ，h t t p ) 电子邮件协议( p o p 3 ，s m t p i m a p 4 ) ；提供g p r s ， w a p 等标准协议栈；支付短信息；具有蓝牙协议模块；可以通过 电缆或红外与p c 机相连，进行数据同步和备份。 硬件配置充分考虑了现有无线信息设备的硬件选型和未来需求。以 s y m b i a no s 为操作系统的设备采用a r m 系列r i s c 处理器，具有 较强的处理能力；利用r o m 进行永久程序存储，并可通过外加快 闪存储卡来扩展系统存储量；支持高分辨率彩色显示、触摸屏和笔 输入，具有多媒体功能。 ( 2 ) s y m b i a no s 的系统管理机制 作为专门针对无线信息设备的操作系统，s y m b i a no s 的突出特色是它 的高效内存管理机制。另外，与其它操作系统不同，s y m b i a no s 采用了事 件驱动的消息传递代替了其它操作系统中广泛使用的多线程机制。多线程 的使用会涉及上下文切换，增加系统开销，并且容易产生各种错误，增加 系统运行的不稳定因素。s y m b i a no s 可以更方便、有效地创建一个新的进 程，在进程门传递消息来进行通信，而不是生成新的线程。 因此，采用s y m b i a no s 的设备运行更加稳定，可靠性更高。 ( 3 ) s y m b i a n 系统的内部结构图 s y m b i a n 是真正的微核操作系统，所谓“微核”，就是说操作系统只有 很小的一部分是运行在最高优先级的，其他的功能都是以c s 的方式提供。 下面是s y m b i a n 系统的内部结构图： 6 重庆邮电大学硕士论文第一章绪论 l应用层s 鲫，o p l , 及箕饱应用程j 葶 |系统屡 d i a i o 甄m t o o l b a r , i c o n s , r e s o u r c e s ，h v a 吐g r | d ，r i c ht e x t 。b 曲 i c o n t r 0 1 l i s tc o n t y o l , a p p l i c a t i o nf f a 嫡瘩w 啊kj 矗怫c l a ml i b r 班i m i 服务罄 w u 雹l o ws 靠豫。p l o c e s gs e 嗍s o c k e ts e r v e r , s o u n ds e r v e r , w i r e l e s ss e 嗽 i d a t a b a s es 矾f i l es e r v a l a r ms e r v e r , c 。删啦s m 以j 醍无线协议 内孩a m l d kd c e m e x o 。服务控制( s i i l p o r v m u f s e r v e r ) ，h a l ( 设备抽象层) l 疆动翟序按包括膏额驱动。昱示驱动，搬啦驱劫，键盘驱动，审并口艇动，d s p 驱动，时钟控制嚣驱动等等 图1 2s y m b i a n 系统的内部结构图 ( 4 ) s y m b i a n0 s 的应用界面框架 s y m b i a n o s 提供了灵活的应用界面( u i ) 框架，不但使开发者得以快速 掌握必要的技术，同时还使手机制造商能够推出不同界面的产品。 s y m b i a n 系统手机可以采用多种应用界面形式：一类在设计上很类似 当前最常见的手机，即主要通过键盘进行输入的手机，如s e r i e s 6 0 ；另一 类是使用手写笔进行操作，如u i q ；还有一类是既有键盘又有触摸屏的手 机，它具有较大的屏幕和较小的键盘，如s e r i e s9 0 。不同的输入方式和外 观设计会对各款手机的主要用途产生很大的影响。而根据u i 的不同，我 们通常将采用s y m b i a no s 的手机分为三大不同的类型： s e r i e s6 0 系列：s e r i e s6 0 平台是一种智能电话输出终端软件平台，它是 屏幕分辨率为1 7 6 x 2 0 8 像素的源码产品，是一种单手软件操作平台。此平 台能够执行移动浏览、多媒体信息发送和内容下载功能。适用于采用数字 键盘的手机。此类手机需要灵活的应用界面，方便用户使用导航键 ( ( j o y s t i c k ) 、软按键或转点通键( j o g d i a l ) 操作。 u i q 系列：适用于采用触摸式屏幕的手机。除了诺基亚以外，瑞典的 u i q ( 由s y m b i a n 公司拥有) 也是s y m b i a no s 应用界面的主流开发公司之 一，其开发的u i q 界面是一种可定制的基于手写笔输入的应用界面，很适 合支持具有丰富多媒体功能的手机。 s e r i e s9 0 系列：适用于采用完整键盘和超大彩色屏幕的手机。此类手机 为那些需要在办公室以外编辑信息和查看业务数据的用户提供了先进的 移动通信功能。 1 5 论文结构 本文分为六章。 7 重庆邮电大学硕士论文 第一章绪论 第一章为绪论。本章介绍了移动流媒体的基本概念，涉及了视频编解 码技术( m p e g x ，h 2 6 x ，a v s ) ，移动流媒体发展前景以及智能手机 ( s y m b a i n ) 方面知识。 第二章为移动流媒体相关技术。本章讨论移动流媒体系统中两项主要 技术，即视频编码和流媒体传输。在视频编码部分主要研究了m p e g - 4 、 h 2 6 4 和a v s 编码规范及各自的特点及优势。在流媒体传输部分介绍了 3 g p p 标准和其中的传输协议如r t p r t c p ，r t s p ，r t v p ，s d p 。 第三章为移动流媒体系统设计。本章给出了的移动流媒体系统架构， 并研究了系统中的视频( m p e g 4 、h 2 6 4 、a v s ) 封装方法。 第四章为移动流媒体视频监控系统的业务流程设计。本章提出一个的 移动媒体视频监控系统的业务架构，并分析了系统整体结构及基于该架构 下的业务流程和数据库设计等内容。 第五章为移动媒体服务系统和客户端实现。本章着重分析基于第四章 提出的业务架构下的r t s p 、r t p r t c p 子系统和播放器的实现，最后给出 客户端和服务器的交互方式。 第六章为总结与展望。总结论文的主要工作和进一步工作，并展望了 移动流媒体的前景。 8 重庆邮电大学硕士论文 第二章移动流媒体相关技术 第二章移动流媒体相关技术 视频编码是移动流媒体技术中的关键技术，本章首先对m p e g 4 、 h ，2 6 4 和a v s 进行了介绍，然后介绍了3 g p p 相关的规范，并分析了流媒 体相关协议。 2 1 视频编码 m p e g 4 视频和h2 6 4 有着共同的起源和一些共同的特征，但它们有 显著不同的特征，力求从不同的角度完善旧标准。m p e g - 4 视频的目的是 去掉矩形视频图像的限制，提供一个开发的、灵活的、基于对象的处理过 程。h 2 6 4 有一个更实际的目标，大的目标和原来的标准一样，但是力求 做到更有效、更具鲁棒性、更实际，支持市场上变得越来越广泛的各种应 用( 例如广播、存贮和流式传输) 1 9 1 。a v s 标准是数字音视频编码技术标 准系列标准的简称，包括系统、视频、音频、数字版权管理等四个主要 标准和一致性测试等支撑标准。与其他标准相比，a v s 有两大优势：基于 自主技术和部分开放技术构建的开放标准，妥善解决专利许可证问题。 2 1 1m p e g 4 m p e g 4 t 1 0 1 视频部分包括一个核心的编解码器模型和大量的附加工 具。基本功能是通过附加工具来进行扩展，包括更高的压缩效率、传输的 可靠性、视频场景中分离形状和对象的编码以及脸部和人体模型的基于网 格的压缩等。任何单一的应用不太可能需要m p e g 4 视频框架中所有的工 具，因此标准定义了一系列的档次，为特定类型的应用而推荐的工具集。 m p e g 4 视频部分通过工具、对象和档次的组合来提供编码功能。一个工 具是支持特定的特性( 比如基本的视频编码，隔行扫描的视频，编码对象的 形状等) 的编码工具的子集；一个对象是一个使用一种或多种工具的视频元 素( 比如，矩形帧序列、任意形状区域序列、一幅静止图像) 。例如简单对 象使用针对矩形视频帧序列工具的子集来编码，而核心对象使用针对任意 形状对象的工具进行编码；一个档次是编解码器期望支持的对象类型的集 合。 9 重庆邮电大学硕士论文第二章移动流媒体相关技术 m p e g 4 视频部分中用于自然视频场景编码档次有1 5 个，其范围包括 简单档次、任意形状和可分级对象编码档次、演播室品质编码档次。其中 简单档次适用于移动视频。简单档次增添了改善编码和传输效率的工具。 这些工具包括： v o p ( 帧内编码的矩形v o p ( v i d e oo b j e c tp l a n e ) ，逐行扫描的视频 格式) ； p v o p ( 帧间编码的矩形v o p ，逐行扫描的视频格式1 ； 短头( 与h 2 6 3 的编解码器兼容的模式) ； 改进压缩效率的工具( 4 m v ：每个宏块有4 个运动矢量，u m v ：不受 限制的运动矢量，帧内预测) ； 改进传输效率的工具( 视频包，数据划分，可逆的变长编码) 。 m p e g 4 视频部分的简单档次使用极低码率视频( v l b v ) 内核的编解 码模型。这个模型要求实现i - v o p ( 帧内v o p 编码) ，p v o p ( 帧间v o p 编 码) 。v l b v 内核工具基于h 2 6 3 标准，以短头模式编码的i - v o p 和p v o p 与h 2 6 3 标准的基本模式的i 帧和p 帧在语法上相同，使得m p e g 4 简单 档次的编解码器与h 2 6 3 基本档次的编解码器直接兼容。 4 m vu m v ，帧内预测作为简单档次的一部分，能够改善压缩效率。 当短头模式被禁止这些工具才有效。 4 m v ：当块的尺寸越小时，运动补偿越有效。运动补偿缺省的块尺寸是 1 6 x 1 6 个样点( 亮度) ，8 8 个样点( 色度) ，每个宏块有一个运动矢量。这个 工具使编码器可选择更小尺寸的块，8 x 8 个样点( 亮度) ，4 x 4 个样点( 色度) ， 每个宏块有4 个运动矢量。这种模式对于减小运动补偿后的残差能量更为 有效，特别是在复杂运动或者靠近运动物体边界的情况下。 u m v ：在某些情况下，宏块的最佳匹配块可能是参考v o p 之外的1 6 x 1 6 的区域。u m v 允许运动矢量指向参考v o p 的边界之外。参考v o p 在边界 外侧作了外插，如果运动矢量指向的样点在参考v o p 之外，就使用离边 界最近的样点。u m v 能改善压缩效率，特别是物体移进或移出图像的情 况下。 帧内预测：邻近的帧内编码的8 x 8 块的低频变换系数通常是相关的。在 这种模式下，帧内编码的8 x 8 块的d c 系数和第1 行、第1 列的a c 系数( 可 选) 从邻近编码块预测。 传输错误，诸如比特位错误或包丢失，可能会导致视频解码器与待解 码的v l c 序列不再同步，引起v o p 解码失真以及后续预测的错误传播。 当错误发生时，如果能够达到重新同步点，解码器就能继续正确解码。通 1 0 重庆邮电大学硕士论文 第二章移动流媒体相关技术 常通过设置重新同步标记来实现。 2 1 2h 2 6 4 h 2 6 4 t 川标准定义了三个档次的视频编码，每个档次支持特定的编码 功能，并且每个档次规定了对相应编码器和解码器的要求。基本档次支持 帧内和帧间编码及自适应上下文变长编码( c a v l c ) 的熵编码；主要档次支 持交替视频，使用b 条带的帧间编码，使用加权预测的帧问编码，使用基 于上下文的算术编码( c a b a c ) 熵编码；扩展档次不支持交替视频或 c a b a c 熵编码，但增加了一种模式允许有效的变换编码的码流，并改进 了错误恢复机制。基本档次可用于可视电话、视频会议、无线通信：主要档 次可用于电视广播、视频存贮；扩展档次可用于流媒体领域。 与早期的视频编码标准( h2 6 l ，m p e g 1 ，m p e g 2 ，h2 6 3 ，m p e g 4 ) 类似， h 2 6 4 也是建立在块匹配的混合编码框架上。基本算法依然是通过帧间预 测和运动补偿来消除视频序列中的时域冗余，经过变换编码消除频域冗 余。因此基本的功能模块：例如预侧、变换、量化、熵编码都没有发生根本 的变化。h 2 6 4 为了在相同的编码框架下实现更高的视频压缩编码性能和 更广泛的适用性，在每一个功能模块中都引入了新的技术，使各功能模块 的实现细节都发生了重要的改变。例如1 4 ，1 8 像素精度的运动估计、多 块模式的帧间预测、多参考帧、帧内预测、环路滤波器、自适应算数编码。 下面对h 2 6 4 中的关键技术进行说明。 ( 1 ) 帧内预测 帧内编码用来缩减图像的空间冗余。在以前的h 2 6 x 系列和m p e g x 系列标准中，采用帧内模式编码时，通常是直接对宏块进行d c t 变换， 然后对变换系数进行熵编码。这样虽然在一定程度上消除了帧内的空间冗 余度，但是由于d c t 只是利用宏块内部像素之间的相关性，而没有考虑 到相邻宏块之间的相关性，因而传统的帧内模式编码对视频序列空间冗余 度的利用是不完备的，编码的效率不高。 在h 2 6 4 中，为了提高帧内模式的编码效率，采用帧内预测。它利用 相邻宏块对待编码宏块进行预测，对预测的残差进行变换编码。由于h 2 6 4 中支持不同的块尺寸，对于每个4 x 4 的亮度块，共有垂直、水平、直流、 对角线左下等9 种预测模式。对于1 6 x 1 6 的亮度块和一个8 x 8 的色度块， 有d c 预测、水平预测、垂真预测和平面预测4 种预测模式。这种空域预 测可以有效去除相邻块之间的空间冗余度，取得更高的压缩比。 重庆邮电大学硕士论文 第二章移动流媒体相关技术 ( 2 ) 帧间预测 多模式宏块划分：一个1 6 x 1 6 的编码宏块可以分为不同的子块，形 成7 种不同模式的块尺寸( 1 6 1 6 ，1 6 x 8 ，8 1 6 ，8 8 ，8 4 ，4 x 8 ，4 x 4 ) ， 每个宏块中可以包含有l 、2 、4 、8 、1 6 个运动矢量，这种多模式 划分具有灵活和细致的特点，更符合图像中实际运动物体的形状， 大大提高了运动估计的精度；但多种块尺寸的引入增加了运动矢量 的开销，同时也增加了编码器的复杂度，因为要对每一种块尺寸进 行运动估计以选择最佳的模式。 高精度运动估计：帧间编码宏块中的每个分块或者子宏块都从参考 图像的一个同样大小的区域进行预测。这两个区域的位移( 运动矢 量1 对于亮度分量有1 4 像素精度，对于色度分量有1 8 像素精度。 子像素位置的亮度和像素在参考帧中并不存在，通过内插算法从邻 近编码像素来产生。 多参考帧：与过去标准中的单参考帧不同，h 2 6 4 支持多参考帧编 码。编码器利用己经编码结束的参考帧对当前编码块分别进行预 测，并从中选择预测最好的帧作为参考帧，可以有效消除不可补偿 区域造成的顶测误差。在一些特定的情况下，主要是快速的周期运 动、快速的场景相互切换、物体存在遮蔽现象等，多参考帧的使用 会有非常好的效果。同时由于采用多参考帧进行预测，计算复杂度 增大，而且需要额外的缓冲区来存储这些参考帧。 ( 3 ) 去块效应滤波器( d e b l o c k i n gf i l t e r ) 为了消除块效应，提高解码图像的主观与客观质量，同时为了提供更 好的参考图像，h 2 6 4 标准中引入了基于内容的去块效应滤波器。去块滤 波是基于4 x 4 块边界的，也就是说对于每一个宏块的1 6 x 1 6 亮度分量，需 要对其4 条水平边界和4 条垂直边界进行滤波，而8 x 8 的色度分量则只需 要对其2 条水平边界和2 条垂直边界进行滤波。在块边界，滤波的强度是 和块的编码模式、运动矢量和残差数值相关的，而对于单个像素，基于量 化系数的门限值可以取消对任意单个像素的滤波。d e b l o c k i n gf i l t e r 能够 根据图像内容作出判断，只对由块效应产生的像素值跳变进行平滑，而对 图像中物体边缘处的像素值不连续给予保留，以免造成边缘模糊 ( 4 ) 整数变换 在h 2 6 4 以前的视频编码标准中，采用的都是对图像信息进行d c t 变换，把经过运动补偿或帧内预测得到的残差从空域转换到频域，减少空 间的冗余，以提高传输效率。但是d c t 变换中大量使用了浮点数的乘法 重庆邮电大学硕士论文 第二章移动流媒体相关技术 和加法运算，使编解码器的运算速度受到限制。在h2 6 4 中采用了基于d c t 变换的整型变换，编码器和解码器使用精度相同的变换和反变换，不会出 现d c t 变换中的“反变换误差”。h 2 6 4 根据要编码的残差数据类型使用三 种变换：帧内1 6 x 1 6 模式测的宏块中，亮度d c 系数的4 x 4 矩阵使用哈达玛 ( h a d a m a r d ) 变换：任何宏块的色度d c 系数的2 x 2 矩阵使用哈达玛变换和所 有其他残差数据的4 x 4 块使用基于d c t 的变换 ( 5 ) 熵编码 h 2 6 4 提供两种熵编码方法，一种是必选项，基于内容的变长编码 c a v l c ( c o n t e x t a d a p t i v ev a r i a b l el e n g t hc o d i n g ) ，该方法用相同的码表 可以对不同的对象进行编码，很容易实现熵编码，同时解码器也很容易通 过识别码字的前缀进行熵解码