基于智能手机的流媒体客户端研究与实现硕士学位论文.doc

南京邮电大学硕士研究生学位论文 I 南南 京京 邮邮 电电 大大 学学 硕士学位论文摘要硕士学位论文摘要 学科 专业 信号与信息工程 研 究 方 向 语音处理与现代语音通信 作 者 张程 指 导 教 师 张玲华 题 目 基于智能手机的流媒体客户端研究与实现 英 文 题 目 Research and Development of Streaming Client for Smart Phones 主 题 词 流媒体 智能手机 Windows Mobile RTP Keywords Streaming Media Smart Phone Windows Mobile RTP 南京邮电大学硕士研究生学位论文 摘要 I 摘要摘要 随着智能手机性能的不断提高 越来越多基于 PC 的互联网应用开始延伸至移动平台 流媒体点播业务就是其中之一 流媒体 streaming media 是指将一连串的媒体数据编码 后 经过网络分段传输 在网络上即时传输音频 视频以供观赏的一种技术与过程 这 种技术使得数据包像流水一样发送 在流媒体诞生前 用户如果想观看影片就必须在播 放前下载整个媒体文件 流式传输可使用户观看现场直播或预存于媒体服务器上的影片 当用户在收看这些媒体时 音视频数据在传输到用户的电脑或手持设备后立即由特定程 序解码并播放 本课题设计并开发了一种基于 Windows Mobile 平台的移动流媒体客户端 本文首先 介绍了流媒体技术的基本概念 相关标准等 接着研究了流媒体系统中相关的编解码技 术 标准及基本原理 然后研究了本课题开发所基于的 Windows Mobile 软件系统平台 了解了其基本框架与组件 并对课题中所使用关键组件 FFmpeg 解码库及 SDL 多媒体库 进行了基本的讨论 并在此后详细描述了所设计的流媒体系统部署 基本会话过程等 最后 基于选定的方案与平台 实现了流媒体客户端软件 并详细描述了软件架构 模 块功能等 程序编写完成后在 TD SCDMA 实验网络中进行了测试 获得了较好画质及流 畅度的用户体验 关键词 流媒体 智能手机 Windows Mobile RTP 南京邮电大学硕士研究生学位论文 Abstract II Abstract As the growing popularity and performance of smart phones smart phones based mobile media streaming applications become increasingly popular Streaming media are multimedia that are constantly received by and normally presented to an end user while being delivered by a streaming provider The name refers to the delivery method of the medium rather than to the medium itself Before the birth of streaming media videos must be fully downloaded before end user want to watch videos Streaming enables users to watch live or stored video on the media server This paper has designed and developed mobile streaming media client based on Windows Mobile platform First it introduces the basic concept of streaming media technology and the relevant industrial standards etc Then study the streaming media system and the media codec technology basic principles and standards Other than good study of the Windows Mobile platform the key components such as FFmpeg and SDL also have been discussed Thereafter a detailed description of system deployment has been presented Finally we describe the system architecture and key components and focus on the design and implementation of the mobile streaming client After the tests in TD SCDMA environment the results demonstrate that the client obtain better playback quality and user experience Key Words Streaming Media Smart Phone Windows Mobile RTP 南京邮电大学硕士研究生学位论文 目录 III 目录目录 摘要摘要 I ABSTRACT II 目录目录 III 第一章第一章 绪论绪论 1 1 1 项目研究背景项目研究背景 1 1 2 主要的研究工作及内容安排主要的研究工作及内容安排 2 第二章第二章 移动流媒体简介移动流媒体简介 4 2 12 1 流媒体技术概述流媒体技术概述 4 2 2 移动流媒体系统相关标准移动流媒体系统相关标准 5 2 2 1 实时传输协议 RTP 5 2 2 2 会话描述协议 SDP 6 2 2 3 实时流媒体协议 RTSP 6 第三章第三章 视频编解码技术综述视频编解码技术综述 8 3 1 视频编码基本原理视频编码基本原理 8 3 1 1 编解码基本结构 8 3 1 2 压缩编码基本方法 10 3 2 H 264 AVC 标准的主要应用与特点标准的主要应用与特点 11 3 3 H 264 AVC 标准的构成标准的构成 12 3 3 1 基本概念 12 3 3 2 基本分级 13 第四章第四章 系统框架设计及实现系统框架设计及实现 14 4 1 系统需求系统需求 14 4 2 系统方案选择系统方案选择 15 4 3 系统框架设计系统框架设计 16 4 3 1 系统组件的功能定义 16 4 3 2 系统组件基本交互过程 17 4 3 3 关键报文解析 18 4 4 软件开发平台介绍软件开发平台介绍 24 4 5 第三方函数库移植第三方函数库移植 25 4 5 1 交叉编译 25 4 5 2 SDL 函数库 26 南京邮电大学硕士研究生学位论文 目录 IV 4 5 3 FFMPEG函数库 27 第五章第五章 流媒体客户端在智能手机上的实现流媒体客户端在智能手机上的实现 28 5 1 客户端软件框架客户端软件框架 28 5 2 媒体引擎框架媒体引擎框架 29 5 2 1 媒体引擎结构 29 5 2 2 媒体引擎关键流程 31 5 2 2 1点播引擎线程设计 32 5 2 2 2直播引擎线程设计 32 5 2 3 媒体引擎状态机 33 5 3 播放模块详细设计播放模块详细设计 33 5 3 1 模块外部接口 33 5 3 2 音视频同步算法 34 5 3 2 1基于音频时钟同步 35 5 3 2 2改进的基于视频时钟的同步算法 35 5 4 网络代理模块详细设计网络代理模块详细设计 37 5 4 1 RTP 传输设计 37 5 4 2 网络带宽计算 38 5 5 内存文件映射模块详细设计内存文件映射模块详细设计 38 5 5 1 内存文件映射理论基础 38 5 5 2 内存文件关键操作设计 40 5 5 2 1读取操作 40 5 5 2 2插入操作 42 5 5 2 3校验数据操作 44 5 6 软件集成测试软件集成测试 45 5 6 1 测试环境配置 45 5 6 2 系统接入功能 46 5 6 3 DSN 资源查找功能 47 5 6 4 点播影片播放功能 48 5 6 5 直播影片播放功能 49 第六章第六章 结论与展望结论与展望 51 6 1 工作总结工作总结 51 6 2 研究展望研究展望 52 致谢致谢 53 参考文献参考文献 54 攻读硕士学位期间发表的论文攻读硕士学位期间发表的论文 56 南京邮电大学硕士研究生学位论文 第一章 绪论 1 第一章第一章 绪论绪论 1 1 项目研究背景项目研究背景 如今 电子通信 计算机技术高速发展 新技术不断涌现 互联网得到了前所未有的 普及 无线移动通信也迅速在各个领域广泛应用 成为人们生活工作中不可或缺的一部 分 两者的网络覆盖面积越来越大 骨干网 接入网的传输速率也越来越快 核心网设 备及终端功能越来越强 同时终端的体积越来越小 功耗日益降低 价格大幅下降 在 其飞速发展的同时 两者也开始迅速地融合 移动 IP 也逐渐走进人们的视野 其实 从 GSM 蜂窝通讯系统起 移动通信系统就具有一定的数据通信能力 其主要是基于电路型 数据业务 如短信服务 但是 在数据通信的发展过程中 人们不仅希望得到简单的文 字信息 更希望能够提供包括语音 图像内容的多媒体信息 也即多媒体通信 这就给 移动运营商们提出了一个新课题 即增加传输带宽 进一步发展数据业务及各种增值业 务 尤其是与互联网相结合的数据业务 移动多媒体通信正是在这种环境下开始成为移 动通信的主要发展趋势之一 通过无线通信系统接入互联网的方式分为两大类 一是基于蜂窝移动通信的接入技术 如 CDMA GPRS 等 二是基于无线局域网的技术 如 WLAN Bluetooth 等 总的来说 可以采用的主要有 Modem WLAN GPRS Bluetooth 移动 IP 以及 WAP 等等 尽管 它们解决问题的层面和侧重点不尽相同 但出发点都是相似的 例如计算机设备 PC Console 等 如何实现移动性 便携式终端如何接入互联网并获取和显示信息等 实 际上 这两者也是相辅相成的 并且部分已经进入实用阶段 另一方面 网络应用中多 媒体通信是重要的组成部分之一 多媒体信息主要是指包括图像 声音和文本三大类的 信息类型 其中视频 音频等信号的信息量非常大 且这些信息的表现形式 输入 输 出的要求也各不相同 因此 对这些数据进行有效的表示和处理显得非常重要 为了满 足多媒体通信对带宽的需求 无线网络都将网络传输速率作为其规格参数中的关键指标 例如 GPRS 网络的理论最大数据传输速率达 107 2kbps CDMA 1X 的理论值最大可达 153 6kbps 3G 标准则规定不管何种无线技术均须提供 2Mbps 以上的传输速率 以满足业 务需求 而基于 802 11n 的无线局域网目前则可以提供高达 300Mbps 的传输速率 这一 南京邮电大学硕士研究生学位论文 第一章 绪论 2 速率还将在日后得到进一步提高 此外 多媒体信息的压缩技术的日臻进步也为移动多 媒体通信的实现提供了技术保证 目前的手持移动设备的有许多钟 如 PDA 个人数字助理 MID 移动互联网设备 手提电脑 WAP 手机 智能手机 导航仪等 这些手持设备的功能日益强大 已经出现 了融合的趋势 市场上表现为互相渗透 结合了 PDA 和行动电话关键功能的智能手机正 是这种趋势的必然产物 现在全球智能手机的出货量逐年大幅度攀升 其自身也在日趋 完善 使得智能手机市场蕴藏着巨大的商机 智能手机 Smart Phone 至少有四个标准 可以语音和数据通信 这是手机的基本功 能 基本的 PDA 功能 通信功能与 PDA 功能无缝融合 而非简单的 1 1 开放式操 作系统 第三方可根据操作系统提供的 API 为智能手机开发各种扩展应用和提供各种扩 展硬件 这是智能手机的根本特性 通俗的说 智能手机是一种在手机内安装了相应开 放式操作系统的手机 通常使用的操作系统有 Symbian Windows Mobile iPhone OS Linux 含 Android Maemo 和 WebOS Palm OS 和 BlackBerry OS 他们之间的应用 软件互不兼容 因为可以安装第三方软件 所以智能手机有丰富的功能 智能手机这个 说法主要是针对功能手机 Feature Phone 而来的 本身并不意味着这个手机有多智能 Smart 从另一个角度来讲 所谓的智能手机就是一台可以随意安装和卸载应用软件的 手机 功能手机是不能随意安装卸载软件的 Java 的出现使后来的功能手机具备了安装 Java 应用程序的功能 但是 Java 程序的操作友好性 运行效率及对系统资源的占用都 比智能手机差很多 由于智能手机自身的特点 许多原本基于 PC 互联网应用开始逐渐向 智能手机等手持平台延伸 1 2 主要的研究工作及内容安排主要的研究工作及内容安排 长期以来 人们对流媒体技术的研究主要集中在固定终端及个人电脑平台 而对以 手持平台为基础的高码率流媒体系统研究较少 本文针对智能手机平台的特点 在充分 利用手机操作系统自身的特点的基础上 同时考虑到软件可移植性 对移动流媒体客户 进行了研究与实现 具体内容安排如下 第一章首先介绍了本课题的研究背景 具体介绍了多媒体通信及智能手机概念 现 有主流手机操作系统以及发展现状 南京邮电大学硕士研究生学位论文 第一章 绪论 3 第二章介绍了流媒体技术的基础知识 重点阐述了流媒体相关标准 第三章介绍了用于移动手持设备的相关音视频编码技术 重点阐述了相关标准 第四章分析了 Windows Mobile 平台的基本结构及模块组成 研究了 FFmpeg 及 SDL 等关键函数库在 Window Mobile 平台上的移植和集成 在此函数库基础之上 设计并开 发了客户端所用的媒体播放引擎 并且在本章介绍了移动流媒体系统的整体部署及工作 原理 详细讨论了客户端与服务器之间的会话过程 第五章分析了客户端软件设计的整体架构 详细设计了各个模块的功能 接口及执 行流程等 最后在 TD SCDMA 实验网络中完成了软件测试 结果表明了该客户端具有良 好的健壮性及容错能力 并且视频点播具有较好的回放质量及流畅度 带给用户较好的 体验 第六章对全文进行了总结 讨论了在音频 视频回放效率及质量等若干问题及对移 动 P2P 进一步研究的展望 南京邮电大学硕士研究生学位论文 第二章 流媒体技术概述 4 第二章第二章 移动流媒体简介移动流媒体简介 2 12 1 流媒体技术概述流媒体技术概述 流媒体 Streaming Media 技术是为了在网络上传播多媒体文件 包括音视频 所开发 的一整套技术架构 包括流媒体压缩技术 时基编码技术 传输控制协议等 基本原理 是根据网络的传输能力进行相应比例的有损压缩 确保基本信息的实时传输 在编码时插 入时基标志 便于同步 缓存和拖动浏览 以客户端 服务器的架构提供文件服务 并使 用实时传输协议在网络上传输 以确保传输质量 流媒体的出现为 Internet 上的多媒体 信息发布特别是连续的流媒体信息的发布提供了全新的手段 通过移动网络在移动手持 终端上采用流媒体技术实现的应用简称移动流媒体应用 典型的应用实例包括移动视频 点播 移动视频聊天等 而通过互联网 有线电视网在 PC 电视机等设备上采用流媒体 技术实现的应用称为宽带流媒体应用 典型应用包括在线影院和视频聊天等 目前在网络上获取音视频等多媒体资源主要有下载播放和流式播放两种 对于下载播 放而言 由于音视频文件往往很大 需要大量的存储空间 这一要求对于具备大容量硬 盘的 PC 可能并不是问题 但对于存储容量很有限的手机而言却是一个难以克服的问题 于是人们很自然地想到了将流媒体技术应用到移动网络和终端上 并称之为移动流媒体 所谓移动流媒体就是把连续的影像和声音信息经过压缩处理后放到网络媒体服务器上 让移动终端能够一边下载一边观看 收听 而不需要等到整个多媒体文件下载完成就可 以即时观看的技术 实际上移动流媒体技术是网络音视频技术和移动通讯技术发展到一 定阶段的产物 它是融合很多网络技术之后所产生的技术 它会涉及到流媒体数据的采 集 压缩 存储以及网络通信等多项技术 其主要有三大特点 1 能够实时播放视频和 音频等多媒体内容 视频 音频等文件边下载边播放 当多媒体文件在客户机上播放的 同时 文件的剩余部分在后台继续从服务器上下载 这样可以大大缩短启动延时 2 流 媒体文件不需要在客户端保存 节省了客户端的存储空间 而且也不需要较大的缓存 3 由于流媒体文件不需要在客户端保存 从而简化了媒体内容的版权保护 这些特点决 定了移动流媒体业务具有良好的应用前景 尤其在增值业务成为主要盈利点的 3G 时代 移动流媒体业务就是指流媒体技术在移动无线网络及其终端上的应用 主要是利用现 南京邮电大学硕士研究生学位论文 第二章 流媒体技术概述 5 有的 2 5G 或 3G 的移动网络 为手机终端提供音视频的流媒体服务 移动流媒体业务的 内容包括新闻资讯 影视 娱乐 体育 教育 行业应用等 移动流媒体业务根据数据 内容的播放方式可以分为三种业务类型 分别是点播 直播和下载 随着 3G 技术的逐步 成熟 将移动流媒体技术引入移动增值业务 已经成为目前全球范围内移动业务研究的 热点之一 3GPP 3GPP2 等标准化组织早已开展了移动流媒体的应用研究工作 并已经 制定了相应的标准 2 2 移动流媒体系统相关标准移动流媒体系统相关标准 在实现移动流媒体业务的协议中 音频 视频等流媒体数据主要通过 RTP UDP 协 议传输 而如静态图像 文本信息则一般使用 HTTP 协议进行传输 RTSP 及 SDP 协议用 于会话的建立与控制 MIME 用于描述媒体类型 RTP 是媒体负载的单元 2 2 1 实时传输协议 RTP RTP Real time Transport Protocol 是针对互联网上多媒体数据流的一个传输协议 国际 电信联盟 ITU T 也发布了自己的 RTP 文档 作为 H 225 0 但是后来当 IETF 发布了关于 它的稳定的标准 RFC1889 后就被取消了 它作为因特网标准在 RFC 3550 该文档的旧版 本是 RFC 1889 有详细说明 RFC 3551 STD 65 旧版本是 RFC 1890 详细描述了使 用最小控制的音频和视频会议 RTP 被定义为在一对一或一对多的传输情况下工作 其 目的是提供时间信息和实现流同步 RTP 的典型应用建立在 UDP 上 但也可以在 TCP 或 ATM 等其他协议之上工作 RTP 本身只保证实时数据的传输 并不能为按顺序传送数 据包提供可靠的传送机制 也不提供流量控制或拥塞控制 它依靠 RTCP 提供这些服务 流媒体数据传输中一个关键的问题就是到达时间不可预料 但是流媒体的传输是需要 数据按时到达用以正确回放 RTP 协议提供了时间戳 序列号以及其它的结构字段用于 控制数据的流式回放 在流的概念中 时间戳 是最重要的信息 发送端依照即时采样 信息在数据包里填入时间戳字段 在接收端收到数据包后 就按照时间戳按将流数据恢 复成原始的采样数据 不同的媒体格式有着不同的时间戳属性 但是 RTP 协议本身并不 负责同步 它只是传输层协议 主要为简化运输层处理 提高该层的效率 部分运输层 协议功能 比如流量控制 在应用层得到实 南京邮电大学硕士研究生学位论文 第二章 流媒体技术概述 6 现 同步的功能就是在应用层协议中完成的 RTP 没有运输层协议的完整功能 不提供 任何机制来保证数据的实时传输 不支持资源预留 也不保证服务质量 RTP 报文不包 括长度和报文边界的描述 同时 RTP 协议的数据报文和控制报文使用相邻的不同端口 因此 RTP 协议拥有很高的灵活性和简单性 RTP 协议和 UDP 协议两者合作完成运输层协议功能 UDP 协议只负责传输数据报 不管数据报传输的时间顺序 RTP 的数据单元是以 UDP 分组来承载的 在承载 RTP 数 据包的同时 有时一帧数据会被分割成几个具有相同时间戳数据包 RTP 协议通常根据 一个具体的应用来提供服务 RTP 只是一种框架协议 开发者可以根据应用的具体要求 对协议进行充分的扩展 2 2 2 会话描述协议 SDP SDP Session Description Protocol 是会话描述协议的缩写 为会话通知 会话邀请及其 它形式的多媒体会话初始化等目的提供了多媒体会话描述 会话目录用于协助多媒体会 议的通告 并为会话参与者传送相关设置信息 SDP 即用于将这种信息传输到接收端 SDP 完全是一种会话描述格式 因为它不属于传输协议 它可以使用不同的传输协议 包括会话通知协议 Session Announcement Protocol 会话初始协议 Session Initiation Protocol 实时流协议 Real time Streaming Protocol MIME Multipurpose Internet Mail Extensions 协议的电子邮件以及超文本传输协议 Hypertext Transport Protocol SDP 的设计宗旨是通用性 它可以应用于大范围的网络环境和应用程序 而不仅仅 局限于组播会话目录 但 SDP 不支持会话内容或媒体编码的协商 在因特网组播骨干网 中 会话目录工具被用于通告多媒体会议 并为参与者传送会议地址和参与者所需的会 议特定工具信息 这由 SDP 完成 SDP 连接好会话后 传送足够的信息给会话参与者 SDP 信息发送利用了会话通知协议 SAP 它周期性地组播通知数据包到已知组播地址 和端口处 这些信息是 UDP 数据包 其中包含 SAP 协议头和文本有效载荷 text payload 这里文本有效载荷指的是 SDP 会话描述 此外信息也可以通过电子邮件或万 维网的方式进行发送 2 2 3 实时流媒体协议 RTSP RTSP Real Time Streaming Protocol 是用来控制声音或视频的流媒体协议 並允许 南京邮电大学硕士研究生学位论文 第二章 流媒体技术概述 7 同时多个串流需求控制 传输时所用的网络通讯协议並不在其定义的范围內 服务器端 可以自行选择使用 TCP 或 UDP 来传输串流內容 它的语法和运行跟 HTTP 1 1 类似 但 並不特別强调时间同步 所以比较能容忍网络延迟 而前面提到的允许同时多个串流需 求控制 Multicast 除了可以降低服务器端的网络用量 更进而支持多方视频会议 Video Conference 因为与 HTTP1 1 的运行方式相似 所以代理服务器 Proxy 的缓 冲功能 Cache 也同样适用于 RTSP 並因 RTSP 具有重新导向功能 可视实际负载情 况来转换提供服务的服务器 以避免过大的负载集中于同一服务器而造成延迟 南京邮电大学硕士研究生学位论文 第三章 视频编解码技术综述 8 第三章第三章 视频编解码技术综述视频编解码技术综述 视频编解码技术在整个流媒体系统中占有至关重要的位置 移动流媒体作为无线网络 上的视频应用 音视频编解码技术对其影响很大 首先 由于无线网络带宽相对小 抖 动大 就要求编码要有高的压缩效率 压缩效率越高 传输占用带宽越小 才能保持良 好的流畅度 其次 需要有较好的图像质量 质量越高 用户体验则越好 当前主流的视频编码格式有以下几种 MPEG 2 ISO EC 13818 2 MPEG 4 Part 2 ISO IEC14496 2 H 264 AVC MPEG 4 Part10 微软的WMV系列 Real公司的real media系列等 前三者为公开的国际标准 后两者为企业的私有标准 MPEG 2是为DVD所用的标准 编解码比较简单 以TS Transport Stream 流传输方式 为主 MPEG 4 Part 2标准在同等条件下的编码复杂度是MPEG 2的3倍 图像质量是 MPEG 2的约1 5 3倍 H 264是3GPP编码标准之一 也是HD DVD与Blue Ray的存储格式 之一 同等条件下的编码复杂度是MPEG 2的4倍 图像质量是MPEG 2的约4 8倍 H 264 AVC具有较高的编码效率和图像质量 是编码技术的发展趋势 同时 由于标 准的开放性以及获得了3GPP DVD论坛的支持 H 264已被工业界所看好 它将成为互联 网上视频业务的编码标准 本课题就选用了此编码标准 3 1 视频编码基本原理视频编码基本原理 3 1 1 编解码基本结构 如图 3 1 所示 视频编码方式与采用的信源模型有关 假设采用 一幅图像由许多像 素构成 的信源模型 此信源模型的参数就是每个像素的亮度值和色度值 对这些参数 进行压缩编码称为基于波形的编码 假设采用一个分量有几个物体构成的信源模型 此 信源模型的参数就是各个物体的形状 运动及纹理 对这些参数进行压缩编码的技术被 称为基于内容的编码 由此可见 根据信源模型的不同 视频编码可以分为两大类 基于波形的编码和基于 内容的编码 它们是利用不同的压缩编码方法 得到相应的量化前的参数 再对这些参 南京邮电大学硕士研究生学位论文 第三章 视频编解码技术综述 9 数进行量化 用二进制值表示其量化值 最后 进行无损熵编码进一步提高码率 解码 则为编码的逆过程 图 3 1 视频编解码模型 1 基于波形的编码基于波形的编码 对于视频编码 就是利用像素间的空间相关性和帧间的时间相关性 如果采用预测编 码和变换编码可以很大程度的减少视频信号的相关性 从而明显降低视频数据的码率 实现提高编码压缩率的目标 基于波形的编码就是采用了把预测编码和变换编码组合起 来的基于块的混合编码方法 为了降低编码的复杂性 使视频编码易于运算和编程 采 用混合编码方法时 首先要把一幅图像分成固定大小的块 例如块 16 16 即每块 16 行 每行 16 个像素 块 32 32 每块 32 行 每行 32 个像素 等等 然后对块进行压缩编 码处理 自从 1989 年 ITU T 发布了第一个视频编码标准 H 261 以来 至今已陆续发布 了 H 263 H 264 等视频编码标准以及 H 320 H 323 等多媒体标准 同时 国际标准化组 织 ISO 下属的 MPEG 运动图像专家组 也发布了 MPEG 1 MPEG 2 MPEG 4 等一系 列娱乐和数字电视压缩编码标准 ITU T 于 2003 年发布的 H 264 视频编码标准不仅有着 较高的数据压缩比率 而且具有良好的网络亲和性 特别是对 IP 互联网 无线移动网等 易误码 易阻塞 QoS 不容易得到保证的网络视频传输性能有明显的改善 H 264 视频编 码都采用了基于块的混合编码法 都属于基于波形的编码 2 基于内容的编码基于内容的编码 正如上面所说的 基于块的编码易于操作与计算 但也因人为地把一幅图像划分成许 多固定大小的块 当包含边界的块属于不同的物体时 它们各自具有不同的运动 便不 可以用相同的运动矢量表示该边界块的运动状态 如果强制划分成固定大小的块 这种 边界块就肯定会产生较高的预测误差和失真 很大程度影响了压缩编码数据的质量 于 南京邮电大学硕士研究生学位论文 第三章 视频编解码技术综述 10 是 就产生了基于内容的编码技术 这是先把视频帧分成对应于不同物体的区域 然后 再对其编码 即对不同物体的形状 运动和纹理进行编码 在较简单情况下 利用二维 轮廓描述物体的形状 利用运动矢量描述其运动状态 而纹理则用颜色的波形进行描述 当视频信号序列中的物体种类已知时 可采用基于认知或基于模型的编码 例如 对人 的脸部 已开发了一些预定义的轮廓对脸的特征进行编码 这时编码效率很高 只需要 较少的比特位就能描述其特征 对于人脸的表情 如高兴 愤怒等 可能出现的行为 可用语义编码 由于物体可能的行为数不是很多 因此可以获得非常高的编码效率 MPEG 4系列标准采用的编码方法就既是基于块的混合编码 又是基于内容的编码方法 3 1 2 压缩编码基本方法 1 1 预测编码预测编码 预测编码是最简单和实用的视频压缩编码方法 这时压缩编码后的数据并不是像素本 身的采样幅值 而是该采样的预测值和实际值之间的差 大量统计表明 同一幅图像的 靠近的像素之间有着大量相关性 或者说这些像素值相似 邻近像素之间毫无相关性的 概率很小 且同一帧图像中邻近行之间对应位置上的像素间也有较强的相关性 人们就 是利用了这些特点对视频进行压缩编码 2 变换编码变换编码 大部分图像都有一个共同的特点 那就是平坦的区域和内容缓慢变化的区域在一幅图 像中占据了绝大部分 而细节区域和内容高频率变化的区域则只占小部分 也可以说 图像中直流和低频区占大部分 高频区占小部分 这样一来 图像从空间域变换到了频 域 其间会产生一些相关性很小的变换系数 并可对其进行压缩编码 即所说的变换编 码 变换方法中有一类叫做正交变换 适用于图像编码 自从1968年利用FFT 快速傅立 叶变换 进行图像压缩编码以来 期间出现了多种正交变换方法 如K L变换 DCT变换 离散余弦变换 等 其中 编码性能以K L变换最理想 但没有快速算法 且变换矩阵 随图像而异 不同图像需计算不同的变换矩阵 因此一般只用来参考比较 难以进入实 用领域 DCT变换编码性能仅次于K L变换 但具有快速算法 所以在图像编码领域有着 广泛的应用 3 熵编码熵编码 熵编码法是一种进行无损失数据压缩的技术 在这种技术中一段文字中的每个字母被 一段不同长度的 Bit 比特 所代替 在此方法中原文的一段字母列被其它字母取代 要 南京邮电大学硕士研究生学位论文 第三章 视频编解码技术综述 11 使得所有的字母可以在压缩后互相区别需要一定数量的比特 因此每个字母被取代的比 特数不能无限小 每个字母按照其出现的可能性所获得的最佳比特数取決于熵 在视频 编码中常用的熵编码方法有变长编码 算数编码 哈夫曼编码等 3 2 H 264 AVC 标准的主要应用与特点标准的主要应用与特点 运动图像专家组 Moving Picture Experts Group 和视频编码专家组 Video Coding Experts Group 联合开发了一个比早期的 MPEG 系列和 H 263 性能更好的视频压缩编码 标准 这就是名为 AVC Advanced Video Coding 的编码方法 习惯上也被称为 ITU TH 264 建议或 MPEG 4 Part 10 的标准 在本文里 简称它为 H 264 AVC 或 H 264 这个国际标准已于 2003 年 3 月正式被 ITU T 所通过并在国际上正式颁布 可以 说 H 264 的出现是视频压缩编码领域发展中的一件大事 它优异的压缩性能也将广泛应 用于数字电视广播 DVB 视频实时通信 网络视频流媒体传输以及多媒体短信等各个 领域 数字电视广播的优越性已是公认的 但它的广泛应用还有赖于高效的压缩技术 例如 利用 MPEG 2 压缩的一路 1080P 的高清晰度电视 HDTV 需要约 20Mb s 的 带宽 而利用 H 264 进行一路 1080P HDTV 的压缩 大概只需 5Mb s 的带宽 众所周知 美国已在 2010 年 我国约在 2015 年 停止模拟电视广播 全部采用数字电视广播 假 如 HDTV 在中国要获得较大规模的应用 必须降低现有成本 以传输开销而言 采用 H 264 可使传输开销降为原来的 1 4 这是一个十分诱人的数字 HDTV 在中国即将走进 人们的生活 压缩性能优异 图像质量高 H 264 编码技术和设备的市场前景是非常可观的 现在有的省市 如南京 已在有线电视信道上开通了数字电视 采用压缩性能优异的 H 264 显得更为有意义 视频通信是 H 264 又一个重要应用 自 20 世纪 90 年代初以来 电视会议在我国得到 了迅速发展 利用通信网络召开会议 其优点是节约大量旅途出差时间及费用 还争取 了时间及时作出相应决策 短短数年 全国从中央到省 地市甚至县 已经建立了几千 个电视会议室 在国民经济的发展中发挥了重要作用 但仍然有其不足之处 首先不是 很方便 必须到电信部门专用的电视会议厅才能参加会议 这让一些领导同志更是不方 便 其次 花费较为昂贵 当时采用 H 261 作为视频编码标准 压缩比不高 且图像质量 也不是很好 设备价格昂贵 传输费用也高昂 所以直到今天 尚未被广泛地应用 其 中一个重要原因就是视频回放质量不是很理想 这与视频编码技术有着密切的关系 特 南京邮电大学硕士研究生学位论文 第三章 视频编解码技术综述 12 别是由于互联网在 上世纪 90 年代的迅猛发展 人们越来越希望希望利用 IP 网络来传输 视频 现在人们已可以看到 在网络没有发生拥塞时 人们看到的视频电话质量尚能接 受 尽管不是非常满意 由于 IP 网络带宽的抖动性 当流量大时 网络会发生拥塞 这 时经常会发生丢包 误码等现象 用户此时所看到图像中带有不少的色块 说明数据发 生了丢失 这样的视频质量是无法让人接受的 于是对视频编码提出了新的要求 不仅 要高压缩比 而且应在恶劣的传输条件下 包括移动网络的衰减 具有抗阻塞 抗误码 的鲁棒性 H 264 不仅具有优秀的压缩性能 而且具有良好的网络友善性 这对实时视 频通信是十分重要的 H 264 还有一个重要应用 即网络上的流媒体 近年来 应用了流媒体技术的 VOD Video on Demand 有了迅速的发展 据统计 VOD 在韩国的家庭宽带应用中占据了 第二位 我国的宽带用户现已达 1000 万以上 而且还在继续迅速增加 不论在桌面市场 还是移动市场 VOD 业务的发展前景也是相当令人期待的 本课题的研究便是在此领域 的展开 3 3 H 264 AVC 标准的构成标准的构成 3 3 1 基本概念 视频的一帧或一场可以用来产生一个编码图像 一般来说 视频帧可分为两种类型 逐行和隔行视频的 在传统的模拟电视中 为了减少大面积的闪烁现象 我们把一完整 的逐行帧分成两个隔行的场 可以看见 这时帧内相邻行之间的空间相关性较强 因此 运动较小或静止的图像宜采用帧编码方式 对运动量较大的运动图像则宜采用场编码的 方式 一个编码图像通常划分成若干个宏块 一个宏块由一个 16x16 亮度像素值和一个 8x8 的 Cb 和一个 8x8 的 Cr 彩色像素值块组成 YUV420 采样格式 每个图像中 这些 宏块被排列成片的形式 I 片只包含 I 宏块 P 片可包含 P 和 I 宏块 而 B 片可包含 B 和 I 宏块 I 宏块利用当前片中已解码的像素作为参考进行帧内预测 不能取其它片中的已 解码像素作为参考进行帧内预测 P 宏块利用前面已编码图象作为参考进行帧内预测 一个帧内编码的宏块可进一步作宏块的分割 即 16x16 16x8 8x16 或 8x8 亮度像素值 块 以及附带的彩色像素值 如果选了 8x8 的子宏块 则还可以再分割成各种子宏块 尺寸可为 8x8 8x4 4x8 或 4x4 亮度像素块 以及附带的彩色像素 B 宏块则利用双向 南京邮电大学硕士研究生学位论文 第三章 视频编解码技术综述 13 的即过去的和将来的已编码图像作为参考进行帧内预测 3 3 2 基本分级 H 264 AVC 划定了三种档次 每个档次支持一组特定的编码功能 并支持一类特定 的应用 基本层次 Baseline Profile 主要利用了 I 片和 P 片 支持帧内和帧间编码 支持 基于上下文的自适应变长编码进行的 CAVLC 主要应用于视频电话 电视会议 无线 通信等要求实时性 低延迟的场合 主要层次 Main Profile 支持隔行视频 可采用 B 片的帧间编码和采用加权预测的帧 内编码 其支持基于上下文的自适应的算术编码 CABAC 主要应用于数字广播电视与 数字视频存储 扩展层次 Extended Profile 支持码流之间有效的切换 SP 和 SI 片 通过数据分割 改进误码性能 但不支持隔行视频和基于上下文的自适应的算术编码 CABAC 南京邮电大学硕士研究生学位论文 第三章 视频编解码技术综述 14 南京邮电大学硕士研究生学位论文 第四章 系统框架实现及设计 15 第四章第四章 系统框架设计及实现系统框架设计及实现 随着 3G 时代的到来和手机硬件配置的大幅提高 例如高分辨率显示屏 高速 CPU 大容量存储 甚至配备独立的 GPU 等 手机将逐渐从简单的语音通信工具发展成支持互 联网浏览 移动电子商务 多媒体娱乐等以信息为中心的移动个人信息设备 因此 越 来越多的人使用手机去观看在线电影 视频 收听广播等 由于手机的软硬件环境千差 万别 加上网络传输条件受限 所以传统的基于个人电脑的流媒体系结构并不完全适用 于手机系统 因此 本章设计了适用于手机设备及其网络环境的系统框架 并且同时兼 容现有的桌面流媒体系统 4 1 系统需求系统需求 移动流媒体系统主要的应用是在无限互联网上分享多媒体数据 像视频短片 流行音 乐 个人照片等 因此 在手机客户端上能够流畅观看 VOD 节目及直播节目 Live Broadcast 是系统的基本功能需求 且应为手机操作系统较为繁多 所以也要求系统中 的客户端软件具有良好的跨平台性 在此基础上 对用户体验有着比以往更高的要求 现有的手机流媒体系统大部分所支 持的最高分辨率为 QCIF 176x144 像素 而当前主流智能手机的屏幕分辨率均已达到 QVGA 320 x240 像素 级别 当用户全屏观看节目时 图像会产生拉伸 虽然这些系统 中均使用了一些平滑算法来处理拉伸后的图像 使画面看上去锯齿较少 但是我们知道 在液晶屏幕上像素点对点 Pixel to Pixel 显示才能获得最佳显示效果 所以 在本文设 计的系统中 我们最高支持 QVGA 分辨率的节目 且要保持较为流畅的帧率 15 帧 秒 这就对解码器的性能提出了挑战 与此同时 绚丽易用的 UI User Interface 对用户体验来说也是至关重要的 它往往 决定了用户对软件的第一印象 设计并实现一套完整的跨平台的 UI 系统是十分消耗人力 和资源的 因此 我们将跨平台 UI 设计这部分工作放在了今后 文中并未涉及这部分 但使用了 ADK Application Development Kit 的概念 将 UI 层与应用逻辑层 节目播放 录制 节目菜单浏览等 相分离 为将来更换 UI 层做好准备工作 流畅的用户体验同样要求高效的数据传输 尤其在网络带宽有限且抖动较大的无限网 南京邮电大学硕士研究生学位论文 第四章 系统框架实现及设计 16 络环境中 目前 大多数桌面流媒体系统均采用了 P2P Peer to Peer 即点对点的架构 相比传统的 Client Server 客户端 服务器 架构 P2P 拥有不少先天的优越性 主要为网 络资源利用率高 节点越多网络越稳定等 但是 运营商现有的网络带宽条件及按流量 计费的模式并不适合大流量的 P2P 应用 所以 文中的流媒体系统采用了传统的 C S 框 架 同时 为了适应将来可能出现的需求 要求我们的系统可以从 C S 框架平稳的升级 到 P2P 框架 这就要从协议的设计上出发 为以后的升级做好准备 文中的系统中所使 用的会话建立协议 SEP Setup 已由先前的工作完成 在文中有着较为详细的阐述 4 2 系统方案选择系统方案选择 在无线网络环境中构建 VOD Live Streaming 这样的典型视频应用 客户端与服务器端 是两个最重要的组成部分 在服务器端的选择上 由于先前的工作中已经完成了一个成 熟度较高的针对桌面流媒体系统的服务器组 已经过较长时间的测试 能够达到长时间 无间隙运行的要求 并且 此服务器组可以适应不同架构的传输模式 在桌面流媒体系 统中采用了 P2P 架构 而针对移动流媒体系统 可以方便的切换为 C S 架构 也是为将 来移动 P2P 的研究与实现留有了可能 所以 本文中的系统服务器选择了这套方案 有了服务器端后 要讨论的自然就是手机等移动设备上运行的客户端了 这也是本文 研究的重点 我们知道 移动平台的操作系统非常丰富 主要有 Symbian Windows Mobile Linux MacOS 等等 它们之间的竞争也很激烈 并不像桌面家用平台上 Windows 一统江山 因此 怎样开发一个跨平台的 也就是说具有良好移植性的客户端 软件成了我们讨论的主题 一个软件要具有良好的跨平台性 从它的设计之初就要考虑 尽可能的将平台相关的部分与应用逻辑部分相分离 使软件应用逻辑部分的代码可以运 行在任何平台上 不管在何种平台上构建视频应用 都需要一套多媒体框架 Multimedia Framework 以下简称 MMF 而 MMF 往往与平台的结合很紧密 所以几乎每一个移动 平台都有自己的 MMF 像 Symbian 的 MMF Windows Mobile 的 DirectShow Linux 的 GStreamer 等等 如果基于这些 MMF 去设计客户端软件将不能拥有良好的移植性 所以 我们选择了 FFmpeg 结合 SDL 这套紧凑且具有良好跨平台特性的框架方案 FFmpeg 是著 名的开源跨平台编解码函数库 功能非常全面 可以根据具体的需要进行量体裁衣 而 SDL 则是封装了多种平台的底层图像 声音呈现等功能的函数库 在下文函数库移植的 章节中有着具体的阐述 南京邮电大学硕士研究生学位论文 第四章 系统框架实现及设计 17 4 3 系统框架设计系统框架设计 本课题所研发的移动客户端软件基于现有的服务器系统 此服务器系统原先为配合桌 面 P2P 点播客户端所开发 具有高度的成熟度及健壮性 移动客户端与固定客户端使用 同样的会话协议 也就是 SEP 协议 SEP 为英文单词 setup 的简写 意为会话建立的意思 下面两节主要介绍了系统中的服务器及客户端部署框架 并且描述了 SEP 协议的主要特 征与会话流程 4 3 1 系统组件的功能定义 1 Portal Server 导航服务器 导航服务器 用户导航服务器 物理上是一台服务器加操作系统 再 加上应用服务器软件 合称Portal服务器 Portal实现了HTTP协议服务器端 可在终端请 求时为用户返回导航页面 2 Bootstrap Server 接入服务器 接入服务器 是系统中直接被用户访问的网络节点 用户只有通 过系统的Bootstrap Server才可能接入系统 是一个物理实体 其基本功能是用户管理 共享资源管理 接入认证 可能具有一定的调度功能和计费功能 3 Media Server 媒体服务器 媒体服务器 系统提供一些集中的服务器来为终端用户提供内容服务 这些内容服务器的内容通常是