（计算机应用技术专业论文）基于数字家庭的数字终端视频通讯平台的研究与应用.pdf

论文原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独 立进行研究工作所取得的成果。除文中已经注明引用的内容外，本论 文不包含任何其他个人或集体已经发表或撰写过的作品成果。对本文 的研究作出重要贡献的个人和集体，均已在文中以明确方式标明。本 人完全意识到本声明的法律结果由本人承担。 学位论文作者签名： 日期： 墨亟丝 l 内g r 、l 留 学位论文使用授权声明 本人完全了解中山大学有关保留、使用学位论文的规定，即：学 校有权保留学位论文并向国家主管部门或其指定机构送交论文的电 子版和纸质版，有权将学位论文用于非赢利目的的少量复制并允许论 文进入学校图书馆、院系资料室被查阅，有权将学位论文的内容编入 有关数据库进行检索，可以采用复印、缩印或其他方法保存学位论文。 学位敝储躲马识伍导师躲罗确 日期：枷年s 月钼日期：年月日 数字终端视频通讯平台研究与应用 第l 章概述 第1 章概述 “理解未来电视的关键，是不再把电视当电视看。从比特的角度来思考电视 才能给它带来最大收益 。十年前，尼葛洛庞帝这样预测未来电视。时至今日， 互联网在日新月异地发展，电视与电脑之间的界限开始慢慢模糊。有专家预测， 电视将成为具有通讯、互联网、电视功能的综合数字化家庭终端。电信网、互联 网和广播电视网的三网融合已经列入正在制定中的第十一个五年规划，三个网络 实现融合后，网络层可以实现互连互通，业务层相互渗透，话音、数据和图像这 三大基本业务的界限逐渐消失。 1 1 研究背景 数字家庭是未来发展的趋势，数字电视将在生活中扮演越来越重要的作用。 随着计算机技术和互联网技术的不断发展，各种信息的数字化程度越来越高，互 联网成为信息传递最为方便和快捷的手段，越来越多的用户开始使用计算机来处 理日常工作事务。但就目前来说，计算机高昂的价格仍使许多低收入阶层望而却 步，而电视机的普及率却远远高于计算机的用户占有率。同时计算机操作具有不 方便和不灵活性的缺点，这种情况下，如何用传统的电视机来连接网络，完成数 字信息的接收和处理成为一个热门的话题，网络机顶盒的出现在一定程度上解决 了此问题。我国电视机的普及率远远高于p c 机，如果能把宽带流媒体服务扩展 到机项盒，使电视用户也能享受到宽带带来的好处，这将给运营商带来极大的商 机。 机顶盒有两大类【l 】，一类提供接收数字编码的电视信号( 来自数据网络、有线 电视网络，使用m p e g 等压缩格式) ，获得更清晰、更稳定的图像和更高的声音 质量，这种机顶盒一般称为电视机顶盒。另一类机顶盒内部包含操作系统和 i n t e m 烈浏览器软件，通过电话网、数据网或者有线电视网连接i n t e m e t ，使用电 视机作为显示器，从而实现没有电脑的上网，这类机顶盒称之为网络机顶盒，也 称为i p 机顶盒。 网络机顶盒利用宽带网的基础设旌，以家用电视机作为主要终端设备，集互 联网、多媒体和通信等多种技术于一体，通过i p 协议向家庭用户提供包括数字 7 数字终端视频通讯平台研究与应用第1 章概述 电视在内的多种交互式数字媒体服务的崭新技术。而“电视机+ 网络机顶盒”的 终端设备将成为数字家庭及数字电视的主流。 网络机顶盒相当于一台自带嵌入式操作系统的计算机，它采用以太网接入， 视音频输出至电视，可将通过网络传输过来的流媒体数据转换成模拟视音频输出 至电视。它具备计算机的数据交换等基本功能，采用遥控器直接操作。数字电视 机顶盒是数字家庭产业是的关键技术，数字家庭产业是一项关联终端制造商、网 络运营商、内容提供商、技术及业务服务商等多个产业链环节的综合性产业，是 未来广播电视业、电信业、计算机业和消费类电子业这几大产业的结合，具有极 其广阔的市场前景。数字家庭业务模块如图1 1 所示： 图卜1 数字家庭市场业务模型 1 2 国内外研究现状 视频通讯经历了漫长的发展过程，1 9 6 4 年，由美国的b e l l 实验室研制成功 了视频电话【2 1 ，该实验室在当年的纽约国际博览会上展示了名为p i c t u r ep h o n e m o d 1 的可视电话系统，它的频带只有3 0 0 到3 4 0 0 h z ，只能传送黑白静止硬拷 贝图像。其后，美国b t 公司研制出1 z 带宽的黑白会议电视系统，名p i c n p h o 鹏m o d 1 1 ，它可提供活动图像的可视业务，该系统于7 0 年代初在美国匹兹 堡和芝加哥之间投入商业服务。上述系统由于采用的是模拟技术，当时也没有先 进的音视频压缩技术【3 】，因此这些系统占用带宽较大，成本高昂，所以它们都没 有得到商业用户的支持。 数字终端视频通讯平台研究与应用第l 章概述 到了7 0 年代，随着数字通信技术的发展，综合业务数字网( i s d 和宽带综 合业务数字网( b i s d n ) 的建立【4 】，给发展数字式可视电话创造了条件。在这个阶 段，美国、日本、加拿大、西欧等都推出了可视电话系统。从1 9 8 8 年起，原c c i r 和c c i t t 共同展开了图像压缩标准化1 5 】的工作，并于当年提出了用于会议电视、 电视电话的h 2 6 1 图像编解码【6 】建议，该建议于1 9 9 0 年1 0 月通过。随着该建议 的通过，可视电话业作为一种产业开始了迅速发展。这一建议对可视电话的发展 起了重要的推动作用，超大规模集成电路等相关技术也为可视电话的发展提出了 强有力的支撑。很多公司如日立、n t t 、三菱等都已研制出按h 2 6 1 标准进行图 像信号压缩编码的可视电话机。近几年，随着图像编码技术的发展和宽带i p 网 络的日益普及，可视电话又成为人们关注的技术，而新的音视频技术如h 2 6 3 、 m p e g 4 、h 2 6 4 r 7 1 等又为视频电话的发展奠定了坚实的基础。 目前，国际上己投入使用的可视电话或会议电视系统有m i c r o s o f i 的 n e t m e e t i n g ，3 c o m 公司的b i gp i c t u r e ，国内有中兴z 1 n c 系列和华为e w p o i n t 系列【8 】可视产品。这些产品有的运行在p c 机上以软件的形式提供给用户，也有 基于专门的终端的。运行在p c 上以软件形式提供给用户的产品不便于深入普通 用户家里，因为并不是每家都有电脑，每个人都会使用电脑，而且软件的形式提 供的视频通讯系统对于不了解电脑的用户来说操作复杂，在一些应用场景( 如面 向老人的远程医疗，面向青少年的远程教育等) 并不适用。基于专门终端的视频 通讯设备价格较贵，难于在普通家庭中普及。 宽带接入技术、视频流媒体压缩技术【9 】的发展，未来的几年内，视频流媒体 业务将保持强劲的增长势头，具有广阔的市场前景。视频通讯技术不仅可以广泛 应用于互联网多媒体新闻发布1 0 1 、在线直播、网络广告、网络视频广告【1 2 1 、电 子商务、视频点播【1 3 】、远程教育、远程医疗、网络电台、实时视频会议等互联网 的信息服务领域，甚至还可以应用于移动通信领域的3 g 业务中【1 4 】。在数字电视 机顶盒上实现视频通讯技术，普通家庭中用户可以通过电视便可享受上述业务， 具有重要的应用前景和市场前景，目前，还没有基于数字电视机顶盒的视频通讯 系统成功投入商用。 1 3 研究目标 视频通讯技术虽然已经出现了好多年，但是由于价格、性能等因素的影响， 9 数字终端视频通讯平台研究与应用第l 章概述 并未获得广泛的应用，但近年来随着各种条件的具备，可视电话、远程医疗【1 5 1 、 远程教育的应用市场的兴起，对于基于i p 的视频通讯技术提出较高要求，基于 i p 网络的视频通讯产品以其优良的影音品质和强大的功能，吸引了广大的消费 者，倍受人们关注。 基于数字电视机顶盒终端的视频通讯平台的研究与实现涉及多方面的理论 与技术，主要有视频编解码技术、语音处理方面的技术原理【1 6 1 、嵌入式系统及开 发技术【1 7 】、传输协议处理方面【1 8 】的技术原理等，因此需要阅读大量的相关技术、 协议资料，从而完成软件系统结构的设计，各个软件模块的设计等，最终要实现 在网络机顶盒上开发出话音、图像质量可接受1 19 】的视频通讯系统。 h 2 6 4 是近几年提出的高效的视频编码标准，r t s p 协议【2 0 】是流媒体传输广 泛采用的传输协议，因此本文采用h 2 6 4 标准进行视频编解码，采用r t s p 协议 进行流式传输，在机顶盒的嵌入式系统中实现视频通讯功能，而目前还没有这一 类视频通讯系统可以成功商用的产品。本文要在网络机顶盒上提供视频通讯功 能，与现有的通讯业务的模式有所不同，具有比较高的研究价值及应用价值。 1 4 论文组织与结构 本文的主要章节内容安排如下： 第1 章主要介绍视频通讯技术产生和应用的背景，同时，针对当前网络流媒 体的发展现状介绍本论文的研究目标，并简单阐述流媒体传输的关键技术。 第2 章主要对视频通讯平台的系统架构进行分析设计，特别是针对本论文的 h 2 6 4 视频编解码技术、视频通讯的硬件平台包括机顶盒及网络摄像机做了详细 的介绍和分析，并在硬件平台的阐述与分析基础之上提出本项目的系统架构设 计。 第3 章重点阐述了嵌入式高效视频通讯的流式传输策略，包括在项目开发过 程中遇到的技术难题及解决方案。 第4 章阐述数字电视机顶盒的视频通讯系统的实现，对机顶盒的软件及硬件 平台进行介绍及分析，并讲解机顶盒的码流接收及实时解码模块，实现了本项目 的数字终端可视通讯系统。 第5 章是对本文的总结与展望。 l o 数字终端视频通讯平台研究与应用 第2 章视频通讯平台系统架构设计 第2 章视频通讯平台系统架构的设计 本论文依托于中山大学承担的国家科技支撑计划项目课题，在该科技支撑项 目课题中，共有三个子课题与视频通讯平台相关，分别是：数字家庭和数字电视 关键技术及交互应用产品、面向3 c 融合的互联互通关键技术及智能终端产品、 高性能高清互动关键技术及设备产品。 新一代高清互动数字电视机顶盒的成功研发是该项目课题的一个重要成果 及关键产品，高清数字电视机顶盒( x t o n e ) 由中山大学及中大讯通、t c l 等相 关单位联合开发，本人参与x t o n e 机项盒的视频通讯平台的研发工作，致力于数 字终端视频通讯平台的研究及应用。 本论文的研究与开发基于中山大学与中大讯通软件公司联合研发的x t o n e 机顶盒硬件架构。该项目启动时的已有基础是x t o m 机顶盒，以及t 砸s 摄像机， n 胫s 摄像机由该项目合作单位深圳融创公司提供，x t o n e 机顶盒及t 凇s 摄像 头具有音视频编解码器功能，但不具备实时通讯平台的功能。由图2 6 可以看到， 数字终端视频通讯平台f 2 1 1 的目标是两个终端用户可以通过数字电视机顶盒及摄 像头实现端到端的视频通讯，本项目需要实现t m e s 摄像头与x t o n e 机顶盒进行 实时视频流传输，并且在x t o 鹏机顶盒上实现视频通讯功能。 通讯平台系统架构设计过程中存在如下难点： ( 1 ) x t o n e 机顶盒及t m e s 摄像头硬件平台的功能及性能如何，能够支持何 种视频编码格式及传输协议。 ( 2 ) 端到端的视频通讯平台架构如何设计，才能更好的实现局域网内高质量 视频通讯【2 2 1 。 ( 3 ) 探索跨局域网之间视频通讯以及机顶盒与p c 机、手机之间三网融合【2 3 】 视频通讯的软件架构解决方案。 本章将结合以上难点，重点阐述面向数字家庭的数字终端视频通讯平台的系 统架构设计，包括系统的硬件平台、系统软件和应用软件。 2 1 基于数字家庭的x t o n e 机顶盒平台 本论文的研究与开发基于中山大学与中大讯通公司联合研发的x t o n e 机顶 数字终端视频通讯平台研究与应用第2 章视频通讯平台系统架构设计 盒硬件架构。x t o 北高清双模一体机顶盒由中大讯通软件公司设计与开发，并由 香港权智集团生产。x t o 的重点是为用户创造下一代数字电视媒体中心【2 4 1 ，致 力于设计市场的下一代数字多媒体应用。目前x t 0 机顶盒第一期产品m 2 1 3 已 实现电视节目播放、多款家庭娱乐游戏、上网服务等功能，已在广州番禺投入试 点商业运营。目前正在研发的高清交互式数字机顶盒m 2 8 0 将包括更多的功能， 正在研发中的频点服务包括视频电话、远程医疗、远程教育等，视频通讯平台是 这些应用项目的关键技术。 2 1 1x t o n e 机顶盒硬件架构 x t o n c 机项盒是以电视为中心的互联网应用产品，用户可以享受喜欢的数字 内容。x t o n e 整合高清m p e 9 2 、m p e 9 4 和1 1 2 “【2 5 1 等视频播放器和数字广播接收 器【2 6 1 ，以提供真正的高清晰度视频体验给用户。x t o m 紧密结合游戏服务平台、 数据综合管理平台，对各种节目内容与及服务数据集中管理和内容发布。图2 。1 是x t o n e 机顶盒硬件架构图： 。蠢i 图2 1x t o n e 机顶盒硬件架构图 由图中可以看到x t o n e 机顶盒包括主板、a i 洲处理器、s 遍姒8 6 2 5 视频处 理芯片、1 2 8 m 内存、1 6 0 g 硬盘等。图2 2 是x t o m 机顶盒侧面接口示图，可以 看到，x t o m 机顶盒支持高清电影【2 7 】输- 出、电视a v 输出、网络接口、u s b 接口， 其中网络接口共有三个，并具有无线路由功能，网络摄像机可以容易地通过有线 或者无线连接机顶盒网络接口实现上网功能，u s b 不仅为x t o 豫机顶盒提供外 接存储功能，而且为开发人员提供便捷的调试途径，一般的调试方法需要将嵌入 式程序烧录到机顶盒【2 8 】中，有u s b 接口的情况下可以通过m o u n t 优盘的方法在 1 2 数字终端视频通讯平台研究与应用 第2 章视频通讯平台系统架构设计 1 串口 l 扩展红外接收 l 扩展红外发送 数字广播放接收 d v b c 射频输入 m p e g - 4u pt oh i 曲- d e f i n i t i o np r o f i l e h 2 6 4 支持1 0 8 0 p 视频输出解码 m p e g 2 支持10 8 0 p x v i d ，a v l w m v 支持7 2 0 p ， 10 8 0 i 音频解码 m p 3 ，g 7 2 6 ，w m a ，p c m 等 图片格式b m p ，j p e g ，g i f ，p n g 等 2 1 3 嵌入式u c “n u x 系统 简单的嵌入式系统一般并不使用操作系统，只包含一些控制流程，但是当嵌 入式系统所提供的功能复杂化之后( 如：图形用户界面和网络支持等) ，简单的流 程控制就不能满足系统的要求，这时就必须考虑使用操作系统。嵌入式操作系统 是嵌入式系统的灵魂，x t o n e 机顶盒采用嵌入式u c l 讪x 系统。 u c l i i l u x 即“微控制器领域中的l i r m x 系统”。u c l i 姗x 从l i 肌x2 0 2 4 内核 派生而来，沿袭了l i n u x 的部分特性。它是专门针对没有枷m7 ( 内存管理单元) 的c p u ，并且为嵌入式系统做了许多小型化的工作，它通常用于具有很少内存 或f l a s h 的嵌入式操作系统【2 9 1 ，由于经过了裁剪和优化，它形成了一个高度优化， 代码紧凑的嵌入式l i i 嗽。它具有体积小、稳定、良好的移植性、优秀的网络功 能、完备的对各种文件系统的支持，以及丰富的a p i 函数等优点。u c l i r l u x 与 l i n l l x 在兼容性方面具有良好的表现。 2 2x t o n e 机顶盒解码芯片硬件平台 将流媒体技术应用于机顶盒等嵌入式设备面临着很多的技术难题，有限的资 源往往意味着很多方面技术的优化。x t o n e 机顶盒采用专用的s 追m a 解码芯片实 现解码功能【3 0 】，具体型号是s 远m ad e s 垮n 公司的s 遮嫩8 6 2 5 芯片，s 远n 埝d e s 远n 公司生产的解码芯片广泛地应用地嵌入式系统中，本小节将详细阐述x t o n e 机顶 盒的解码芯片硬件平台。 2 2 1x t o n e 机顶盒嵌入式流媒体处理平台 将流媒体技术应用于机顶盒等嵌入式设备面临着很多的技术难题。首先，嵌 入式设备没有p c 上所能够使用的3 d 图像加速器、声卡等硬件加速设备的支持， 1 4 数字终端视频通讯平台研究与应用第2 章视频通讯平台系统架构设计 机顶盒也仅能够支持少量线程并发执行，经测试，x t o n e 机顶盒在运行6 个以下 线程时可以正常工作，当超过1 0 个线程时便会出现不稳定情况，有时会引起死 机，操作系统本身会使用部分线程，这意味嵌入式程序的线程不能超过三四个， 尽量单线程运行，这也是目前机顶盒普遍面对的问题；其次，不存在d h c t x 、 d 沁c t s h o w 【3 1 1 等高层媒体处理a p i ，l i i m x 平台下的开源软件如i l | p l a y e r 、街n p e g 【3 2 】 等在u c l i i l u x 系统中均不能使用。因此需要深入研究嵌入式系统的处理器、音 视频处理芯片和嵌入式操作系统。目前，嵌入式流媒体应用主要有三种开发方法： ( 1 ) 选择高性能处理器 比较成熟的应用有利用x s c a l e 实现流媒体播放功能3 3 1 。该方法选用了i n 砸l 公司的p 也5 5 作为便携式多媒体播放终端的处理器。该处理器是一个高性能、 低价格、低能耗的砒s c 处理器，具有d s p 处理能力的协处理器【3 4 】，采用5 3 3 m h z ) 【s c a l e 内核( 可选6 6 7 m ，内部集成3 个高性能n p e ( 网络处理器引擎) 。 ( 2 ) 利用专用解码芯片实现解码功能 比较常用的是利用删以及专用解码芯片实现的流媒体技术。该嵌入式平 台采用删系列内核处理器，嵌入式操作系统采用u c l m x 操作系统，而音、 视频解码功能采用专用解码芯片来完成。 ( 3 ) 利用硬件加速器完成运算密集型操作 比较常用的方法是利用d s p 和删实现流媒体播放【3 5 1 。应用数字信号处 理器和微控制处理器删内核实现视频简易框架和高级音频的实时解码。删 微控制处理器从传输模块接收比特流，并将其传送到共享存储器，解码模块中的 d s p 芯片作为硬件加速器完成运算密集型操作。 本项目基于的x t o n e 机顶盒硬件平台，x t o n e 机顶盒硬件平台采用删7 处 理器及s 迢i m 解码芯片，因此，研发过程中采用第二种方法实现视频通讯平台中 嵌入式流媒体的处理。 2 2 2 s i g m a 解码芯片 如前一小节中阐述，x t o n e 机顶盒采用专用的s i g m a 解码芯片实现解码功能， 具体型号是s 逸m ad e s i g n 公司的s i g m a 8 6 2 5 芯片，s 逸l n ad e s 逸n 公司生产的解码 芯片广泛地应用地嵌入式系统中，s 远i m 8 6 2 5 芯片包括音视频解码模块，具有数 字高清音视频解码功能。 1 5 数字终端视频通讯平台研究与应用第2 章视频通讯平台系统架构设计 如图2 3 所示，解码流程主要模块包括帧内预测、运动补偿、去块滤波、反 变换、反量化和熵解码等【3 6 1 。解码的主要流程是，当来自网络抽象层【3 7 】的压缩 视频码流读入解码器缓冲区后，首先需要进行熵解码，得到视频流的一系列重要 编码信息和实际压缩帧的数据，然后经过反扫描重新排序，通过反量化、反变换 后得到编码帧的预测残差值和运动矢量等，根据得到的码流语义解释进行相应的 帧内预测或帧间运动补偿，对于帧间预测还需要进行与编码器端完全相同的去块 滤波操作，形成重建的参考帧，在完成所有宏块的解码后，就得到相应的解码重 建帧，输出解码视频序列。 图2 3s i 弘m 视频芯片解码算法流程 2 3 面向视频通讯平台的网络摄像机 该项目启动时并没有预定基于何款网络摄像机进行研发，t s 摄像机是由 该项目合作单位深圳融创公司提供，t m e s 摄像机具有音视频编码器功能，但不 具备基于标准协议的传输数据流的功能，并且在视频编码方面也存在问题，技术 并不成熟。视频通讯平台研发首先要解决的问题是网络摄像机的选择。 2 3 1 网络摄像机的选择 网络摄像机( i pc a i n e r a ) 是视频监控领域广泛采用的设备，通过摄像头采集模 拟信号数据并且编码成数字信号，将编码后的码流【3 8 】通过i p 网络发送出去。在 网络摄像机的选择上遇到以下几个难题： ( 1 ) 数字电视机项盒视频通讯是一个新的应用领域，目前没有针对该领域的 成熟视频摄像产品。 ( 2 ) 目前的网络摄像机都是针对视频监控领域的设备，作为音视频数据流及 各种服务的提供者，是监控系统中的服务器端设备，除了将编码后的视频通过i p 网络发送出去的功能外，还具有视频监控管理、录像回放、视频服务器等功能， 1 6 数字终端视频通讯平台研究与应用 第2 章视频通讯平台系统架构设计 t m e s 网络摄像机采用h 2 “编码格式，作为新的视频编解码标准h 2 6 4 与 以前的标准有很大的改进，基于h 2 6 4 标准的编码器是网络摄像机系统的核心， 很大程度上决定了整个系统的性能。 n e s 网络摄像机编码芯片是基于x 2 “开源软件基础上研发的高性能编码 器【4 0 1 ，其中融入中山大学计算机应用所客座教授钟似玢老师等人改进的视频压缩 算法。) 【2 6 4 是迄今用于h 2 “编码的最先进也最实用的开源代码自由软件库， 从2 0 0 3 年诞生至2 0 0 6 年1 0 月1 日己推出了5 7 8 个改进版本，并且仍在不断更 新与完善中。) 【2 6 4 为h 2 6 4 的快速发展和广泛应用提供良好的基础。 t m e s 编码器算法仍然是通过运动估计运动补偿的帧间预测来消除时间冗 余【4 1 1 ，通过d c t 变换消除空间冗余，通过熵编码消除统计冗余。基本功能模块 包括：预测、变换、量化、熵编码。图2 5 为t m e s 视频编码器编码框架图： 图2 5 视频编码芯片编码框架 n 江e s 网络摄像机视频通讯的各类具体功能如表2 2 所示： 表2 2 视频通讯系统参数需求 技术类技术方案相关说明 视频采集模拟信号摄像头支持标清数字模式 视频压缩 h 2 6 4 编解码器选择和优化，已烧制到网络摄像机 语音处理g 7 2 6编解码器选择和优化，已烧制到网络摄像机 网络传输 r t p l u p r 髑p第三章阐述实现过程，将烧制到网络摄像机 2 4 基于数字家庭的视频通讯系统架构 本项目启动时的已有基础是x t o n e 机顶盒，以及t 砸s 摄像机。数字终端视 频通讯平台的目标是两个终端用户可以通过数字电视机项盒及网络摄像机实现 1 3 数字终端视频通讯平台研究与应用第2 章视频通讯平台系统架构设计 视频通讯系统的实现可以分为三个主要模块：音视频服务端模块、流媒体传 输模块和客户端播放模块f 4 2 1 ，其功能模块结构图如图2 7 所示： 服务器端客户端 峋t 磊i 盘拙蜘j i 希n ：结 视频解压 倪捌瑚犹广 优揪臆孺 r t p ：r t c p 同步处理 音频捕获h 音频压缩 流媒体 j喜插妞瞳l j 传输模块 1 9 ”“ 本地音视频文件 r t s p j 1 什俩百恍然x 什 图2 7 视频通讯系统模块图 整个系统分为硬件层、系统软件层、和应用软件层。硬件平台采用t 砸s 网络摄像机和x t o n e 机顶盒。系统软件采用u c l 姗u ) 【操作系统( 硬件层及系统 软件层在2 1 和2 2 小节中已阐述) 。t s 即为上图中的服务端，机顶盒是上图 中的客户端。应用层软件将在第四章中阐述。 2 4 3 跨局域网视频通讯平台系统架构 上述的系统架构设计可以实现局域网内高质量的视频通讯平台，本项目在实 现上述系统架构后继续跨局域网的视频通讯平台的设计及开发。该平台的系统架 构设计如图2 8 所示，增加公网服务器，公网服务器采用电信运营商普遍商用的 视频服务器h e l i ) 【( 或者w i n d o ws e r v i c e 均可以) ，h e x 是l i n l 操作系统中普 遍使用的视频服务器，w i n d o ws e r v i c e 是w i n d o w s 操作系统中普遍使用的视频服 务器，目前国内电信、网通等公司均使用这两类视频服务器，这两类视频服务器 对于本系统是透明的，接口一致，下文如果涉及视频服务器均以h e l i ) 【为例进行 阐述。 跨局域网视频通讯系统设计方案如图2 8 所示。摄像头将捕获的音视频模拟 信号传入到编码器，编码器基于h 2 6 4 标准以硬件编码的方式将模拟信号编码成 h 2 6 4 标准码流，与局域网内系统不同，网络摄像机通过h t t p 推模式【4 3 1 将音视 频数据主动推到公网服务器( h 牡p 推模式由该项目中另一位的成员魏伟军同学完 成，h 呻推模式具体实现不作为本论文重点，其原理和实现过程可参考引用文献 2 0 数字终端视频通讯平台研究与应用第2 章视频通讯平台系统架构设计 4 3 ) ，公网服务器通过r t s p 传输协议在i p 网络进行发布h 5 1 。另一端，机顶盒通 过r t s p 传输协议与网络摄像机建立流媒体数据连接，并将接收的音视频码流进 行解码播放。从而实现跨局域网视频通讯功能。 坤_ “急一馘一横囊咿一 二蓬，遗一再 7 图2 8 不同局域网之间点到点视频通讯架构图 跨局域视频通讯平台已研发完成，具有如下特点： ( 1 ) 识别通信双方是否在同一局域网内，当通信双方在同一局域网内时，采 用上述系统架构进行高质量视频通讯。 ( 2 ) 不同局域网之间通过公网的视频服务器进行视频通讯。 ( 3 ) 数字电视机顶盒可以和p c 机进行视频通讯。实现电视、电脑的跨网络 通信。 ( 4 ) 公网视频服务器采用通信运营商普遍使用的h e l i x 或者w i r l d o ws e r v i c e ， 便于本项目产品的商业推广运营。 ( 5 ) 服务器具有p 2 p 传输功能( 中大另一研发团队完成) 。 ( 6 ) 服务器可以扩展路由和用户帐户管理等功能。 跨局域网视频通讯系统架构中已包括局域网内视频通讯模式，两者不同之处 在于增加了视频服务器，对于视频通讯终端的x t o n e 机项盒软件系统，在跨局域 网视频通讯系统和局域网内视频通讯系统的情况中是一致的，本文将以局域网 内视频通讯平台系统架构阐述该项目的关键技术。 2 5 本章小结 在视频通讯项目的具体实施过程中，好的软件架构设计是整个系统性能表现 2 l 数字终端视频通讯平台研究与应用第3 章音视频实时流式传输研究与实现 第3 章音视频实时流式传输的研究与实现 网络摄像机编码功能由硬件芯片实现，输出h 2 6 4 码流，机顶盒解码由解码 芯片实现，因此本项目的关键是研究网络编解码芯片接口，实现机顶盒的音视频 编码芯片的应用层开发，并且基于标准的流式传输协议进行传输来实现视频通 讯，本章将详细阐述视频通讯平台中的流式传输遇到的问题及传输策略。 由于流媒体数据流传输的大信息量和有限的传输带宽，使得音视频的压缩编 码、传输信道和网络协议的选择实现成为了基于网络的流媒体数据流传输应用中 的关键技术。本章就视频通讯系统的开发要求，流式传输方案可采用r 1 p 来传 输实时媒体数据，并通过r t c p 来传输控制信息，同时使用r t s p 协议实现数据 控制功能，本章将针对r t p r t c p r t s p 技术做传输策略分析和设计。 在本章所涉及的音视频数据流式传输的研发过程中主要遇到下述问题： ( 1 ) 由于本项目所使用的t s 网络摄像机并不支持标准的传输协议。需要 将视频编码器编码后的h 2 6 4 码流以标准的传输协议进行传输。 ( 2 ) 确定采用的传输协议类型及传输策略，本项目采用目前在流媒体领域广 泛应用的r t s p i 盯m 盯c p ，本章将会进一步阐述选择i 玎s p i 玎p i 玎c p 协议进 行视频通讯的原因及具体传输策略。 ( 3 ) x t o n e 机顶盒的s i g m a 解码芯片称支持r t s p 协议，提供i 玎s p 的a p i ， 需要基于r t s p 的a p i 二次开发应用层，才能实现机顶盒上的r t s p 流式播放， r t s p 底层功能由芯片硬件实现，无法查看r t s p 底层具体实现过程及源码。但 在项目研发过程中，基于s i g i m 公司提供的i 玎s p 接口a p i 开发出i 汀s p 流式播 放应用层程序，不能播放网络摄像机基于标准i 玎s p 协议发布的视频流，同样也 不能播放一些开源软件发布的i 盯s p 视频节目，经过捕获网络传输信息分析，机 顶盒的客户端r t s p 播放应用程序在和r t s p 视频流服务端建立连接过程中失 败，这个问题一度成为该项目中最难解决的难点。在一次偶然的测试中，用该应 用层程序播放可以成功播放中国网通3 g 项目中公布的r t s p 视频流，经详细分 析，中国网通所采用的并不是标准的r t s p 协议，而是微软公司提出的i 玎s p 协 议，s i g n l a 解码芯片底层支持的是微软的r t s p ，而不是标准i 玎s p 协议，因而， 在机顶盒上实现自适合i 玎s p 协议传输策略成为项目的关键。本章将详细阐述网 数字终端视频通讯平台研究与应用第3 章音视频实时流式传输研究与实现 络摄像机r t s p 服务端传输策略并分析比较标准r t s p 与机顶盒芯片支持的微软 r t s p 传输协议，同时将阐述改进的机顶盒i 玎s p 客户端自适合传输机制。 3 1 视频通讯实时流式传输策略 本小节阐述视频通讯平台流式传输协议传输策略的选择，并分析标准r t s p 传输协议机制，合适的传输策略是视频通讯重量的保证，也有利于项目的扩展性， 基于标准传输协议进行视频通讯可以使x t o 舱机顶盒可以兼容更多的视频接入 设备和通信系统。 3 1 1 流式传输协议的选择 本项目研发过程中，选择的流式传输协议是r t s m 盯p r t c p 协议，原因有 以下几点： ( 1 ) i 盯s p 协议是目前流媒体传输广泛采用的传输协议，l 玎s p 具有良好的扩 展性、双向请求通信等优点，在p c 环境下的直播系统也大多采用r t s p 协议进 行数据传输，i 玎s p 协议适合本项目的具体需要。 ( 2 ) x t o m 机顶盒解码芯片支持i 玎s p 协议( 后来的研发过程中发现并不支持 标准r t s p 协议，支持的是微软的r t s p 协议) ，网络摄像机和机顶盒可以基于 i 汀s p 协议进行视频数据流式传输。 ( 3 ) 中大讯通公司同一时期还要完成中国网通视频点播平台的研发工作，该 视频点播平台基于r t s p 协议，因此，在机顶盒上进行i 玎s p 的应用层开发，实 现i 玎s p 功能是项目必须要完成的功能模块。视频通讯平台采用r t s p 协议可以 充分利用硬件平台芯片功能，也对视频点播平台的研发起要很大的帮助作用。 在本项目开发过程中发现机顶盒底层芯片并不支持标准r t s p 协议，只支持 微软r t s p 协议，因此系统的流式传输协议设计如图3 1 所示，原因所下： ( 1 ) 不同运营商采用的媒体服务器不同，x t o n e 机顶盒需要支持标准和微软 的i 盯s p 协议以适应不用媒体服务器【4 6 】的需求。 ( 2 ) 网络摄像机只能采用标准i 玎s p 协议。微软r t s p 协议有专利保护，不 公开协议细节，至今没有一个基于微软r t s p 的开源代码，微软公司只提供封装 的s d k 供开发者使用，而且该s d k 只能运行在微软的服务器版操作系统( 如 晡n d o w ss e r v e r2 0 0 3 ) 中，这也是至今没有一个支持微软r t s p 协议的嵌入式媒 2 4 数字终端视频通讯平台研究与应用第3 章音视频实时流式传输研究与实现 体服务器原因。而本项目中将要在网络摄像机的嵌入式环境中实现r t s p 服务端， 因而选用标准r t s p 做为服务端传输协议。 网络摄像机 ( 视频通讯) 视频服务器i ( v o d 等业务) 视频服务器 ( v o d 等业务) 标准r t s p 协议 制) 图3 1 系统r t s p 协议设计示恿图 r t s p 模块是网络摄像机接收和响应客户端命令的前端模块【4 7 1 ，它对请求的 响应速度是影响服务质量的重要因素，并且管理和控制r t p r t c p 协议进行网络 传输。l 玎s p 协议的功能都会安排在一个单独的线程之中实现。实时流协议 i 汀s p ( i 沁a l t i m es t r e a m i l l gp r o t o c 0 1 ) 最早是由i k a n e t 、o r k 公司、n e t s c 印e 公司和 c o l u m b i a 大学等联合提出的i n t e m e t 草案，r t s p 协议用于建立并控制一个或几 个时间同步的连续视频、音频流的连接【4 引。r t s p 连接不会有绑定到t c p 连接等 传输层连接。在r t s p 连接期间，r t s p 用户可打开或关闭多个对服务器的可靠 传输连接以发出r t s p 请求。此外，也可使用无连接传输协议，如u d p 协议， i 盯s p 控制的视频流用r t p 作为传输协议( r 曙传输将在接下的小节中阐述) ， 但r t s p 操作并不依赖用于携带连续媒体的传输机制。 在本系统中，r t s p 建立并控制一个或多个时间同步的连续流媒体，如音频 和视频。尽管连续媒体流与控制流交叉是可能的，r t s p 本身并不发送连续流。 换言之，i 汀s p 充当多媒体服务器的网络远程控制。r t s p 提供了一个可扩展框 架，实现实时数据( 如音频与视频) 的受控【4 9 1 、按需传送。数据源包括实况数据 与存储的剪辑。r t s p 用于控制多个数据发送会话，提供了选择发送通道( 如u d p 、 数字终端视频通讯平台研究与应用 第3 章音视频实时流式传输研究与实现 组播u d p 与t c p 等) 的方式，并提供了选择基于i 盯p 的发送机制的方法。 r t s p 会话不会绑定到传输层连接【5 0 】，如t c p ，在i 汀s p 会话期间，i 玎s p 客户端可打开或关闭多个对服务器的可靠传输连接以发出r t s p 请求。i 汀s p 控 制的流可能用到i 玎p ，它可以响应i p 机顶盒客户端的操作，如播放、暂停、快 进、快退和定位，同时将该参数控制传输给本地r t p 处理发送，但l 盯s p 操作并 不依赖用于传输连续媒体的传输机制。 3 1 2r t s p 请求和响应消息 在视频通讯平台项目中，机顶盒是i 汀s p 的客户端，网络摄像机是r t s p 服 务端，由机顶盒客户端向服务端发送请问，网络摄像机服务端回复响应消息。3 1 小节阐述标准r t s p 协议的请求命令、状态机及传输响应模式，3 2 小节再详细 分析机项盒芯片支持的i h s p 协议与标准r t s p 协议差异性。 ( 1 ) 请求消息 请求消息用于发出请求，请求消息由请求行、标题行中的各种标题域和实体 组成。其消息格式川如图3 2 所示： 瑷 ：5 h 习 ： g pr t s p ：， ( u r l ) s p v e r s i o n e r v 啦u e c r l f 小h e “，& l d n 姗e | ，： 标题行 l f1 ，爹： ：1 m u e )c r 磊- ，。a，。 主体实体 二i 。 一。一一一! 一 _ 1 请求行 图3 2r t s p 请求消息格式 图中的s p 、c r 和i f 分别代表空格，回车和换行字符。统一资源地址 叩 ( s t 刚 n sc o d e s p 。l 标题行 鼢戳 。 j“ l c rh i 主体实体 幺 琵巍并：。= i ，1 。二 7 z j i 。? 一。j 锻撼毫 i j j ，一i 。”。黝 i - 1 状态行 图3 3r t s p 消息响应格式 从图中可见，除了状态行之外，响应消息的格式与请求消息的格式相同。状 态行的状态码 和短语 组合起来表示客户请求所获得的结 果。实体主体包含有请求消息要获得的额外信息。 ( 3 ) i 玎s p 命令 r t s p 命令用于客户端请求服务器或者服务器请求客户端执行特定的操作， 如下表所示。方向中的c s 代表客户端发送命令到服务器端，s c 代表服务器 端发送命令到客户端，其命令表如表3 1 所示： 表3 1r t s p 命令表 命令模式要求含义 d e s c r i b ec s 推荐从请求的l 丌u 中检索媒体对象的描述信息 c - s 可选 用于获取u r l 中媒体描述信息或用于测试客 g e tp i a ra m e t e r s c 户端和服务器的连接状况 c - s o p t i o n s必须 用于测试服务器实现了哪些功能 s c p l a u s ec 一 s 推荐引起流发送的临时终端 请求服务器开始以s e t l p 方法协商的机制发 p l a yc s 必须 送数据 r e c o r dc s可选该方法根据媒体描述初始化数据记录范围 服务器通知客户端重定向到另一个服务器地 r e d i i 迮c ts c可选 址 s e l u p c 一 s 必须用于决定客户端请求u i 也资源的传输机制 s e tp a r a m t e r c s 可选用于设置请求的l u 中的描述或流参数值 s c t e a r d o r l 、lc s 必须客户端请求服务器端停止给定u l 也发送流 3 1 3r t s p 状态机 r t s p 状态机描述了从r t s p 会话初始化开始到会话终止的过程吲中协议的 行为变化情况。o p t i o n s 等一些方法对状态没有影响，所以在这里不讨论它们。 2 7 数字终端视频通讯平台研究与应用第3 章音视频实时流式传输研究与实现 表3 3 服务器状态机 状态进入状态条件 i n i t 服务器启动后，并且没有收到任何s e n j p 请求的时候 上一次s e n j p 请求是成功的并且应答已发出：播放结束 r e a d y 上一次p a u s e 请求是成功的并且应答己发出 p l a y i n g 上一次p i ，a y 请求成功，应答己发出并且媒体数据也己正在传送 r e c o r d i n g 服务器正在记录媒体数据 图3 5 表示服务器接收到客户端的命令请求，发送成功应答( 2 ) c 固后状态转 换的逻辑。如果请求结果的状态码是3 默，则服务器进入i 血状态。如果是4 殛 则不改变服务器的状态。可以发现，服务器和客户端的状态转换逻辑是一致的。 t s唧s咖p 图3 5r t s p 服务端状态机 如果服务器正在发送一个视频通讯连接，并且这时服务器处于p k l y i i l g 或 r e c o r d i n g 状态，那么在规定的时间间隔内( 该间隔缺省值是1 分钟，服务器可 以在应答头中指明具体的时间间隔值) 没有收到客户的信息( 这些信息可以是 l 玎c p 报文或i 盯s p 请求) ，则服务器可以恢复到i 血状态并关闭r t s p 会话。 如果服务器处于r e a d y 状态并且超过1 分钟还没有收到一个r t s p 请求，则 服务器可以恢复到i 血状态。注意一些特别的请求( 例如p a u s e ) 的结果在将来的 时间才可能生效，并且服务器的状态也要在合适的时候改变。当用户请求的节目 结束时，服务器要从p l a y i i l g 或r e c o r d i i l g 状态恢复到r e a d y 状态。与客户端一 样，如果没有要求在直播上需要发送s e t u p 请求，则服务器可以从r e a d y 状态 数字终端视频通讯平台研究与应用第3 章音视频实时流式传输研究与实现 需要基于r t s p 的a p i 二次开发应用层，才能实现机顶盒上的r t s p 流式播放， i 盯s p 底层功能由芯片硬件实现，无法查看。在项目研发过程中，基于s 远m 公 司提供的r t s p 接口a p i 开发出r t s p 流式播放应用层程序，不能播放网络摄像 机基于标准i 江s p 协议发布的视频流，同样也不能播放一些开源软件发布的r t s p 视频节目，经过捕获网络传输信息分析，机顶盒的客户端r t s p 播放应用程序不 能和r t s p 视频流服务端成功建立连接，这个问题一度成为该项目中最难解决的 难点。在一次偶然的测试中，机顶盒可以成功播放中国网通3 g 项目中公布的 i 玎s p 视频流，经详细分析，中国网通视频服务器所采用的是微软公司提出的 i 江s p 协议，s 逸m a 解码芯片底层硬件支持的是微软的r t s p ，而不是标准r t s p