(计算机系统结构专业论文)支持立体终端的ipv6播放系统.pdf_第1页
(计算机系统结构专业论文)支持立体终端的ipv6播放系统.pdf_第2页
(计算机系统结构专业论文)支持立体终端的ipv6播放系统.pdf_第3页
(计算机系统结构专业论文)支持立体终端的ipv6播放系统.pdf_第4页
(计算机系统结构专业论文)支持立体终端的ipv6播放系统.pdf_第5页
已阅读5页,还剩43页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

摘要 随着互联网及网络技术的不断发展,流媒体播放成为热点。大众对媒体真实 性的需求不断提高的同时,立体视觉的关键技术已经成熟,这给支持立体视觉终 端的播放系统的基础研究与应用研究带来了历史性的机遇。本文提出了支持立体 终端的i p v 6 播放系统的开发架构与实现原理,旨在通过此开发对i p v 6 网络环境 下流媒体应用的开发总结经验,为未来的产业化做好准备。 为了实现立体视觉的高效传播,本文首先对立体视觉播放系统的设计方案及 技术架构进行了分析,考察了立体视觉的原理与实现条件;并提出了在i p v 6 网 络上,借助i p v 6 网络q o s 及地址自动配置的新特性,使用应用层组播实现本播 放系统的方案。在开发过程中,设计了视频流化、差错控制等算法,并进行了针 对多线程与定时器的程序设计。本文对系统关键部件的设计细节做了详细阐述。 最后,通过对该系统设计方案的实现,达到了在i p v 6 网络上高效地传输立 体视频的目的。在具有代表性和针对性的拓扑结构下进行的试验与测试,验证了 系统的稳定性及正确性,充分说明该系统的设计的合理性。同时也发现了系统中 的问题,为系统的完善及产业化提供了重要的参考资料。 关键词:立体视觉组播i p v 6q o s 视频流化多线程 a b s t r a c t w i t ht h ed e v e l o p m e n to fi n t e m e tt e c h n o l o g y , t r a n s m i t t i n gs t r e a mm e d i ao v e r i n t e m e th a sb e e nah o t s p o t w i t ht h ep o p u l a r i z a t i o np r o c e s so fm e d i as e r v i c eo v e r i n t e m e t ,t r a d i t i o n a lf l a tv i s i o nv i d e op r o g r a mc a nn o ts a t i s f yc o n s u m e r s d e m a n do f r e a l i t y m e a n w h i l e ,t h ek e yt e c h n o l o g yo fs t e r e o s c o p i cv i s i o nh a sb e e nm a t u r et o s o m ee x t e n t b o t ho ft h e s eb r i n gt h eb a s i cr e s e a r c ha n di n d u s t r i a l i z a t i o no fp l a y e r s y s t e mw h i c hs u p p o r t ss t e r e o s c o p i cv i s i o nah i s t o r i co p p o r t u n i t y b a s e o nt h ei d e a b e f o r e ,t h i sp a p e rp u t sf o r w a r dad e v e l o p m e n tf r a m e w o r ka n dc o n c r e t er e a l i z a t i o n p r i n c i p l eo fl p v 6p l a y e rs y s t e mw h i c hs u p p o r t ss t e r e o s c o p i ct e r m i n a l t ot r a n s m i ts t e r e o s c o p i cv i s i o ne f f e c t i v e l y , t h i sp a p e ri n t r o d u c e ss t e r e o s c o p i c v i s i o n sd e s i g na n dt e c h n i q u ea r c h i t e c t u r e t h e nr a i s e sa ni m p l e m e n t a t i o np l a nw h i c h b a s e so nt h ei p v 6n e t w o r k sn e wc h a r a c t e r i s t i c sl i k eq o ss u p p o r ta n da d d r e s s a u t o m a t i cc o n f i g u r a t i o n d u r i n gt h ed e v e l o p m e n t ,w ed e s i g ns o m ea l g o r i t h m sl i k e v i d e os t r e a m i n ga n de r r o rc o n t r o l ,m u l t i t h r e a da n dt i m e r t h i sp a p e rp r e s e n t st h e d e t a i l so ft h ei m p l e m e n t a t i o no fc l i e n ta n ds e r v e r sk e yp a r t s a tt h ee n d ,t h ei m p l e m e n t a t i o no ft h ep l a no ft h i ss y s t e ma c h i e v e st h eg o a lo f e f f e c t i v e s t e r e o s c o p i c v i s i o n st r a n s m i s s i o n t h e e x p e r i m e n t a t i o n o v e r r e p r e s e n t a t i o n a lt o p o l o g yv a l i d a t e st h es t a b i l i t ya n dt h ec o r r e c t n e s so f t h i ss y s t e m ,a n d i l l u m i n a t e st h er a t i o n a l i t yo fo u rd e s i g n a tt h es a m et i m e ,t h ep r o b l e mf o u n dp a v e s t h ew a yo fi n d u s t r i a l i z a t i o n k e yw o r d s :s t e r e o s c o p i cv i s i o n ,m u l t i c a s t ,i p v 6 ,q o s ,v i d e os t r e a m i n g , m u l t i t h r e a d 独创性声明 本人声明所呈交的学位论文是本人在导师指导下进行的研究工作和取得的 研究成果,除了文中特别加以标注和致谢之处外,论文中不包含其他人已经发表 或撰写过的研究成果,也不包含为获得叁鲞苤堂或其他教育机构的学位或证 书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中 作了明确的说明并表示了谢意。 学位论文作者签名 签字日期: 2 刁年。6 月,乒曰 学位论文版权使用授权书 本学位论文作者完全了解墨盎盘堂有关保留、使用学位论文的规定。 特授权基鲞苤堂可以将学位论文的全部或部分内容编入有关数据库进行检 索,并采用影印、缩印或扫描等复制手段保存、汇编以供查阅和借阅。同意学校 向国家有关部门或机构送交论文的复印件和磁盘。 ( 保密的学位论文在解密后适用本授权说明) 学位论文作者签名:导师签名:企幺闻0 签字日期:a 刁年。6 月f 乒日 签字日期:叼年 6 月节日 第一章绪论 1 1 选题选择的背景 第一章绪论 随着互联网、信息技术和网络技术的不断发展,人们获取信息的途径逐渐从 传统的信息媒体( 如报纸、电视等) 转移到新兴的数字媒体上( 如网站、网络电 视等) ,特别是个人电脑的逐渐普及、网络覆盖范围不断扩大、带宽不断提高, 为网络多媒体技术的发展和应用提供了良好的环境。 传统的网络多媒体应用需要对多媒体信息先下载后播放,一般来说,多媒体 节目数据量十分巨大,用户下载多媒体节目不仅需要大量的磁盘空间,而且需要 花费大量的时问。流媒体( s t r e a m i n gm e d i a ) 技术应运而生,改变了这种传统应 用模式,它的出现使得在窄带互联网中传播多媒体信息成为可能。 流媒体是指在i n t e m e t i n t r a n e t 上使用流式传输技术的多媒体。其原理是把连 续的音频和视频数据经过压缩编码后放到专用的流服务器上,用户可以通过网络 一边下载一边观看多媒体节目,而无需下载完整文件的即时播放技术。使用流媒 体技术,用户只需经过短暂的缓冲过程即可播放节目,在观看节目的同时完成后 续节目数据的不断传输,保证了节目播放的及时和流畅。 支持立体电视的i p v 6 播放系统的研究工作主要基于课题组项目( 国家发改委 c n g i 计划i p v 6 自由立体电视终端研究) 【l 】,该项目是要设计可网管的i p v 6 终端,并且在i p v 6 网络中传输高带宽消耗的多视点立体电视节目,对i p v 6 网络 的性能参数做出测评,建立立体电视节目分发服务器和管理平台;希望通过有效 的方式将立体电视节目通过i p t v 地方式传送给广大用户【2 】,更快更广泛地转播立 体电视视频节目。目前广播电视节目只能做到广播的模式,不能提供用户点播等 高级服务模式。虽然当前互联网中的网络应用程序可以很好的满足用户点播等高 级服务的需求,但还不能很好的保证服务质量【3 】。为了让广大用户能点播并观看 到高质量的视频节目,该项目试图通过计算机网络来传输电视节目,同时对网络 中传输的电视节目也提出了更高的要求,即对立体电视节目进行传输。立体电视 节目是对被拍摄的物体,同时采用数个摄像机在不同角度进行拍摄,通过同步机 制传输到特定的视频合成系统中进行影像的合成,再制作成高质量的编码通过计 算机网络传输到普通用户的有线电视上,或者个人计算机上。该项目旨在寻求一 种方法更好地对立体电视节目在网络上进行转播。 i p v 6 将是计算机下一代数据网络的主要协议,考虑到当今i p v 4 网络的诸多 第一章绪论 致命不足,i p v 6 具有相当多的优点:大大增加了网络地址空间的大小,为下一 代网络提供了足够的地址空间;在服务质量上,它能提供不同水平的服务,提供 一系列有助于改进服务质量的机制,用以防止服务中断以及提高网络性能;i p v 6 对数据报头作了简化,以减少处理器开销并节省网络带宽;在安全方面,它具有 内置的安全性,支持由两种不同类型的扩展头及一个用于处理安全设置的协议组 成的i p s e c ,通过认证机制使数据通信的接收方能够确认数据发送方的真实身份 以及数据在传输过程中是否遭到改动。通过加密机制通过对数据进行编码来保证 数据的机密性,以防数据在传输过程中被他人截获而失密。基于以上因素,项目 考虑在i p v 6 网络环境中对视频节目进行传输。 传统的网络流媒体播放系统一般基于c s 模式。但是,由于流媒体播放需要 消耗大量的网络带宽和服务器资源,因此,这种模式严重限制了网络流媒体业务 的发展。以一个占用带宽为3 0 0 k b p s 的网络视频流为例,当有10 0 0 个用户同时 观看时,需要的带宽是3 0 0 m b p s 。这样的性能要求对于大多数服务器来说是满足 不了的。如果要支持几万甚至几十万的用户,采用这种c s 模式几乎是不可能 的。当然,增加服务器数量和提高带宽是一个解决方式,但是这种方式需要巨大 的成本开支,所以我们需要通过新的技术手段解决这个问题。 组播是解决网络流媒体多路传输消耗大量带宽的一种技术。利用组播,可以 将一份数据同时发送给一组特定的用户,从而避免了数据的重复发送,不会造成 网络带宽的浪费,非常适合网络流媒体传输。i p v 6 自由立体电视终端研究项目 使用应用层组播技术( a p p l i c a t i o nl a y e rm u l t i c a s t ) 对视频节目进行传输【4 j 。应 用层组播技术面对网络层组播业务在因特网中的困境,提出将复杂的组播功能放 在终端系统进行实现,将组播作为一种叠加的业务,实现为应用层的服务。端系 统实现组播功能在一定程序上可以避开网络层实现组播功能的许多难题。应用层 组播的状态在主机系统中维护,不需要路由器保持组的状态,解决了业务的扩展 性问题。组播应用可以随时部署,不需要网络设备的升级和功能扩展,同时还可 以简化组播的控制,利用t c p 的可靠和拥塞控制简化组播的可靠和拥塞控制。但 是应用层组播同时也存在许多局限性。端系统对i p 网络的了解有限,节点参与组 网时,只能通过探测获得一些网络性能参数,选取的逻辑链路难以优化;主机不 了解i p 网络的拓扑结构,只能通过带宽和时延等外在的特性参数,以启发式的方 式建立叠加网,逻辑链路不能较好地利用质量较好的底层网络资源,叠加网的多 条链路可能经过同一条物理链路。 另外,随着显示技术的日益发展,传统的二维效果的电视节目已不能满足人 们对媒体真实感的要求,自由立体图像是一种全新的业务模式,不需要佩戴眼镜, 可以使观众充分体会到立体显示带来的冲击感和震撼感。立体视觉终端成为当今 2 第一章绪论 的热点领域,从立体效果的产生到立体终端的产业化都有了前所未有的发展。在 2 0 0 8 年奥运会的背景下,本课题旨在设计并研究支持立体终端的i p v 6 组播系统, 为在下一代i p v 6 网络上立体电视的产业化做出初步的尝试。 1 2 国内外发展状况 到目前为止,网络播放系统已经得到了前所未有的发展,r e a l n e t w o r k s 、 m i c r o s o r 、a p p l e 等国际软件公司均在此领域有所涉及,并且有着已经相对成熟 的产品,像:国内公司在流媒体领域虽然起步较晚,但是目前也有很多专业公司 开发了自己的流媒体产品。如世纪葵花公司的k m s 系统,v i e w g o o d 公司的 w e b m e d i a 流媒体服务平台,邦丰公司的确然视频服务系统等。这些产品在流媒 体硬件和软件技术方面各取得了一定的成就,在编码技术、流传输协议、流服务 器技术、流媒体应用解决方案等领域有所创新和突破。 但是这些产品大多不开放源代码,并且对i p v 6 及其所支持的q o s 的控制性 较差,不能自由地对其进行控制;还没有成熟的使用应用层组播为数据分发方案 的网络播放产品;另外,还没有专门针对立体视觉终端特性,使用特殊编解码的 产品。 在立体视觉方面,立体成像终端包括需要配戴眼镜和不需要配戴眼镜两种类 型,后者也被称为基于自由立体成像技术的显示终端。目前,自由立体图像显示 技术有多种,如利用柱镜板显示的自由立体图像显示技术、利用双层光栅显示的 自由立体图像显示技术、利用变焦镜显示的自由立体显示技术、利用自准直屏幕 显示的投影式自由立体显示技术;利用激光全息的显示技术,它通过彩虹全息图 实现白光再现的立体图像,也是一种自由立体图像显示技术。据不完全的统计, 在世界范同内近5 0 年来,先后出现了百种以上的自由立体图像显示技术,这些 技术力图解决的问题有两个:一是如何使观看立体图像的人更方便,这就需要摘 掉眼镜;二是如何让观看立体图像的人看到更好的立体效果,这就需要形成多重 立体像对,以使观察者像观察全息图像那样,看到物体的不同侧面,即增加水平 视差和垂直视差。 目前在国内外尚未听说有人开展基于i p v 6 的自由立体成像终端研究,其中 一个原因是i p v 6 目前仍然在试验阶段,大家所关心的问题主要在于如何利用 i p v 6 解决i p v 4 地址空间不足、提高保密性和宽带数据传输上。至于如何利用i p v 6 解决立体图像传输的有关问题,很少或还没有人去涉及;另一个原因是,自由立 体成像技术本身一直存在难以攻克的技术障碍,这包括一整套尚未解决的自由立 体图像的产生和编辑技术、自由立体图像的编码、压缩、解压和解码技术、自由 第一章绪论 立体图像的显示技术以及如何在互联网上流畅地传输大容量的自由立体图像。 针对目前国内外在立体视觉网络播放器的发展状况,本课题组项目( 国家发 改委c n g i 计划i p v 6 自由立体电视终端研究) 新颖性强,特色鲜明,具有较 大的研究价值。 1 3 研究目的和意义 随着互联网的迅速发展,利用互联网实现视频数据传输已经成为现实,甚至 可能发展成为一个巨大的产业,许多科研单位和商家正在积极地推进利用互联网 传输双目立体图像。这是因为立体图像在科研、教学、娱乐、军事、测量、医疗 等领域有着不可限量的广泛应用前景,其产业化和市场化的前景是巨大而诱人 的。 在这样的情况下,抓住机遇,开展基于i p v 6 的自由立体显示终端的研究和 产业化工作,对于发展我国的新一代互联网产业、创造具有我国自主知识产权的 自由立体显示终端产业、促进该技术在科研、教学、军事、医疗、测量、文化等 多领域的应用,具有十分重要的战略意义。 本课题组项目提出了一种全新的业务模式,不仅可以作为中国下一代互联网 示范工程c n g i 的业务应用和示范系统,还能为运营商提供新的业务增长点,形 成一个市场巨大的产业和相关的系列产品。 我国将于2 0 0 8 年举办奥运会,并提出了科技奥运的计划。如果在奥运会期 间,实现了利用i p v 6 网络实时传输自由立体图像来再现奥运会的比赛场面,无 疑是对奥运会的一大贡献。在人类的奥运传媒发展史上,会第一次出现用互联网 传输的自由立体奥运比赛场景,社会效益非常显著。 本课题旨在对支持立体视觉的i p v 6 组播系统进行原型性的开发,确定此组 播系统中终端能力发现与自协商技术、多节目组播技术、网络对节目的“推送” 技术等技术框架,开发一种能在此基础上进行二次开发的系统原型,在真实i p v 6 网络进行实验,确定此播放系统所存在的问题并加以改进,考察结合i p v 6 的新 特性及应用层组播对立体电视的支持,为这一新型的播放系统的产业化做出尝 试。 4 第一章绪论 1 4 本论文的工作和结构安排 本文旨在设计并实现支持立体电视的i p v 6 组播系统,介绍此系统的架构、 关键技术及各方面的实现技术。 本文组织结构安排如下所示,全文共分五章,各章的主要内容概述如下: 第一章绪论,首先介绍了课题研究的背景,国内外i p t v 的发展状况,介 绍了本课题研究的目的和意义。 第二章介绍了i p v 6 网络下播放系统的相关技术,对立体视觉原理与条件进 行简单描述,指出实现立体视觉所要求播放系统的特点,及组播技术,提出了如 何把立体电视及组播进行结合的方法。 第三章提出了面向i p v 6 流媒体应用的网络播放系统设计方案,介绍了整个 系统的设计框架,并就系统中开发方面、i p v 6 网络方面及操作系统方面的关键 技术进行了详细阐述,最后给出了完整的系统实现效果。 第四章详细讲述了提出了面向网管及硬件无关性的设计思路,对未来系统 可以支持的功能进行了详细的阐述。 第五章就项目成果进行了介绍,并对项日成果进行了评价 第六章总结了本文所做工作,指出了其中的不足之处,并提出下一步要开 展的工作。 第二章立体播放系统设计方案 第二章立体播放系统设计方案 2 1 播放系统模型及系统设计 2 1 1 系统概述 系统设计方案的基本思想是每个用户根据其自身计算能力及网络状况在保 证其自身的数据质量的情况下,和系统其他成员进行通信并分享数据,每个系统 参与者既是流媒体数据的消费者同时又是数据的提供者。 设计该系统的目标是充分利用现有的计算资源和网络资源,降低服务器资源 和网络带宽的消耗,实现高扩展性和可靠性,提供高质量的网络流媒体播放。 系统模型设计 整个系统的网络模型如下图所示: 随镶秘 图2 - 1 系统模型图 6 第二章立体播放系统设计方案 2 1 2 系统工作流程 本播放系统的工作按照逻辑划分为:网络管理、网络状况探测及媒体数据的 分发控制。 用户管理包括:注册用户、建立连接、正常使用、断开连接、管理员维护。 网络状况探测:负责对网络带宽及延迟的判断,将测量到的信息写入l d a p 数据库,在客户端进行视频申请的时候,作为应用层组播算法判断其父节点的依 据。 媒体数据的分发与控制:负责在收集系统中各客户端的网络状况的基础上, 对每个用户在组播树中的位置进行判断,向客户端发送其父节点的信息,使其能 够正常地从其父节点获取媒体数据。在使用多播算法进行媒体数据的分发的同时 维护客户端的状态信息,对组播树进行更新与维护。 2 2 立体视觉原理与条件 2 2 1 立体视觉的实现原理 人类从各种各样的线索中获取三维信息,其中最重要的两种是双目视差 ( b i n o c u l a rp a r a l l a x ) 和运动视差( m o t i o np a r a l l a x ) 。双目视差始于c h a r l e s w h e a t s t o n e1 8 3 8 年的研究工作,指的是双眼看到同一物体的不同映像;运动视 差始于h e l m h o l t z1 8 6 6 年的研究工作,指的是头部运动时看到同一物体的不同映 像 5 】【6 1 。1 8 3 3 年,w h e a t s t o n e 用世界上第一台三维显示装置科学地验证了视差 ( p a r a l l a x ) 和立体感之间的联系。从此,研究者们就不断地致力于开发新的立 体图像技术。所谓的“视差创造立体 的原理,是指人的两只眼睛从不同的角度 观看世界,即左眼看到的物体与右眼看到的同一物体之间有细微的差别,两者平 均相差约6 5 c m l 5 1 ,因而描述场景轮廓的方式也不尽相同。大脑根据这两个有细 微差别的场景进行综合处理,产生精确的三维物体,以及该物体在场景中的定位, 这就是具有深度的立体感。立体成像系统的工作就是对每个场景至少产生两张图 像,一张代表左眼所看到的,另一张代表右眼所看到的,这两张图像称为立体图 像对( s t e r e op a i r ) ,见图2 2 。而立体显示系统必须使左眼只能看到左图像,右 眼只能看到右图像。 7 第一章立体捕放系统醴计方案 嘲2 - 2t 体图像对示意图 2 2 2 产生立体效果采用的技术 一、立体图像的牛成 我们介绍常见的三种获取立体图像的方法:用立体摄像机对拍摄立体图像、 用深度摄像机拍摄立体图像以及通过平面图像生成立体图像。 用立体摄像机对拍摄立体图像 使用立体摄像机对,分别拍摄独立的左、右视图以模拟人类双眼感知立体图 像的方式。立体摄像机对包括平行配置和会聚配置两种结构。 当平行配置立体摄像机对时:两部摄像机模拟人的取眼在水平方向分隔一 定的距离,这两部摄像机的变焦、会槊、及视频记录都严格地同步,并对所获取 的两路视频信号以某种方式进行记录。如图2 3 所示,两摄像机间的距离为b 焦距为 ,现实空问中的点w ( x ,y z ) ,与相机问的距离为z w ,点w 在两摄像机中 成像点的坐标分别为( x i , y 1 ) 和( x ,y ,) 。由于摄像机对是水平平行配置的,故 仅有水平方向的视差,没有垂直方向视差。水平视差,可以通过将相同w 点在芹、 右摄像机平面中映射的水平坐标x - 和x ,相减求得。 第二章立体播放系统设计方案 x 南b ,2x ;0x = b 2 图2 3 平行配置立体摄像机对结构 x b 2x 钟x = b 2 图2 4 会聚配置立体摄像机对结构 当会聚配置立体摄像机对时:两部摄像机的摄像机光轴相交于一个会聚点。 如图2 4 所示,一个现实世界点( x ,y z ) 在摄像机感应器上的投影要比平行配置 复杂些。当这对摄像机都处于一个平面上,且两个摄像机光轴都不平行于z 轴, 则这种情况下仅有水平视差存在。若两个摄像机既不平行于z 轴,又不处于同一 水平平面,则两个摄像机获得的图像既有水平视差,又有垂直视差。其可通过将 相同w 点在左、右摄像机平面中映射的x ,y 坐标,分别相减求得。 9 第亭立体播放系统设计方案 区域排列 、 。“圳“- 摄像# 会聚 。 图2 - 5 线性和区域摄像机排列 一个摄像机对可获得一个立体图像对,其产牛双视点的立体图像。如果将多 个摄像机对在同一平面内线性排列,则可产生同处一个平面的多个视点。如果将 多个摄像机在空间内以某种特定阵列方式排列,则可产牛空间上的多视点。如图 2 5 所示,其中,线性阵列的摄像机拍摄的多幅不同视点的图像仅携带水平视 差信息区域阵列的摄像机拍摄的多幅不同视点的图像同时携带水平和垂直视差 信息。阵列中的摄像机特性完全相同以相等的距离按照特定的形式排列,使 得摄像机的光轴相互平行或者会聚在一个公共点。 用深度摄像机拍摄立体图像 使用深度摄像机,拍摄具有深度映射图的二维视图是一种快速的获取立体图 像素材的方法。其将一个红外线激光雷达系统的扫描器集成在传统二维摄像机 中,该扫描器产生一面光墙( i i g h tw a l l ) ,通过物体对光的反射产生物体的印 记,以记录反映物体的深度信息。由这些来自该印记的物体深度信息可重建出 物体的深度映射图。该深度图实际上是一个二维函数,它以一个与图像相关的函 数形式,给出了相对于摄像机位置的二维视图上点的深度。深度立体摄像机产牛 出两个独立的码流一个是普通二维图像的码流,一个是物体深度映射图的码流。 这样的双层码流便于兼容普通二维的图像显示。该方法的缺陷是,物体表面光滑 程度易影响反射光束,且扫描器成本昂贵,不利广泛使用。 通过平面图像生成立体图像 随着计算机图形( c g ) 技术的发展可通过对现有的二维视频节目进行计 i 曩 , 雌 ; 第二章立体播放系统设计方案 算,得出深度信息,将其转化为三维图像节目。将现有的是二维视频节目转化为 立体节目,是对立体节目制作的一个有益补充。但该类立体成像系统设备复杂, 要求严格。 一般来讲,当一个摄像机相对静止物体平行运动,或者罔绕静止物体运动时, 可以从拍摄所得的平面图像中,得到物体的立体深度信息;另一种情况,当摄像 机静止不动,而物体相对于摄像机作简单线性运动时,也可以根据拍摄所得的平 面图像,获得物体的立体深度信息。文献【7 1 给出了一种可行的平面二维图像转换 为立体图像的方法。该方法对于符合一定条件的运动情况,可以从时间连续拍摄 所得的平面图像之间,获得立体深度信息,同时利用人的立体心理深度暗示,最 终实现由平面二维图像计算生成立体图像。 本播放系统采用方案 用立体摄像机对和用深度摄像机拍摄立体图像均需使用专用的拍摄设备,节 目立体效果好,但制作成本较高:通过平面图像生成立体图像是在现有二维节目 的基础上,通过计算机处理,进行节目制作,制作成本相对较低,但立体效果一 般。 综合项目的需求,我们选择通过平面图像生成立体图像的方案:由于立体图 像的生成与其压缩编码方案有一定的独立性,这种成本低效果稍差的方案可以在 目前的试验阶段临时使用,待本系统有了一定的产业化规模,可以灵活的转变为 使用立体摄像机对和用深度摄像机拍摄立体图像。 二、压缩编码方案 常见的立体图像压缩技术包括: 基于视差和深度的编码( d i s p a r i t ya n dd e p t hb a s e dc o d i n g ) 、混合分辨率编码 ( m i x e dr e s o l u t i o nc o d i n g ) 和多视点编码( m u l t i v i e wc o d i n g ) 。 本系统采用多视点编码结合i n t e l 公司的i n d e oi n t e r a c t i v ei v 4 1 编解码模块, 对立体视频进行编解码。 多视点视频原指由位置不同的多个摄像机在相同时刻对相同场景进行拍摄 时所产生的多个视图的序列,一个视图对应一个视点。多视点系统固有的庞大数 据量可以利用视点问的冗余来减小。通过有效的视差信息,来压缩原始多个视点 为少数关键视点。接收端根据少数关键视点和视差信息,可以重建中间视点。三 维立体视频是多视点视频的一个具体应用。对于三维立体视频图像来说,采用多 视点编码方法,是压缩数据的一个可行的方法。 此种编解码方案对于此系统的优势为:具有较多的立体信息,能够容忍一定 程度的数据丢失。 第二章立体播放系统设计方案 - - o - - m 。o 。p - 1 2 第二章立体播放系统设计方案 为确保显示质量必须使用高分辨率的显示器,以保证各视点图像的分辨率因 此,c r t 显示器的分辨率不能满足显不多个视点的要求不再使用,而采用具有 较高分辨率的平板显示器( l c d 或p d p ) 。 如图2 7 所示,是九视点的1 0 平板自由立体显圻器视觉带示意图,只要观 看者双眼处于立图所示的立体视觉带内,就能够观看到具有立体感的图像。其优 点是:多个观看青可以从不同视点观看立体图像:为了从不同方位观看到同一物 体的不同立体场景:观看者仅需要改变头部位最,避免了双视点立体显示中,使 用头部跟踪装置带来的复杂性币l 延迟问题。 f 1 _ 是,为同时显示多幅视图,显示的水平分辨率降低,即相麻于视点数hn , 水平方向图像显示的分辨率减小为原来的i n ,迭严重损害了图像的清晰度,是 多视点平板显i 方式的缺点,也是技术难点之所在。随着显不技术的发展,显水 器的分辨率进一步提高,可视范闱和清晰度这一对矛盾所引起的问题将会得到进 一步的解决和完善。 本播放系统聚用方案 多视点视差栅栏平扳自由立体显不技术解决了多个观看者从不同方向同叫 观看立体图像的问题,立体成像效祟好,且实现较为容易,生产成本较低,成为 立体电视显示技术一个重要的发展方向,随着大屏幕高分辨率l c d 平板显示技术 的进一步发展其必将随之取得更大的突破和更泛的应用,因此,本系统采用 桃差栅栏平板多视点自由立体显不。 另外容积显示方式是仝新的立体技术其对设备和带宽的要求很高仇随 着d s p 和d m d 处理能力的不断增强,带宽的不断改善其以全方位的立体感, 在未来预计会成为高端立体显示的选择。 第二章立体播放系统设计方案 2 2 3 立体效果的实现条件 一、 由于所采用的a v i 作为编解码方案,未使用帧问压缩,导致其压缩 率相对较低,播放的码流速率( 即流化后需要的带宽) 约为每秒2 l 兆比 特,所以对网络状况提出了较高的要求。考虑每个客户节点在未来可能 会为应用层组播进行转发工作,其对带宽的要求将更加苛刻,但真实的 网络状况往往达不到系统所需带宽,这就要求我们充分利用i p v 6 对q o s 的支持,尽量提供立体效果所需的带宽。 二、 由于立体视觉对左右眼时差同步的要求很精确,所以要求我们在尽 量达到高成功率传输的情况下,对同步已超时或即将超时的视频流及时 舍弃。我们采用自己设计的应用层的同步控制与差错恢复,此方面内容 将在第三章第一节介绍。 2 3i p t v 及流媒体 2 3 1i p t v 技术及实现框架 一、 i p t v 概念【1 8 】 i p t v 即交互式网络电视,集互联网、多媒体、通讯等多种技术于一体,向 家庭用户提供包括数字电视在内的多种交互式服务的崭新技术。 i p t v 提供有q o s 保障和安全保障机制的向用户传输音视频多媒体及相关应 用内容的业务,这些应用内容在最终用户处的以机项盒或其它具有视频编解码能 力的数字化设备的终端上承载和显示,通过聚合s p 的各种流媒体服务内容和增值 应用,为用户提供多种交互式多媒体服务的宽带增值业务。 二、 i p t v 实现框架 i p t v 的基本实现框架如下图2 8 : 1 4 第二章立体播放系统设计方案 图2 8i p t v 实现框架 将我们的播放系统进行抽象,其框架如下图2 9 : 厂 管理功能模块 1 i ,- 一一- - 中间件模块 一,) 、 家庭网绐 点心核心传输溪块 部分 个人电脑 氅奎堕岁 芝 用,户网络 4 盘r 接口 图2 - 9 本播放系统实现框架 第二章立体播放系统设计方案 2 3 2 流媒体技术及实现框架 一、流媒体技术概念 准确地说,流媒体是指在互联网上使用流式传输技术以数据流的方式实时发 布声音、视频多媒体内容的媒体,流式媒体在播放前并不下载整个文件,只将开 始部分内容存入内存,流式媒体的数据流随时传送随时播放,只是在开始时有一 些延迟。流媒体数据流具有三个特点:连续性、实时性、时序性,即其数据流具 有严格的前后时序关系。 流媒体实现的关键技术就是流式传输。流式传输这些功能的实现需要缓存技 术的支持。因为i n t e r n e t 是以包传输为基础进行断续的异步传输,所以一个实时 媒体或存储的媒体文件在传输中要被分解为许多包( p a c k e t ) 。由于网络是动态 变化的,各个包选择的路由可能不尽相同,故到达客户端的时间延迟也就不等, 甚至先发的数据包还有可能后到。为此,使用缓存系统来减少延迟和抖动的影响, 并保证数据包的顺序正确,从而使媒体数据能连续输出,而不会因为网络暂时拥 塞使播放出现停顿。通常高速缓存所需容量并不大,因为高速缓存使用环形链表 结构来存储数据,通过丢弃己经播放的内容,流可以重新利用空出的高速缓存空 问来缓存后续尚未播放的内容。 由于t c p 是面向连接的传输协议,从效率上考虑,不适合大量的数据传输, 故流式传输方案多采用u d p 来传输实时媒体数据,而采用t c p 进行控制。 二、 流媒体技术实现框架 通常来说,流媒体的实现框架比较简单,一般按照以下流程进行: 客户选择某一流媒体服务提供商,进行注册等工作,通过客户端与控制服务 器用t c p 交换控制信息,控制服务器验证用户合法性后,将媒体服务器的相关 信息告知客户端,客户端连接到媒体服务器,对编解码参数及服务器地址等相关 信息进行初始化,并启动r t c p 、r t s p 等q o s 保障协议并对数据进行播放、快 进、快倒、暂停及录制等操控。流媒体服务器使用r t p u d p 协议将数据传输给 客户程序,客户端收到后即可解码播放输出。 1 6 第二章立体播放系统设计方案 i 广_ 上 1 4o 画恒 应用系统 叵丑叵 封包处理过程 传输系统 拆包处理过程 ( r t p ,u d p i p l i n k ) ( r t p ,u d p i p l i n k ) ji 舸蚀止始 发送端系统网络系统 接收端系统 2 4i p v 6 网络下的组播 图2 1 0 流媒体实现框架 随着计算机网络的发展,i n t e m e t 中多媒体应用需求的出现,如网络视频会议, 视频点播( v o d ,v i d e oo nd e m a n d ) ,实况转播,媒体订阅和分发,在线交互 式网络游戏,股票信息发布,远程教育等,组播技术在近年来获得了迅猛发展。 这些多媒体应用程序对其内容的分发提出了新的要求。传统的点对点单播技术已 经不能满足应用程序对带宽、延迟的要求;且单播由于内容的重复分发浪费了带 宽资源,增大了端到端延迟。 组播技术针对流媒体传输而设计,流媒体传输的典型特征为: 海量数据 时问敏感 一定的容错性 共享类型数据应用较多 组播又称多播,通过设计组播树,能有效地减少重复内容的分发,减小端到 端的延迟,提高网络资源的利用率。 第二章立体播放系统设计方案 组播属于无连接协议,其传输速度和效率远高于面向连接的t c p 协议;由于 没有采用差错重传的机制,组播有利于保障数据的时间特性;虽然组播未提供可 靠的传输机制,但可以基于组播创建有针对性的容错机制;共享网络带宽则是组 播的基本特征。因此,组播成为流媒体传输的基本平台。 组播分为网络层组播( i pn a t i v em u l t i c a s t ) 和应用层组播( a p p l i c a t i o n l a y e r l e v e lm u l t i c a s t ) 两种,它是流媒体分发技术的基础。 2 4 1 传统i p 组播 一、 i p 组播简介及发展状况 组播技术创始人s t e v ed e e r i n g 将组播定义为为:“将i p 数据包发送到共享相 同i p 地址的一个主机组中,该主机组的成员数目可为零个或多个。组播数据包 的传输可靠性与i p 单播相同。主机组成员是动态的,任何主机可以在任何时候 加入或退出某个主机组,主机组对其成员没有位置和数量的限制,且一台主机可 同时是多个组播组的成员”。 i p 组播作为i p 协议的扩展,也要支持上层协议。组播被绑定到u d p 中,其 使用与传统u d p 传输兼容。组播发送方首先创建s o c k e t 并绑定本地地址,被绑 定地址不一定是d 类地址,协议不作强制要求;其次,发送方设定t t l ( t i m e t ol i v e ) 和l o o p b a c k 参数以约束和配置组播数据的发送;最后发送方向某个d 类地址发送组播数据。组播接收方首先加入某个组播地址,即绑定一个d 类地 址( 虽然接收方网卡设备本身有一个i p 地址,但是这并不妨碍绑定d 类地址, 协议甚至不限制在一块网卡上绑定多个d 类地址,甚至允许d 类地址相同,只 要其端口号不同即可) ,在接收方绑定d 类地址之后,开始接收数据。 历时1 8 年,网络层组播技术的推广并没有出现长足的进展,因为网络层组 播需要骨干路由器的参与,为每个组播组维护成员信息和状态信息,大大增加了 通讯网设计的复杂性。而且考虑至u i n t e m e t 的异构性和数据转发的安全性、效率, 需要解决的问题越来越多,越来越复杂,不符合网络设计“沙漏模型 ( h o u r g l a s s m o d e l ) 的要求【2 0 1 。沙漏模型要求网络协议栈根据其复杂程度形成一个沙漏形状, 端系统可根据不同的功能需求进行复杂的设计,中问的通信子网要尽量简单。这 一结构具有很强的可扩展性、灵活性以及高效的网络互联能力。 二、 i p 组播存在的问题 ( 1 ) 路由器必须为每个组播组保存状态,扩展性差; ( 2 ) 要求所有路由器都支持,未考虑到网络的异构性,不具备可扩展性; ( 3 ) 由于i p 组播使用u d p 发送消息,导致组播的安全性与可靠性较差; ( 4 ) 组播组加入、退出和管理等开销大; 第二章立体播放系统设计方案 ( 5 ) i p v 4 组播地址空间太小; ( 6 ) 传统的根据流量计费的机制不易在网络层组播框架上执行。 2 4 2 应用层组播( a p p l i c a t i o nl e v e lm u l t i c a s t ) 在网络层组播在目前的互联网领域的生命力越来越差的同时,应用层组播成 为了最近的热门研究领域。 应用层组播网络在网络层之上实现,不需要对通信子网的基础设施做任何修 改,因此应用层组播算法所形成的节点之问的逻辑结构也常常被称为覆盖网络。 覆盖网络因为其易推广性被提出来,但其数据传输效率不如网络层组播。 这种应用层组播网络常用于内容分发、多媒体流的传输等。我们可以将主要 的应用分成两大类,一类是文件分发共享网络,它没有严格的端到端延迟要求, 但也要求有比较高的吞吐率即上传或下载速率;一类是多媒体传输应用,即媒体 点播、多方视频会议等应用,通常为此类应用所定制的应用层组播算法需要满足 一定的端到端延迟,一定的带宽需求。 2 4 3 本系统中对组播技术的选择 本播放系统采用本项目组成员提出的一种组播算法:s 。t a g ( s c a l a b l e t o p o l o g ya w a r eg r o u p i n g ) 。 t a g 以单播中的端到端最短路径为基础,以使得构建的覆盖网络具有较小的 延迟和较少的主干链路上的重复分组数,并利用底层的网络拓扑结构信息借助于 i p 路由协议所形成的单播最短路径来构建覆盖网络 2 1 】【2 2 】。 s - t a g 在t a g 的基础上提出的一种新的可扩展的组播算法,其具有每个节 点维护的信息比较少,具有比较好的可扩展性;在路径选择方面,可以采用多种 不同的标准:如延迟最小、跳数最少、当前可用带宽最大、避开瓶颈路由器;可 以动态地利用所能测得的各种网络性能参数等优点,均为立体流媒体所需要的; 并且该算法可以方便地扩展到p 2 p 工作模式,为本播放系统日后的扩展做好了准 各。 1 9 第三章系统的关键技术和实现 第三章系统的关键技术与实现 3 1 开发方面的关键技术 3 1 1a v i 流化及数据成帧 一、 针对高数据量a v i 音视频的流化 在本播放系统中,考虑到立体效果的保持,信源仅仅使用a v i 这种压缩率较 低的媒体文件。在流化过程中采取的方案为:以某固定数据包大小( 数据包大小 的选择将在下文阐述) 为单位,对需要流化的音视频,逐帧进行分割,分割后对 每个数据包添加应用层控制、同步及差错控制信息。 所添加的信息包括: 时间戳:用来对媒体问的同步; 帧号:根据帧号,数据成帧线程将分块数据从接收线程所使用的循环缓冲区 取出,复制到针对每一帧及每一节声音的播放缓冲区,此播放缓冲区需与与显示 播放线程互斥使用的; 帧内块偏移号:根据帧内块偏移号,数据成帧线程决定数据应该在播放缓冲 区的位置; 每帧内分块数目:用于第一级的差错控制,差错的检测与恢复将在3 1 3 节 具体阐述; 差错恢复( 或检测) 信息:根据客户端反馈的网络状况决定进行c r c 或是 f e c 编码,此动态f e c 编码方式也将在3 1 3 节具体阐述; 最后,在流化的过程中,我们还需考虑流化成包的颗粒度选择,即针对每帧 数据,按什么单位进行分割最为合理: 若选择的颗粒度较大,则丢包会导致比较严重的数据丢失; 若选择的颗粒度较小,则会增加控制信息的负荷,降低信道的使用效率。 二、数据成帧 在客户端,两个线程分别负责对数据的接收及数据成帧工作,接收线程负责 将所有数据直接放入接收循环缓冲区,

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论