（控制理论与控制工程专业论文）基于实时流媒体技术的全景视频系统.pdf

摘要 摘要 全景图可以定义为一个覆盖完全的3 6 0 度视角信息的图像。根据提供给用户 的信息多少的不同，全景应用分为四种：静态全景图应用、静态立体全景图应用、 全景视频和立体全景视频。本文主要讨论的是全景视频，它将虚拟现实技术、 实时流媒体技术融为一体，利用微软的d i r c c t s h o w 和d 3 d 的开发包实现。通 过对现场视频的采集、压缩编码、网络传输、视频合成等工序，将远处的实况 全景展现给屏幕前的观众。全景视频具有单视角视频和普通全景图所不可比拟 的真实感，以及同场景交互的灵活性，有良好的应用前景。 本文介绍的全景视频系统是c ，s 结构的，整个系统分为服务器端( 全景采 集系统) 和客户端( 全景显示系统) ，服务器端与客户端之间的传输可以在局 域网或者广域网上进行。 采集系统使用的是相对经济的采集设备：同心多摄像头。本文在综合衡量 价格、图像质量等各方面因素后，选择同心多摄像头装置构建采集系统。这种 方法相对于一个摄像头加非平面反射镜的方法要经济得多，同时在计算方面方 便进行并行处理。 全景视频数据量巨大，在网络上应用受到很大的限制。为了解决这个问题， 系统根据流式传输的原理，首先在客户机上创建一个缓冲区，在播放前预先下 载一段作为缓冲，用户不必等到整个文件全部下载完毕，只需经过几秒或数十 秒的启动延时即可进行观看。 显示系统通过重新实现v m r 的图像合成器，将多路视频同时渲染到立体 的全景空间中，且观众可以在客户端通过鼠标与场景进行交互，实现左视、右 视、近看、远看等操作。为了节省时间，显示系统用预先计算好的u v 查找表 来实现各路视频的对齐、裁减和变形。另外，本文还初步实现了图像水印，同 时增加截图功能，将当前视频帧与水印图案一起保存下来。 关键词：虚拟现实；全景图；全景视频；流媒体 北京工业大学工学硕士学位论文 a b s t r a c t a p a n o r 锄i ci n l a g cc a nb ed e f i n e da sa ni i n a g et 1 1 a tc o n t a i n sa l l 也er e 删r e d i n f b 胁a t i o ns om a t 血ew h 0 1 e3 6 0d e g r e e sf o vi sc o v e r e d w ec a l ld i v i d et h e p a n o r a n l i ci i 工l a 百n ga 即l i c a t i o n si n t o 也ef o l l o w i n gf 0 1 】r 粤d u p sa c c o r d i n gt o t l l e a i n o m to fi f b 册a t i o nm e yo 彘rt o 血eu s c r ：s t i l lp a l l o r 锄i c ，s t i l is t e f e 0p a i l 涮c ， p a i l 锄血cv i d e 0a n ds t e r e 0p a n o r 锄i c 们d e 0 t l l i sp a p e rt a l k sa b o u tp 矗工l o m 1 l i cv i d c 0 ， w l l i c hc o m b i n e sv rw i ms t e a m i n gm e d 氓u s e sd 妇c t s h o wa i i dd 3 ds d k t h e s y s t e i nl e t l e 啊e w c rw a t c h 也el i v ep a n o 豫m i cv i d c 0o f t l l eo 也e rp l a c ei nt l l 韶es t 印s ： c 印仙面g ，c o d i n 仃觚8 m i 血ga i l d l i x i n gr e n d 曲g p a n o r a 血c 、，i d e 0h a ss c v e r a i a d v a i l t a g e sc o m p a 血gt os i i l 百e 、，i d e oa l l ds t i l lp a n 0 锄i ci m a g e nm u s tb eu s e 彻i n f h e 矗l t u r e t h ep a n o 瑚 i l i c 们d e os y s t 蜘砷d u c e di nt 1 1 i sp 印e ri sb a s c do nc s ni n d u d e s t w op a r t s ：m es e c rp a r tn 锄e dp a n o r 锄i cc 叩删n gs y s t e l i l 姐d 血ec i i e n tp a r t n a i n e dp 锄o r a m i cb r o w s 曲gs y s t 锄t h em m s 玎n i s s i o nb e t w e e ns e r v e ra n dc l i e n tc a n u s e b o t h l a n 孤d i n t 锄e t t h ec a p t u f i n gs y s t e i nu s c sc h e a ps e t u p ：舢l t i c a n l e r as e n 】p w bc h o o s et h i ss 酏u p c o n s i d e r i n gp r i c ea i l ds o m eo m e rr e a s o n s t h e 删t i c a l e ms e t i l pi sm u c hc h e a p e r 廿1 a ns i n 西es c n s o rs y s t 唧，a r l de 稍i l ys u p p o r t sp a r a l l da p p r o a c h e gt 0m 柚a g i i l gt h e b a d 、i d 血a n dc 0 i n p u t a t i o n p 觚。瑚血cv i d e 0h a sh u g ed a t as 缸e 锄，a n dt h i sr e s u l ti i l1 i t d el l s i n g t h e p a l l o r a i n i cv i d e os y s t 咖l n i l i z e sm et l l e o r yo fs 骶锄i i l 昏1 1 1 e r ci sa b u 矗岛i i lc l i e n t m a c h 协e ，s oi tc a nu p l o a ds o m ed a t ab e f o r ep l a y i i 培t h ev i 蹦e rd o e s n tn e e dw a i t i i 培 内ru p l o a d i n gt l l ee n 廿r ef i l e h ec a nw a t c hi ta 船rs e v e r a ls e c o n d s d e la y t h eb r o w s i n gs y s t 哪p r o v i d c sac u s t o mi m a g ec o n 巾o s i t o rt ov m ri no r d c rt 0 m a p p 证gt h em u l t i p l es 仃e a m s t o3 dd b j e c t s t h e 、r i 删e rc a nu s e sm a u s et o m a n i p u l a t em es c e l l c ，j u s ta sl o o k i r 培e v e r ”他e r c h lo r d e rt op r o “d ep 姐o r a l l l i c v i e w sa t 、，i d e or a t e s ，曲es y s t 锄u s c sp r e c o m p u t e du v 1 0 0 k u pt a b l e st 0s t i t c m n g 姐d d i s t o n i o n h la d d i t i o n ，n l i sp a p e rr e a l i z e sd i g i t a lw a t 锄a r ks i m p l y 朋s om es y s t e m c a nc a p 札r em ec u r r e n t 丘锄ew i mw a t e n i l a 出a 1 1 ds a v ei ta sa b i 扛1 1 a p k e y w o r d s ：v i r t i l a lr e a l i 母；p a n o r a m i ci m a g e s ；p a n o f m i cv i d e o ；s t r e 姐血gm e d i a i i 独创性声明 本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研 究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他 人已经发表或撰写过的研究成果，也不包含为获得j e 立王些盍堂或其它教育机构 的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均 已在论文中作了明确的说明并表示了谢意。 签名：三压函：宦日期：三型 关于论文使用授权的说明 本人完全了解j e 峦王些盘堂有关保留、使用学位论文的规定，即：学校有权 保留送交论文的复印件，允许论文被查阅和借阅；学校可以公布论文的全部或部 分内容，可以采用影印、缩印或其他复制手段保存论文。 ( 保密的论文在解密后应遵守此规定) 签名：3 量亟! 蒸导师签名：姓 第1 章绪论 第l 章绪论 1 1 课题研究的背景及意义 随着计算机的日益普及和网络技术的不断发展，互联网已经成为人们日常生 活的一部分。互联网带来的不仅是一场技术上的革命，它正改变着人类传统的生 活方式，通过它人们可以实现购物、远程教育、书店、娱乐、炒股、交友等。互 联网对信息传播有着非常重要的作用，它使信息的采集和传播的速度、规模都达 到空前的水平，技术上实现了全球的信息共享。目前从两方面加强信息传输的力 度：一是多媒体化；二是实时化。视频信息的采集与传输是信息技术发展的一个 重要方向，网络摄像机、视频会议，视频聊天等以视频为主的信息传播已经开始 为人们提供服务。目前，由于单一摄像头视野有限，只能摄取现场的某一局部， 不能让不同的访问者同时观看不同角度的自己感必趣的场景即无法满足个性化 要求。为了使客户能够通过网络随意观看自己喜欢的场景，一些网站通过云台， 由访问者通过网络控制摄像机的角度和焦距达到任意观看的目的。这种方法就好 像用户自己拿着摄像头随意观看，但是这样的摄像头在同一时间只能由一个人来 控制，如果同一时间有一个人想往左看，另一个人想往右看，那云台就无法同时 满足两者的要求了，更无法同时满足数人的不同要求。 另一方面，2 0 世纪9 0 年代以来，虚拟现实( r t u a lr e a l t y 简称v r ) 和 科学计算可视化等技术的研究得到了迅速发展，它要求图形生成速度达到实时。 传统上，虚拟现实环境采用基于几何模型的图形绘制来实现，其建模过程相当繁 琐，计算机所提供的计算能力往往不能满足复杂三维场景的实时绘制目的。在 过去的十年中，基于图像的绘制f 1 】( h n a g e b a s e dr e n d e 血g 简称i b r ) 已经发 展成为一种绘制典范。基于图像绘制的虚拟现实环境可直接利用全景图 ( p a i l o r m i ci m a g e s ) 集合来构成虚拟环境，无需繁琐的建模工作，就可以获得 真实感很强的图像和实时的交互速度，故全景图像迅速成为一种耗资低廉、应用 广泛的虚拟现实技术脚。正如字面所表示的，图像是用于绘制的主要数据。基 于图像绘制的全景图就是把这些离散的图像信息采用图像绘制的方法在一幅 于图像绘制的全景图就是把这些离散的图像信息采用图像绘制的方法在一幅 北京工业大学工学硕士学位论文 图像上完整地表现出来。全景图是一种宽视角图像，构造了一个完整的图形环 境，从而达到了较好的三维视觉效果。观察者可以通过转动眼球、头部和身体 来观察包括上下前后左右的所有方向，这上下前后左右的所有图像信息就构成 了一幅全景图像。它实际上表示的是观察者在某一视点进行观察时，视点不变 而观察方向改变所能观察到的全部场景【3 】。利用全景图像可以建立供用户观察 的虚拟环境，通过在全景图像中的漫游可以使用户能够主动地从不同的观察点 和方向了解环境。因此全景图像的应用很广，现在正越来越多地应用在城市风 光和各种场馆的介绍，远程再现、军事训练、教育、展览、旅游、自动导航、 游戏、监视、娱乐、房地产、电视会议和医学应用中。全景图的出现，克服了 观众被动的观察固定视角的限制，但是全景图像表达的是一种静态的场景，承 载的信息量有限。 由前面的介绍可知：通过云台可以实时控制摄像机的角度和焦距，但云台不 能同时响应两个以上用户的不同需求，虽然采用虚拟现实技术建立起来的虚拟场 景交互性更好，但其场景图片需要定期更新，无法满足实时性要求。本课题将前 两种方法结合起来，将多个不同角度的摄像头所摄取的视频信息融合起来，形成 视野范围广、效果好的宽视野全景视频( p a l l o r 锄i cv i d e o ) ，然后通过网络传输 到用户终端。全景视频【4 】指在不同时刻采集的全景图序列，其承载的信息量非 常丰富，且可以实时地表现变化的场景。用户可通过鼠标或键盘选择全景中自 己感兴趣的部分观看，如同身临其境。但由于全景视频数据量大、实时性强、对 同步要求高等特点，在网络上应用受到很大的限制。为了解决这一问题，可以借 助流媒体技术。流媒体( s 仃e a i i l i n gm e d i a ) 是在i n t 锄c t 上实时传输和显示声音与 图像的多媒体技术，其采用流式传输技术传输多媒体数据【5 】。在采用流式传输的 系统中，用户不必等到整个文件全部下载完毕，面只需经过几秒或数十秒的启动 延时即可进行观看。当音频、视频等媒体文件在客户机上播放时，文件的剩余部 分将在后台从服务器内继续下载。流式传输不仅使启动延时成十倍、百倍地缩短， 而且不需要太大的缓存容量。在h 哇e f n e t 中使用流式传输技术的连续时基媒体就 称为流媒体，详细介绍见第四章。本课题将虚拟现实技术、流媒体技术融为一体， 通过对现场视频的采集、压缩编码、网络传输、视频合成等工序，将远处的实况 全景展现给屏幕前的观众，使观众享受到前所未有的现场感和真实感。这一研究 第l 章绪论 可应用于远程教学、可视化网上购物及未来全方位电视转播等许多领域。 1 2 国内外研究现状和趋势 目前，通过网络控制摄像机及云台技术已经比较成熟，主要应用在远程实时 监控( 网络视频监控) 系统中。其市场主要划分为两部分：一部分是前端采集用 的通用产品，有镜头、c c d 摄像机、云台及防护罩、报警开关等；另一部分是 后端的控制系统，主要包括主机控制设备、视频采集卡、视频压缩卡、解码器、 总控设备和监控软件系统。前端的产品大部分都是通用产品，以美国、日本和台 湾地区产品居多，占据了市场的大部分份额。相对而言，后端的控制系统是非常 封闭的，各厂家之间的设备和系统不能互联，也没有通用的工业标准，这部分市 场正是数字视频监控系统要开拓的主要目标。 基于图像的虚拟现实( t ) 技术则还处于研究的初始阶段。美国是v r 技术 的发源地。美国v r 研究技术的水平基本上就代表国际t 发展的水平。麻省理 工学院( m i d 媒体实验室开发的m o “e m 印系统，是最早使用基于图像的绘制技 术的系统。目前美国在该领域的基础研究主要集中在感知、用户界面、后台软件 和硬件四个方面。 2 0 世纪9 0 年代中期，国际上兴起了一股新的研究基于图像的建模与绘制技 术的热潮。基于图像绘制技术可直接利用全景图集合来构成虚拟环境，无需繁琐 的建模工作，就可以获得真实感很强的图像和实时的交互速度。由于基于全景图 的虚拟现实系统有诸多优点，近年来已经在虚拟商店、广告创意、景点介绍等方 面有了一些商业上的应用。苹果公司的o u i c k t i m c t 就是一个基于图像的虚拟 环境漫游系统，这个系统允许用户在虚拟环境中的一点作水平3 6 0 度的环视及一 定范围的俯视和仰视，同时允许在环视的过程中动态地改变焦距。这个系统的不 足之处是，它需要精确而昂贵的摄像设备，提取场景信息时还需要精确地校准摄 像机。 与一些发达国家相比，我国t 技术还有一定的差距，但己引起政府有关部 门和科学家们的高度重视。根据我国的国情，制定了开展v r 技术的计划，例如， 九五规划、国家自然科学基金会、国家高技术研究发展计划等都把v r 列入了研 究项目。在紧跟国际新技术的同时，国内一些科研单位和院校，己积极投入到 北京工业大学工学硕士学位论文 了这一领域的研究工作。北京航空航天大学计算机系是国内最早进行v r 研究、 最有权威的单位之一，他们首先进行了一些基础知识方面的研究，并着重研究了 虚拟环境中物体物理特性的表示与处理；在虚拟现实中的视觉接口方面开发出了 部分硬件，并提出了有关算法及实现方法；实现了分布式虚拟环境网络设计，建 立了网上虚拟现实研究论坛，可以提供实时三维动态数据库，提供虚拟现实演示 环境，提供用于飞行员训练的虚拟现实系统，提供开发虚拟现实应用系统的开发 平台，并将要实现与有关单位的远程连接。浙江大学c a d & c g 国家重点实验室 开发出了一套桌面型虚拟建筑环境实时漫游系统，该系统采用了层面迭加的绘制 技术和预消隐技术，实现了立体视觉，同时还提供了方便的交互工具，使整个系 统的实时性和画面的真实感都达到了较高的水平。哈尔滨工业大学计算机系已经 成功地虚拟出了人的高级行为中特定人脸图像的合成，表情的合成和唇动的合成 等技术问题，并正在研究人说话时的头势和手势动作，话音和语调的同步等。清 华大学计算机科学和技术系对虚拟现实和临场感的方面进行了研究，例如球面屏 幕显示和图像随动、克服立体图闪烁的措施和深度感实验等方面都具有不少独特 的方法。他们还针对室内环境水平特征丰富的特点，提出借助图像变换，使立体 视觉图像中对应水平特征呈现形状一致性，以利于实现特征匹配，并获取物体三 堆结构的新颖算法。 总的来说，这些系统虽然取得了一些成果，但离理想的虚拟现实系统还有很 大的差距。存在的问题主要有：场景的获取方法、图像处理算法、信息压缩技术、 场景的组织模型、漫游技术等。随着数字图像技术的发展，以三维全景逐步普及 为突破口，“基于视频”的虚拟现实技术逐渐脱颖而出。三维全景以其真实感强、 生成全景方便快捷的特点受到日益广泛的关注。 1 3 论文的研究目标和研究内容 本课题将实时真实图像采集和虚拟现实技术相结合，借助于流媒体技术，通 过多个摄像头同时对现场进行视频采集、压缩编码、网络传输、视频合成等工序， 将远处的实况全景展现给屏幕前的观众，观众可以在客户端通过鼠标、键盘等设 备选择自己感兴趣的区域进行左视、右视、近看、远看等操作，就像进入到一个 实际的空间一样，使观众享受到前所未有的现场感和真实感。 4 一 第1 章绪论 本文的研究目标是设计、开发出软件实现的全景视频系统，从而给用户呈现 宽角度、可交互的视频信息。研究内容包括： 1 ) 用多个摄像头同时对场景进行采集； 2 ) 对采集的视频进行编码，并通过网络传输到客户端； 3 ) 客户端接受服务器端传送过来的多路实时流并解码； 4 ) 相邻图像的匹配、拼合以及图像缝合处的融合处理； 5 ) 映射到虚拟立体空间； 6 ) 在客户端实现交互式漫游。 1 4 难点及要解决的关键问题 ( 1 ) 确定重叠区域 确定重叠区域即模式匹配问题，这是全景拼图的核心问题。目前，在频域分 析中通常使用相位相关法，该方法在旋转和尺度变化不大时，具有快速鲁棒的特 点，但匹配结果仅有像素级的精度。在空间域中也存在两类方法解决重叠区域匹 配问题。一类是基于光差的方法，这种方法在迭代初值比较精确时，能迅速收敛， 并且匹配结果能精确到子像素级，但对迭代初值敏感，计算复杂度高。另一类是 基于特征的方法，这类方法能在匹配点附近保持良好的灰度一致性，但在其他缺 少特征点的区域则对其的精度较低。不管采用哪种方法，计算量都很大。考虑到 时间要求，并且本课题所选装置的摄像头彼此之间位置固定( 详细描述见第三 章) ，每一帧的缝合合成函数完全相同，计算过程就简化很多，采用预先计算好 的查找表来实现。 ( 2 ) 快速将缝合图片映射成全景图 全景图像依据其映射面的形式不同而分为球面、正方体面和圆柱面三种形 式，分别称为球面全景图、正方体面全景图和圆柱面全景图【1 l 。当视点位于球面 全景图球心时，视点前后、左右、上下的景物都是连续的，因此中心位于视点处 的球面映射是描述一个全景图像的理想选择。但是在获取球面全景图像的过程中 存在以下问题，即球面映射是一个非均匀采样表示，它会导致场景图像扭曲变形， 在其两极尤为严重。正方体映射克服了球面作为映射出现的图像扭曲变形现象的 缺陷。对于通过计算机软件生成的图片，绘制六幅广角为9 0 度的画面构成正方 北京工业大学工学硕士学位论文 体映射是相当容易的，但对于非计算机生成的图像，采用计算机图形技术生成正 方体映射是非常困难的。圆柱面全景图是最为简单，也是最容易生成的，且很容 易展开为平面图像。但柱面全景图实际上是一种简化的全景图，它不能完整地反 映外界场景，不能处理观察者正上方和正下方的场景。除了平面全景图之外，本 课题对柱面和正方体全景图的生成都进行了研究。 ( 3 ) 视频服务器与客户方的信息交换 视频传输因其数据量巨大，对机器处理能力、传输带宽都要求苛刻。要在网 络上有效而高质量地传输视频流，需要多种技术的支持，包括视频的压缩、编码 技术，视频的实时传输技术等。本课题将在流媒体技术的基础上，采用流式传输 的方式，研究基于c s 体系结构的视频传输系统的实现。编写一个网络多媒体应 用软件，将涉及流媒体格式、网络传输协议等内容。 1 5 论文的结构安排 本文首先介绍视频信息的采集与传输的现状与要求，结合虚拟现实技术，提 出了基于实时流媒体技术的全景视频系统。接着说明了全景视频系统的总体设 计，然后分别重点描述了各个部分即采集端、网络传输、全景显示端使用的关键 技术和具体实现。最后是整个论文的总结和今后的发展展望。 论文共五章，各章的内容安排如下： 第一章绪论，介绍课题的背景、研究现状、主要研究内容、待解决的关键 问题和论文结构安排。 第二章系统总体设计，介绍全景视频系统的总体设计。 第三章全景采集系统，论述全景图的生成和采集系统实现。 第四章网络传输，介绍网络传输采用的关键技术和实现。 第五章全景显示系统，介绍客户端全景显示的方法和实现。 最后的结论部分总结了本文的主要研究内容和刨新点，预测了全景视频系统 的应用前景，同时，对今后进一步在本研究方向进行研究应做的工作进行了展望 与设想。 6 第2 章系统总体设计 2 1 系统设计要求 第2 章系统总体设计 课题所研究的全景视频系统要求具有以下基本特性：第一，实现多路视频 的全景编辑和浏览功能；第二，提供将多张图像拼接成全景图的功能：第三， 具有传统全景图像信息量丰富，交互性好的特点；第四，结合现代网络技术， 方便网络传输；第五，具有一定的实时性，保证画面显示的连续。考虑到系统 实现的可行性和经济性，本课题参考当前比较前沿的全景成像技术和最新的相 关软件技术，结合本系统专用的硬件系统，设计了一个相对简易的全景视频系 统基于实时流媒体技术的全景视频系统。整个系统由全景视频采集系统、网 络传输和全景视频编辑浏览软件构成。 2 2 系统结构选择 2 2 1c s 模式 随着计算机技术和网络技术的飞速发展，计算机软件的复杂程度在不断增 强，系统结构在软件设计和开发过程中所起的作用越来越重要。计算机软件应 用结构的演变经历了三个阶段【6 】：集中式或终端式结构、客户机服务器( c s ) 结构和浏览器，服务器( b s ) 结构。当i n t c m e t 还没有得到大力的应用和普及 时，早期的软件产品大都是单层应用软件，这一单层结构不适合网络应用或者 是分布式应用。这就自然地导致了应用程序分成了两部分，客户端部分和服务 器部分，这就是通常所说的两层结构即客户机服务器结构。客户机服务器是 个逻辑概念，它包括客户机和服务器两部分。c s 结构系统显著的特点是：把 系统任务放在客户机和服务器上分开执行，服务器为客户机提供服务。客户机 可向服务器提出请求，服务器接受请求，进行一系列处理、计算，将结果返回 客户机。 北京工业大学工学硕士学位论文 随着系统结构的复杂度和规模的日益扩大，两层c s 结构也逐渐暴露出构 架上的缺陷，如客户端使用复杂，需要安装专门的客户端软件，系统升级和维 护困难等。 2 2 2 b s 模式 随着i n t e m e t 技术的不断发展和电子商务的广泛使用，b s 体系结构模型 作为一种新的开发思想将c s 概念带到了一个新层次。浏览器朋艮务器仅仅是 客户机服务器计算的另一种形式，其最基本的形式是，使用w c b 浏览器作为 客户，使用w 曲服务器作为后端。然而，在应用程序开发、配置、易用性、 易于维护和跨系统跨平台等方面，b s 体系都提供了比c s 计算更多的优点。 最主要的优点是实现了“瘦客户”方式，简化了客户端软件，有利于管理和维护。 当然，b ，s 模式也存在一定的不足，主要不足是浏览器实现的功能较客户 端应用程序相比，不够强大和灵活。 2 2 3 系统结构 虽然b s 模式比c s 模式更容易管理，但考虑到本系统中全景显示端比较 复杂，还是采用c s 结构来构造整个系统。整个系统软件由服务器端软件和客 户端软件组成( 如图2 1 所示) 。服务器端即全景采集端连接采集设备，进行 实时采集、编码、传输；客户端软件即全景显示端主要用来进行视频缝合以及 供用户进行观察和交互。 _ 一一一。一一一一一 ：全景采集系统 ： 竺! 墨黧曼l 图2 1 系统原理图 f i 昏2 - 1t h ee l e m e n t a r yd i a g m mo f s y s t e m 一8 一 第2 章系统总体设计 2 3 系统方案设计 2 3 1 参考设计方案 美国南加州大学综合媒体研究中心的t h o m a sp i n t a r i c ，u i r i c hn e 岫a n n 和 a 1 b e nr j z z o 共同开发出了一套称为“h n m e r s i v ep a n o r 撇i c d e o 【7 的全景视频 系统。该系统用五个摄像头( 装置见图2 1 ) 同时摄取水平方向3 6 0 度的场景， 要求相邻的摄像机所成图像有相同的视点且边缘有所重叠。摄像头产生n t s c 格式的彩色图像，五路视频都输入“数字记录回放系统”进行精确的帧同步。数 字记录回放系统中用到的硬件包括五个索尼d s r 7 0 摄录机和一个v p e3 5 l 控 制器。采用圆柱面投影，将场景以每秒3 0 帧的速度显示，每帧大小为3 5 2 0 4 8 0 像素。用户需要戴上特定的头盔观察，系统会动态地响应用户的转向，用户看 到的视频截图如图2 2 所示。 图2 - 2 五个摄像头组成的全景采集装置图 f i g 2 - 2n e 丘v es 即s o rp 姐。跚l i cc 珊啊s y s t e l 图2 - 3l a 体育馆u s ch e c o m i n g 比赛中的一幅全景图 f 碴2 - 3ap 锄o r 哪i ci m a g e 乜k e na t 山eu s ch o m e c o m i n gg 锄ea t 血el ac 0 1 i s e u m i 姗e r s i v ep a i l o r a m i c d e o ”是基于微软d i r e c t s h o w 的s d k ( s o 脚盯e d e v e l o p m e n t k i t ，软件开发包) 开发的。系统输出的全景视频有回放和实时广 播两种，其分别的系统组成如图2 3 所示，图中虚线上面是离线处理也就是回 北京工业大学工学硕士学位论文 放的过程，下面是实时广播的过程。 图2 4 上f 两个沉程分别表不离线过程和实时广播 f j g 2 4t h eu p p e ra n dl o w e rp a 血sd e s c 曲e 血eo 用i n ep c e s s 如dt h el i v eb r o a d c 船t 需要注意的是，离线处理时，压缩采用p i n n a c l ed c 2 0 0 0 编码器，到圆柱 面的纹理映射用的是点到点的u v 映射。而实时广播时，播放器要用预先计算 好的u v 纹理映射查找表( 1 0 0 k u pt a b l e ) 来实现变形( 校正摄像头镜头产生的 扭曲) 和缝合。遗憾的是，该系统在进行实时广播时，中间没有压缩解压步骤。 而若将未压缩的原始视频直接就传到播放器播放，带宽是不能满足要求的，所 以该系统在实现时将播放器与视频采集部分运行在同一台机器上，直接通过内 存之间的拷贝实现原始视频从采集部分到播放器之间的传输。 从该系统的设计思想可以看出，目前该系统主要可以用来进行广播级节目 的制作，也就是说主要用于离线的场合，因为实时广播时只能将播放器与视频 采集部分运行在同一台机器上，这无疑限制了其应用。本课题与该系统有很多 相似的地方，如都采用多个摄像头同时采集然后生成全景视频，都用到微软 d i r e c t s h o w 的s d k 。事实上，客户端采用预先计算好的u v 纹理映射查找表来 实现变形和缝合的思想也得益于该系统。“i m m e r s i v ep a o r a m i c d e o ”主要是 用于大型场景的，所用采集装置都是昂贵的高清晰摄像头，产生的视频信息数 据量巨大。本课题所要求的图像质量没有那么高，这样就可以借鉴“i m m e r s i v e p a n o r a m i c d e o ”中的很多方法并将其简化。 2 3 2 课题方案设计 由2 2 节的介绍可知，全景视频系统是基于c s 结构的。全景采集系统负 责管理图像的采集、压缩编码、侦听并接受客户端的连接请求后将各路视频流及 一1 0 一 第2 章系统总体设计 其各自的显示位置、值、亮度等信息传送到客户端、并对采集的情况进行监控； 全景显示系统向服务器端发送连接请求，在请求被接受后就不断地从服务器端接 收多路视频流及其必要的显示信息，并将它们缝合以供用户进行观察和交互。 图2 5 是整个全景视频系统的软件模块结构： i 。一。1 视频采集管理模块叫原始码流现场预览模块 i 压缩码流控制处理模块l - 一 网络传输控制模块 占i 解码处理模块 _ 一 网络接收反馈模块 实时缝合模块 _ 一 全景显示观察模块 客户端 ： l j 图2 5 软件模块图 f 嘻2 5t h em o d u l ed i a g r 锄o f s o 胁a r e 由图2 5 可知，服务器端软件由四部分组成：视频采集管理模块、原始码 流现场预览模块、压缩码流控制处理模块、网络传输控制模块。各模块功能定 义如下：视频采集模块主要对采集设备进行管理，完成视频采集的任务；原始 码流现场预览模块对采集效果进行预览，从而监控采集设备的工作情况；压缩 码流控制处理模块对采集的视频流按照一定的协议进行编码处理，供网络传输 控制模块进行发送；网络传输控制模块一旦侦听到有客户端的连接请求，就启 动数据发送线程，将各路编码后的视频流及各自的显示位置、a 值、亮度、对 比度等信息发送给客户端。即采集的视频数据主要分成两路，一路送给现场预 览模块由显示组件进行多路的现场预览，另一路则进行编码发送。需要说明的 是，多路视频流是一直编码并实时传输的，而诸如位置、a 值等信息只在客户 端剐连接时发送一次。 客户端软件则由下列四个模块组成：网络接收反馈模块、解码处理模块、 实时缝合模块和全景显示观察模块。各模块功能定义如下：网络接收反馈模块 主要用来向服务器端发送连接请求，并接收从服务器端传输来的视频流及其相 北京工业大学工学硕士学位论文 应的显示信息；解码处理模块是将接受到的各路视频流分别解码；实时缝合模 块是用来将解码后的视频流按照一定的参数进行实时缝合处理的，它提供实时 缝合以及图像空间变换所用参数的查找表；全景显示观察模块是一个可供客户 交互的虚拟观察界面，它显示可交互的全景空间。即网络接收反馈模块不断地 接收视频数据到缓冲区。解码处理模块则从该缓冲区中取出压缩视频流并进行 解码后供后面的缝合模块用。实时缝合模块根据查找表完成视频的无缝缝合并 映射到观察空间，并由全景显示观察模块显示出来供用户交互观察。 软件采用基于c 0 m ( c o m p o n e n t0 b j e c tm o d e l ，组建对象模型) 的技术， 在v i s u a lc + + 6 0 环境下设计完成。服务器端图像采集和预览部分主要利用微 软的d i r e c t s h o w 结合专用的摄像头硬件开发完成。压缩后的数据流采用开放 的a s f ( a d v a n c e ds 仃e 锄f o m a t ，高级流格式) 流格式，a s f 最大优点是体 积小，因此适合网络传输。客户端主要用到d i r e c t x 的s d k 和0 p e n g l 的a p i ( a p p l i c a t i o np r o g r a m m i n gi n t e r f a c e ，应用程序编程接口) 。具体的实现分别在 后面第三、四、五章详细描述。系统的软硬件之间的层次关系如图2 6 所示。 图2 6 软硬件层次关系图 f i g 2 - 6t h er e l a t i o n s h i p sb 咖e e nd i r e c t 3 d 柚dh a l 1 2 一 第2 章系统总体设计 全景显示系统要用到d i r e c c 3 d ( 简称d 3 d ) 的绘制功能，从图2 6 可以看出， d i r e c t 3 d 位于应用程序和硬件之间，提供了对3 d 图形的o s ( o p 雕m n gs y s t 锄， 操作系统) 级支持。这样就把硬件和接口分开了，它让使用3 d 图像的程序能在 台式计算机上运行。这些程序利用硬件功能提供3 d 图形的理想质量和快速生成。 2 4 本章小结 本章介绍了系统的总体设计，首先说明了系统设计要求和系统结构的选择， 全景视频系统整体上是c s 结构，服务器端即全景采集系统，主要负责采集和编 码，运算量大的映射部分主要集中在客户端，即全景显示系统。文中引入了一个 参考系统的设计，该参考系统有两种应用方案：回放和实时广播。在此基础上介 绍了本全景视频系统的方案设计，内容包括系统实现的原理、服务器端和客户端 软件的各个模块实现的功能以及系统用到的软硬件之间的层次关系。 北京工业大学工学硕士学位论文 3 1 成像几何原理 第3 章全景采集系统 为了对数字图像进行处理，首先要清楚数字图像的捕获过程。如何将现实的 三维世界投影到一个二维的图像平面，这是射影几何学( p r o j 6 v 。g e o m e 订y ) 所 需解决的问题。 3 1 1 射影几何学原理 投影变换就是将维数为n 的点变换成维数小于n 的点。本课题用到的是将三 维空间中的点变换成二维平面上的点。要对三维物体进行投影变换，首先要在三 维空间中选择一个点，称为投影中心；再定义一个不经过投影中心的平面，称为 投影平面；从投影中心向物体的每一点引射线，这些射线称为投影线，投影线与 投影平面的交点集合就称为三维物体在二维投影平面上的投影。 投影可以分为两大类h j ，即透视投影( p e r s p e c n v ep r o j e 嘶o n ) 也称作中心投 影( c e n 缸a 1p r o j e c l i o n ) 和平行投影( p a r a l l dp r o j e m o n ) 。如果投影中心到投影平 面的距离是有限的，那么投影线是从投影中心发出的无数条射线，这种投影称为 透视投影；如果投影中心到投影平面的距离越来越远，那么投影线就越来越趋于 平行，当投影中心到投影平面的距离为无穷远的时候，投影线为一组平行线，这 种投影称为平行投影。 假设一个理想的相机模型：针孔相机，针孔相机成像的最大几何特征就是透 视投影。在透视图像世界中，对于三维空间中任意一组平行线来说，如果它们平 行于投影平面，那么它们的透视投影仍然保持平行：如果他们不平行于投影平面， 那么它们的透视投影不再保持平行，并且会汇聚到一个点，该点称为灭点或消失 点口 ( 如图3 1 所示) 。这在现实生活中是常见的，如沿着铁轨往远处看，感觉它 们在远处好像汇聚成一点。所以透视投影能产生近大远小的视觉效果，由它产生 的图形深度感强，看起来更加真实。 的图形深度感强，看起来更加真实。 第3 章全景采集系统 圈3 1 平行线的透视投影 f i g 3 - ln ep c r s p e c t i v ep r o j e c 虹o no f p 啦! 1 e 1 3 1 2 相机成像模型 相机所成的每幅数字图像是由m n 个点阵组成的，m 行n 列的图像中的每 一个元素称为像素，每个像素点值的大小就形成了图像点的灰度或亮度。相机的 成像也是以针孔模型为基础的，它的成像实际上是将三维空间的景象映射成二维 像素矩阵中的灰度值。对于c c d 摄像头，这个二维像素矩阵灰度值是对应着 c c d 平面上m n 个离散元件上的电荷量。相机的成像过程可通过四个坐标系( 见 图3 - 2 ) 的三次转换来表达1 0 】，这四个坐标系分别为： 1 ) 世界坐标系根据自然环境所选定的坐标系，坐标用( x w ，y w ，z w ) 来表示。 2 ) 光心坐标系( 相机坐标系) 以相机的光心o 为坐标原点，x c 轴、y c 轴分别平行于c c d 平面的两条垂直边，z 轴与相机的光轴重合，坐标用( x c ， y c ，z c ) 来表示。 3 ) 图像坐标系坐标原点0 i 在c c d 图像平面的中心，x 轴、y 轴分别 为平行于c c d 平面的两条垂直边，坐标用( x ，y ) 表示。 4 ) 像素坐标系坐标原点o o 在c c d 图像平面的左上角，u 轴、v 轴分 别平行于图像坐标系的x 轴、y 轴，坐标用( u ，v ) 来表示，该坐标值为离散 的整数值。 北京工业大学工学硕士学位论文 图3 - 2 成像坐标系 f i g 3 - 2t e 锄胁c ec o o r d i n a t es 珊啪o f i m a g e 三个转换过程分别是： 1 ) 将世界坐标系中的信息转换到光心坐标系。 2 ) 光心坐标系中的信息按照针孔模型规律转换到图像坐标系中。 3 ) 最后由图像坐标系转换成像素坐标系。 由3 1 1 可知，光学成像的理论模型是针孔模型，根据这个模型，空间任一 点p 由光心坐标系向图像坐标系的转换过程符合透视投影理论，在图像坐标系中 的投影p 可以用光心o 与p 点的连线与图像坐标系平面的交点来表示，数学表达 如下： v f x 。 x = o 一， ， y 2 2 z c 其中，f 为相机焦距。上述透视影射关系用齐次坐标与矩阵表示为： ( 3 - 2 ) 设图像坐标系的原点在像素坐标系中的坐标为( u 0 ，v o ) ，则图像坐标系与 像素坐标系之问的转换关系如下： 1 6 k k乙 l 1l，j o o 0 o o 1 o f 0 f 0 0 。，。l | | 1，j x y ，l c z 第3 章全景采集系统 u 2 忑+ 仉 ( 3 3 ) v 2 + v o d v ” 其中d x 、d y 分别表示c c d 在x 和y 方向的像素点间距。齐次坐标及矩阵 表示如下： f i = 雌渊 s ， x 。 y 。 z 。 1 = 雕 ( 3 6 ) 其中，( x w ，y w ，z 。，1 ) 1 和，y c ，z c ，1 ) t 分别为空间点p 在世界坐标系和相机坐标 系中的齐次坐标，r 为3 3 的正交单位矩阵，t 为三维平移向量，卢( t x ，t y ，t z ) t ， o = ( 0 ，o ，0 ) 7 。 将( 3 6 ) 和( 3 4 ) 代入( 3 2 ) ，可得到以世界坐标系表示的点p ( x w y w ，z 。) 与其投影点p 在像素坐标系中的坐标( u ，v ) 之间的关系如下： 43 i刊 o 0 u v l o 一曲。 上奴o o k凡 roo001 北京工业大学工学硕士学位论文 即： z 。阡 怍睢习 = m 巨 n 称为内部参数矩阵，h 称为外部参数矩阵，m 为综合矩阵。 3 2 光学成像设备的选取 ( 3 7 ) 采集系统要求满足采集的方便性、尽量减少延迟且易于浏览系统生成全景视 频。全景视频的制作以全景图的制作为基础。根据对镜头的配置和使用方法的不 同，可以把现有的全景图制作方法分为单摄像头分时旋转拍摄、单摄像头鱼眼镜 头、单摄像头非平面反射镜和同心多摄像头四判1 1 1 ( 如图3 3 所示) 。 掣