（计算机应用技术专业论文）虚拟演播室的研究和开发.pdf

摘要 本文详细论述了基于j a v a 3 d 和j m f 技术的虚拟演播室的理论和技术：提出了能 够在电脑和j a v a 技术的合作下完成虚拟演播室的设想；实现了于j m f a p i 技术的视频 格式文件的读取，并应用了多线程技术和生产者消费者算法对离散后的视频和音 频的轨道进行连续读取和控制，同时能够对每一轨道图元进行提取有用像素和去除无 用像素点集合的处理，并将处理后的视频轨道图元作为一种动态纹理添加到由计算机 实时绘制的虚拟场景中。 本文提出了基于p c 机与j a v a ，j a v a 3 d 及j m f 技术的虚拟演播室的总体设计方法 及解决方案，且咳方案切实可行；解决了基于j a v a 3 d 及j m f 技术的视频读取、处理 与动态纹理控制；创建了居于三角面片逼近及j a v a 3 d 技术的具有的良好光顺性与切矢 量连续性的不规则三维几何形体，采用了相关的真实感处理技术，并将这些技术应用 到虚拟演播室系统中，取得了良好的效果。 关键字：虚拟现实增强现实虚拟演播室视频处理虚实合成 a b s t r a c t t h i sa r t i c l ee l a b o r a t e di nd e t a i lb a s e do nj a v a 3 da n dt h ej m ft e c h n o l o g yh y p o t h e s i z e d s t u d i ot h e o r ya n dt h et e c h n o l o g y ；p r o p o s e dc a nc o m p l e t e st h eh y p o t h e s i z e ds t u d i oi nt h e c o m p u t e ra n du n d e r t h ej a v at e c h n o l o g yc o o p e r a t i o nt h et e n t a t i v ep l a n ；h a sr e a l i z e di nj m f t h ea p it e c h n o l o g yv i d e of r e q u e n c yf o r md o c u m e n tr e a d ，a n dh a sa p p l i e dt h em u l t i t h r e a d t e c h n o l o g ya n dt h ep r o d u c e r c o n s u m e ra l g o r i t h mc a r r i e so na f t e rt h es e p a r a t ev i d e o f r e q u e n c ya n dt h ea u d i of r e q u e n c yt r a c kr e a d sc o n t i n u o u s l ya n dc o n t r o l s ，s i m u l t a n e o u s l y c a nc a r r yo nt h ee x t r a c t i o nu s e f u lp i c t u r ee l e m e n ta n de l i m i n a t i o nu s e l e s sp i c t u r ee l e m e n ts e t p r o c e s s i n gt oe a c ho r b i t a lp r i m i t i v e ，a f t e ra n dw i l lp r o c e s st h ev i d e of r e q u e n c yt r a c k p r i m i t i v et a k e so n ek i n do fd y n a m i ct e x t u r e t oi n c r e a s et ot h ec o m p u t e rr e a l - t i m ep l a n h y p o t h e s i z e ds c e n e t h i sa r t i c l ep r o p o s e db a s e do np cm a c h i n ea n dj a v a ，j a v a 3 da n dt h ej m ft e c h n o l o g y h y p o t h e s i z e ds t u d i os y s t e md e s i g nm e t h o da n dt h es o l u t i o n ，a n dt h i sp l a ni sp r a c t i c a la n d f e a s i b l e ；h a ss o l v e db a s e do nj a v a 3 da n dt h ej m ft e c h n o l o g yv i d e of r e q u e n c yr e a d ， p r o c e s s i n ga n dt h ed y n a m i ct e x t u r ec o n t r o l ；f o u n d e dh a sr e s i d e di nt h et r i a n g l ed o u g hs h e e t t oa p p r o a c ht h eg o o dl i g h tc o m p l i a n c ew h i c ha n dt h ej a v a 3 dt e c h n o l o g yh a dw i t ht oc u tt h e v e c t o rc o n t i n u o u sa n o m a l o u st h r e ed i m e n s i o n a lg e o m e t r yp h y s i q u e ，h a su s e dt h er e l a t e d t h i r dd i m e n s i o np r o c e s s i n gt e c h n o l o g y , a n da p p l i e dt h e s et e c h n o l o g i e si nt h eh y p o t h e s i z e d s t u d i os y s t e m ，h a sm a d et h eg o o dp r o g r e s s k e y w o r d s ：v i r t u a lr e a l i t y e n h a n c e m e n tr e a l i t y h y p o t h e s i z e d s t u d i ov i d e o f r e q u e n c yp r o c e s s i n g a c t u a ls i t u a t i o ns y n t h e s i s 长春理工大学硕士学位论文原创性声明 本人郑重声明：所呈交的硕士学位论文，虚拟演播室的研究和开发 是本人在指导教师的指导下，独立进行研究工作所取得的成果。除文中已 经注明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写 过的作品成果。对本文的研究做出重要贡献的个人和集体，均已在文中以 明确方式标明。本人完全意识到本声明的法律结果由本人承担。 长春理工大学学位论文版权使用授权书 本学位论文作者及指导教师完全了解“长春理工大学硕士、博士学位 论文版权使用规定”，同意长春理工大学保留并向国家有关部门或机构送 交学位论文的复印件和电子版，允许论文被查阅和借阅。本人授权长春理 工大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，也 可采用影印、缩印或扫描等复制手段保存和汇编学位论文。 作者签名：避。年旦月二络 指导导师签名：细蒸翌! 宙年生爿二南 第一章绪论 在科技迅猛发展的当今时代，人们对生活质量要求越来越高，对于满足自身精神世 界的电视节目要求也越来越高。为了能够更好的吸引观众，提高收视率，电视节目的 制作要求不断提高，由此虚拟演播室应运而生。虚拟演播室是- - f 聚集了计算机图形 技术、多媒体技术、传感器技术、仿真技术等多门计算机相关学科，将现场与计算机 绘制的三维场景融合到一起，表现出更具吸引力的画面。 在当今社会，虚拟演播室已经完成商品化的进程，但这些系统大多是独立的工作 站形式，不但价格相当的昂贵，对于操作人员的水平也有很高要求，这些特点让那些 人才和经费都不是十分足够的需求方没有足够的能力得到满足。 随着计算机硬件的飞速发展，计算机的处理速度也越来越快川，从而为计算机图形 学等软件技术带来了广阔的发展空间。在图形学领域，近年来，众多科学研究工作者 把眼光投向了虚拟现实与增强现实等复杂图像软件研究之上，这两项技术也因此而成 为当今研究的热点问题。 1 1 研究的目的和意义 虚拟演播室是近年来出现的新技术，它的出现为影视节目制作带来了新的契机1 2 j 。 首先，在当今的社会中，随着经济的不断发展，电视节目的制作在满足人们的精 神文化生活的同时，也同样要注意经济利益的获得。这是社会发展的必然结果。只有 拥有是够的经济支持，才能制作出更优良的影视作品。例如：美国的指环王之所 以能够长盛不衰，其中大量的震撼人心的场景都是电脑合成的，其中的场景虚实结合， 效果逼真，吸引了大量的忠实观众。精美的场面对比与完全写实的拍摄能够节约大量 的经费，也表现出依靠自然拍摄所无法得到的画面。 其次，在竞争同益激烈的今天，时问就是企业生存的第一因素，只有第一时间获 得第一手资料，快速地与观众见面，4 能在这场竞争中占有优势地位。虚拟演播室为 电视台节目制作赢得宝贵的时间1 3 j ，将蓝屏前采集的视频与由计算机产生的虚拟场景进 行实时结合，就会随心所欲地制作出所需的电视节目，这样可以大大缩短节目制作的 周期和费用，同时还可以提高整个节目的欣赏性。因此，虚拟演播室是为电视台赢得 时间的有力武器。 此外，虚拟演播室的出现，是顺应科技发展、争夺更大传播空间的创新之举。正 像当初美国公司首先推出虚拟演播室一样，我国电视界推出虚拟演播室无非是顺应科 技的发展和社会的需求，争夺新的传播空间。近年来，高科技也在大众传播领域进行 着一场革命，虚拟演播室只是其中的一部分。当越来越多的人通过鼠标而不是遥控器 来获取信息时，数字传媒是必不可少的工具。 尽管虚拟演播室有着诸多吸引人的优点和无与伦比的功能【4 】- 【”，但是虚拟演播室距 离普及还有很长的一段路，主要因为其造价太高、操作复杂及技术支持不到位等因素。 目前国际上出现的虚拟演播室多以工作站的形式出现，在性能上有着很好的优势， 但在价位上高昂的价位和相当专业性的操作使其在中国的中小电视台无法得到长足的 发展。而国内的虚拟演播室虽然价格相对便宜但是应运而生的问题也同样无法让用户 满意。 本课题的主要任务就是将场景生成器的硬件平台拓展到p c 机的构架上，以一个高 度集成化的解决方案满足国内电视制作单位的需求，丌发适合中国用户的实用系统。 场景处理在硬件上主要依靠高性能的三维图形加速卡，其运算速度与硬件指标满足系 统需要，能实时渲染出虚拟背景，达到广播级指标。软件平台采用m i c r o s o f t 的w i n d o w s 系统，具有较好的安全性、稳定性和通用性，使该虚拟演播室具有良好的性价比，使 其成为真i f 的面向广大电视台的高新技术，而不仅仅是实力雄厚的电视台独享的技术。 增强现实是当今计算机图形学的| ；i 沿技术，是对虚拟现实技术的扩展，是一个非 常有| j 途的技术。虚拟演播室又是当今研究的热点，是增强现实技术的典型代表，有 着广阔的发展前景。 虽然虚拟演播室目| ；i 还存在许多不足1 6 1 ，但它的出现，己经使传统的电视节目的编 排产生了危机感。随着人们生活水平的提高，人们的审美观点和对电视节目的需求也 越来越苛刻，如何顺应这一发展趋势，是广大电视节目制作者普遍关注的问题，也是 他们工作的焦点。提高电视节目的收视率，仅仅采用常规的电视制作方法，显然很难 达到，而随着技术的完善和成熟，虚拟演播室将是提高收视率的有效途径。 1 2 国内外研究现状 1 2 1 虚拟演播室技术的现状 虚拟演播室是典型的增强现实系统。它是区别于传统色键抠像的一种新技术。传 统色键抠像技术，是当摄像机做任何运动时，背景没有变化，播音员好像浮在背景上。 而虚拟演播室技术，当调整和移动摄像机时，背景与摄像机同步运动，所以看上去前 景与背景是一体的。虚拟演播室无论是采用传感器方式还是图案识别方式，其目的都 是要确定摄像机的位置及运动参数，再把所有参数经过处理后传送到用于渲染虚拟背 景的图形工作站中，运用这些参数使其输出的背景画面根据摄像机运动而相应运动， 实现前景( 要根掘实际情况作相应延时) 与背景实时叠加，使之天衣无缝地合为一体， 合成效果逼真立体感强的图像。 由于其成本较低、制景相对容易以及可完成常规演播室难以做到的特技效果，从 面世到现在全世界范围都有广泛的应用。 典型的虚拟演播室系统有以下几部分构成：摄像机、图形计算器、同步跟踪系统、 延迟线和色度键合成器，如图1 2 所示。其基本原理f 7 l 一嘲是以蓝室的主持人为前景信号， 在跟踪系统中所获得的拍摄参数控制下，以虚拟场景为背景信号，两者在色键控制器 中实施的合成，最终形成一幅完整的图像。 图1 2 虚拟演播室系统结构图 现阶段几乎所有的虚拟演播室应用软件还处在发展初期。有些软件还存在着一定 的局限，尚不能完全满足节目制作与创新的需要，尽管这一技术发展很快。在现阶段 仍需要制作人员在技术细节上与导演配合。制作人员从传统的单一的执行导演意图的 技术员转变成为参与节目前期总体方案设计的创作者之一。这种变化是现代科技发展 的必然结果，无疑提高了现代电视节目制作人的业务要求，同时也扩大了导演的工作 职能和范围。在电视台的新闻类、专题类和综艺类等许多节目中都离不开演播室的布 景，布景的质量以及设计思想的优劣直接影响电视节目的整体质量。 传统的演播室柿景【9 】是由美工师、木工和油漆工等共同完成的，电视台每天根据节 目的内容不断更新布景。传统的演播室不仅需要布景，还需要大量的道具和灯光调节， 而虚拟演播室技术是基于色键抠像技术与计算机图形相结合的技术，它由计算机软件 束完成布景的设计和制作，它将摄像机拍摄的图像实时地与计算机三维图形进行合成， 从而形成一种新的电视节目制作系统，它具有一些传统演播室无法达到的功能和优点。 其魅力在于化虚拟为现实、“假戏真作”，达到不是现实而又高于现实的效果。 虚拟演播室系统【i 川可以更有效地利用演播室资源，节省了大量的演播室制景费用 及装、拆布景的时问和人力，使编导和美工摆脱了时间、空间及道具的限制，充分发 挥想象力进行自由创造。虚拟演播室的背景是由计算机通过图像合成和动画制作的方 法生成的，由于背景成像依据真实摄像机的运动参数来保证演员和背景的三维透视完 全相同，从而达到了“融合”的目的。作为一种新兴的技术，虚拟演播室之所以会吸 引众多研究者的目光，就是因为它有着如下三个真实演播室无法比拟的优点： 1 费用低； 2 布景制作快、变化多、可再生、不占用物理空间资源且可重复利用； 3 允许观众走进虚拟环境，构成了全新的观众参与方式。 在虚拟演播室中，也应用到了大量的特殊技术。虚拟演播室的关键技术分为摄像 机运动参数的跟踪、虚拟背景的生成及视频合成三部分。其中，实时生成背景，是将 计算机制作的带纹理的三维数学模型，映射存储在图形工作站的数据库中。然后，在 前景摄像机运动参数的控制下，虚拟摄像机对预先制作的虚拟布景进行三维重建，通 过虚拟背景制作软件系统，根掘背景需求对事先制作的虚拟背景进行控制和操作，即 对物体的位置和透视关系作相应的变换，利用纹理匹配工具使物体增加真实感，实时 生成与l ；i 景有f 确视角关系的背景图像，生成速度可达5 0 帧秒；视频合成是在色键 合成器中完成的，摄像机拍摄的前景图像经过色键合成器进行抠像处理，并与计算机 生成的虚拟背景实时地合成输出图像，实现虚实合成。 在短短的十几年中，虚拟演播室的发展经历了从无到有、从有到精的过程。早在 1 9 7 8 年就有人提出用计算机产生虚拟背景柬代替真实场景，但是长期受制于计算机硬 件运算速度慢，图形图像处理能力差】_ 1 1 2 】。随着计算机运算速度的提高、硬件价格的 下降以及计算机视觉和图形学理论的发展，虚拟演播室技术才得以充分的发展。西方 各个国家的计算机公司都推出了自己公司的产品，在他们所展示的虚拟演播室系统， 无论技术上还是性能上，都有着独特的地方。国内方面，1 9 9 8 年方正公司推出了虚拟 布景系统，1 9 9 9 年大洋公司、奥维迅公司、索贝公司都展示了自己的虚拟演播室系统， 由于硬件和软件水平的差异，这些国产的系统在功能和性能上还无法与技术相对成熟 的国外产品。 尽管虚拟演播室有着极其广阔的发展i j i 景，有着诸多的优越性，但它的普及和推 广仍有一定的难度，因为它在很多方面还很不成熟，它的应用存在很大的局限性。目 前还存在着以下几个问题： 1 虚拟设备价格昂贵，普通一套设备也要十几万美元，一般的电视台在经济上无 法承受：国外的虚拟演播室系统一般都是独立于p c 机的系统，所以这个系统结构复杂 且操作繁琐，不利于推广；另外，人爿的问题也很重要，制作虚拟背景的人，应该既 是计算机图形专家，也是具有丰富创作真实布景经验的美工师，这样才能真证发挥虚 拟演播室系统的优越性。 2 由于当前计算机硬件的发展状况，在一定程度上制约了计算机处理图形的速度， 4 从而影响了虚实合成的真实感效果。另外，目前还没有非常好的跟踪处理设备，也影 响了虚实合成的精度。 3 虚拟演播室最主要的局限性是拍摄需要发生在特制的蓝室内。蓝室通常音响效 果较差( 主要是由于弧形的墙角引起的) ，室内光照设计非常困难，而且一旦灯光安装 完毕，改变起来( 也许是由于一些特殊效果的需要) 也相当困难。同时虚拟演播室对节 目制作人员提出了新的要求。从虚拟场景的设计、制作到演播室的灯光布置和摄像机 操作等，都不同于一般的演播室。 虚拟演播室制作节目的优势是显而易见的。由于虚拟演播室从发展到应用才走过 十几年，它的技术仍在发展和完善中，还是一个年轻的技术，但虚拟演播室技术在全 世界已经得到了颇为广泛的应用。 迄今为止，全世界己有十几个虚拟演播室设备品牌推向市场，世界各大电视台和 影视制作单位己经采用虚拟演播室制作了多套电视节目。在中国，中央电视台、北京 电视台和广东有线电视台等大中电视台采用了虚拟演播室，而且越来越多的电视台逐 渐加入到这一行列。目前，制约虚拟演播空在中小电视台广泛应用的瓶颈是产品的性 能和价格，但随着计算机技术和视频技术的迅速发展，虚拟演播室的性能将更加完善， 价格会不断下降。因此，虚拟演播室广泛应用于中小电视台只是一个时间问题。一旦 虚拟演播室产品的价格降至2 0 3 0 力人民币时，就会如雨后春笋般涌进各中小电视台。 可以说，虚拟演播室有着极为广阔的发展前景。 1 2 2 基于j a v a 技术的虚拟演播室 基于j a v a 技术的虚拟演播室是其新的发展方向，它具有两个优点。 1 由于j a v a 语言本身的跨平台性和与互联网结合的方便性，使基于j a v a 技术的 虚拟演播室显现出无可媲美的灵活性与通用性。该技术一旦成熟，可用于全国各级电 视台，如果开发英语版本，还可出口创汇。该技术具有价格低、实用性强以及使用灵 活等特点，在国、内外具有很强的竞争力。 2 j a v a 3 d 具有很好的图形封装能力，对于丌发三维图形系统非常实用。j a v a 3 0 不是底层的三维丌发软件，可以高效率地进行图形软件的丌发，所以本系统采用j a v a 和j a v a 3 d 作为丌发平台。 目前，国内应用的虚拟演播室数量很少，基本上是仿照国外技术制作的，成本高 且技术低，很不适合具有中国特色的电视节目制作，这些问题严重的制约着虚拟演播 室技术的发展，同时也制约着电视节目制作的质量，进而影响电视节目的发展。该技 术一旦成熟就可比购买国外刷类软件节省大量的外汇，方便本国电视节目的制作，缩 短节目制作周期，节省制作的成本，创作出具有现代气息的新颖的电视节目，从而可 大大提高收视率。 1 3 课题的研究内容 1 3 1 本文研究的主要内容 本文主要研究内容如下： 1 分析虚拟现实、增强现实和虚拟演播室技术，论述基于j a v a 3 d 和j m f 技术的 虚拟演播室系统设计所涉及的相关理论与技术。 2 采用基于j m fa p i 技术的视频格式文件( m p g ) ，应用多线程技术和生产者一 一消费者算法对离散后的视频和音频的轨道进行连续读取和控制，对每一轨道的图元 进行提取有用的像素和去除无用的像素点集合的处理，并将处理后的视频轨道图元作 为一种动念纹理添加到由计算机实时绘制的虚拟场景中，实现虚实结合。 3 完成基于多线程技术和键盘交互技术的虚拟演播室动态滚动字幕和静态字幕的 设计；采用基于线性插值数学模型逼近切面圆，用三角面片逼近法构造出具有良好光 顺性和切矢量连续性的球缺和球冠等不规则几何形体，并对这些几何形体进行相应的 真实感处理。 4 研究基于四边形面片逼近方法的回转体、变截面曲柄等不规则几何形体的建模， 并进行相应的纹理处理。实现基于j a v a 3 d 技术的b i l l b o a r d 等多种动画和交互式程序的 开发，利用基于j a v a 3 d 的键盘导航技术等高级键盘交互技术，实现具有增强现实特点 的虚拟演播室系统。 1 3 2 论文的安排 论文在叙述和安排上主要分为如下五个部分： 第一章：叙述本课题的背景，即虚拟现实技术、虚拟现实技术的应用以及最近发 展起来的增强现实技术和虚拟演播室技术；论述研究本课题的意义、目前还存在的问 题以及本课题所要研究的内容。 第二章：相关技术分析。阐述虚拟演播室的相关技术和理论。主要介绍摄像机跟 踪技术、三维虚拟场景制作技术及虚拟演播室色键合成技术和同步控制技术；讨论传 统色键技术和抠像技术的区别、虚拟演播室对灯光条件的特殊要求。 第三章：系统总体设计。主要介绍系统丌发的背景及意义，应用程序开发的硬件 平台和底层软件丌发工具，编程语砉的选择等，论述系统总体设计和系统功能模块的 划分等工作。 第四章：关键技术问题及解决方案。主要介绍在实际丌发中涉及到的关键技术， 详细论述与之相关的解决方案。 第五章：结论。对全文进行了总结，并对本课题进一步完善提出了设想。 6 2 1 相关技术介绍 第二章相关技术分析 2 1 1 虚拟现实技术的基本概念 虚拟现实技术( v i r t u a lr e a l i t y ) ，又称灵境技术，是9 0 年代为科学界和工 程界所关注的技术。它的兴起，为人机交互界面的发展开创了新的研究领域：为智能 工程的应用提供了新的界面工具：为各类工程的大规模的数据可视化提供了新的描述 方法。 虚拟现实技术的特点在于：计算机产生一种人为虚拟的环境，这种虚拟的环境是 通过计算机图形构成的三度空问，或是把其它现实环境编制到计算机中去产生逼真的 “虚拟环境”，从而使得用户在视觉上产生一种沉浸于虚拟环境的感觉。这种技术的 应用，改进了人们利用计算机进行多工程数据处理的方式，尤其在需要对大量抽象数 据进行处理时；同时，它在许多不同领域的应用，可以带来巨大的经济效益。 可以看出，正是因为虚拟现实系统极其广泛的应用领域，如娱乐、军事、航天、 设计、生产制造、信息管理、商贸、建筑、医疗保险、危险及恶劣环境下的遥控操作、 教育与培训、信息可视化以及远程通讯等，人们对迅速发展中的虚拟现实系统的广阔 应用前景充满了憧憬与兴趣。 计算机的发展提供了一种计算工具和分析工具，并因此导致了许多解决问题的新 方法的产生。虚拟现实技术的产生与发展也同样如此，就虚拟现实本身而言，它主要 涉及到三个研究领域： 1 通过计算机图形方式建立实时的三维视觉效果； 2 建立对虚拟世界的观察界面； 3 使用虚拟现实技术加强诸如科学计算技术等方面的应用。 本质上虚拟现实就是一种先进的计算机用户接口，它通过给用户同时提供诸如视、 听、触等各种直观而又自然的实时感知交互手段、最大限度地方便用户的操作，从而 减轻用户的负担、提高整个系统的工作效率。虚拟现实的定义可以归纳如下：虚拟现 实是利用计算机生成一种模拟环境( 如飞机驾驶舱、操作现场等) ，通过多种传感设 备使用户“投入”到该环境中，实现用户与改环境直接进行自然交互的技术。虚拟现 实技术因此具有以下四个重要特征： 1 多感知性 所谓多感知性就是说除了一般计算机所具有的视觉感知外，还有听觉感知、力觉 感知、触觉感知、运动感知、甚至包括味觉感知、嗅觉感知等。理想的虚拟现实就是 7 应该具有人所具有的感知功能。 2 存在感 又称临场感，它是指用户感到作为主角存在于模拟环境中的真实程度。理想的模 拟环境应该达到使用户难以分辨真假的程度。 3 交互性 交互性是指用户对模拟环境内物体的可操作程度和从环境得到反馈的自然程度 ( 包括实时性) 。例如，用户可以用手去直接抓取环境中的物体，这时手有握着东西 的感觉，并可以感觉物体的重量，视场中的物体也随着手的移动而移动。 4 自主性 自主性是指虚拟环境中物体依据物理定律动作的程度。例如，当受到力的推动时， 物体会向力的方向移动、或翻倒、或从桌面落到地面等。 虚拟现实技术主要包括以下内容： 1 动念环境建模技术 虚拟环境的建立是虚拟现实技术的核心内容。动态环境建模技术的目的是获取实 际环境的三维数据，并根据应用的需要，利用获取的三维数据建立相应的虚拟环境模 型。三维数据的获取可以采用c a d 技术( 有规则的环境) ，而更多的环境则需要采用 非接触式的视觉建模技术，两者的有机结合可以有效地提高数据获取的效率。 2 实时三维图形生成技术 三维图形的生成技术已经较为成熟，其关键是如何实现“实时”生成。为了达到 实时的目的，至少要保证图形的刷新率不低于1 5 帧秒，最好是高于3 0 帧秒。在不 降低图形的质量和复杂度的前提下，如何提高刷新频率将是该技术的研究内容。 3 立体显示和传感技术 虚拟现实的交互能力依赖于立体显示和传感器技术的发展。现有的虚拟现实还远 远不能满足系统的需要，例如，数据手套有延迟大、分辨率低、作用范围小、使用不 便等缺点；虚拟现实设备的跟踪精度和跟踪范围也有待提高，因此有必要开发新的三 维显示技术。 4 应用系统开发工具 虚拟现实应用的关键是寻找合适的场合和对象，即如何发挥想象力和创造力。选 择适当的应用对象可以大幅度地提高生产效率、减轻劳动强度、提高产品丌发质量。 为了达到这一目的，必须研究虚拟现实的开发工具。例如，虚拟现实系统开发平台、 分布式虚拟现实技术等。 5 系统集成技术 由于虚拟现实中包括大量的感知信息和模型，因此系统的集成技术起着至关重要 的作用。集成技术包括信息的同步技术、模型的标定技术、数据转换技术、数据管理 模型、识别和合成技术等等。 8 2 1 2 虚拟现实技术的应用 虚拟现实技术的应用鲋景是很广阔的【i 。它可应用于建模与仿真、科学计算可视 化、设计与规划、教育与训练、遥作与遥现、医学、艺术与娱乐等多个方面。而未来 的潜在价值也必将对整个人类的生活与发展带来十分广泛的冲击和变革。 但讵如其它新兴科学技术一样，虚拟现实技术也是许多相关学科领域交叉、集成 的产物。它的研究内容涉及到人工智能、计算机科学、电子学、传感器、计算机图形 学、智能控制、心理学等。我们必须清醒地认识到，虽然这个领域的技术潜力是巨大 的，应用前景也是很广阔的，但仍存在着许多尚未解决的理论问题和尚未克服的技术 障碍。 客观而论，目f ；i 虚拟现实技术所取得的成就，绝大部分还仅仅限于扩展了计算机 的接口能力，仅仅是刚刚丌始涉及到人的感知系统和肌肉系统与计算机的结合作用问 题，还根本未涉及“人在实践中得到的感觉信息是怎样在人的大脑中存储和加工处理 成为人对客观世界的认识”这一重要过程。只有当真正开始涉及并找到对这些问题的 技术实现途径时，人和信息处理系统问的隔阂才有可能被彻底的克服了。我们期待这 有朝一日，虚拟现实系统成为一种对多维信息处理的强大系统，成为人进行思维和创 造的助手和对人们已有的概念进行深化和获取新概念的有力工具。 2 1 3 增强现实技术概述 增强现实( a r ，a u g m e n t e dr e a l i t y ) 是采用对真实场景利用虚拟物体进行增强显 示的技术，与虚拟现实相比，具有真实感强、建模工作量小的优点。可广泛应用于工 程设计、现代展示、医疗、军事、教育、娱乐、旅游等领域。美国巴特尔研究所在一 项研究报告中列出1 0 个2 0 2 0 年最具战略意义的技术趋势，这些趋势将决定着未来一 个时期的社会发展特征，其中排名第1 0 位的便是增强现实技术。 增强现实技术是随着虚拟现实技术的发展而产生的f “l i 皓】，因此两者有着不可分割 的关系，但是也有显著的区别。 1 增强现实与虚拟现实在沉浸感上要求有明显的区别：增强现实是一种对真实世 界的增强，它不是独立于现实环境之外的系统，而是强调用户在现实世界中的存在性 并努力维持感官效果的不变性。增强现实系统的主要特点就是将计算机产生的虚拟环 境与真实环境融为一体，从而增强用户对真实环境的理解，因此需要借助能够将虚拟 环境与真实环境融合的设备透视式头斋显示器。虚拟现实系统强调用户的视觉、 听觉和触觉等感觉器官完全沉浸在由计算机实时产生的虚拟环境之中，成为虚拟环境 中的一员，同时还可以对虚拟环境进行一定的交互和控制等。这些功能的实现通常需 要借助能够将用户视觉与坏境隔离的头盔显示器。 2 增强现实与虚拟现实的配准精度的要求不同 t 6 l ：在沉浸式虚拟现实系统中，配 9 准精度是指由计算机绘制的虚拟环境与用户各种感官之间冲突的偏差值。这种配准误 差是视觉系统与其它感官系统以及个人感觉之间的冲突造成的。 心理学研究表明，往往是视觉占了其它感觉的上风，因此用户会慢慢适应这种由 视觉与本体感觉冲突所造成的不适应现象。而在增强现实系统中，配准精度主要是指 将计算机产生的虚拟物体与用户周围的真实环境全方位对准，并要求用户在真实的运 动过程中维持正确的配准关系。较大的配准误差不仅使用户不能从感官上相信虚拟物 体在真实环境中的存在性和一体性，甚至会改变用户对其周围环境的感觉，改变用户 在真实环境中动作的协调性，严重的注册误差甚至会导致完全错误的行为。 虚拟现实与增强现实都强调实时交互【1 7 1 ，而增强现实还有一个技术特征就是虚拟 物体与真实环境的全方向校准，即三维注册( 3 dr e g i s t r a t i o n ) 。三维注册是根据现实世 界的位置关系将物体放到正确的位置。此外，增强现实系统设计最基本的问题就是实 现虚拟信息和现实世界的融合，显示技术是增强现实系统的基本技术之一。一般而言， 可以把增强现实的显示技术分为以下几类：头盔显示器显示、投影式显示、手持式显示 器显示和普通显示器显示，头盔式显示器是最早的v r 显示器，它利用头盔将人的对 外界的视觉、听觉封闭起来，引导用户产生一种身在虚拟环境中的感觉。目前的头盔 式显示器的分辨率已达到1 0 2 4 x 7 6 8 ，可为用户提供清晰的虚拟场景画面。 1 s l 。 头盔显示器在虚拟技术应用系统中的地位十分重要，统计表明，普通人从外部世界 获取信息的8 0 来自视觉，如何实时地生成大规模复杂虚拟环境的立体画面仍然是当 前虚拟现实研究中亟待解决的问题。 头盔显示器的原理是将小型2 维显示器所产生的影像藉由光学系统放大。具体而 言，小型显示器所发射的光线经过凸状透镜使影像因折射产生类似远方效果。利用此 效果将近处物体放大至远处观赏而达到所谓的全像视觉。液晶显示器的影像通过一个 偏心自由曲面透镜，使影像变成类似大银幕画面。由于偏心自由曲面透镜为一倾斜状 凹面透镜，因此在光学上它已不单是透镜功能，基本上已成为自由面棱镜。当产生的 影像进入偏心自由曲面棱镜面，再全反射至观视者眼睛对向侧凹面镜面。侧凹面镜面 涂有一层镜面涂层，反射同时光线再次被放大反射至偏心自由曲面棱镜面，并在该面 补正光线倾斜，达到观视者眼睛。 由于增强现实不仅继承了虚拟现实的特点，同时又具有虚实结合的独特性，因而 增强现实有着广阔的应用发展前景，日益受到人们的关注，国外许多研究机构都在从 事此方面的研究和探索。增强现实技术不仅具有与虚拟现实技术相类似的应用领域， 而且更显著的特点在于它对真实环境的增强效果，在医疗研究、解剖训练、精密仪器 制造、装配与维修、军事训练、工程设计和远程机器人等领域具有比虚拟现实技术更 加明显的优势。 例如，在一个导游系统的应用中，用户佩戴头盔式显示器，通过这种透视式头盔 显示器，可以看到真实世界的景色，还可以看到由计算机产生虚拟的信息，当用户在 景区里漫游时，计算机的跟踪器可以实时跟踪旅游者的眼睛的目视方向，同时，计算 机对跟踪器传过来的信息进行处理，在相应的位置上给真实世界添加对应的虚拟信息， 这个信息可以是用户正在欣赏的景点信息介绍或相关历史背景等，从而达到对真实世 界进行强的作用，这样就可以减少雇佣导游的开销，具有很大的应用价值。 增强现实的发展近十几年的时间，尚是一门年轻的技术，在整机系统上( 包括硬件 和软件) 也存在着很多问题，在硬件方面，首先要解次一种超微型及可穿戴式的计算机， 当然这种计算机与笔记本电脑、掌上电脑( h f c ) 和个人数字助理( p d a ) 等现有的硬件设 备在体系结构、功能、形念、用途及使用方式上迥然不同，应该在许多功能方面更胜 一筹。在软件方面需要人机“最佳结合与协同”的移动信息系统，这些不成熟的技术 都将成为a r 系统发展的瓶颈。其中几个代表性的问题如下1 1 9 】- 2 0 1 ： 1 三维注册速度。由于受到计算机硬件速度的限制，会造成一定的延迟，当c c d 采集的图像与增强信息进行叠加时会出现漂移现象，从而使得在一定程度上失去了增 强现实的真实性。 2 单向交互。目前增强现实技术实现的交互只是单向的，虚拟( 真实) 场景中的物 体可以影响虚拟物体，而虚拟物体却无法影响虚拟( 真实) 场景中的物体。这种在受控条 件下对虚拟( 真实) 世界进行增强，不是增强现实技术长远追求的目标。 3 显示输出。对于户外增强现实来讲，影响显示输出的不但有硬件系统本身，现 实世界的气候环境如：阳光和影子等也对增强现实的输出有着很重要的影响。这些非 人为的因素可能会造成输出图像的一些细节的丢失【2 ”。增强现实技术是一个多学科交 叉的领域，它包括计算机视觉、计算机图形学、传感器、网络和g p s 等许多技术，作 为一门新兴的技术，它有着很大的实用价值和应用前景。随着增强现实技术的r 益成 熟，增强现实系统也会逐渐进入各个应用领域，走进人们的生活，为人们所接受。在 网络高度发展的今天，增强现实系统的网络化也是一个重要的发展趋势，通过网络， 同时也可以大大提高增强现实系统的性能。 2 2 虚拟演播室技术介绍 2 2 1 摄像跟踪技术 摄像机追踪技术对于任何虚拟演播室系统来说都是最重要的部分之一【2 2 】- 【2 3 】- 2 4 1 。相 对于以前的二维虚拟演播室，如今的三维虚拟演播室对于追踪系统的要求更为严格， 原因是： 1 如果追踪系统只能测量摄像机的俯仰和摇移动作，而不能测量到x 、y 、z 的位 置改变，摄像机就必须固定在演播室地板上。在这种情况下，得出的画面没有三维透 视感而导致背景显得平板。 2 ，图形的特技花样和其他性能已经有增长并将不断提高。如果不能够正确地测量 到摄像机的参数，虚拟背景会产生“跳跃”现象，并且画面会失去真实感。例如，真 实演员的虚拟阴影可能会处在不合适的位置。 3 虚拟演播室中近距离的拍摄对摇移和俯仰参数要求非常高的精度。当画面范围 较小时，即便是0 0 l 的误差也有可能导致背景与前景之间发生明显漂移和抖动。因此， 要得到较好的近距离拍摄效果，追踪系统必须有很高的精确性。 4 随着对精确性的要求提高，追踪系统必须包含一个精确的镜头校准系统。用户 应该能够方便地在演播室中校币镜头。这点很重要，因为一个高质量的虚拟演播系统 决不能忽略对每个镜头的校丁f 或依赖于普通的镜头表。 目前在虚拟演播室技术中使用的最普遍的有网格识别，机械传感器，追踪红外线 光源等。 1 网格识别 根据演播室的大小，定制不同尺寸的网格，每个相邻的网格大小不同，依靠摄像 机拍下的视频图像，可以实时地解析出摄像机的位置、方向和变焦参数。支持任意数 量、任意类型的普通演播室摄像机：肩架式、座机或遥控式的摄像机，支持任意类型 的镜头。不需要繁琐、耗时的校准和重校准过程，自动进行实时的重校准。对演播室 中的设备和安装方式没有特别的要求。由于所有的参数都来源于摄像机拍摄的网格， 所以，只有在摄像机拍摄的画面中同时满足网格占当l j 画面的5 0 以上和有四个网格交 叉点这两个条件时，系统才能- f 确识别参数。 2 传感器识别 推拉变焦和聚焦传感器：把推拉变焦和聚焦传感器安装在摄像机的镜头上。当镜 头是数字镜头时则不需要，可以直接读取其参数。通常使用电位计或编码器，而且通 常同时把两个都装上。推拉变焦信息用来确定画面范围( 物体呈现的大小) 。聚焦信 息用来协助纠正画面范围。 传感头( 摇移、俯仰或r o l l ) ，许多二维虚拟系统和三维系统使用传感头。传感 器安装在摄像头上来测量摇移和俯仰动作，这些信息用来确定背景的透视感。除非加 入了某些位置测量追踪器，否则在拍摄中是不能移动演播室中装有传感器的摄像机的 位置，位置一旦移动，就必须重新校准。不过，使用这种方法，拍摄的画面范围不会 像网格识别中那样受到网格范围的限制。 3 红外线追踪技术 系统使用一个红外线l e d 目标安放在每个演播室摄像机上，这些目标是很轻的碟 片，包含1 6 个1 6 小红外线l e d ，从顶部和旁边发射光线。安装在天花板或墙上的一列 “监测”摄像器把这些目标拍摄下来。所有的目标都是相同的，在初始处理后即丌始 追踪摄像机，摄像器对红外线敏感，l e d 丛在图像上呈现为黑背景上的白色亮点，l e d 与视频同步，图像处理运算检测到l e d 并计算出摄像机的位置和角度。 4 其它跟踪技术 超声波定位和惯性测量：采用超声波信号多点发射和多点接收原理，陀螺仪定位 原理和模糊识别处理的原理，定位摄像机的当前位置，一般在演播室顶部安装的超声 波发射和接收杆，每根杆有六个发射和接收点，问隔6 0 c m ，每个点以7 0 。的发射角度， 向下发射超声波，安装时两根杆平行放置，问隔也为6 0 c m ，高度为4 m ，根据演播室摄 像机所需活动范围的大小，可以放置一定数量的杆，来覆盖活动区域。在摄像机顶部 安装三个会属点和陀螺仪，会属点用于反射超声波信号，陀螺仪用于模糊定位，主要 是用在摄像机倾斜和翻转时的定位。 理论上只要超声波发射杆所覆盖的区域，都可以定位，但是由于超声波发射角度 为7 0 。，在接近杆的区域有一部分盲区，所以如果使用一定高度的摇臂，例如3 m 小摇 臂，加上摄像机的高度应该f 好在这个盲区内，就无法定位，还有在覆盖区域接近边 缘的地方，会出现定位的错误。定位的精度不高，i j i 景和背景的结合有一定的误差。 校准比较麻烦，每次断电后，都必须重新做一次校正。安装上的要求比较高，对电磁 波的干扰很敏感，如果离演播室灯光整流器过近，或接地不好的话会对系统有很大的 影响。安装在摄像机上的金属架太重，附加重量达到4 5 k g ，不适合肩扛。整个系统 只能用一个机位的超声波定位，如果有第二个会相互干扰。 机械摄像机( x ，y ，z ) ：这罩的机械摄像机是指把摄像机安放在机动式基座上， 测量基座的运动，而遥控摄像机的动作。把传感头和推拉聚焦结合起来，就可以进行 完整的测量了。这些设备体积庞大，也非常昂贵，但是性能不错。从理论上讲，摄像 机可以安装在滑轨上，但这种方法使用很不广泛。 当前高端的三维系统都使用几种不同的方法来探测摄像机在地板上的位置及其动 作。如网格识另u + l e d ，网格识别+ 传感器，传感器+ l e d 等。这些系统可以测量到自由运 动的6 个参数( x 、y 、z 、摇移、俯仰和r o l l ) ，有些亦测量推拉变焦和聚焦参数。不 同的跟踪方式有其自己的特点，有自己的优势和局限性，成本也有很大的不同。 2 , 2 2 实时渲染能力 实时渲染能力是虚拟演播室技术的另一个重要的衡量标准2 5 1 ，虚拟演播室发展到 今天，已经成为一项独立的技术，其最大的功能和优势就在于它的实时性，不必再花 费更多的时自j 和后期制作的人力物力。作为一个优秀的三维虚拟演播室系统需要实时 处理大量的三角形、纹理贴图、视频插入等，而不是预生成的场景，所以一个强大的 图形工作站就显得尤为重要。现在主要使用的有基于u n i x 平台的s g io n y x2 、3 i n f i n i t er e a l i t y 。由于p c 的发展，现在也逐渐出现了基于n t 平台的d v g 和其它图 形工作站。 总所周知，s g io n y x2 和3i n f i n i t er e a l i t y 由于其强大的图形性能，早己被广 泛应用于高端的视频领域，至今为止，还是高端虚拟演播室系统所使用的最为优秀的 图形工作站之一。 1 3 近几年p c 的发展迅速，随着c p u 和显卡芯片主频的升高，显卡的纹理内存扩大， p c 成本的不断降低，许多厂商丌始丌发基于p c 的图形工作站。其中最为典型的就是专 门为了虚拟演播室丌发的d v g 一1 0 图形工作站。 实时三角形的运算数量是很重要的 2 6 j ，在一个虚拟场景中所有的物体除了视频插 入信号外都是由三角形组成，但是在衡量一个系统的运算能力是否强大时，只是以此 为标准也是错误的，也是没有意义的，因为在一个场景中除了三维物体以外，还会有 视频插入信号，虚拟灯光效果，粒子效果，大量的贴图等，任何一项加入都会导致系 统实时处理三角形能力的急剧下降，所以检验图形的运算能力必须综合所有的因素以 后，才能做一个正确的评价。 2 2 3 虚拟演播室色键合成系统 虚拟演播室实时系统的最终结果是将前景图像和背景图像合成起来，在这里仍然 采用传统的色键合成系统1 2 7 1 。色键合成是电视节目制作中常用的合成手段，通常用于 将静台人物表演