浅谈虚拟演播室技术.doc

浅谈虚拟演播室技术摘要:本文叙述虚拟演播室技术基本原理,系统构成,使用时应注意的问题并介绍了一些公司产品系统的特点。关键词:虚拟演播室,前景图像,虚拟背景,跟踪系统1 概述虚拟演播室(virtual studio)是近年发展起来的一种新兴电视制作技术,是传统演播室色键抠像技术与计算机虚拟现实相结合的产物。它将摄像机拍摄的图像与计算机制作的虚拟场景完美地结合起来,创造出令人异想天开的虚拟世界。这一技术的应用,使得电视工作者摆脱了时间、空间及道具制作方面的限制,能够自由地遨游在广阔的想象空间之中,极大地提高了电视台的节目创作及制作能力。并且由于虚拟场景的制作、修改、保存都是在计算机中进行,省去了真实场景的搭建、拆卸、储藏等环节,降低了节目制作的费用,提高了演播室的效率。2 虚拟演播室的基本原理在虚拟演播室中,把摄像机拍摄到的人物、景物称为前景图像,而把通过计算机动画软件制作的二维或三维动画图形,称为虚拟背景或虚拟场景。在图1中可以看到,虽然虚拟演播室前景、背景图像也是靠色键技术合成的,但二者之间却有同步联动关系,即将拍摄前景的摄像机进行摇移、俯仰、变焦、聚焦动作时,可以通过获取摄像机的各种运动参数(摇移、俯仰、变焦、聚焦、摄像机空间位置等),去控制背景图像生成装置,使之生成与前景图像保持正确透视关系的背景图像,最后通过色键将前景、背景图像合成输出。3 虚拟演播室的系统构成1套典型的虚拟演播室系统主要由摄像机跟踪系统、虚拟背景生成系统及视频合成系统组成。31 摄像机跟踪系统虚拟演播室中如何正确判断摄像机、主持人及虚拟背景之间的相对位置关系,是实现前、背景图像完全同步联动、再现起初的透视关系的关键所在,因此就需要有1个能够随时检测和提供摄像机运动参数和演员位置参数的系统,这就是摄像机跟踪系统。摄像机的运动参数包括镜头运动参数(变焦、聚焦、光圈)、机头运动参数(摇移、俯仰)以及空间位置参数(地面位置x、y和高度z)等。这些参数的获取对虚拟演播室系统来说是至关重要的,它会直接影响到合成图像的效果。在二维虚拟演播室中,一般只需要跟踪摄像机的镜头运动参数(变焦、聚焦)和镜头运动参数(摇移、俯仰),而在三维虚拟演播室中,还需跟踪摄像机的空间位置参数(x、y、z)。目前常用的摄像机跟踪系统主要有编码器和图形识别方式。311 编码器方式这种方式是在摄像机镜头上安装传感器和有关电子装置,即镜头运动参数编码器。镜头编码器是通过托架与镜头上的变焦环、聚焦环齿轮紧密咬合,当变焦环和聚焦环位置发生变化时,编码器就能检测出其变化,并将数据编码输出。摄像机的机头运动参数可通过安装在基座上的机头运动参数编码器来测量。它能测出上下左右摆动的细微角度变化并将其编码输出。镜头编码器和机头编码器均采用高分辨率的光学编码器,其输出的4路数据(变焦、聚焦、摇移、俯仰)可通过1个高速的串行位置接口(spi)混合成1路串行数据送给控制背景变化的计算机。摄像机的地面位置x、y及高度z也可用类似的编码器方式测量。即用相应的传感器检测摄像机的升降和云台脚的转动,并对其参数进行编码。不过用此方法测得的参数精确度偏低,存在累积误差,被称为无基准方式。另一种方法是读条形码法,即在云台上安装1个专用广角摄像机,另外在演播室的1面墙的底边安装有条形码板。通过广角摄像机扫描条形码板,便可确定摄像机在演播室中的绝对位置,这被称为有基准方式。这种方式精确度高,其缺点是必须保证条形码处于广角摄像机的拍摄范围内,否则无法正常工作。有些系统采用2种方式并用,当广角摄像机取到条形码时,采用有基准方式:当广角摄像机无法摄取条形码时则自动转到无基准方式。利用编码器方式检测摄像机运动参数,具有处理速度快、精确度高(旋转角度可精确到0.001,移动距离可精确到0.01mm)、工作稳定等优点;缺点是每台摄像机都需配备1套跟踪系统,增加了系统的成本,限制了摄像机的种类及数量,另外摄像机在拍摄前的定位和校正也是一件非常繁琐的事情。312 图形识别方式图形识别方式是对通过摄像机拍摄的图像的形态识别和分析来确定摄像机的各种运动参数。这种方式要求在演播室的背景幕布上用不同色度(例如深蓝和浅蓝)绘制出特定的图案。当摄像机的运动参数发生变化时,它所拍摄到的背景图案的特征也将发生响应的变化。通过对此图案的识别、分析和运算,从而可检测出摄像机的各种运动参数,包括水平转动参数、垂直转动参数、变焦参数以及位置参数(x、y、z)。目前已在使用的一种图案是网格图案,即在深蓝色的幕布上用浅蓝色绘制出特定的格子图,并且正面倾斜放置。由于背景幕布整体采用的是与传统演播室相同的蓝色,因此仍可利用色键技术进行抠像合成。在实际拍摄中,人物、景物连同网格图案一并被摄像机摄入,由于网格图案的设计确保了摄像机在任何位置、任何角度所拍摄到的网格图案的特征不同,系统的数字视频处理器可以利用电平差技术分离出浅蓝色网格图案,经过识别分析,并与计算机跟踪软件及硬件预先确定好的模型进行比较,从而获取摄像机的各项运动参数,然后用这些参数去控制虚拟背景生成系统,产生与前景匹配的背景。采用图形识别方式最主要的优点是免除了编码器方式繁琐的安装和调校,在拍摄过程中可以随意移动摄像机,增加了摄像师的创作自由度。另外,这种方式不需要对摄像机进行任何改造,可直接使用演播室原有的摄像机,甚至是便携式摄像机,降低了演播室系统改造的费用。但这种方式也存在着很多不足之处;首先,由于该方式要对图案进行分析、计算,所以数据处理时间长,加大了视频延时量(517帧左右);其次,用这种方式获得的摄像机运动参数精度比不上编码器方式的精度;另外,当摄像机散焦或摄取画面中图案信息量较少时(至少要求含有4个网格点),系统便无法正常工作，对摄像机的景深以及演员的活动范围造成一定限制。32 虚拟背景生成系统321 虚拟场景的制作虚拟演播室的背景图像可以是来自录像机或摄像机的视频图像,也可以是静止图像,但使用最多的是计算机创作的二维或三维图形cg (computer graphics),即虚拟场景。虚拟场景可分为二维虚拟场景和三维虚拟场景,所谓二维虚拟场景是指景物没有厚度,只提供一个平面背景,而在三维虚拟场景中景物是立体的,具有z方向的厚度,在具有虚拟后景的同时,也提供虚拟前景。人物可在前景与后景之间穿插,运动,从而增强了视觉效果的纵深感和真实感。三维虚拟场景的制作可分为几个步骤:首先要对虚拟场景中出现的所有物体按自然尺寸比例建成三维模型,然后在模型上添加材质,描绘纹理;其次是将模型在虚拟场景中定位,制作灯光效果以及阴影；最后是制作在实际拍摄过程中虚拟场景出现的事件序列和特技效果,目前用于虚拟场景制作的主要软件有softimage ,alias/wavefront,3dmax等,它们一般都具有建模、描绘和特技等功能。322 实时背景生成实时背景生成是指在摄像机运动参数控制下,背景生成系统对预先制作好的虚拟场景信号进行处理,实时生成与前景有正确透视关系的背景图像。这就意味着背景生成系统必须要以25帧/秒的速度实时处理数据流。如果生成三维虚拟场景,其计算量是非常大的。在不降低图形照明度、阴影,纹理和建模结构的前提下,提高图形工作站图形刷新速率成为实时生成虚拟背景的关键。目前一般采用的是美国sgi公司推出的工作站以及e&s公司推出的运用在windows nt平台上具有动态z提示功能的图形工作站。33 视频合成系统虚拟演播室的视频合成系统仍采用传统演播室多年来一直使用的色键抠像技术,即前景与背景的混合是通过色键混合器来完成的,一般采用ultimatte 、primatte等色键合成器。为保证容易抠像,应使蓝色幕布处于均匀照明之下,演员的服装及小道具的颜色也应注意。蓝色幕布应使用纯正的色键蓝色,其空间大小应保证演员有足够的移动范围。另外,由于图形工作站创建出来的三维虚拟场景中每一个像素都带有景深值z,即深度信息,而摄像机提供的前景图像是没有深度信息的,因此要实现演员在虚拟环境中行为逼真,各物体间的遮挡关系显得尤为重要。这便引出了深度键的概念。采用层次等级深度键可将物体分为有限数目的深度层次,使物体之间实现相互遮挡;而像素等级深度键是按像素划分等级,可使演员处于虚拟场景中的正确位置。当真实的人物、景物与虚拟景物动态遮挡时,通过深度键技术,就可以实现逼真的三维效果。4 使用时应注意的问题41 虚拟的真实性在虚拟演播室的具体应用中,由于演员在表演的同时并不一定知道此时的拍摄状况,所以难免会发生一些与现实相悖的情况,如穿墙而过、隔空取物、下落的物体直接穿过桌子落到地面等等,这些一般可以通过调整虚拟场景的设置及演员的走位来解决。42 延时在虚拟演播室中,虚拟场景是根据摄像机运动参数的变化而变化的,这个过程需要时间。一般虚拟场景生成系统的运算时间在210帧左右。基于编码器方式的系统,编码器与计算机之间的通信也有少量延时,而基于图形识别方式的系统,其延时量会达到10帧以上。因此,在前景与背景进行合成以前,首先要对前景图像进行相应的延时。另外为保证声画同步,声音信号也要做相同的延时。当使用视频墙中的声音时,也要对其进行延时。43 灯光对于虚拟演播室而言,灯光是最困难也是最重要的问题之一,除了要保证所摄部分的蓝箱处于均匀照明,便于色键抠像外,还要注意以下一些问题:其一要合理调配灯光,使前景与虚拟背景的照明亮度及方向相匹配;其次是影子问题,演员及真实道具在蓝箱中投下的影子要随演员及道具一起进入虚拟空间,影子的方向也要和虚拟场景中的光源方向一致;另外,为表现虚拟背景中反光地板上的影子效果,可在蓝箱地板上铺设蓝色透明塑料。虚拟演播室中的影子效果一般只限于落在地板上,地面上的阴影会使观众产生一个真实的效果;再就是真实背景的大小应考虑阴影问题,落在真实背景外的阴影在合成时将会被剪裁掉,不完整的阴影效果会给观众视觉上产生负面影响。另外,还应考虑地面辅助光问题。如果没有来自地面的光源,只靠蓝色背景对灯光的反射来照亮前景物体的下面部分,将会影响抠像的质量。5 虚拟演播室系统产品介绍51 rt-set公司的lartus三维虚拟演播室系统(如图2)lartus系统是基于sgi onyx工作站和采用编码器方式跟踪定位的三维虚拟演播室系统,主要适用于节目的现场制作。在节目制作过程中,三维背景图像可实时地连续变化,并根据演播室摄像机的运动位置始终显示正确的透视关系,它是现场直播时能够将现场视频与三维虚拟场景进行实时合成的强有力的系统,其主要特点有:(1)不受约束的摄像机运动,包括摇移、俯仰及快速聚焦、变焦;(2)有完整的前期制作工具,保证高水准的广播级质量。操作者在节目摄制过程中可以轻松创建、修改场景、特技及运动,可用当今最流行的软件包(如alias/wavefront,softimage等)建立数据库;(3)虚拟摄像机可在真实演播室边界外漫游摄像;(4)可在前景及背景的任意位置插入活动视频;(5)可实时操作活动视频信号在虚拟物体的投影,外部系统数据(比赛成绩、天气预报、选举结果等)可被实时合成进虚拟演播室;(6)完备的提示系统加强了lartus操作者、现场表演者与其他人员之间的相互联系;(7)具有虚拟阴影及灯光提示演员走位功能。52 orad公司的cyberset系统(如图3)该系统采用图案识别的跟踪方式,依靠dvp数字视频处理器和sgi o2工作站为基础,再配以蓝色背景网格和专用软件,从而将被摄者与三维虚拟场景融为一体。其主要特点有:(1)该虚拟演播室系统能够与任何类型、任何数量的摄像机配合使用,甚至能与任何数量的演播室包括异地演播室配合使用;(2)摄像机可采用普通型号的镜头,并且不必调校;(3)该系统在带有一堵网格墙的演播室工作,dvp数字视频处理器能从摄像机输出的视频信号获取摄像机的运动参数,自动实时分析,并调整虚拟场景,使它的视角与摄像机的视角保持一致;(4)该系统采用了独特的像素等级和层次等级深度键。使虚拟物体、真实物体和演员之间实现动态遮挡,从而获取逼真的三维效果。53 大洋虚拟演播室系统该系统采用了大洋公司自行开发的图形识别技术,给摄像师提供了最大的灵活性和自由度,同时支持编码器定位方式,用户可根据需要自行选择。大洋虚拟演播室系统采用高性能的pc图形工作站,采用较为流行的3d设计软件,如3dmax、softimage、alias、cad等。支持活动视频窗口,多机位、多层画面,可以连接非线性制作网络,具有良好的扩展性和性价比。54 奥维迅新闻虚拟演播室它采用专用的虚拟场景合成硬件,构成高质量全集成的实时新闻虚拟演播室系统。该系统可接受3ds、3d max等三维软件构造的模型和渲染效果,实时三维物体交互,摄像机多机位,高质量的线性色键和亮度键令播音员与三维场景完美融合,可完成新闻,访谈节目、讲座类节目的制作。55 方正虚拟布景系统方正虚拟布景系统具有灵活的三维场景交互编辑,三维逼真实体材质,丰富的道具模型、材质库,外部模型输入,漫射光、追光灯模拟,先进的场景渲染算法，抗闪烁处理等功能。虚拟背景的透视关系与前景保持一致,可产生具有反光与阴影效果的高度真实感的背景图像。56 新奥特naset-100a系统新奥特naset-100a系统是基于高性能图形工作站的三维虚拟演播室系统,其主要特点如下:(1)三维虚拟场景生成系统配有3d加速图卡和双cpu的高性能图形工作站,能够保证三维虚拟场景的实时生成;(2)自主开发的跟踪定位系统能精确检测摄像机的运动参数。(3)支持各机位摄像机同时工作,各机位配有独立的跟踪系统;(4)利用预置边界技术实现无限蓝箱;(5)可在背景或前景的任意位置上插入活动视频,实现视频开窗功能;(6)支持3d max、sof