虚拟演播室及数字视频系统的设计

1、第九章 虚拟演播播室及数字字视频系统统的设计9.1 虚拟演播播室技术一、从传传统演播室室到虚拟演演播室 在传统的电电视节目制制作中，制制作人员需需要精心设设计和搭建建表演区和和场景，为为此要耗费费大量的人人力、物力力、财力，而而且建成的的场景无法法即时更新新和变换，资资源利用率率低且工作作周期长，即即使如此，许许多场景、舞台效果果仍无法实实现。 前前面介绍的的特技技术术中的色键键技术是用用摄像机拍拍摄均匀蓝蓝色幕布之之前的人物物或道具（前前景图象），然然后通过特特技设备把把蓝背景抠抠掉，换成成其它背景景图像。显显然，前景景和背景只只是简单地地叠加在一一起。这种种抠像技术术要求拍摄摄前景的摄摄像

2、机不能能移动、变变化，因为为一旦前景景变化而背背景不能随随之变化，会会使画面失失去真实感感；当然不不同机位的的摄像机之之间也不能能切换，因因为背景不不能变化适适合的空间间角度；如如果背景是是活动画面面，即使保保持拍摄前前景的摄像像机不变化化，仍会产产生主持人人好象在背背景上飘浮浮的感觉，缺缺乏真实感感，可见色色键制作技技术是有很很大局限性性的。 为了产产生出逼真真视觉的场场景效果，用用计算机场场景工作站站生成的三三维图像代代替简单的的二维图像像作为演播播室的“虚拟”背景，并并跟踪摄像像机运动实实时调整和和“移动”该虚拟背背景，使之之与拍摄的的主持人图图像（前景景）同步变变换，实现现三维场景景的

3、移动变变换与真实实摄像机相相一致的模模拟效果，这这就是三维维图形学、人工智能能技术、模模式识别与与计算机图图形图像处处理技术相相结合的虚虚拟演播室室技术。二、虚拟演演播室系统统的构成典型的虚拟拟演播室系系统是由摄摄像设备、摄像机位位置参数分分析和控制制、图形计计算机、背背景素材库和图图像合成等等设备组成成。系统构构成的简单单框图如图图1所示。图1虚拟演演播室节目目制作系统统构成在蓝幕背景中的的主持人由前前景摄像机机（真实摄摄像机）拍拍摄，而如如图1所示示的背景图图像记录及及生成系统统称为虚拟拟摄像机。为了使真实实的和虚拟拟的画面保保持空间的的对应关系系，需要确确定真实摄摄像机的位位置参数，包包

4、括摄像机机在演播室室中的空间间位置，摄摄像机的运运动参数（倾倾斜、转动动、翻转），摄摄像机镜头头设置参数数（变焦、聚焦、光光圈）。所所有这些数数据都被送送入计算机机中进行分分析，实时时生成与前前景图像保保持正确空空间透视关关系的背景景图像。然然后，前景景图像（包包括主持人人和真实场场景、道具具）与计算算机生成的的虚拟背景图图像通过色色键控制器器进行天衣衣无缝的键键控合成，由于于图形计算机机的运算需需要几帧左右的的时间，因因此，摄像像机拍摄的的真实画面也也必须有一一个时间的延时时，这样才才能确保真真实场景与与虚拟场景景的吻合。最后输出的的图像可以以直接播出出或记录在在存储媒介介上。三、虚拟演演播

5、室的关关键技术虚拟演播室室的关键技术术包括摄像像机跟踪技技术、计算算机虚拟场场景设计和和蓝背景技技术、灯光光技术和色色键技术等等。1摄像机机跟踪技术术虚拟演播室室中的一项项关键技术术是如何判判断摄像机机、主持人人、计算机机“虚拟”背景之间间的相对位位置关系，使使之实现“同步”变换。实实现“同步”的关键是是连续跟踪踪获得摄像像机的运动动参数。这这些参数包包括镜头运运动参数（变变焦、聚焦焦、光圈）、机头运动动参数（摇摇移、俯仰仰）及空间间位置参数数（机位的的X、Y和和高度Z坐坐标）等。目前，成成熟的跟踪踪技术主要要有图形识识别法（PPatteern RRecoggnitiion）和和以传感器器为基

6、础的的机械传感感法（Seensorr-bassed CCamerra Trrackiing SSysteem）两种种方式。同同时这也是是虚拟演播播室两大类类别的主要要区别之处处。 (1)图形形识别法图形识别实实际上是一一种运动动估测算法法，它可可以对运动动画面进行行精确的计计算，获得得摄像机的的各项运动动参数。实实际应用一一般采用有有浅蓝色网网格图案的的深蓝色背背景板，如如图2。拍拍摄时，系系统会对网网格进行定定位追踪，通过对所拍摄画面中网格的旋转和透视关系进行计算，得到有关摄像机的动作参数，以控制虚拟背景的生成。为了减少计算误差，可以选择一个基准帧，以此为基准对每幅画面进行计算。为了避免摄摄

7、像机快速速进行左右右、俯仰摇摇动时，画画面中网格格图案变得得模糊而影影响跟踪效效果，摄像像机应使用用电子快门门。电子快快门的速度度越快，允允许摄像机机运动的速速度就越快快。同时，演演播室整个个蓝色幕布布（蓝箱）的的布光要尽尽量均匀。当摄像机机的光圈为为5.6，电电子快门速速度为1/120时时，网格图图案的信号号电平应达达到70%左右，这这样可获得得最稳定的的跟踪效果果。(2)机械械传感法基于传感器器的摄像机机跟踪系统统最精确，传感器被安装在摄像机三角架、基座、升降摇臂的摇摄轴、俯仰轴上以及镜头的变焦、聚焦环上以及滑轨、推车上。它采集摄像机的位置和空间透视数据，编码量化后通过数据端口传送给计算机

8、。图形计算机将根据数据产生与之“同步”的虚拟背景。2、虚拟场场景与蓝背背景技术虚拟演播室室中除主持持人外的场场景、道具具等一般都由由计算机产产生。在常常规演播室室中不可能能做到的复复杂而庞大大的背景，甚甚至许多现现实生活中中人们不可可能见到的的景观，都都可以在虚虚拟演播室室中得以实实现。虚拟演播室室中的背景景图像可以以是动态的的，也可以以是静止的的。利用最最多的是虚虚拟场景，也也就是由计计算机创作作的二维或或三维图形形。在虚拟拟演播室中中，首先要要对场景中中的所有物物体进行计计算机建模模，也就是是设计物体体的外形和和尺寸，这这与计算机机辅助设计计很相似：在建立一一个模型的的同时，计计算机将他他

9、们分解成成许多个多多边形，一一般是三角角形，然后后定义一个个轮廓；在在每个多边边形上施加加材质，可可以是简单单的颜色，也也可以是材材料。再把把图像或照照片施加在在多边形上上，以产生生更逼真的的效果。在在虚拟演播播室中将模模型定位，使用虚拟拟灯光产生生所需要的的效果，如阴影、高光、反反射和折射射。在这些些制作之后后，利用来来自摄像机机传感器的的数据建立立虚拟摄像像机。一个个三维虚拟拟场景需要要大量的计计算工作来来处理运动动和再生背背景。三维维虚拟场景景可以由两两种不同的的方式产生生。(1)预生生成三维方方式这种方式需需先在三维维建模工具具中建立布布景模型，预预先生成每每台虚拟摄摄像机的视视图画面

10、，作作为各自对对应的真实实摄像机的的虚拟背景景。一旦场场景模型建建立，摄像像机的位置置也就确定定，不能再再随意移动动。这种方方式可以产产生比较真真实的三维维虚拟背景景，也称为为二维半半。(2)真三三维方式采用这种方方式建立三三维模型，模模型中的虚虚拟摄像机机与演播室室中的摄像像机互相对对应，当真真实摄像机机的镜头或或位置参数数变化时，虚虚拟摄像机机产生同样样变化，并并实时生成成视图作为为虚拟背景景。在真三三维方式下下，所有摄摄像机在演演播室中都都可以任意意移动。在在真三维的的虚拟场景景中，主持持人可以来来回走动，场场景中的虚虚拟物体可可以实时的的移动，主主持人不仅仅能在虚拟拟物体的前前面或后面

11、面，并且能能隐藏在虚虚拟物体的的里面，真三维方式式与二维半半方式的最最大区别在在于真三维维方式能实实时读取场场景源文件件并对源文文件实时渲渲染。二维维半系统的的场景生成成比较简单单，按照摄摄像机机位位的参数对对背景图进进行处理后后生成演播播室背景信信号。而真真三维系统统包括场景景调度、物物体运动、灯光调节节、特殊效效果调节等等模块，功功能更为强强大。但是是二维半系系统在场景景设计方面面不受局限限，可以设设计无限精精细和无限限复杂的场场景，而真三维维系统要对场景源源文件进行行实时渲染染，场景精精细度和复复杂度受系系统硬件和和软件的限限制较大。因此使得得它们有各各自不同的的适用范围围。如，二二维半

12、虚拟拟演播室更更适于对实实效性要求求高的节目目制作。而而真三维虚虚拟演播室室更适于对对灵活性要要求高的节节目。（3）蓝幕幕（蓝箱）技技术虚拟演播室室与传统演演播室大不不相同，它它以计算机机三维动画画“虚拟”出的场景景取代道具具实景为主主要特征。现场所有有布景全部部由单一的的蓝色所取取代，以作作为将来抠抠像的基准准色。图像像的前景是是不同机位位的摄像机机拍摄到的的主持人的的画面素材材。主持人人所在的实实景现场的的全部蓝色色区域将被被合成到计计算机三维维动画生成成的虚拟场场景中。 制作虚虚拟演播室室的蓝背景景要求背景景平滑，还还要有空间间感，一般般是两面或或三面蓝色色墙再加上上地面（因因此称为蓝蓝

13、箱）。为为保证全景景镜头的使使用，照射射在蓝背景景上面的光光线要均匀匀。为了保保证色键抠抠像效果最最好，要使使用纯正的的蓝色。蓝蓝背景的空空间大小，应应该保证可可容纳全部部道具并可可以使主持持人有足够够的活动区区域。需要要注意的是是，虚拟演演播室用的的实景现场场虽然简化化成了单一一的蓝色，但但决不是任任何东西都都不需要了了。如果节节目中要表表现主持人人从楼梯上上走下来，那那么现场还还必须设置置一些涂成成蓝色的几几何块状物物体作为“楼梯”,以便与电电脑中生成成的楼梯相相配合。 3、深度的的色键（抠像像）技术色键制作的的质量对虚虚拟演播室室节目质量量影响相当当大，它除除了与蓝背背景、制作作环境灯光

14、光和摄像机机有一定关关系之外，色色键技术本身也是非非常重要的的。在三维维虚拟场景景中不仅有背背景，还可可能有前景景，如桌子子、讲台等等，演员甚甚至可以进进入一个虚虚拟物体中中去。画面面中真实的的、虚拟的的物体之间的关系系比较复杂杂，要想实实现完美自自然的叠加加，就需要要具有特殊殊功能的高高级色键技技术。例如如，把前景景图象中的阴阴影取出来来并叠加到到背景上，可可以使合成成的图象更更加逼真。目前有一种种被称为ZZ轴深度键键的新技术术，分为层次次级和像素素级的深度度键技术。层次次级深度键键技术将物物体分别归归类到数目目有限的深深度层中去去，所以，演演员在虚拟拟场景中的的位置不能能连续变化化。而像素

15、级深深度键技术术把构成虚虚拟场景中中的每一个个像素都赋赋予相应的的Z轴深度度值。虚拟拟物体、真真实物体和和主持人可以以动态地相相互遮挡，从从而增加了了虚拟场景景的真实感感。虚拟演播室室的色键技术还要关关注的一个个问题是消蓝。由于使用用蓝幕背景景，因此环环境反光会会造成前景景物体和主主持人身上上有一些蓝蓝色的干扰扰成分，对对透明或半半透明物体体更易造成成干扰。这这时，就需需要对前景景图象进行非非常复杂的的消蓝控制制，即遏制制削弱蓝色色成分，同同时，又不不使前景图图象产生颜颜色失真。4、虚拟演演播室对灯灯光的特殊殊要求在虚拟演播播室节目制制作中灯光光所起的作作用是十分分关键的。为了消除除多余的阴阴

16、影，保证证色键的效效果，灯光光的布置相相当重要。要合理调调配灯光，使使前景与虚虚拟背景的的照明亮度度及方向匹匹配。主持持人及真实实道具在蓝蓝箱中投下下的影子也要要随主持人人及道具一一起进入虚虚拟空间。为了更好好地提取阴阴影，灯光光的设置应应使阴影处处的蓝色电电平与背景景蓝幕布的的蓝色电平平有较大的的区别。影影子的方向向也要和虚虚拟空间中中的光源方方向一致。灯光应具具有真实性性。在虚拟拟演播室中中，实际光光源和虚拟拟合成光源源之间的同同步变化很很重要。灯灯光控制要要计算机化化，使灯具具的状态可可以记忆存取。 四、国外外几种典型型的虚拟演演播室产品品据报道，自自19911年日本广广播公司（NNHK

17、）开开发了第一一套图像合合成系统以以来，国外外很多有实实力的公司司一直致力力于这一技技术的研究究开发。但但真正推出出成熟产品品还是19996年以以后，次年年开始打入入中国市场场。目前可可以了解到到的已经商商品化的虚虚拟演播室室系统生产产厂商133个，其中中RT-SSET和OOrad两两家公司在在大陆的业业务活动比比较活跃，其其产品也具具有相当的的代表性。 1、RTSET公公司的虚拟拟演播室系系统以色列RTTSET公公司的虚拟拟演播室技技术处于世世界领先地地位，其LLaruss虚拟演播播室系统框框图如图33所示。其其摄象机跟跟踪系统采采用安装在在基座上的的精密光电电旋转编码码器和镜头头上的特殊殊

18、编码器实实时获取摄摄像机位置置和镜头视视角参数，通通过快速通通信单元计计算和传输输至虚拟场场景产生和和实时变换换的SGII 图形工工作站上，由由系统应用用软件根据据这些参数数控制三维维虚拟场景景在节目拍拍摄期间实实时地持续续更新，然然后在键控控器中与实实景视频合合成叠加。其显著优优点是摄像像机运动不不受限制；同时由于于采用精密密的机械光学传感感器，增加加了系统维维护和操作作的复杂程程度。Ibiis是一种种低价位、易于维护护的虚拟演演播室系统统，图4为为其系统结结构示意图图。此系统统的虚拟背背景不是由由3D建模模工具产生生，而是可可以从任何何标准的图图形图像处处理软件得得到的位图图，最大尺尺寸为4009640966象素，但但位图仍能能跟随摄像像机的运动动而变化，以以满足正确确的透视关关系。由于于没有复杂杂的三维图图形处理，降降低了对图图形工作站站计算速度度的要求，从从而降低了了系统成本本。 2、ORADD公司的CCyberrset虚虚拟演播室室系统 OOrad公公司的Cyybersset