对虚拟演播室关键技术的浅识

1、对虚拟演播室关键技术的浅识现代远距离教育 2007年第1期总第 109期 对虚拟演播室关键技术的浅识 李冰,安川林 ,王文军(第四军医大学陕西西安 710032) 【摘要】虚拟演播室技术正在成为教育技术家族的新成员,本文主要介绍了选用虚拟演播室系统应注意的关键技术方面的f-l,对初始化定位,高精度跟踪，三维渲染，色键性能,虚拟 大屏幕 ,虚拟物体等技术特效谈了初浅的认识 .【关键词】虚拟演播室技术 ;初始化定位 ;跟踪;渲染;色键【中图分类号】G434【文献标识码】c【文章编号】10018700(2007)010071 03紧密跟踪现代信息科技的发展 ,及时地将高 , 精,尖科技成果引入教育领

2、域 ,促进和支持教学改 革创新,是众多教育技术工作者敏锐的职业本能和 执着的责任感 ,使命感 .近来年,越来越多的教育 技术工作者日益关注虚拟演播室技术的发展 ,探索 其在教育领域的应用 ,热切希望虚拟演播室技术成 为教育技术家族中继摄影 ,电影,电视,多媒体, 网络等技术之后的又一新成员 ,从而更加拓展教育 技术工作者的想象力和创造力空间 ,再创技术支持 教育的更新更高境界 .关于虚拟演播室的技术特 性,创造特性和教学特性笔者已有另文探讨 ,现本 文仅针对拟选用和建设虚拟演播室的同行们所关心 的问题 ,谈一些对虚拟演播室关键技术性能的认识 和体会 .1. 简便,自适应的瞬间初始化定位 初始化

3、定位是指摄像机机位架设好后 ,虚拟摄 像机接受物理摄像机机位参数 ,使虚拟摄像机按照 物理摄像机的机位参数定位 ,并由此启动给予跟踪 的一个过程 .当一个演播室为多个栏目服务时 ,摄 像机的机位不免要移动 ,如果初始化定位很繁琐 , 势必拖延节目制作时间 ,降低应用效率 .因此 ,选 用虚拟演播室系统 ,应注意和要求其初始化定位不 可限定物理摄像机在演播室的摆放位置 ,不必依赖 于第三方参考目标定位 ,不能限定节目主持人的位 置 ,不需人工测量和计算 ,能随架随用 ,迅速快 捷 ,最好一键搞定 .要可使多个机位和任意多个节 目主持人在任意位置进行瞬间初始化定位 ,并可同 时对所有主持人作正确跟

4、踪 .2. 准确,不打滑的高精度跟踪 跟踪是考评虚拟演播室的重要指标之一 ,如果 跟踪不好 ,前景与背景就会产生脱节或停顿 ,给人 以两张皮 的感觉 ,失去了虚拟演播室的意义 . 跟踪方式有多种 ,常用的有网格识别和光栅旋转编 码器 ,辅助摄像机光图形接力等多种跟踪方式 .经 比较认为 ,后一种方式性能较为优越 .但不管跟踪 方式如何 ,要求跟踪自由度相互独立 ,不能 牵一 发而动全身 ;跟踪要自成系统 ,它应和前景及色 键无关 ;跟踪必须是物理摄像机对虚拟摄像机间的 直接赋值与控制 ,不要通过中间环节 . 衡量跟踪性能要从精度 ,灵敏度 ,频响三个方 面着手 .对跟踪精度的要求是 :任意轴向

5、实际旋转 角度与采集处理得到的旋转角度要精确一致 ;任意 方向的位移与采集处理得到的位移值要与物理摄像 机一致 ;物理摄像机的变焦值与虚拟摄像机的变焦 值要与物理摄像机一致 ;跟踪误差不累积 .对跟踪 灵敏度的要求是 :摄像机作任意方向轻微变化时 , 虚拟场景都要产生相应的变化 ,反应要灵敏 ,不能 有迟钝现象 .对跟踪频响的要求是 :摄像机作任意 方向快速运动时 ,虚拟场景要反应快捷 ,实时 .高精度的跟踪指标应为：10m范围内移动， 静态误差w Imm;任意角度旋转，静态误差w 0.1302.;移动分辨率0.02mm,旋转分辨率0.001.;移动频响1M,旋转频响8M. 此外还应考虑以下一

6、些要素：摄像机机位数 目应可扩展 ,每个机位可自由地对虚拟摄像机进行 跟踪,同时可实现对机位前后 ,左右,上下移动和 作者简介 ：李冰,第四军医大学教育技术中心教授 ;安川林 ,第四军医大学教育技术 中心高级工程师 ;王文军 ,第四军医大学教育技术中心助工 .71 变焦,平摇,俯仰,旋转等任意运动的高精度跟踪 和高速度跟踪；摄像机在演播室里可360度任意 旋转和移动地实现高速度高精度跟踪；系统跟踪 不受舞台灯光，电磁波,声波及热光源的影响： 节目主持人在蓝箱中任意走动时跟踪精度和跟踪速 度不受影响；多个主持人同时在蓝箱中活动时， 每个主持人均能与虚拟场景保持正确的跟踪关系 ;多个虚拟大屏幕 ,

7、多个虚拟物体 ,多个虚拟特效 在跟踪中均能与虚拟演播室 ,节目主持人保持正确 的空间位置关系和空间透视关系：每个摄像机对 虚拟场景的跟踪完全独立；经过任意多次的切换,每个摄像机对虚拟场景的跟踪效果都丝毫不受 影响3. 实时,多通道的逼真三维演染 实时渲染也是考评虚拟演播室的重要指标之.渲染效果好 ,场景才能逼真 ,才能做到以假乱 真 .具体应考虑 :(1)接受通用软件建模 ,无需任 何修改 .3DMAX,MAYA 等软件已在教育技术工 作者手中熟练运用 ,所以 ,虚拟演播室应借助于大 家已经普遍接受的 3DMAX,MAYA 等工具建模 ; (2)网格物体的面数要多达数十万个三角面 ,只有 网格

8、物体面数足够多 ,贴图纹理量大 ,才能使场景 大气,局部精细,建模无约束 ,进而满足大幅面 , 大场景 ,精细化,多特效和任意发挥的需要 ;(3) 实时渲染速度要快 ,多机位同时实时渲染应控制在 24 帧的时间内完成 ;渲染分辨率必须是 720X 576,并做到同帧场逆程实时切换 ;(4)渲染后的 图像不抖动 ,不闪烁 ,不爬行 ,不撕裂 ,不拖尾 , 不模糊 ;渲染要有足够的过载余量 ;多通道实时渲 染 ,通道间互锁 ,信号同时进入特技台 ,实现特技 过程中图像不跳 ,不抖,不静帧 ;(5)色彩位数不 能低于 256 色;(6)必须保证广播级技术指标 ;可 以接受外同步信号 ,严格做到 50

9、场,秒输出 ;设备 内部和外部都必须采用WW或 SDI信号格式,以 保证广播级的图像质量 ;(7)实时地将数据赋值给 虚拟摄像机的跟踪 ,动态无限蓝箱 ,景深识别系 统;(8)设备在长期连续运行过程中无丢帧 ,无黑 场现象 ;(9)可在复杂场景下实现动态阴影 ,全场 雾化,动态灯光 ,多路活动外视频和动画等计算量 繁重的功能 ;(10)系统软件与硬件无关 ,随着硬 件升级换代 ,系统演染能力自动增强 .4. 灯光,蓝箱无需荷求的高指标色键性能 色键是虚拟演播室的重要设备 ,要保证扣像的 人和物体色彩逼真 ,好的色键器是关键 .从性能上 72 讲 ,色键应对灯光布光无苛刻要求 ,对蓝箱和蓝箱 的

10、光照均匀度无苛刻要求 ;要保证同一参数下能同 时色键出头发 ,阴影,半透明体 ,亮蓝色,烟雾, 自然柔和的轮廓边缘和正确的肤色还原 ;色键要具 有自动蓝背景识别功能 ;色键还要具有操作存储和 记忆功能 ,保证在灯光参数不变的情况下开机就能 工作;色键要便于使用和操作，要能对a,前景和 背景分别进行调节从技术上讲,(1)色键必须具有WW或SDI 信号接口并使用WW或SDI信号,而不能使用复 合或丫/C接口，只有WW或SDI信号传输才能保 证广播级信号质量 ;(2)色键要能对前景的 HSL 和RGB进行控制；(3)色键的a必须灰度等级连 续可调 ;(4)色键必须能分别对前景的白 ,灰和黑 区分别作

11、透明度处理和色相位调整 ;(5)色键必须 能分别对红区和绿区分别作色相位和透明度处理 (6)对整个前景 ,整个背景能作亮度 ,对比度和色 相位处理 ;(7)色键调整应与跟踪无关 . 此外还应注意 :(1)色键的键控电平 ,暗色调 相位,亮色调相位 ,边沿轮廓的自然过渡 ,红, 绿,蓝分量值的强弱均可在线调整 ,且有较大的动 态范围 ;(2)每个机位在每个通道均有独立的动态 无限蓝箱参数 ;(3)主持人在蓝箱中任意走动 ,无 需灯光跟踪 ,均有很好的色键效果 ;(4)不同颜色 服饰的多个主持人在蓝箱中同时活动时 ,每个主持 人的服饰均能实现正确的色彩还原 .5. 方便实用的虚拟大屏幕播放 虚拟大

12、屏幕的灵活应用 ,是虚拟演播室优于传 统演播室的又一亮点 ,且使用率较高 .因此应特别 要求:(1)虚拟演播室中可指定任意物体表面播放 外视频和动画 ,多个表面能同时播放多路不同的活 动外视频和动画，视频信号端口支持SDI,WW , Y/C 和复合等多种格式中的任意一种 ;(2)多路活 动外视频和多个动画间可进行实时的无缝切换,切换时不延时 ,不跳跃 ,无黑场和撕裂现象 ;(3)可 按时间序列对硬盘上的视频文件 ,图片文件和多路 活动外视频进行任意顺序和任意时间长度的手动控 制和自动组合播放 ;(4)播放内容在任意时刻能进 行暂停 ,重启动和切换操作 ,并且操作中无黑场 , 抖动或撕裂现象 ;

13、(5)在进行手动播放操作时 ,每段视频画面的长度能自动与节目主持人的解说词 长度相匹配 ;(6)对物体表面播放的视频 ,动画, 图片内容可进行所见即所得的在线拾取,编辑,预览和实时播出 ;(7)对播放视频物体缩放比例 ,移 动位置,旋转角度等动态 DVE 效果不作任何限制6. 真实自然 ,神奇变幻的虚拟和特效物体 虚拟物体和特殊物体是教学演示中最富于想象 力和创造力的实用 ,多用功能 ,也应注意以下几 点:(1)场景中可放人多个虚拟物体 ,虚拟特效和 虚拟灯光 ,每个虚拟物体 ,虚拟特效和虚拟灯光均 可实时地进行缩放和旋转 ,可沿任意复杂的曲线轨 迹作空间运动 ;(2)每个虚拟物体和虚拟特效均

14、有 自身的空间位置参数 ,空间姿态参数和空间缩放参 数;(3)每个虚拟物体和虚拟特效均可支持所见即 所得的在线拾取 ,预览和编辑 ,一旦完成对关键帧 的编辑,不需生成等待 ,即可实时播放 ;(4)对每 个虚拟物体和特效均可设置其位移 ,旋转 ,缩放 , 淡入 /淡出和显示 /隐藏等动画效果 ;(5)虚拟灯光 可为泛光和聚光灯等类型 .灯光的位置 ,方向 ,范 围,过渡区域 ,亮度,颜色均可在线编辑 ,手动和 自动播放 ;(6)系统具有实时动态阴影 ,每盏虚拟 灯光可对多个虚拟物体产生阴影 ,每个虚拟物体的 阴影可由指定的虚拟灯光实时产生 ;(7)阴影的透 明度 ,色彩和亮度均可进行实时调整和动

15、画播出 ; (8)阴影的大小 ,方向和位置完全由物体和光源的 相对位置关系确定 ,真实自然 ;(9)可对全场景进 行雾化处理 ,雾化的浓度 ,范围 ,色彩强度均可实 时调整和动画播出 ;(10)每个虚拟物体 ,特效物 体在执行自身动画的同时可服从摄像机的跟踪控 制 ,也可不服从摄像机的跟踪控制 ,以其成为动画 标识;(11)虚拟物体和虚拟特效可接受手动和自 动动画播放 ;(12)虚拟物体和虚拟特效生成和导 人工具通用 ,导入方法简单 ,调整和编辑方便更直 观.7. 其它方面的技术要求 除了对以上关键技术的认识外 ,在日常使用和 日后升级 ,维护等方面还有以下方面需要考虑 : 虚拟演播室工作起来

16、实时性很强 ,而一套虚拟演播室系统可能由多台计算机组成 ,计算机界面最 好集中控制 ,共用一套鼠标 ,键盘 ,不仅可以减少 操作人员 ,也可防止或减少操作人员的误操作 . 虚拟演播室在导入网格物体 ,贴图 ,动画,特 效等素材时要方便 ,快捷,分类清晰 ,并可随时调 用和更换 ;在线拾取和编辑时 ,要能做到直观方 便,实时. 虚拟演播室的操作界面上可多个场景实现同屏 实时渲染 ,场景可实现任意组合 ;渲染应采用与 3DMAX 风格一致的四视图界面 ,图标 ,功能一目 了然 ,顺应操作人员的习惯 ;将动作和事件按统一 的时轨逻辑排序 ,可以方便操作 ;系统拥有多达 100次的重复（Redo）和撤

17、销（Undo）功能，以便 对操作进行修改 ;对节目制作可提前设计 ,编辑和 调试,以文件形式存储 ,便于拍摄时随时调用 ;设 置手动和自动播出单播和组播的控制键 ,以供操作 人员选择 ;场景,虚拟物体,虚拟特效 ,灯光,雾 化,外视频,动画文件 ,图片文件均相互独立 ,可 随时进行积木式组合 ,方便地实现二次再创作 ;所 有物体和事件只需在关键帧上进行可视化编辑,一旦编辑完成 ,过程帧自动实时生成 ,无需任何等 待;系统具有播出时可进行实时编辑功能 ,编辑时 也可进行实时播放功能 ;系统设计符合广播电视节 目创作操作规范 ,界面简洁,功能一目了然 .很短 时间内即可学会操作 ;可对编辑进行保存

18、 ,并可在 编辑过程中合并加载已有的文件；系统采用cs结 构设计 ,任意配置下 ,只需一套鼠标键盘 ,在一个 操作界面下进行操作和编辑 ；静态场景与动态场景 并存 ,对动态场景可任意编辑 .硬件配置档次高 ,易于升级换代 ,可靠性高 . 专用图形图像工作站 ,正版操作系统 ,可靠性与稳 定性高;专用图形 ,图像处理板卡与设备 ,内部处 理与外部输入 ,输出一致的 YUV 与 SDI 信号格式 , 图像质量高;程序设计,系统硬件配置 ,虚拟节目 创作方式均模块化 ,使节目再创作性强 ,软硬件升 级换代方便可靠 ;双通道互为热备份 ,每个通道均 可独立地支持三个机位 ,即使一个通道出现故障 , 也不影响系统的正常工作 ,使实况播出的可靠性大 大增加 ;控制线,数据线 ,视频线和同步线均可热 插拔 ,摄像机可热更换 ,输出端设备可热更换 ,外 视频源可热更换 ;只要工作站不断电 ,其它设备即 使掉电 ,再开启也不会使系统死机 ;系统长期连续 运行不死机 .广泛的兼容性 :不需作任何改造可与