（教育技术学专业论文）虚拟摄影棚资源制作系统研究与实现.pdf

硕士肇位论文 m a s t e r st h e s i s 摘要 虚拟摄影棚技术主要用于电视节目资源制作这个领域，它是将摄像机拍摄的现 场画面作为前景，实时地与计算机生成的三维图形进行合成，从而生成新的电视节目 系统。当前所使用的虚拟摄影棚三维系统，价格在5 0 - 2 0 0 万美元左右，二维的则在 十几万美元左右，这么昂贵的制作代价，使很多电视节目制作单位难以承受。因此， 搭建一套低成本虚拟摄影棚，但能够高效率的制作出高质量电视节目，是符合观众 对资源节目需要。 本文是基于华中师范大学教育信息技术工程中心的低成本虚拟摄影棚平台项 目，为该项目提供串口与硬件控制技术、虚拟背景显示技术以及资源管理技术p 为 了能够使这套系统被广泛的安装与使用，本文还对虚拟摄影棚系统设计做了详细的 绍，这可以使电视节目制作单位根据实际需要，搭建虚拟摄影棚系统。该虚拟摄影 棚系统主要考虑在较低的价位上，实现较高的性能。因此，在系统整体设计上是采 用桌面控制软件实现硬件控制，在软件设计上选取常用的操作，使用户界面尽可能 简便，这就降低了虚拟摄影棚系统对操作人员的要求。在虚拟背景显示方面，目前 绝大多数虚拟摄影棚是通过硬件输入设备比如d v d 为抠像机提供虚拟场景，这增加 了虚拟摄影棚成本，同时对背景的操作比较繁琐，而本系统通过开发虚拟背景显示 软件，可以方便快捷的提供虚拟场景。为了使该系统能够更好的应用于教育领域， 特意开发了虚拟前景显示模块，它可以为虚拟摄影棚提供一路p p t f i i 酉景信号，以供 系统操作人员使用。此外虚拟摄影棚系统还研究与实现了资源管理子系统，它可以 对资源素材进行科学化的管理，提高资源管理的效率。 关键词：虚拟摄影棚；色度抠像；d i r e c t s h o w 硕士学位论文 m a s t e r st h e s i s a b s t r a c t v i r t u a ls t u d i ot e c h n o l o g yi sm a i n l yu s e df o rt e l e v i s i o np r o g r a m sa u t h o r i n g i t e n a b l e st h ef o r e g r o u n do f f e r e db yc a m e r a s t h r e e d i m e n s i o n a la n dv i r t u a ls c e n eg e n e r a t e d b yc o m p u t e rr e a l t i m es y n t h e s i z e t h ec u r r e n tp r i c eo ft h r e e d i m e n s i o n a lv i r t u a ls t u d i o s y s t e m i sa b o u t5 0 0 0 0 0d o l l a r , a n dt w o d i m e n s i o n a li sm o r et h a n10 0 0 0 0d o l l a r t h e p r o d u c t i o nc o s t sa r et o oh i g ht ob e a rf o rm a n yp r o g r a m su n i t s t h e r e f o r e ，b u i l d i n gas e to f l o w - c o s tv i r t u a ls t u d i ow h i c he f f i c i e n t l ya u t h o r sh i g h q u a l i t yt e l e v i s i o np r o g r a m sc o u l d m e e tt h ed e m a n do ft h ea u d i e n c ef o rr e s o u r c e sp r o g r a m s t h i sa r t i c l ei sb a s e do nt h el o w - c o s tv i r t u a l s t u d i op l a t f o r mp r o j e c to fe n g i n e e r i n g r e s e a r c hc e n t e rf o re d u c a t i o ni n f o r m a t i o nt e c h n o l o g i e si nt h ec e n t e rc h i n an o r m a l u n i v e r s i t y ，a n dp r o v i d e sf o rt h ep r o j e c ts e r i a lp o r ta n dh a r e w a r ec o n t r o lt e c h n o l o g y , v i r t u a lb a c k g r o u n dd i s p l a yt e c h n o l o g ya sw e l la sr e s o u r c em a n a g e m e n tt e c h n o l o g y a t t h es a m et i m e ，t h i sa r t i c l ed e t a i l l yi n t r o d u c et h ed e s i g ho fv i r t u a ls t u d i os y s t e m t h i s a l l o w st h eu n i t so ft e l e v i s i o np r o g r a m s a u t h o r i n gt o s e tu p av i r t u a ls t u d i o s y s t e m ，a c c o r d i n gt ot h ea c t u a ln e e d s t h ev i r t u a ls t u d i os y s t e mi sm a i n l yt oc o n s i d e ra l o w e rp r i c ea n dh i g h e rp e r f o r m a n c e t h eo v e r a l ld e s i g no ft h ev i r t u a ls t u d i os y s t e mi s a c h e i v e dt h r o u g hd e s k t o ps o f t w a r et oc o n t r o lh a r d w a r e t h es o f t w a r ed e s i g ni su s e dt o s e l e c tt h ec o m m o no p e r a t i o n ，a n dm a k e st h eu s e ri n t e r f a c es i m p l ea sf a ra sp o s s i b l e ， w h i c hr e d u c e st h er e q u i r e m e n t so ft h eo p e r a t o r a tp r e s e n t ，t h ev a s tm a j o r i t yo fv i r t u a l s t u d i o p r o v i d e dt h ev i r t u a ls c e n e sw i t hh a r d w a r ei n p u td e v i c es u c ha sd v d t h i s i n c r e a s e st h ec o s to ft h ev i r t u a ls t u d i o ，a tt h es a m et i m et h eb a c k g r o u n do p e r a t i o n sa r e m o r ec o m p l i c a t e d t h es y s t e md e v e l o p es o f t w a r eo fv i r t u a lb a c k g r o u n dd i s p l a y , w h i c h c a np r o v i d ec o n v e n i e n ta n de f f i c i e n tv i r t u a ls c e n e i no r d e rt oe n a b l et h es y s t e mt oa p p l y f o rt h ef i e l do fe d u c a t i o n ，t h i ss o f t w a r es p e c i f i c a l l yi n c r e a s et h ev i r t u a ld i s p l a yo ft h e p r o s p e c t s ，w h i c hc a np r o v i d eap p ts i g n a l t h es y s t e mo p e r a t o r sc o u l da c c e s ss i g n a la s f o r e g r o u n d i na d d i t i o nt ot h ev i r t u a ls t u d i os y s t e md e v e l o p e dar e s o u r c em a n a g e m e n t s u b s y s t e m ，w h i c hc a l la c h i e v et h es c i e n t i f i cm a n a g e m e n ta n di m p r o v et h ee f f i c i e n c yo f r e s o u r c em a n a g e m e n t k e y w o r d ：v i r t u a ls t u d i o ；c h r o m ak e y ；d i r e c t s h o w 硕士学位论文 m a s t e r st h e s i s 华中师范大学学位论文原创性声明和使用授权说明 原创性声明 本人郑重声明：所呈交的学位论文，是本人在导师指导下，独立进行研究工作 所取得的研究成果。除文中已经标明引用的内容外，本论文不包含任何其他个人或 集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均己在 文中以明确方式标明。本声明的法律结果由本人承担。 作者签名：旺恼易日期：砂降，月弓7 日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权 保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借 阅。本人授权华中师范大学可以将本学位论文的全部或部分内容编入有关数据库进 行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。同时授权 中国科学技术信息研究所将本学位论文收录到中国学位论文全文数据库，并通 过网络向社会公众提供信息服务。 作者签名：嘿妇面 日期：印年岁月乃日 导师签名： 日期= 叫年易月 本人已经认真阅读“c a l l s 高校学位论文全文数据库发布章程”，同意将本人的 学位论文提交“c a l i s 高校学位论文全文数据库”中全文发布，并可按“章程”中的规 定享受相关权益。圃童途塞握童后溢卮；旦主笙；旦= 生；旦三生筮鱼! 作者签名：明步磐易 日期吲年厂月加 嚣三期日 日期年彭岛日 硕士学位论文 m a s t e r st h e s i s 第一章绪论 1 1 论文的研究背景及课题来源 虚拟摄影棚是由电视节目制作技术和计算机技术结合而成的一种新兴数字文 化产品制作系统【l j 。它只有演员和拍摄使用的p o p ，而无需实际场景，它将摄像机拍 摄的前景信号与计算机生成的虚拟场景，通过相应的去色处理( 或是现场拍摄的其它 电视画面) ，能够做到前景信号与背景信号有效的合成，使现场拍摄的人物与虚拟背 景达到同步变化。虚拟摄影棚具有传统摄影棚无法比拟的优越性，它克服了摄像机 不可以与背景画面同步运动的缺陷，主要表现为能够实时的得到摄像机的状态信息 如镜头当前位置、焦距、摇移速度等参数。通过数据线把数据传递到计算机，然后 根据计算机图形处理相关技术，能够使现场人物与虚拟的场景呈现同步变化，并且 最后通过抠像机使现场人物与虚拟场景有效的合成。这种效果能够使现场的人物可 以突破空间与时间局限，处于虚拟场景中，从而使现场的人有身临其境的感觉。目 前虚拟摄影棚系统在文艺晚会、电视节目、科技博览、天气预告、军事模拟、医疗 手术、教学实验以及动画制作等方面得到了广泛的应用。 虚拟摄影棚可以布置各种各样的虚拟场景，它可以轻松突破时间与空间的种种 约束，能够在较小的范围内，展示丰富多彩的虚拟效果。创作人员可以实现真实场 景中没有办法达到的特技以及效果，这种虚拟现实技术给电视节目创作人员带来了 极大的创作空问。三维场景的制作途径多种多样，并且能够制作出多种精美，而在 实际生活难以捕捉到的场景。利用现有的多种三维动画软件i 拗 1 3 dm a x ，m a y e r 等，虚拟摄影棚呵以方便快捷的制作各种各样的三维场景。这些场景可以按照不同 的节目要求，提供诸多的虚拟场景。这样电视制作人员可以不需要花费很多精力去 布置摄影棚的场景，因为我们的虚拟摄影棚虚拟场景可以重复拿来使用。随着虚拟 现实技术和计算机图像技术处理能力的增强，视频融合过程中以前存在的延时问题 已经被有效的解决，这也就为电视节目资源制作向更全面深入的发展提供了更加广 阔的平台与创作空间。由于虚拟摄影棚技术的实时同步，电视节目制作者的创作灵感 也会随着迸发出来。可以说虚拟摄影棚技术为电视节目的制作带来了革命性的影 响，也为我们电视节目制作的发展开辟一片新的天地。 但是由于虚拟摄影棚用于制作电视节目资源，涉及到诸多的技术难题。其中主 要是在视频融合的过程中，存在这样的问题：由于人物活动或者摄像机的状态信息 发生变化，以前摄影棚的相关技术不能准确无误地反映前景与背景之间的空间关 硕士学位论文 m a s t e r st h e s i s 系，这就导致了拍摄的主体是“漂移”在场景之外的。因此必须要引入多种相关技 术来解决相应的问题在合成过程中，在一些资金充裕的电视节目制作单位它们通过 高精测度的摄像机的定位参数来锁定前景与背景空间关系，它能够实时地再现前景 与背景的空间透视关系，并且为了加快图像合成的速度，它们还是用价格不菲的高档 次的图像生成硬件以及图像c p u 。由于添加这些昂贵的硬件产品，这就极大的增加 了配置虚拟摄影棚的成本。但是在搭建虚拟摄影棚系统中，我们完全可以根据单位 的需要，对系统结构框架进行设计，开发相应的软件程序，降低虚拟摄影棚的成本。 并且虚拟摄影棚系统可以与其他类型的数字媒体进行进行综合应用，建立来形式多 样的系统。比如华中师范大学教育信息工程中心利用此系统和相关网络技术搭建了 一套网络直播系统。构建虚拟摄影棚系统的目的就是使虚拟摄影棚技术在节省资源 和优化配置、充分调动节目制作人员想象力等方面发挥着应有的作用。 综上所述，虚拟摄影棚可以拓展资源创作的空间，实现虚拟与现实的结合，提 升资源素材的质量。研究虚拟摄影棚的相关技术，构建实际需要的虚拟摄影棚系统 制作高质量的资源，有着重要的意义。本课题基于华中师范大学教育信息技术工程 中心的低成本虚拟摄影棚平台项目，为该项目提供串口通信控制技术、虚拟场景显 示技术以及资源素材的管理技术，是该项目的重要组成部分。 1 2 国内外研究现状 随着电视节目的出现，为了布置非现实的背景，电视工程人员不断的研究虚拟 现实技术，并使此项技术得到了极大的发展与应用。在上世纪7 0 年代末，电子布景 的概念已经提出，它利用亮键信号实现抠像，可以在只有演员和摄像机的空摄影棚 内完成，其余布景和道具都由电予系统产生。后来随着彩色电视的普及，出现了色 键抠像技术，在1 9 9 2 年以后虚拟现实技术和计算机图像处理技术不断增强，虚拟摄 影棚技术取得了突飞猛进的发展，它真正作为一门电视节目制作技术而作为数字电 视新技术的研究热点。1 9 9 3 年，i m p 和v a p 公司研究全新的色键应用解决方案，它 可以计算机生成的背景图像根据摄像机的运动而同步运动，并且将生成的背景图像 输入到色键器中。在1 9 9 4 年荷兰i b c 展览会上虚拟摄影棚技术首次亮像，并在各种 电视转播中得以实现。由于于c p u 和图形卡技术的飞速发展，早期存在于摄影棚的 一些技术难题不断被克服，这使虚拟摄影棚系统逐步被推广和使用。 虽然虚拟摄影棚的背景原则上说可以无穷地转换变化，但是背景的创意、三维 建模等工作相当复杂，不再是一两个人就能使用好的系统，它需要导演、创意者、 美术设计、二维建模者、三维建模者、演员及虚拟系统的操作者等人员的通力配合。 2 硕士学位论文 m a s t e r st h e $ 1 s 并且在处理三维图像时，需要图像工作站进行实时的渲染，硬件成本高。因此，这 种产品目前只在大中型电视台的节目制作中使用。与实景摄影棚相比，虚拟摄影棚 所需要的舞台空间小，设备道具的要求也非常简单，并且虚拟摄影棚系统功能相对 完备，它可以使多个节目制作单位共享一套虚拟摄影棚系统，完成不同的工作，因 为在虚拟摄影棚系统中，背景的更换以及选取非常方便快捷。相对于传统的虚拟摄 影棚，新虚拟摄影棚系统结构简单、操作方便，功能更加完备，节目效率以及质量 越来越高，这满足了观众对高质量电视节目的需要。目前各国加大投入进行基于单 色背景下视频图像抠像方面的研究，这可以使虚拟摄像棚走出蓝箱，在更大的空间 与领域内用于制作各种电视节目资源，我们有理由相信在不久的将来，虚拟现实技 术与技术技术的全面发展，这必然使虚拟摄影棚技术会变得更加成熟与完善。 1 - 3 论文的研究意义及目的 虚拟摄影棚技术主要用于电视节目资源的制作，它是将摄像机拍摄的主持人前 景现场画面，实时地与计算机生成的三维图形进行合成，从而生成新的电视节目系 统。在合成过程中，通过精测摄像机的定位参数来锁定前景与背景的实施空间，从而 正确再现前景与背景的空间透视关系。但是由于一些专业电视台使用了高档的图形 生成硬件。以及用于图形识别方式的专用图像处理器，这大大增加了虚拟摄影棚的 成本。当前所使用的虚拟摄影棚的三维系统，价格在5 0 2 0 0 万美元左右，二维的则 在十几万美元左右。在虚拟摄影棚系统用于资源制作中，它涉及到一系列的技术， 比如硬件操作技术，计算机操作技术，虚拟背景显示技术等，如果没有相应的软件 支持，那就必须控制多个硬件，这对系统操作人员提出了极高的要求。也就意味着 系统人员不仪要精通摄像机方面操作的知识，懂得抠像机抠像方面的知识。在虚拟 背景方面，如果依靠硬件提供虚拟背景资源，系统操作人员还要通过遥控器对d v d 的资源单个进行浏览，为虚拟摄影棚选择相应的虚拟背景，这样的操作比较繁琐。 此外，一套传统的虚拟摄影棚系统至少需要导播、助理导播、操作工程师、摄影师、 灯光师、音响师、现场指导、工程指导等多名专业人员。这么复杂的工作以及昂贵 的制作代价，使很多文化节目制作单位感到可望而不可及。 随着虚拟摄影棚系统技术的日益成熟，投资搭建一套性价比较好的虚拟摄影 棚，保证能高效率地制作出高质量的影视节目，是完全符合观众对电视节目资源的 需求。因此，本项目开发了一种低成本的虚拟摄影棚平台，通过对相关软件的研究 与开发，降低硬件的支出成本，使虚拟摄影棚中专业制作人员减少到一名，从而让 更多的文化节目制作部门能够使用低成本的虚拟摄影棚来制作高质量和艺术效果 3 的数字文化内容。 1 4 论文的主要特点和结构安排 本文的研究重点在于设计与实现一套低成本、操作简便、功能完整的虚拟摄影 棚系统。这样可以使虚拟摄影棚系统可以在更多的公司，电视台以及学校中使用。 本文的主要特点在于： 提出了多种虚拟摄影棚系统的设计架构，以供电视节目制作人员选择。架构 功能完备、易于修改、扩展性好，可以根据实际需要，对系统进行安装。 设计开发串口通信桌面程序来实现硬件的控制，减少直接对硬件的直接操 作，延长硬件的使用寿命。为了节约虚拟摄影棚的成本，本文介绍自主开 发的系统成本低、操作简单、拥有自主的知识产权等特点。 介绍了虚拟摄影棚基于d i r e c r s h o w 背景显示技术，实现虚拟背景的播放， 背景信号稳定可靠，并且为了实现在拍摄的过程中镜头切换，系统提供了 两路的背景信号，可以让虚拟摄影棚操作人员进行选择。 对于使用庞大的资源素材以及最终的输出节目，本文使用t s q l s e r v e r 数据 库技术实现资源有效的管理。本系统资源模式包括目录管理、文件管理、 数据浏览和数据搜索等功能。 全文共分为七章，各章节结构安排如下： 第一章绪论：包括论文的研究背景、国内外研究现状、研究意义和论文的主 要特点以及结构安排的的简要介绍。 第二章虚拟摄影棚资源制作系统的关键技术：分析了虚拟摄影棚资源制作系 统所涉及到的一些关键技术，包括串口通信控制技术、d i r e c t s h o w 技术、数据库技 术，它是实现该系统的理论基础。 第三章虚拟摄影棚资源制作系统的总体设计：对整个系统的进行分析与设计， 工作流程与协议体系以及开发平台、开发工具做了介绍，为实现系统的功能做了铺 垫。 第四章硬件控制子系统设计与实现：在整个系统中要对多种硬件进行操作， 本系统采用了最常用的是r s 一2 3 2 串口通信技术实现。 第五章虚拟背景显示子系统设计与实现：根据d i r e c t s h o w 技术以及基于 m p e g 一4 标准实现了视频格式虚拟背景的播放，并为了镜头切换的需要，本系统支 持多路视频信号的输出。 第六章虚拟背景资源管理子系统设计与实现：采用s q l s e r v e r 数据库技术，实 4 硕士学位论文 m a s t e r st h e s i s 现对系统的目录管理、文件管理以及数据搜索。 第七章总结与展望：讨论了本文的主要工作，介绍了本系统的特色，以及目 前在市场上的应用，并对下一步的研究工作做出了展望。 5 硕士学位论文 m a s t e r st h e s i s 第二章虚拟摄影棚资源制作系统相关技术 低成本虚拟摄影棚系统是一个硬件与软件相结合的复杂系统，它需要根据串口 通信协议，开发特定的桌面软件程序，实现对包括摄像机、抠像机以及切换的控制， 需要制作视频格式的虚拟背景以及实现对摄影棚资源素材的高效管理。低成本虚拟 摄影棚的这些需求决定了系统要解决的关键技术包括以下几种：串口通信技术、 d i r e c t s h o w 技术以及数据库技术。 2 1 串口通信技术 在低成本虚拟摄影棚系统中，存在着如摄像机、抠像机、切换台等多个硬件设 备，为了降低系统成本，方便操作，需要开发相应桌面控制软件程序对这些硬件设 备进行控制，所以需要主控p c 机与这些硬件设备之间进行同步信息交换。在主控 p c 机与外接的硬件设备通信的方式最常用的是r s 2 3 2 标准串口通信。在此通信中， 主要介绍两个方面的内容，一是在硬件通信中涉及到的结构体，二是硬件通信的流 程以及步骤。 2 1 1 串口常用结构体 ( 1 ) d c b 结构体【2 j 结构体d c b 用于设置端口的参数，其操作通过调用s e t c o m m s t a t e o i 垂i 数来完 成。结构体d c b 的成员很多。最常用的有端口的波特率( b a u d r a t e ) 、数据位 ( b y t e s i z e ) 、停止位( p a r i t y ) 、校验码等。 ( 2 ) c o m s t a t 结构体1 2 结构体c o m s t a t 用于控制或指示通信设备状态信息。其操作通过调用 g e t c o m m e r r o r 0 函数来完成。 ( 3 ) o v e r l a p p e d 结构体 2 1 为了能够更好的提供硬件通信效率，硬件通信提高效引入了了o v e r l a p p e d 结构。w i n d o w s 应用程序对于串口作为文件设备处理，首先用c r e a t e f i l e 函数来打 开相应的串口，在此过程获得应用程序一个串口句柄，以为后面对串口的操作做好 铺垫。接着就是打开s e t c o m m s t a t e 0 来进行端i s l 配置，这其中就包括缓冲区设置， 超时设置和数据格式等。成功后就可以调用函数r e a d f i l e 0 和w r i t e f i l e 0 进行数据的 读写，用w a i t c o m m e v e n t 0 监视通信事件。c l o s e h a n d l e 0 用于关闭串i s l 。在r e a d f i l e 0 6 硕士学位论文 m a s t e r st h e s i s 和w r i t e f i l e 0 读写串口时，可以采取同步执行方式，也可以采用异步的方式。 ( 4 ) c o m m t i m e o u t s 结构体1 2 j 结构体c o m m t i m e o u t s 用于设置读写函数r e a d f i l e 0 和w d t e f i l e 0 的 执行时间，当指定时间到就结束读写。 2 1 2 串口流程图 硬件通信的过程中，首先选定对应的端口号以及读写的模式，然后设置端口的 数据传输率、数据位，奇偶校验位以及码率等，这一系列的设置成功后，这样才能 可以进行串口数据的读写操作。如果此端口已经被正确打开，那么应用程序就可以 对相应端口的数据读写操作。其中这些数据读写操作是相互独立的，它们可以同时 进行，也可以在异步进行，两者不会发生冲突。 图2 1 串口通信流程图 7 硕士学位论文 m a s t e r st h e s i s 2 2d i r e c t s h o w 技术 2 2 1d i r e c t s h o w 基础 实际上d i r e c t s h o w 是微软平台上处理多媒体相关事务的一个平台，本身是基于 c o m 技术上的框架，所以可以和微软的开发环境比如m i r c o s o t tv i s u a lc h 毛0 以 及n e tv i s u a ls t u d i o 集成的异常好。在这套框架里，多媒体相关事务被分成一个一 个的子任务，每个任务都放在一些名为f i l t e r 的c o m 组件里。在d i r e c t s h o w 中， 数据之间的传输都是通过f i l t e r 来完成的。它能够实现对不同格式的媒体数据进行 相关的处理。其中如果你只是做一些简单的工作，那么微软自带的那些f i l t e r 估计 已经够用了；但是如果你还有更高级的任务要完成，那么调用多个f i l t e r 来实现特 定的应用程序。d i r e c t s h o w 提供了多种已经定义好的组件来处理多媒体数据，并且 为了能够有效的管理这些组件，让他们成为一个整体实现某项功能，d i r e c t s h o w 特 意开发了过滤器管理器组件，实现这些过滤器的数据交互以及更新。其实对于这么多 组件，从对多媒体数据作用功能上划分，主要为三大类【4 j ：数据源过滤器、转换过 滤器、和渲染过滤器。为了实现对多媒体数据的操作，一般是将多个过滤器连接起 来，然后通过过滤器上的指针，实现过滤器的数据的传输。为了更加方便快捷的理 解d i r e c t s h o w 中f i l t e r 如何运作，下面就介绍一下d i r e c t s h o w 的框架图。 图2 2d i r e c t s h o w 系统框架图 3 1 2 2 2d i r e c t s h o w 主要接口介绍 d i r e c t s h o w 采用了c o m 标准，各个过滤器在运作时，就是通过这些过滤器的 8 硕士学位论文 m a s t e r st h e s i $ 某种形式的连接，来完成特定的功能。 ( 1 ) 过滤器控制接口：它是所有过滤器中的核心，控制着其他过滤器组件数据的 流动。 ( 2 ) 媒体控制接口：实现播放，停止，暂停等控制 这些需要使用此接口的方法，媒体数据控制起来很简单，分别为： m c p l a y ；播放媒体数据 m c s t o p ；停止正在播放的媒体数据 m c p a u s e ；暂停媒体数据 ( 3 ) 播放控制接口：设定播放的速度 m p p u t l t e ( 1 ) ；正常 m p p u t r a t e ( o 2 5 ) ；慢速 m p p u t _ r a t e ( 2 ) ；j 突速 ( 4 ) 视频窗口属性接口：用于控制视频窗口的属性比如播放窗口的大小、位置、 形状以及在视频窗口在变动时，与其它应用程序之间的互动，在显示的时候要把显示 窗体和控件关连起来，这里需要通过此接口。在这里要定义与控件相关的窗口句柄 以及窗口式样、大小等消息。 ( 5 ) 流媒体数据时间显示接口：在多媒体数据在播放过程中，必须要实时的跟 踪多媒体的相关信息，要准确的进行定位，这就必须要相应的接口来获取相应媒体 播放的数据来实现。得到当前文件的总时间以及播放时间，需要使用此接口方法 在多媒体数据在播放过程中，必须要实时的关注多媒体数据的相关信息，并能够进 行准确的定位，这就必须要相应的接口来获取相应媒体播放的数据来实现。在此接 口中可以调用g e t d u r a t i o n 函数来获取媒体文件播送所需要的总时间，用 g e t c u r r e n t p o s i t i o n 来获取当前播放时间。我们也可以通过s e t p o s i t i o n s 方法设置媒 体文件播放开始和结束时间。在这里要注明一下，这里得到的单位好像是毫秒级的， 可以自己转化为秒级的。还有，如果想以后能够单帧控制播放，在这里也需要设定 播放格式为按帧播放。 ( 6 ) 图像格式定义接1 5 1 ：得到图象的一些必要信息，使用此接口中的方法，可以对图像 的一些变量自己定义。这样就对具体的多媒体图像数据进行特定的处理，而不与其它的 多媒体数据放生冲突。 ( 7 ) 过滤器数据传输接e l ：在每个对应的过滤器中都有数据的输入和输出，这 就意味着俄必须拥有自己的数据接口。在f i l t e r 组件中，就存在着p i n ，它的作用就 是用于管理两个过滤器之间的媒体数据的流动，这样可以实现过滤器的连接以及数 9 硕士学位论文 【a s t e r st h e s i s 据之间的交互。 2 3 数据库技术 数据库技术是现代信息科学与技术的重要组成部分，是计算机数据处理与信息 管理系统的核心。数据库技术研究和解决了计算机信息处理过程中大量数据有效地 组织和存储的问题，在数据库系统中减少数据存储冗余、实现数据共享、保障数据 安全以及高效地检索数据和处理数据。随着计算机技术与网络通信技术的发展，数 据库技术已成为信息社会中对大量数据进行组织与管理的重要技术手段及软件技 术。为实现虚拟摄影棚素材有效的管理，本系统采用系统数据库s q l s e r v e r 以及a d o 控件实现对数据的操作。 2 3 1 系统数据库 s q ls e r v e r 是关系数据库管理系统，关系模型是运用最广泛的数据存储和查询 模型。它具有安装简单方便，伸缩性好，由于是微软开发得数据库软件，它可以使 自己的数据库与相关软件集成程度高等优点，这些优势使s q ls e r v e r 受到了数据库 开发人员的青睐。s q ls e r v e r 也是服务器数据库，它把数据存放在服务器上，处在 异地的客户端可以使用开放式的数据库实现与本地服务器的数据库进行相互通信。 其主要特点如下1 5 j ： ( 1 ) s q ls e r v e r 能够充分的发挥目前市场上最主要的w m d o w sx p 的特点，实 现数据库的高性能的设计。 ( 2 ) 在系统管理方面，只要有稳定的网络支持，s q ls e r v e r 支持异地的数据 库管理和配置。 ( 3 ) 在系统稳定性方面，s q ls e r v e r 具有多种方法与途径来保证数据的健全 与安全。 ( 4 ) 它支持对称多c p u 结构、存储过程、o d b c ，并具有自主的查询语言语 言。s q l s e r v e r 管理功能强大，在网络应用方面能够方便的进行数据库数据的交互 以及通信，s q ls e r v e r 也可以实现内部数据复制功能并且具有开发的系统结构。 这些优点使s q ls e r v e r 成为数据库用户以及开发人员重要的数据库平台。 2 3 2 数据库引擎 在a d o 的体系结构中主要包括a d o 连接控件( 实现数据集控件和a d o 数据 源的连接) 、数据库控制控件、数据源控件和a d o 数据集。程序访问数据库需要后 1 0 硕士学位论文 m a s t e r st h e s i s 端系统的支持和数据库自身。在使用数据库的引擎时，常用的组件对象包括：数据 库的连接、数据集、数据源、数据控制。本文采用这些组件实现数据库的连接，数 据库数据的访问、更新。 硕士学位论文 m a s t e r st h e s i $ 第三章虚拟摄影棚资源制作系统总体设计 在本虚拟摄影棚资源制作系统中涉及到很多硬件，这些硬件大概可以分为三 个大的功能：视频信号处理的硬件、音频信号处理硬件、主控电脑以及监控设备。 其中主控电脑主要有两个作用，一是对视频信号处理的硬件进行远程控制，可以用 r s 一2 3 2 串口控制线进行管理，二是用s v i d e o 数据线进行连接，为虚拟摄影棚提供 虚拟场景。音频信号处理硬件主要是用有线或者无线麦克实时获取现场声音，还有 就是用复合端子数据线去获取主控电脑的声音，这些声音输入到调音台，用调音台 来调整声音的各项参数。视频信号处理硬件主要包括三个大硬件，分别为：摄像机、 抠像机以及切换台，本文开发了相应的硬件控制程序来实现控制。监控电脑就是可 以通过数字电视实时的观察拍摄的效果，为最终节目的输出做好准备。 3 1 系统总体结构设计 虚拟摄影棚系统将计算机制作的虚拟场景与摄像机现场拍摄的演员表演的( 或 是现场拍摄的其它电视画面) 活动图像进行数字化的实时合成，使演员的表演与虚 拟背景达到同步变化，从而实现前景与背景的完美结合。一个完整的虚拟摄影棚系 统主要包括摄像机控制、抠像机控制、切换台控制、背景播放控制及资源管理五个 部分： ( 1 ) 摄像机控制为虚拟摄影棚系统提供现场的前景输入； ( 2 ) 抠像机控制对摄像机所拍摄的前景进行去色处理； ( 3 ) 切换台控制可在正机位与侧机位之间进行切换； ( 4 ) 背景播放控制为虚拟摄影棚系统提供两路背景、一路前景及一路p p t 的 输入； ( 5 ) 资源管理可以对制作的素材以及视频作品进行有效的管理。 本低成本虚拟摄影棚系统的系统架构如图3 1 所示： 12 硕士学位论文 m a s t e r st h e s i s 图3 1 三层抠像低成本虚拟摄影棚系统架构图 图3 1 为三层抠像低成奉虚拟摄影棚系统架构图，图巾黑色线表示视频连接， 红色线表示音频连接，蓝色线表示控制线连接，此图是一个功能最全面的系统架构 图。该系统主控电脑p c 1 通过自身串口与多串口卡同时对两台摄像、三台抠像机 与一台切换台进行控制，采用两块视频解压卡在p c 一1 上同时播放两路视频( 可播 放不同视频) ，分别作为抠像机一与抠像机二的背景，摄像机一与摄像机二所拍摄 的视频信息分别作为抠像机一与抠像机二的前景，抠像机一与抠像机二的合成信号 都输入到切换台，作为切换台的第一路输入信号与第二路输入信号，切换台在这两 路输入信号间进行选择时，就实现了正机位合成信号与侧机位合成信号的切换，同 时，切换台的另外两路输入信号分别由p c 1 的d e m ov i d e o & r a d i o 与t e a c h e rp c 的课件视频提供，使用户在录制节目时除了展示现场视频与虚拟背景的合成效果 外，也可以选择播放d e m o 或者教师p p t 。切换台有两路同样的输出信号，分别作 为抠像机三的c a m l 前景输入信号与背景输入信号，p c l 通过显卡s 端子输入的 13 硕士学位论文 m _ a s t e r st h e s i s f g 2 信号作为抠像机三的c a m 2 前景输入信号，当切换台选择第一路信号或者第二 路信号时，若用户选择c a n a l 时，抠像机三的合成输入结果就为两层抠像情况，若 用户选择c a m 2 时，输出结果就为三层抠像情况。切换台与抠像机三分别有一路输 出信号接入到监控设备，便于虚拟摄影棚操作人员进行监控。整个系统的音频信号 由p c 1 的d e m ov i d e o & r a d i o 信号、t e a c h e rp c 的课件音频、现场m i c r o p h o n e 及 其他声音设备提供，全部音频信号都进入混音台进行合成，合成之后音频信号与抠 像机三输出的视频信号一起，输入到非线性编辑系统p c 一2 进行节目的后期处理， 并且通过资源管理系统实现对电视节目的高效管理。 此系统适用于需对低成本虚拟摄影棚系统全部功能进行展示的环境，如科技新 成果展示等。当然，在具体的应用中，并不是所有用户都需要用到上面这个系统的 全部功能，根据实际需要，我们也可以对这个系统做适当的修改，以满足用户需求， 如图3 2 所示： 图3 2 三层抠像低成本虚拟摄影棚系统架构图 与图3 1 相比较，在硬件设备上，上图所示虚拟摄影棚系统节省了一台抠像机、 一台可变切换台和一块视频解压卡，在系统实现的功能上，本系统的正机位与侧机 14 位背景相同，减少了播放d e m ov i d e o & r a d i o 信号的功能，与图3 1 中系统一样可 实现两层抠像与三层抠像的效果。此系统适用于对正机位背景与侧机位背景不要求 不同的应用环境，可满足一般的专业应用场合。 下图是另一种虚拟摄影棚系统架构图： 图表3 3 两层抠像低成本虚拟摄影棚系统架构图 上图与图表3 2 的摄影棚系统相比较，在硬件方面，减少了一块视频解压卡， 不再通过解压卡播放视频背景，而是直接使用显卡的s 端子来输出视频背景，在系 统实现的功能上，只能实现两层抠像效果。此系统适用于一般的，非专业级的应用 场合。根据具体需求，可以设计各种不同的系统架构，这里就不再一一列举。 15 硕士学位论文 l 旺a s t e r st h e s i s 3 2 系统功能结构图 此系统主要包括三个子系统，分别为硬件控制子系统、虚拟背景显示子系统、 虚拟背景资源管理子系统。其中，硬件控制子系统包括三个模块：摄像机控制、切 换台控制、抠像机控制；虚拟背景显示子系统包括两个部分：p p t 输入与视频背景 输入；虚拟背景资源管理子系统包括资源管理、资源搜索以及资源浏览。其功能如 图3 4 所示： 图3 4 低成本虚拟摄影棚系统功能结构图 ( 1 ) 硬件控制予系统 摄像机控制：通过r s 一2 3 2 控制线，使用我们自主开发的摄像机控制软件， 在主控电脑上能远程地控制摄像头的景别、方向及其他参数，通过鼠标直 观的操作，能够以不同的速度实现镜头的推、拉、摇、移、俯、仰等功能， 控制方便、简单、精确。现场的声音通过领夹式无线麦拾取，该无线麦能 在一公里以内的范围内有效。除了现场的声音，还可以从电脑或者其它设 备输入背景音乐以及其它声音。 抠像机控制：通过r s 2 3 2 控制线，使用我们自主开发的抠像机控制软件，在 主控电脑上远程控制各个抠像机的输入设置、输出设置及抠像密度、级别、 色调、亮度、对比度、抠像区域等抠像参数设置，将抠像输出结果调整到 理想的状态。为了制作需要，本系统满足三层扣像，第三层即前景信息是 16 硕士学位论丈 m a s t e r st 1 4 e s l s 来自主控p c 的前景播放器里的内容，在抠像器三里叠加上由切换台输出 的视频信号，实现三层扣像。在主控软件里的抠像机控制模块里，选择抠 像机三的输入通道，能够实现是否要第三层抠像的功能，如果抠像机三选 择c a r o l 输入，则没有第三层内容，如果选择c a m 2 输入，可以实现三层 合成。 切换台控制：支持正面、侧面两台摄像机影像的实时抠像与切换。其中正 面摄像机的影像信号输入抠像机一，在抠像机里抠除绿背并叠加上由p c 机的视频解压卡一输出的背景信号，输出到切换台的输入端一，可根据需 要切换输出：侧面摄像机的影像信号输入抠像机二，在抠像机里抠除绿背 并叠加上由p c 机的视频解压卡二输出的背景信号，输出到切换台的输入 端口二，可根据需要切换输出。 ( 2 ) 虚拟背景显示子系统 在主控p c 上，安装两块专门用于视频播放的视频解压卡，通过我们的控制软 件四窗口播放器，能轻松变换背景和前景，可对视频进行播放、暂停、停止、 循环播放、随机播放等控制及设定操作。用户可从p c 上的背景库里选择需要播放 的背景文件在四窗口播放器里播放。其中对于摄像机一和摄像机二，它们的背景分 别来自视频卡一和视频卡二，在主控软件里分别对应背景播放器一和背景播放器 二，只需要在对应的背景播放器里播放各自的背景就可以实现不同的机位不同的背 景。类似的可以选择不同的前景，在前景播放器里播放前景文件。通过可控切换台 实现的，该切换台有四路视频信号输入端，通过它，能实现正侧面摄像机以及其它 输入视频信号问的无缝转场和切换，有多种转场特效供选择。并能实现i 丽j 中画( p p t 与人像分区显示) 效果。通过摄像头获取当前拍摄到的前景，在三维场景中同步播 放出来，或者在三维场景中播放己录制好的精彩的视频文件，让虚拟场景更加生动 逼真。 ( 3 ) 虚拟背景资源管理子系统 虚拟背景资源管理子系统中，资源管理子系统是资源素材以及电视节目的集散 节点，是资源分门别类的基础。资源系统通过在资源目录上实现资源的单个文件或 者批量