（计算机应用技术专业论文）基于pc机及java技术的虚拟演播室系统研究与实现.pdf

沈阳工业大学硕士学位论文 摘要 随着生活水平提高，人们对影视节目的期望值也越来越高，提高电视节目的收视率 对电视节目制作工作是一种新的挑战。虚拟演播室技术应运而生，它主要综合了计算机 图形技术、多媒体技术、传感器技术、显示技术及仿真技术等多种技术为一体，将现场 视频实时地与计算机绘制的三维场景结合在一起，制作出更精彩的电视节目。 目前，国际上的虚拟演播室系统已达到了商品化程度，但这些系统基本上是基于工 作站的独立系统，其价格昂贵，一般都在1 0 0 - - 3 0 0 万元左右，在中国很难普及。为此 本文以与辽宁电视台数字互动频道合作项目为依托，创建了一个基于p c 机及j a v a 技术 的虚拟演播室系统，使中小电视台采用虚拟演播室技术、提高节目制作水平成为可能。 本文详细地介绍了基于j a v a 3 d 和j m f 技术的虚拟演播室系统的理论与技术：提出 了基于p c 机和j a v a 技术的虚拟演播室系统的解决方案：实现了基于j m fa p i 技术的视 频格式文件( m p g ) 读取，并应用多线程技术和生产者一消费者算法对离散后的视频 和音频的轨道进行连续读取和控制，同时实现了对每一轨道图元进行提取有用像素和去 除无用像素点集合的处理，并将处理后的视频轨道图元作为一种动态纹理添加到由计算 机实时绘制的虚拟场景中；实现了基于多线程技术和键盘交互技术的虚拟演播室动态滚 动字幕和静态字幕的设计：实现了基于线性插值的数学模型逼近切面圆，并用三角面片 逼近法构造出具有良好光顺性和切矢量连续性的球缺及球冠等不规则几何形体，并对这 些几何形体进行了相应的真实感处理；实现了基于j a v a 3 d 技术的多种动画及交互式程 序的开发；实现了基于j a v a 3 d 的高级键盘与鼠标交互技术。 虚拟演播室系统研究与实现中的创新点为：提出了基于p c 机与j a v a ，j a v a 3 d 及 j m f 技术的虚拟演播室系统的总体设计方法及解决方案，且该方案切实可行；解决了基 于j a v a 3 d 及j m f 技术的视频读取、处理与动态纹理控制：创建出了基于三角面片逼近 及j a v a 3 d 技术的具有良好光顺性与切矢量连续性的不规则三维几何形体，并进行了桐 关的真实感处理技术，并将这些技术应用到虚拟演播室系统中，取得了良好的效果。 关键字：虚拟现实，增强现实，虚拟演播室，视频处理，虚实合成 沈刚i 业火学硕十学位论文 r e s e a r c ha n di m p l e m e n t a t i o no fv i r t u a ls t u d i ob a s e do np ca n d j a v at e c h n o l o g y a b s t r a c t w i t ht h ed e v e l o p m e n to ft h el i v i n g s t a n d a r d , t h ee x p e c t a t i o n so fc o n s u m e r so nt h eq u a l i t y o ft h et vp r o g r a m sb e c o m eh i g h e ra n dh i g h e r i t san e wc h a l l e n g ef o rm a k i n gt h e i v p r o g r a m st oi m p r o v et h ew a t c h i n gr a t e s v i r t u a ls t u d i ot e c h n o l o g yi sc o m eu pw i t hu n d e rt h i s e n v i r o n m e n t ，w h i c hi n c l u d i n gc o m p u t e rg r a p h i c st e c h n o l o g y ，m u l t i m e d i at e c h n o l o g y ，s e n s o r t e c h n o l o g y ，d i s p l a y i n gt e c h n o l o g ya n ds i m u l a t i o nt e c h n o l o g y v i r t u a ls t u d i oc a nm a k em o r e w o n d e r f u lp r o g r a m sb yc o m p o s i n gt h ev i d e of o r m a tf i l e sa n dt h ev i r t u a ls c e n e sc r e a t e db y c o m p u t e r a tt h e p r e s e n tt i m e ，t h ep r o d u c t so fv i r t u a ls t u d i oh a v eb e e nb r o u g h t i n t ot h em a r k e t ，b u ta 1 1 t h e s ep r o d u c t sa r eb a s e do nt h eg r a p h i cw o r k s t a t i o n ，w h i c hi st o oe x p e n s i v ea h n o s t a r o u n df r o m 1t o3m i l l i o nr m b , a n dc a n tb eu s e dw i d e l yi nc h i n a t ob r e a kt h el i m i t a t i o n t h i st h e s i si st o d e v e l o pav i r t u a ls t u d i os y s t e mb a s e do nj a v aa n dp cu n d e rt h ep r o j e c tc o o p e r a t e dw i t h l i a o n i n gt vs t a t i o nd i g i t a lc h a n n e l ，w h i c hc a nm a k ei tp o s s i b l ea n de a s i e r t oa p p l yv i r t u a l s t u d i ot e c h n o l o g yw i d e l ya n dt oi m p r o v et h el e v e lo f m a k i n gp r o g r a m s t h et h e o r ya n dt e c h n o l o g yo f v i r t u a ls t u d i ob a s e do nj a v a ，j m fa n dj a v a 3 da r ei n t r o d u c e d i nt h i st h e s i s an e ws o l u t i o no fd e v e l o p i n gv i r t u a ls t u d i ob a s e do np ca n dj a v ai sp u tf o r w a r d t h ep r o b l e m so fi n p u a i n gt h ev i d e of o r m a tf i l e s ( m p g ) b a s e do nj m fa p i ，p r o c e s s i n ga n d c o n t r o l l i n gt h ee l e m e n t so ne a c ht r a c ko ft h ev i d e oa n da u d i of o r m a tf i l eb a s e do nc o n s u m e r 。 p r o d u c e ra l g o r i t h m ，e x t r a c t i n gt h eu s e f u lp i x e l sa n dw i p i n go f f t h eu s e l e s sp i x e l so ne a c hi m a g e ， c o m p o s i n gt h ep r o c e s s e di m a g ew i t ht h ev i r t u a ls c e n e sc r e a t e db yc o m p u t e ra r es e t t l e di n t h i s t h e s i s t h ed y n a m i cc a p t i o na n ds t i l lc a p t i o nb a s e do nm u l t i t h r c a d e da n dk e y b o a r di n t e r a c t i o n a r ea l s or e a l i z e di nt h i ss y s t e m m o d e l i n gt h et h r e e d i m e n s i o n a li r r e g u l a rs o l i d sb a s e do ns m a l l t r i a n g l ep l a n e sa p p r o a c h i n g ，w h i c hh a v ev e r yg o o da t t r i b u t e sa n dg e o m e t r yc h a r a c t e r s a r e r e a l i z e di n t h i st h e s i s ，a n dt h er e l a t e dr e n d e r i n gt e c h n o l o g ya r es o l v e d t h ea n i m a t i o na n d i n t e r a c t i o nt e c h n o l o g ys u c ha sb i l l b o a r da n i m a t i o na n dk e y b o a r dn a v i g a t i o n sb a s e dj a v a 3 da r e 2 沈rj | ：业大学硕士学位论文 r e a l i z e di nt h i sp r o g r a m ，w h i c hm a k et h es y s t e mv e r yl i v e l y a l lt h e s et e c h n o l o g i e sa r eu s e di n t h ev i r t u a ls t u d i os y s t e ms u c c e s s f u l l y t h em a i ni n n o v a t i o n si nt h i st h e s i sc a nb es u m m a r i z e da s ：an e ww a yo fr e s o l u t i o na n d w h o l ed e s i g no fv i r t u a ls t u d i ob a s e do np c ，j a v a ，j m fa n dj a v a 3 di sc o m eu pw i t h ，a n dt h e r e s o l u t i o ni sf e a s i b l e s o l v e dt h ev i d e of o r m a tf i l ei n p u t t i n g ，p r o c e s s i n ga n dd y n a m i ct e x t u r e p r o c e s s i n g t h ei r r e g u l a rs o l i d sb a s e do nl i n e a ri n s e r t i n ga n ds m a l lt r i a n g l ep l a n e sa p p m a c h i n g w h i c hh a st e r r i f i ca t t r i b u t e sa n dc h a r a c t e r sb a s e do uj a v a 3 da r ec r e a t e da n dt h er e l a t e dt h r e e d i m e n s i o n a lp r o c e s s i n gt e c h n o l o g i sa r ea p p l i e do nt h es o l i d s n l es a t i s f i e dr e s u l t sc a nb eg a i n e d f r o mt h es o f t w a r e k e yw o r d s ：v i r t u a lr e a l i t y ，a u g m e n t e dr e a l i t y ，v i r t u a ls t u d i o ，v i d e op r o c e s s i n g ，r e a l - v i r t u a lc o m p o s i t i o n 3 独创性说明 本人郑重声明：所呈交的论文是我个人在导师指导下进行的研究工 作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方 外，论文中不包含其他人已经发表或撰写的研究成果，也不包含为获得 沈阳工业大学或其他教育机构的学位或证书所使用过的材料。与我一同 工作的同志对本研究所做的任何贡献均已在论文中做了明确的说明并表 示了谢意。 签名：髯望甥日期：坦竺! 生 关于论文使用授权的说明 本人完全了解沈阳工业大学有关保留、使用学位论文的规定，即： 学校有权保留送交论文的复印件，允许论文被查阅和借阅；学校可以公 布论文的全部或部分内容，可以采用影印、缩印或其他复制手段保存论 文。 签名： ( 保密的论文在解密后应遵循此规定) 导师签名：圣堡查盟 日期：山口忙；、胪 沈阳上业人学硕士学位论文 1 绪论 随着计算机硬件的飞速发展，计算机的处理速度也越来越快，从而为计算机图形学 等软件技术带来了广阔的发展空问。在图形学领域，近年来，众多科研工作者把目光投 向了虚拟现实与增强现实等复杂图像软件的研究之上，这两项技术也因此而成为当今研 究的热点问题。 1 1 虚拟现实与增强现实的发展状况 1 1 1 虚拟现实技术的基本概念 虚拟现实技术( v i r t u a lr e a l i t y ，简称v r ) 是利用计算机生成一种逼真的视、听、 说、力、触、动和嗅等感觉的虚拟环境，通过各种传感设备使操作者“沉浸”到该环境 中，实现操作者与环境直接进行自然交互o3 。虚拟现实技术这一概念早在2 0 世纪中期 由美国v p l 探索公司和它的创始人j a r o nl a n i e r 提出，后来美国宇航局( n a s a ) 的艾 姆斯空间中心利用流行的液晶显示电视和其它设备开始研制低成本的虚拟现实系统，推 动了其硬件的进步，为虚拟现技术的进一步发展奠定了基础。目前该技术己获得了长足 的发展，在我国，8 0 年代末开始进行研究，尚处于初级阶段2 。虚拟现实是计算机软 硬件技术、传感技术、机器人技术、人工智能及心理学等高速发展的结晶，它的基本体 系结构如图1 1 所示“。虚拟现实系统具有实时的三维空间表现能力和自然的人机交互 操作环境，可以给人带来身临其境的感受，从而在根本上改变人与计算机之间枯燥、生 硬和被动的现状。 一套完整的虚拟现实系统需要集成高性能的计算机软、硬件及各类先进的传感器。 在硬件方面需要跟踪设备、触觉设备、音频设备、图像显示设备和高性能计算机等：在 软件方面，。需要一个产生虚拟环境的应用开发平台，即能够接收上述跟踪及触觉设备的 传感器信息，生成研究所需要的立体图形并且调用其它软件输出的虚拟模型数据库。迄 今，根据虚拟现实技术在不同领域的应用，可供选用的软件也很多，较有名的软件主要 ， 有：m g ip h o t o v i t a 、c o o l 3 d 、f l a s h 、v r m l 、m l e c t o r 、c u l t 3 d 、s c e n e b u i l d e r 、 w e d d t o k l t 、a t t i d e n 、v e g a 等，它们均可稳定地运行住p c 机或工作站上，使用起来非 常方便，且价格也比较合理1 。1 。 沈阡1i 业人学硕卜学位论文 技泉产生器 窿拟环境产生器 图1 1 虚拟现实的体系结构 二： 蔷i 弥： 囊 嚣i 同时，虚拟现实又是一门实用技术，是一个在国际上倍受关注的新兴课题。虚拟现 实系统就是要利用各种先进的硬件设备及软件工具，设计出合理的硬件、软件及交互手 段，使参与者能交互式地观察和操纵由系统生成的虚拟世界。 虚拟现实技术具有如下主要特点： ( 1 ) 沉浸性( i m m e r s i o n ) ：用户对虚拟场景的沉浸感是虚拟现实技术的最本质的特 征，也是虚拟现实技术区别于其它多媒体技术、模拟与仿真技术和实时图像处理技术的 最重要因素。所谓沉浸性是指操作者可以进入由虚拟现实技术提供的虚拟三维空间环 境，并作为该环境中的一一个组成成分，参与该环境中物质问的变化与作用。 ( 2 ) 交互性( i n t e r a c t i o n ) ：用户可以通过三维交互设备，像操纵现实世界中的物体 和对象一样控制虚拟世界中的对象。 ， ( 3 ) 构想性( i m a g i n a t i o n ) ：过去用户只能以定量计算的结果为主来加深对对象的 认识，虚拟现实则可以使人通过定量和定性两者的综合得到感性和理性的认识，进而可 以受到启发、深化概念并萌发新意。 2 沈阻i 业大学硕士学位论文 f 4 ) 自主性( a u t o m a t i v e ) ：是指虚拟环境中物体依据各自的模型和规则按操作者 的要求进行自主运动的程度。例如：当受到力的推动时，物体会向力的方向移动、或翻 倒、或从桌面落到地面等。 交互性和沉浸感是虚拟现实技术最重要的两个特征，根据虚拟现实所倾向的特征不 同，可将目前的虚拟现实系统划分为四个层次：桌面式、增强式、沉浸式和网络分布式 虚拟现实”1 。 根据虚拟现实的定义及其基本特征可知，虚拟现实是一个十分复杂的系统，它涉及 到了图形图像处理、语音处理、模式识别、人工智能、智能接口、传感器、实时分布系 统、数据库、并行处理、系统建模与仿真、系统集成和跟踪定位等技术。其关键技术 有：动态环境建模技术、快速三维图形生成技术、立体显示、传感器技术、应用系统开 发工具、系统集成开发工具和用户的适应性分析等。因为虚拟现实最主要的技术特征是 “沉浸感”，所以，虚拟现实追求的目标是力图使用户在计算机所创建的三维虚拟环境 中处于一种“全身心投入”的感觉状态，要让用户觉得自己是虚拟环境中的一部分，而 不是旁观者。人对信息的感知约有8 0 是通过眼睛获取的，所以，视觉感知的质量在用 户对环境的主观感知中占有最重要的地位。因此，为了使用户能够真正“沉浸”于由计 算机生成的虚拟环境中，必须使生成的环境足够逼真。 1 1 2 虚拟现实技术的应用 目前，虚拟现实已经在航空航天、科学计算、军事、机械工程、设计规划、教育培 训和影视娱乐等诸多方面发挥着越来越重要的作用，而未来它的潜在价值也必将对整个 人类的生活与发展带来十分广泛的冲击和变革。 尽管虚拟现实具有很多技术优势和广阔的发展前景，但是距离普遍推广还存在一定 的距离。当前虚拟现实的主要问题包括两个方面，首先是现有的硬件技术性能难以达到 实际应用的要求。例如，图形显示的刷新频率的平均值达不到每秒1 0 帧，与要求的每 秒3 0 帧相筹甚远；又由于使用了液晶显示技术，导致了图形分辨率低、时延较大、 ： 维跟踪范图小以及精度低等问题；其次是开发虚拟现实应用系统时，由于对人的认知模 型缺乏深入珲解，加之硬件的限制，界面设计、系统性能和模拟环境等满足不了删，。的 要求，分辨牢和彩色显示的关系、跟踪精度和延时的天系、头部跟踪显示对提高系统陀 3 。 沈阳j ：业大学硕十学位论文 能的作用到底有多大等不确定因素的存在，也是制约该技术改进的原因。硬件技术可以 随着研究的深入而得到提高，但用户的要求也在不断地提高，因此，硬件技术的制约将 会持续一个较长的时期。但是，如果对用户认知模型有了深入的理解，就可以针对不同 类型的应用选择不同性能的硬件组合，达到局部最优，从而克服硬件技术的不足，设计 出用户满意的系统。 1 1 3 增强现实技术概述 随着人们对更高要求的追求，在二十世纪9 0 年代末期，一种新的图形学研究领域 引起了人们的浓厚兴趣，这就是增强现实技术( a u g m e n t e dr e a l i t y 简称a r ) 。增强现 实技术是虚拟现实的一种延伸，始终强调在真实的场景中完成虚拟任务的能力，主要研 究虚拟物体与真实世界结合的问题，因此它创造的场景效果具有更高的细节层次和真实 感。 增强现实技术是随着虚拟现实技术的发展而产生的，因此两者有着不可分割的关 系，但是也有显著的区别： ( 1 ) 增强现实与虚拟现实在沉浸感上要求有明显的区别：增强现实是一种对真实世 界的增强，它不是独立于现实环境之外的系统，而是强调用户在现实世界中的存在性并 努力维持感官效果的不变性。增强现实系统的主要特点就是将计算机产生的虚拟环境与 真实环境融为一体，从而增强用户对真实环境的理解，因此需要借助能够将虚拟环境与 真实环境融合的设备透视式头盔显示器。虚拟现实系统强调用户的视觉、听觉和触觉 等感觉器官完全沉浸在由计算机实时产生的虚拟环境之中，成为虚拟环境中的一员，同 时还可以对虚拟环境进行定的交互和控制等。这些功能的实现通常需要借助能够将用 户视觉与环境隔离的头盔显示器。 ( 2 ) 增强现实与虚拟现实的配准精度的要求不同：在沉浸式虚拟现实系统中，配准 精度是指由计算机绘制的虚拟环境与用户各种感官之间冲突的偏差值。这种配准误差是 视觉系统与其它感官系统以及个人感觉之间的冲突造成的，心理学研究表明，往往是视 觉 了其它感觉的上风，因此用户会慢慢适应这种由视觉与本体感觉冲突所造成的不适 应现象。而稿：增强现实系统中，配准精度主要是指将训算机产生的虚拟物体r j 用户周h 爿 的真实环境伞方位对准，并要求用户在真实环境的运动过程中维持正确的配准关系。较 沈阳工业大学硕士学位论文 大的配准误差不仅使用户不能从感官上相信虚拟物体在真实环境中的存在性和一体性， 甚至会改变用户对其周围环境的感觉，改变用户在真实环境中动作的协调性，严重的注 册误差甚至会导致完全错误的行为。 虚拟现实与增强现实都强调实时交互，而增强现实还有一个技术特征就是虚拟物体 与真实环境的全方向校准，即三维注册( 3 dr e g i s t r a t i o n ) 。三维注册是根据现实世界 的位置关系将物体放到正确的位置。另外，增强现实系统设计最基本的阀题就是实现虚 拟信息和现实世界的融合，显示技术是增强现实系统的基本技术之一。一般而言，可以 把增强现实的显示技术分为以下几类：头盔显示器显示、投影式显示、手持式显示器显 示和普通显示器显示，其中头盔式显示器的工作原理图如图1 2 所示”1 ，其中图1 2 ( a ) 中：l 是摄录机，2 是l c d ，3 是中继透镜组；图1 2 ( b ) 中：l 是l c d ，2 是中继透镜组，3 是组合器。一般主要有以下几种跟踪技术：飞行时间定位跟踪、机构联接跟踪、相差跟 踪、场跟踪和复合跟踪系统9 。 # 1 一一，：= 女套j 露茹q - ( a ) v i d e o 透视式h m d( b ) o l a i c a l 透狱h m d 图l - 2 头盔式增强现实技术 由于增强现实不仅继承了虚拟现实的特点，同时又具有虚实结合的独特性，因而增 强现实有着广阔的应用发展前景，日益受到人们的关注，国外许多研究机构都在从事此 方面的研究和探索。增强现实技术不仅具有与虚拟现实技术相类似的应用领域，而且更 显著的特点在于它对真实环境的增强效果，在医疗研究、解剖训练、精密仪器制造、装 配与维修、军事训练、工程设计和远程机器人等领域具有比虚拟现实技术更加明显的优 势。例如，在一个导游系统的应用中，用户佩戴头盔式显示器，通过这种透视式头盔显 示器，可以看到真实世界的景色，还可以看到由计算机产生虚拟的信息，当用户在景区 5 沈：业人学硕士学位论文 罩漫游时，计算机的跟踪器可以实时跟踪旅游者的眼睛的目视方向，同时，计算机对跟 踪器传过来的信息进行处理，在相应的位置上给真实世界添加对应的虚拟信息，这个信 息可以是用户f 在欣赏的景点信息介绍或相关历史背景等，从而达到对真实世界进行增 强的作用，这样就可以减少雇佣导游的开销。1 ，具有很大的应用价值。 增强现实的发展还不到十年的时间，尚是- - f 1 年轻的技术，在整机系统上( 包括硬 件和软件) 也存在着很多问题，在硬件方面。首先要解决”。种超微型及可穿戴式的计算 机，当然这种计算机与笔记本电脑、掌上电脑( h p c ) 和个人数字助理( p d a ) 等现有 的硬件设备在体系结构、功能、形态、用途及使用方式上迥然不同，应该在许多功能方 面更胜一筹。在软件方面需要人机“最佳结合与协同”的移动信息系统，这些不成熟的技 术都将成为a r 系统发展的瓶颈。其中几个代表性的问题如下： ( 1 1 三维注册速度。由于受到计算机硬件速度的限制，会造成一定的延迟，当c c d 采集的图像与增强信息进行叠加时会出现漂移现象，从而使得在一定程度上失去了增强 现实的真实性。 f 2 ) 单向交互。目前增强现实技术实现的交互只是单向的，虚拟( 真实) 场景中的 物体可以影响虚拟物体，而虚拟物体却无法影响虚拟( 真实) 场景中的物体。这种在受 控条件下对虚拟( 真实) 世界进行增强，不是增强现实技术长远追求的目标。 f 3 ) 显示输出。对于户外增强现实来讲，影响显示输出的不但有硬件系统本身，现 实世界的气候环境如：阳光和影子等也对增强现实的输出有着很重要的影响。这些非人 为的因素可能会造成输出图像的一些细节的丢失“”。 增强现实技术是一个多学科交叉的领域，它包括计算机视觉、计算机阻形学、传感 器、网络和g p s 等许多技术，作为- - f 7 新兴的技术，它有着很大的实用价值和应用前 景。随着增强现实技术的只益成熟，增强现实系统也会逐渐进入各个应用领域，走进人 们的生活，为人们所接受。在网络高度发展的今天，增强现实系统的网络化也是一个重 要的发展趋势，通过网络，可以减少一些装备，同时也- f 丌以大大提高增强现实系统的性 能1 。 沈阳： 业大学硕士学位论文 1 _ 2 增强现实相关领域发展现状 1 2 1 虚拟演播室技术 虚拟演播室是典型的增强现实系统。随着计算机技术的迅速发展，虚拟演播室技术 近年来进入了电视、电影制作领域，并已经成为当今影视新技术的热点。它将实拍的人 物与电脑绘制的虚拟场景有机地结合起来，以全新的视觉效果展现在观众面前。虚拟演 播室系统用软件来生成场景和道具，以低廉的成本产生新奇的视觉效果，引领着电视节 目制作的新纪元，成为当今电视业的新焦点。 典型的虚拟演播室系统由以下几部分构成：摄像机、图形计算机、同步跟踪系统、 延迟线和色度键合成器，如图1 3 所示。其基本原理是：以蓝室中的主持人为前景信 号，在跟踪系统中所获得的拍摄参数控制下，以虚拟场景为背景信号，两者在色键控制 器中实时地合成，最终形成一幅完整的图像 1 2 1 。 图1 3 虚拟演播室的系统结构图 在电视台的新闻类、专题类和综艺类等许多节目中都离不丌演播室的布景，布景的 质量以及设计思想的优劣直接影响电视节目的整体质量。传统的演播室布景是由美工 师、木工和油漆工等共同完成的，电视台每天根据节目的内容不断更新布景。传统的演 播室不仅需要布景，还需要大量的道具和灯光调节，而虚拟演播室技术是基于色键抠像 技术与计算机图形相结合的技术，它由计算机软件来完成布景的设计和制作，它将摄像 机拍摄的图像实时地与计算机三维图形进行合成，从而形成种新的电视节目制作系 统，它具有一些传统演播室无法达到的功能和优点1 1 3 。其魅力在于化虚拟为现实、 一7 一 沈r - i 业大学硕士学位论文 “假戏真作”，达到不是现实而又高于现实的效果。虚拟演播室系统可以更有效地利用 演播室资源，节省了大量的演播室制景费用及装、拆布景的时间和人力，使编导和美工 摆脱了时间、空间及道具的限制，充分发挥想象力进行自由创造。虚拟演播室的背景是 由计算机通过图像合成和动画制作的方法生成的，由于背景成像依据真实摄像机的运动 参数来保证演员和背景的三维透视完全相同，从而达到了“融合”的i i 的“。 作为一种新兴的技术，虚拟演播室之所以会吸引众多研究者的目光，就是因为它有 着如下三个真实演播室无法比拟的优点： f 1 ) 费用低； ( 2 1 布景制作快、变化多、可再生、不占用物理空间资源且可重复利用； ( 3 ) 允许观众走进虚拟环境，构成了全新的观众参与方式o 。 在虚拟演播室中，也应用到了大量的特殊技术。虚拟演播室的关键技术分为摄像机 运动参数的跟踪、虚拟背景的生成及视频合成三部分。其中，实时生成背景，是将计算 机制作的带纹理的三维数学模型，映射存储在图形工作站的数据库中。然后，在前景摄 像机运动参数的控制下，虚拟摄像机对预先制作的虚拟布景进行三维重建，通过虚拟背 景制作软件系统，根据背景需求对事先制作的虚拟背景进行控制和操作，即对物体的位 置和透视关系作相应的变换，利用纹理匹配工具使物体增加真实感，实时生成与前景有 正确视角关系的背景图像，生成速度可达5 0 帧，秒：视频合成是在色键合成器中完成 的，摄像机拍摄的前景图像经过色键合成器进行抠像处理，并与计算机生成的虚拟背景 实时地合成输出图像，实现虚实合成“7 ”1 。 在短短的十几年中，虚拟演播室的发展经历了从无到有、从有到精的过程。早在 1 9 7 8 年就有人提出用计算机产生虚拟背景来代替真实场景，但是长期受制于计算机硬 件运算速度慢，图形图像处理能力差。随着计算机运算速度的提高、硬件价格的下降以 及计算机视觉和图形学理论的发展，虚拟演播室技术才得以充分的发展。1 9 9 0 年受欧 盟r a c e i i 资助的m o n al i s a 开始立项研究，参加者包括9 个欧洲工业广播电视和学术研 究机构。早期的系统还有日本n h k 的s y n t h e v i s i o n 、法国i n a 的s y n t h e t i c 等。9 0 年代 中后期致力j _ 返技术的丌发和研究的许多厂商纷纷把自己的产品推向市场。其中有f l 表性的幽外公r d 何：g m d 公司的3 d k 系统、以色列o r a d 公司的c y b e r s e t 系统、炎 8 一 沈阳工业大学硕士学位论文 国a c o r n 公司的e l s e t 系统、以色列r t - - s e t 公司的l a r u so t u s 系统、美国e v a n sm a d s u t h e f l a n d 公司的m i n d s e t 系统等等f 9 l 。国内方面，1 9 9 8 年方j i 二公司推出了虚拟布景 系统，1 9 9 9 年大洋公司、奥维迅公司、索贝公司都展示了自已的虚拟演播室系统，由 于硬件和软件水平的差异，这些国产的系统在功能和性能上还无法与技术相对成熟的国 夕h 产品相比【2 0 j 。 尽管虚拟演播室有着极其广阔的发展前景，有着诸多的优越性，但它的普及和推广 仍有一定的难度，因为它在很多方面还很不成熟，它的应用存在很大的局限性。目前还 存在着以下几个问题： 第一，虚拟设各价格昂贵，普通一套设备也要十几万美元，一股的电视台在经济上 无法承受；国外的虚拟演播室系统一般都是独立于p c 机的系统，所以这个系统结构复 杂且操作繁琐，不利于推广；另外，人才的问题也很重要，制作虚拟背景的人，应该既 是计算机图形专家，也是具有丰富创作真实布景经验的美工师，这样才能真正发挥虚拟 演播室系统的优越性 2 1 l 。 第二，由于当前计算机硬件的发展状况，在一定程度上制约了计算机处理图形的速 度，从而影响了虚实合成的真实感效果。另外，目前还没有非常好的跟踪处理设备，这 也影响了虚实合成的精度。 第三，虚拟演播室最主要的局限性是拍摄需要发生在特制的蓝室内。蓝室通常音响 效果较差( 主要是由于弧形的墙角引起的) ，室内光照设计非常困难，而且一旦灯光安装 完毕，改变起来( 也许是由于一些特殊效果的需要) 也相当困难。同丑寸虚拟演播室对节 目制作人员提出了新的要求。从虚拟场景的设计、制作到演播室的灯光布置和摄像机操 作等，都不同于一般的演播室f 2 2 , 2 3 t 。 虚拟演播室制作节目的优势是显而易见的。由于虚拟演播室从发展到应用才走过十 几年，它的技术仍在发展和完善中，还是一个年轻的技术，但虚拟演播室技术在全世界 已得到了颇为广泛的应用。到目前为止，全世界己有十几个虎拟演播室设备品牌推向市 ， 场，世：界各大电视台和影视奔4 作单位己经采用虚拟演播室制作了1 0 0 多套电视节目。在 中国，中央电视台、北京电视台和，“东有线电视台等大中电视台采用了虚拟演播室，而 且越来越多的电视台逐渐加入到这一行列。目前，制约虚拟演播室在中小电视台广泛应 沈阳j 二业大学硕士学位论文 用的瓶颈是产品的性能和价格，但随着计算机技术和视频技术的迅速发展，虚拟演播室 的性能将更加完善，价格会不断下降。因此，虚拟演播室广泛应用于中小电视台只是一 个时问问题。一旦虚拟演播室产品的价格降至2 03 0 万人民币时，就会如雨后春笋般 涌进各中小电视台。可以说，虚拟演播室有着极为广阔的发展前景口。 1 22 基于j a v a 技术的虚拟演播室 基于j a v a 技术的虚拟演播室是其新的发展方向，它具有很多优点。 由于j a v a 语言本身的跨平台性和与互联网结合的方便性，使基于j a v a 技术的虚拟 演播室显现出无可媲美的灵活性与通用性。该技术一旦成熟，可用于全国各级电视台， 如果开发英语版本，还可出口创汇。该技术具有价格低、实用性强以及使用灵活等特 点，在国、内外具有很强的竞争力。 同时，j a v a 3 d 具有很好的图形封装能力，对于开发三维图形系统非常实用。 j a v a 3 d 不是底层的三维开发软件，可以高效率地进行图形软件的开发，所以本系统采 用j a v a 和j a v a 3 d 作为开发平台。 目前，国内应用的虚拟演播室数量很少，基本上是仿照国外技术制作的，成本高且 技术低，很不适合具有中国特色的电视节目制作，这些问题严重的制约着虚拟演播室技 术的发展，同时也制约着电视节目制作的质量，进而影响电视节目的发展。该技术一旦 成熟就可比购买国外同类软件节省大量的外汇，方便本国电视节目的制作，缩短节目制 作周期，节省制作的成本，创作出具有现代气息的新颖的电视节目，从而可大大提高收 视率 2 5 1 。 l _ 3 课题的意义及研究内容 1 3 1 课题的意义 虚拟演播室是近年来出现的新技术，它的出现为影视节目制作带来了新的契机。 首先，经济体制改革不断深化，电视节目制作既要考虑政治意义同时也要注意经济 效益，如何降低电视制作的成本，是各级电视台工作的重心之一。在传统的电视节 f 目制作过程中，所有场景拍摄都是实景拍摄，这给拍摄工作带来了困难，同时也增 加了成本，如果整个剧组的工作人员都到各种现场进行实拍，整个费用相当可观。 风靡全球的泰坦尼克号之所以能够震撼全球，就是因为驰丽有很多震撼人心的场 1 0 一 沈阳工业大学硕十学位论文 景，而这些场景是通过虚实合成技术完成的 2 6 o 虚拟制作在这部电影里得到了成功的 运用，电脑制作的大型三维场景大大降低了影视制作的成本，同州提高了剧情的可欣赏 性，因此大大提高了它的票房收入，一举在国际影视界夺魁。 其次，在竞争日益激烈的今天，时间就是企业生存的第一因素，只有第一时间获得 第一手资料，快速地与观众见面，才能在这场竞争中占有优势地位。虚拟演播室为电视 台节目制作赢得宝贵的时问，将蓝屏日采集的视频与由计算机产生的虚拟场景进行实时 结合，就会随心所欲地制作出所需的电视节目，这样可以大大缩短节目制作的周期和费 用，同时还可以提高整个节日的欣赏性。因此，虚拟演播室是为电视台赢得时间的 有力武器。 另外，虚拟演播室的出现，是顺应科技发展、争夺更大传播空间的创新之举。正像 当初美国公司首先推出虚拟演播室样，我国电视界推出虚拟演播室无非是顺应科技的 发展和社会的需求，争夺新的传播空间。近年来，高科技也在大众传播领域进行着一场 革命，虚拟演播室只是其中的一部分。当越来越多的人通过鼠标而不是遥控器来获取信 息时，数字传媒是必不可少的工具。 尽管虚拟演播室有着诸多吸引人的优点和无与伦比的功能，但是虚拟演播室距离普 及还有很长的一段路，主要因为其造价太高、操作复杂及技术支持不到位等因素2 ”。 本课题是与辽宁电视台互动电视数字频道合作的项目。本课题的主要任务就是将场 景生成器的硬件平台拓展到p c 机的构架上，以个高度集成化的解决方案满足国内电 视制作单位的需求，开发适合中国用户的实用系统。场景处理在硬件上主要依靠裔| 生能 的三维图形加速卡，其运算速度与硬件指标满足系统需要，能实时渲染出虚拟背景，达 到广播级指标。软件平台采用m i c r o s o f t 的w i n 2 0 0 0 系统，具有较好的安全性、稳定性 和通用性，使该虚拟演播室具有良好的性价比，使其成为真正的面向广大电视台的高新 技术，而不仅仅是实力雄厚的电视台独享的技术。 增强现实是当今计算机图形学的前沿技术，是对虚拟现实技术的扩展，是一个非常 有前途的技术。虚拟演播室又是当今研究的热点，是增强现实技术的典型代表，有着广 阔的发展前景。 沈阳j 二业人学硕士学位论文 虽然虚拟演播室目前还存在许多不足，但它的出现，已经使传统的电视节目的编排 产生了危机感。随着人们生活水平的提高，人们的审美观点和对电视节目的需求也越来 越苛刻，如何顺应这一发展趋势，是广大电视节目制作者普遍关注的问题，也是他们工 作的焦点。提高电视节目的收视率，仅仅采用常规的电视制作方法，显然很难达到，而 随着技术的完善和成熟，虚拟演播室将是提高收视率的有效途径。 1 3 2 本文研究的主要内容及论文安排 本文主要研究内容是：分析和探讨了虚拟现实、增强现实和虚拟演播室技术，以及 各自的优缺点；详细介绍了基于j a v a 3 d 和j m f 技术的虚拟演播室系统的设计及所涉及 的相关理论与技术：实现了基于j m fa p i 技术的视频格式文件( m p g ) 读取，同时应用 多线程技术和生产者一消费者算法对离散后的视频和音频的轨道进行连续读取和控制， 同时实现了对每一轨道的图元进行提取有用的像素和去除无用的像素点集合的处理，并 将处理后的视频轨道图元作为一种动态纹理添加到由计算机实时绘制的虚拟场景中，实 现虚实结合；实现了基于多线程技术和键盘交互技术的虚拟演播室动态滚动字幕和静态 字幕的设计；实现了基于线性插值数学模型逼近切面圆，并用三角面片逼近法构造出具 有良好光顺性和切矢量连续性的球缺和球冠等不规则几何形体，并对这些几何形体进行 了相应的真实感处理；实现了基于四边形面片逼近方法的回转体、变截面曲柄等不规则 几何形体建模并进行了相应的纹理处理；实现了基于j a v a 3 d 技术的b i l l b o a r d 等多种动 画和交互式程序的开发；实现了基于j a v a 3 d 的键盘导航技术等高级键盘交互技术，很 好地实现了具有增强现实特点的虚拟演播室系统。 论文在叙述和安排上主要分为如下五个部分： 第一章叙述了本课题的背景，即虚拟现实技术、虚拟现实技术的应用以及最近发 展起来的增强现实技术和虚拟演播室技术，研究了本课题的意义以及目前还存在一些问 题，同时还介绍了本课题所要研究的内容。 第二章阐述了虚拟演播室的相关技术和理论。主要介绍了摄像机跟踪技术、三维 ， 虚拟场景制作技术及虚拟演播室色键合成技术和同步控制技术。讨论了传统色键技术和 抠像技术的区刖，以及虚拟演播室对灯光等条件的特殊要求，同时也分析了虚拟演播室 技术的特点。 1 2 沈阳工业大学硕士学位论文 第三章系统总体设计，主要介绍了系统开发的背景及意义，应用程序开发的硬件 平台和底层软件开发工具，编程语言的选择等，完成了系统总体设计和系统功能模块的 划分等工作。 第四章主要介绍了在实际开发中遇到的各种难题，并详细论述了与之相关的解决 方案。 结论对全文进行了总结，并对本课题进一步完善提出了设想，为本课题的升级 提供了一定的参考。 1 3 。 沈 1 q - i 业大学硕士学位论文 2 相关技术分析 2 1 虚拟演播室相关技术简介 2 1 1 摄像机跟踪技术 虚拟演播室中的一项关键技术是判断摄像机、主持人、计算机与场景之间相对位置 关系。摄像机跟踪器把真实演员及物体与摄像机之问的位置及透视信息送给图形计算 机，然后以摄像机的镜头产生虚拟环境，把真实演员与虚拟场景匹配起来。所谓跟踪技 术，即指如何获取摄像机在演播室中的实际位置参数和动作参数【2 9 】，启动该图形工作 站实时接收获取的这些参数。目前的摄像机跟踪技术有三种： 第一种是在电影拍摄中正在使用的、带有计算机编程功能的特殊摄影机。它可以预 先设定摄影机的运动参数，在拍摄或后期制作时将此参数同时输入到真实摄影机和虚拟 摄影机中，以取得正确透视合成关系，最终将两段录像合成起来。但这种方法的局限性 在于，只适用于事先已经精心设计好的镜头。 第- + e e 方法是利用传感器技术。它是在真实摄像机的镜头上加装三维空间传感器， 能够实时地测出摄像机的摇摆、俯仰、变焦、调焦、光圈、沿光轴旋转的角度以及位置 和高度参数的变化，根据这些参数变化来控制三维背景的相应变化。采用机械传感器跟 踪方式可以提供很高的精度，在角度测量上精度可以达到1 1 0 0 0 度，在距离上精度 可以达到1 1 0 0m l i l 。但机械传感器对摄像机要求比较高，且摄像机位置必须固定， 每换一个位置都要重新进行定位