VR虚拟演播室系统方案.doc

北京美吉克科技发展有限公司VR虚拟演播室系统建设方案Make your dream magic ,make your life magic2北京美吉克科技发展有限公司目录1.建设背景32.设计原则43.需求分析64.VR情景互动虚拟演播室系统74.1方案概述74.2系统拓扑图84.3核心设备及功能84.3.1 VStage情景互动虚拟演播室系统84.3.2摄像采集设备214.3.3快速编辑模块225.方案优势266.售后服务与技术支持28VR虚拟演播室系统建设方案1. 建设背景虚拟演播室系统（The Virtual Studio System，简称VSS）是近年发展起来的一种独特的电视节目制作技术。它的实质是将计算机制作的虚拟三维场景与摄像机现场拍摄的人物活动图像进行数字化的实时合成，使人物与虚拟背景能够同步变化，从而实现两者天衣无缝的融合，以获得完美的合成画面。采用虚拟演播室技术，可以制作出任何想象中的布景和道具。无论是静态的，还是动态的，无论是现实存在的，还是虚拟的。这只依赖于设计者的想象力和三维软件设计者的水平。许多真实演播室无法实现的效果，对于虚拟演播室来说，却是“小菜一碟”。从跟踪方式的区分，虚拟演播室分为有轨虚拟演播室和无轨虚拟演播室。有轨跟踪虚拟演播室系统应用摄像机跟踪技术，获得真实摄像机数据，并与计算机生成的背景结合在一起，背景成像依据的是真实的摄像机拍摄所得到的镜头参数，因而和主持人的三维透视关系完全一致，避免了不真实、不自然的感觉。虚拟演播室的跟踪技术有4种方式可以实现，网格跟踪技术、传感器跟踪技术、红外跟踪技术、超声波跟踪技术，其基本原理都是采用图形或者机械的方法，获得摄像机的参数，包括摄像机的X、Y、Z、（位置参数）Pan、Till、（云台参数）Zoom、Focus（镜头参数） 由于每一帧虚拟背景只有20ms的绘制时间，所以要求图形工作站实时渲染能力非常强大，对摄像机的运动没有更多的限制，一般适合专业电视台，对节目制作要求较高的用户使用。但调试非常复杂，耗时长，需要专业人士才能操控。无轨虚拟演播室相对比较简单，它是预生成三维背景，即首先要制作好背景的三维模型，然后预先定义好虚拟摄像机的机位和镜头参数，根据这些数据生成每台虚拟摄像机的视图画面，最后运用色健将前景和相应的虚拟背景结合起来。这种方式可以生成比较真实的虚拟背景，对图形工作站实时渲染能力要求不高，摄像机只可以切换机位（摄像机机位必须事先与背景调整好比例和透视关系），不可以做其他的运动，这样的虚拟演播室适合学校以及电教中心，投资较小，要求不高的用户使用。但是形式较为单一，无法满足多种类型的节目制作。 而我们采用的是VR有轨跟踪方式，传统的跟踪方式使用复杂调试困难，所以易用性特别差，很多用户买回去之后基本处于搁置状态。虽然都知道有轨跟踪方式做出来的节目效果会更好，对观众更有吸引力，但复杂的调试，需要有很专业的人员才能使用，这样使得很多用户望而却步，毕竟做节目的时长是有限的，不可能也不应该花费大量的精力放在调试设备上。而我们的VR跟踪系统就是为了解决这一难题而研发的，不需要复杂的调试，只需要输入摄像机的一些基本参数便完成自动校准跟踪，有轨跟踪的无限蓝箱也仅需鼠标勾画即可，不需要反复测试运动边缘，让有轨跟踪的易用性大大增强。同时也对软件的操作易用性方面做了大量的工作，摒弃了传统电视节目制作应用复杂的逻辑，使整个节目制作系统更简单可靠，便于快速制作出大量优质的节目！同时具备VR虚拟演播室的全景录制功能，录下来的节目不仅仅是一个虚拟节目，还是一个VR全景类节目，带上头显后可以身临其境的观看整个节目，真正的和主持人“面对面”！系统还配备快速编辑模块，用于节目的后期快速剪辑和成片，大大提升节目制作效率！2. 设计原则教育作为人才培养的摇篮，致力于提高人们的综合素质、塑造良好的价值观念、培养具备特殊才能的精英，是社会乃至国家的百年大计。对于不同教育阶段，其教学的重点也存在着明显的差异。 作为当下最前沿的技术，VR已经越来越多的深入院校，而VR全景视频的拍摄和制作以及VR相关的知识也应该尽快普及到学校，让学生更早更快的去了解VR的整个工作流程和原理，以便于到工作时能够更快速的利用自己所学技能来适应新的工作内容和形式，同时也利于提高学生的综合素质。1. 与VR技术接轨，加快学科建设随着VR技术的发展，VR显示终端逐渐普及，并带动了VR应用体验、VR视频拍摄，VR内容制作的热潮，尤其在VR内容方面其市场需求巨大。对于不同行业及专业领域，熟悉VR拍摄、拼接渲染，及后期编辑的专业人员非常缺乏。高校媒体专业和专业院校，应该抓住当下这个契机，开设与VR内容制作相关的专业课程，培养全景视频编辑方面的专业人才，将最新的VR技术引入教学体系。一方面，通过开设VR内容制作的课程来吸引优秀的教师资源；同时，提升学校硬件方面的实力，扩大自身的影响力，加快媒体专业的学科建设。2. 教学资源再利用对于开设传媒类专业的高校，因教学需要，通常会按照电视台演播室的设计及置景要求，建设校园全景演播室系统。其主要功能是利用传统的摄像机、提词器、录像机、切换台、音频及监看系统，进行播音主持、影视拍摄专业的教学实践，而且系统建设时一般都会具有各自的特色，作为学校与同类院校及专业之间的学术交流平台。那么，面向的VR教学及实践，可以充分利用现有的教学环境，在全景演播室中增加VR虚拟演播室，VR全景摄像机，实现VR拍摄、录制和制作。参考传统媒体的业务流程，进行全景视频拍摄、录制的教学实践，录制下来的全景视频素材，可以作为全景视频编辑的对象。在教学实践当中，可以不断积累VR全景视频拍摄的经验，总结出专业理论与方法，进而指导实际工作。3. 促进理论研究对于影视类专业，全景视频制作和拍摄的方法非常值得探讨和研究，它与传统视频拍摄差别巨大，几乎没有可以借鉴的地方。VR带给使用者最大的改变，就是360全方位的沉浸感，周围发生一切都会呈现在虚拟世界中，转动VR显示头盔就可以观看任意角度的内容。相比之下，传统的拍摄方法强调镜头构图，而全景拍摄强调机位设置；传统拍摄置景仅需要照顾摄像机拍摄的有效范围，而全景拍摄时置景需要将剧组、设备巧妙的藏起来；此外，导演对拍摄内容的监看，演员表演的方式等方面也存在不小的挑战；全景视频的后期制作方法也完全不同，涉及字幕呈现、切换特效，片头片尾包装也都需要逐步探索。当然，现阶段全景视频相对于传统视频，其节目制作的实现方式还很简单，如何才能找到适合全景视频的节目表现方式，就需要通过教学实践不断积累经验，并通过教学研讨逐步整理为专业的理论和方法，其实理论价值和实际意义都非常重要。4. 开设专业课程依托于全景编辑实训教室，可以致力于VR内容制作方面的教学研究，开设关于全景视频后期制作的全新课程。讲述VR技术如何从最初的构思，历经终端显示设备不断迭代，进而推动全景拍摄、拼接算法快速发展，再到全景视频内容后期制作的整个发展历程。利用全景摄像机和VR全景虚拟演播室，可以在全景演播室或外景拍摄全景视频素材，在虚拟演播室中录制口播，作为后期编辑的对象。当然，也可以采用简易支架实现多机位同时拍摄，拍摄一组高清视频素材，再通过离线手段将录制下来的素材进行拼接合成。针对不同的拍摄方式，结合VR编辑软件的核心功能及使用方法，就可以组织教学方案，编写课程教材，将理论与实践相结合，指导学生掌握VR内容制作的方法。学生们通过学习这门课程，可以扩大择业的范围，涉足不同领域VR相关工作以后，能够运用所学的专业知识与技能，为VR技术的发展服务。5. 扩展性全景编辑实训教室并不局限于全景视频后期制作的教学，利用这些VR非编工作站和VR显示终端，还可以实现互动教学，实现辅助教学、仿真实验及专业培训的目的。通过部署互动教学软件，可以直接播放其他优质的全景教学课件，如其他院校或知名学者的全景教学课件，作为课程教学的辅助方式，也利于教学资源均衡化发展，促进院校之间的教学交流。对于某些专业而言，学生需要进行专业实习。但是，客观条件一般有很大的局限性，比如实习环境可能存在一定的危险性，学校担心同学们的人身安全；受限于资源不可能每个学员都有实操的机会，通常采取分组方式，由其中一两名学生操作，其余学员进行观摩，指导老师进行点评。针对这种情况，可以通过互动教学软件进行虚拟仿真，提前制作好专业实习需要的课件，学生通过VR显示终端及手柄进行虚拟仿真，完成专业实习的所有内容，可以反复实践直到彻底掌握专业技能。作为一项新技术，更多的是起到辅助教学的作用，而不是完全替代。否则，一是会加重学校负担，毕竟老师要重新学习新的教学方式和方法；二是增加学生负担，学校为社会培养人才的圣地，要让学生学以有用、学以致用，充分结合社会需求，满足社会需要。而不是仅仅是为学习而学习。3. 需求分析传媒类专业需要学习节目的拍摄、录制过程及节目制作、包装的方法，与传统媒体配套的教学系统已经比较普及，并承担着教学、实践方面的任务，方便学生熟悉支撑媒体采、编、播业务的系统，掌握必要的软、硬件知识，并运用教学系统进行理论实践，加深对专业知识的理解。如教学用全景演播室，通常按照电视台真实演播室建设，置景、灯光的设计会综合考虑新闻节、访谈及专题节目的拍摄。与之配套的硬件设备，涉及摄像机、话筒、提词器、切换台、调音台、录像机、监看监听设备，及时钟同步等专业设备，实现不同类型节目的拍摄及录制。当然，影视类专业也可以用摄像机进行外拍，配合教学进行新闻采访拍摄，或者专题内容拍摄，拍摄的素材记录在磁带或存储介质中。而节目后期编辑实训教室，专门用于节目后期制作的课程教学，媒体类专业的学生利用专业的设备及软件，就可以对演播室中录制下来的素材，外景拍摄的素材进行后期编辑、合成，学习各种镜头剪辑、节目包装的技巧，最终具备不同类型节目，例如新闻、专题节目的制作能力。专业院校或高校媒体类专业，通常都会在教学用全景演播室、后期编辑实训教室方面投入资源，建设体现自身特色的硬件教学设施，为专业开设的课程提供上机、实践的环境。既体现了学校硬件方面的实力，又将理论与实践紧密的结合在一起，通过教学实践提升学生的专业技能，提高学生的就业率。随着VR技术的发展和成熟，全景视频这种媒体形式逐渐为大家熟悉，并在各个行业的品牌推广中广泛应用。VR所呈现的视听体验能够带给使用者真实的沉浸感，这是之前传统媒体所无法实现的。这种全新的媒体展现方式，经过一段时间的技术积淀已经蓄势待发，未来必将成为主流的媒体传播方式。与之相关的媒体业务也正随之改变，VR全景视频从拍摄、录制，到剪辑方法也与传统媒体业务大相径庭，需要专业设备及剪辑工具。对于高校媒体类专业及专业院校，为了提升根本的核心竞争力，提高学生的专业技能，开阔学生的眼界，接轨媒体行业的新技术，就必须在传统媒体教学体系上进行创新，融入新的概念，开设新的课程，增加VR教学资源的投入。同时，开展教学研讨，组织教学方案，编写课程教材，从而增加开设专业的影响力、号召力。4. VR情景互动虚拟演播室系统4.1方案概述VStage情景互动虚拟演播室，创新性的把时下最前沿的VR技术应用到跟踪系统中，去除了传统虚拟演播室纷繁复杂的逻辑界面和调试过程，以最优性价比，最简操作逻辑创造性的打造出一款真正的VR三维虚拟演播室系统。它不仅可以实现真实摄像机俯仰、平遥变化时虚拟场景画面的联动，也可以实现真实摄像机在实景中运动拍摄时虚拟场景中画面也会同步变化的效果。同时低廉的成本可以让学校或者电视台以更低的代价实现有轨跟踪虚拟演播室的建设。4.2系统拓扑图4.3核心设备及功能4.3.1 VStage情景互动虚拟演播室系统 VR有轨跟踪模式VStage情景互动虚拟演播室系统把最新的VR定位技术融入到虚拟有轨跟踪系统中，真正实现三维虚拟演播室的跟踪效果，虚拟场景不仅同步变化真实摄像机的俯仰、平遥和变焦，甚至真实摄像机在节目拍摄现场运动拍摄时，虚拟场景也会同步变化。软件支持2路VR有轨跟踪机位，每一路机位单独可调；采用图形识别算法的动态无限蓝（绿）箱，使得机位运动拍摄时无丝毫杂景出现；同时使用特征点追踪的方式来校正因镜头畸变产生机位漂移现象。窗口功能介绍：追踪器实时读数：追踪器实时数据的读取值。追踪器正常工作时数据不为零。移动追踪器数值实时变化。追踪器地面读数：将追踪器放置地面，然后点击读取获取追踪器地面读数。 追踪器延迟：可自行设置，手动输入数值；当前景和背景启动和停止时不一致需调节。前景（摄像机信号）快于背景则减帧，背景快于前景（摄像机信号）则加帧。默认10帧推荐10帧。虚拟场景长度：可以根据实际要求更改虚拟场景的长度。可以手动输入数值也可以点击上下键调整。虚拟场景方位: 可以根据实际要求更改虚拟场景的方位。可以手动输入数值也可以点击上下键调整。焦距：所使用摄像机焦距的等效35的数值。可手动计算和在网上查找。等效35 手动计算方法例如：松下AG-HPX260MC CCD：默认视野：默认X：默认镜头倍率：默认 无轨跟踪功能软件支持6个虚拟机位并可根据需要进行数目的扩展。同时虚拟机位也是动态预览机位，可直接切出到PGM播出，所见即所得，并支持摇臂、淡入淡出、闪黑、闪白等切换特效。 四机位抠像软件支持4通道输入，每一个通道都可以单独抠像。采用最新的抠像算法，边缘清晰不模糊；支持对绿色背景和蓝色背景抠像，支持人物边缘平滑处理和溢色处理。 本地素材播放支持两路本地视频、图片的混播控制和即时切换，支持PPT的播放和控制；支持一路背景音乐的播放；支持4K视频播放。 网络信号播放软件支持rtmp协议的流媒体播放功能；支持IVGA信号的播放，并根据需要能够调节分辨率和码流。 图文包装软件支持字幕播放，并提供种类丰富的字幕模板库，包括标题字、滚屏字幕、时钟和logo。 前景动画软件支持前景动画的植入，使用鼠标即可快速调整其播放位置；可在实景中植入虚拟动画，并支持跟踪效果；软件使用预加载的播放模式，不论动画多大，均可流畅播放。 画中画特技软件支持两种模式的画中画特技，可选择软件中的多路信号源以不同的方式叠加后播放出来，丰富节目效果。 丰富的场景库软件提供种类丰富，数量众多的虚拟场景供使用，并可以实时弹出和收回场景库进行场景的调拨和控制，并提供场景定制服务。 场景编辑软件支持对虚拟场景中常用物件的编辑功能，比如虚拟大屏，主播台等，轻松调节其位置，大小和角度；并可以对场景中的灯光加以调节，比如环境光，漫反射，高光等，使场景更真实绚丽。 导切功能软件供支持15信号源的切换，包括6路虚拟场景，4路通道卡信号，两路本地DDR信号，一路网络信号和两路画中画信号，双击后可跟随特效切换到PGM输出。 VR全景录制和常规录制双模式系统支持VR全景录制，把整个画面以全景的方式录制到本地硬盘；同时支持常规录制；支持H264 MPEG4 MPEG2等多种编码方式，支持码流自定义；系统支持最高4K录制，并支持自动下变换。 流媒体直播软件具有流媒体直播功能，可把PGM信号以rtmp协议的流媒体方式发布到网络；并支持码流自定义 快照功能软件支持一键截图功能 ，并有多种格式可选，包括bmp、png、jpeg。可方便抓取新闻素材，用于节目推广和文案撰写。 全制式视频输入软件支持几乎全制式的视频格式输入， HD1080p60/59.94/50/30/29.97/25 HD1080i50/59.94 HD720p59.94/50/60 SD PAL720*576 25p 16:9/4:3 SD NESC 720*486 29.97p 16:9/4:3，每一个通道可单独调节其输入格式和帧率，支持不同型号摄像机的混入。 音频调节功能可对每一路输入信号源进行声音大小的调节，可对PGM输出音频进行音量大小的调节。 SDI输出和HDMI预监输出软件支持SDI输出和HDMI预监输出，可把多路信号源输出到另外一台显示器中；支持4K预监。 采用广播级板卡使用广播级板卡，图像质量更高，每一路通道输入输出独立可调。*限四通道型号。 本地抠像 系统支持本地抠像功能，可预先录制好口播内容，后期可尝试使用不同的背景进行合成输出，不仅能输出抠像合成后的画面，也可以同时输出音频，无需通过非编进行音频的编辑。4.3.2摄像采集设备高清广播级摄录一体机。成像装置是一款1/2 英寸三芯片型“Exmor”CMOS 传感器，具备1920 1080 个有效像素数。最大像素数 ：601万；光学变焦 ：17倍；有效像素数 ：400万；最高分辨率 ：192010804.3.3快速编辑模块 3.1 支持4K VR视频内容的编辑和输出。软件支持1080p和4k素材编辑，支持25fps、30fps和60fps。除视频外，系统还支持序列帧的导入和编辑 3.2 多种预览剪辑模式，包括六分面模式、全景模式、展开模式多种预览剪辑模式并存，随时切换三种模式下查看视频画面。VR全景模式下提供基准线用于三维物件植入的属性调整。 展开模式 六分面模式 全景模式 3.3 支持实时头显预览剪辑画面；剪辑过程中，可随时沉浸式观察剪辑内容。系统支持HTC头显预览。 3.4 支持4K VR音视频采集，使用高效率GPU编解码方式，效率更高软件支持视频采集和音频采集，可根据需要设置采集参数。 3.5 支持独特的VR图文与特效软件支持VR字幕和叠画功能，支持转场特效，并不断丰富数量。系统支持一键普通字幕生成VR球形字幕，使得VR模式下观看时图文不变形。不仅对于字幕，对于植入的普通视频或者图片依然有效。支持多种调节参数，使其达到理想效果；同时系统提供简易的字幕编辑模块，可手动打造自己的字幕模板库 球面变形 3.6支持VR视频的离线拼接，多级模板校对，快速打包生成视频文件。 软件支持第三方拍摄素材的离线拼接，支持PTGUI生成的模板。支持打点输出，快速生成所需视频文件 3.7创新性打造VR特有的编辑方式，并基于传统非编使用习惯开发，简单易上手 3.8支持VR转场特效系统默认VR转场特效为淡入淡出，并不断扩展 3.9 支持4K监看，以展开模式把画面扩展输出到另外一台显示器，支持HDMI和DP输出 3.10 支持VR粒子特效，火焰，风雨雷电等等，并能够实时调整粒子特效的大小和范围 3.11 植入3dmax等三维软件制作的三维动画的植入，并能够实时调整三维动画的大小、位置和角度5. 方案优势1 VR有轨跟踪虚拟演示博VStage情景互动虚拟演播室系统把最新的VR定位技术融入到虚拟有轨跟踪系统中，真正实现三维虚拟演播室的跟踪效果，虚拟场景不仅同步变化真实摄像机的俯仰和平遥，甚至真实摄像机在节目拍摄现场运动拍摄时，虚拟场景也会同步变化。软件最多支持4路VR有轨跟踪机位，每一路机位单独可调；采用图形识别算法的动态无限蓝（绿）箱，使得机位运动拍摄时无丝毫杂景出现；同时使用特征点追踪的方式来校正因镜头畸变产生机位漂移现象。功能强、易操作、高效率A VStage情景虚拟演播室系统功能强大，本软件采取先进的VR技术结合产品使得软件变成更好更高效的制作虚拟演播室工具；B 虚拟演播室系统与非编编辑制作系统界面清爽，使用简单，不增加用户的学习时间成本，可以把更多精力放到其他操作上；C VEdit VR非编系统，创新性打造VR特有的编辑方式，并基于传统非编使用习惯开发，简单易上手D 植入3dmax等三维软件制作的三维动画的植入，并能够实时调整三维动画的大小、位置和角度2 广播级录制质量A 多种录制格式 B 多种录制码流，可以选择高质量，中质量和一般质量录制，质量越高所需空间越大C 支持H264编码方式；系统支持最高4K录制，并支持自动下变换。 3 VR全景录制和常规录制双模式系统支持VR全景录制，把整个画面以全景的方式录制到本地硬盘；同时支持常规录制；系统支持最高4K录制，并支持自动下变换。 4 实时抠像、裁切及调色软件支持4通道输入，每一个通道都可以单独抠像。采用最新的抠像算法，边缘清晰不模糊；支持本地图片视频的实时抠像功能；支持对绿色背景和蓝色背景抠像，支持人物边缘平滑处理和溢色处理。场景自由切换，支持切换特效A 可视化操作，每个窗口都能可视化，每个素材都以缩略图形式现实；B 多种切换特效，虚拟摇臂、淡入淡出、闪黑、闪白、滑屏等等；C 支持实时头显预览剪辑画面；剪辑过程中，可随时沉浸式观察剪辑内容。系统支持HTC头显预览。5 流媒体直播软件具有流媒体直播功能，可把PGM信号以rtmp协议的流媒体方式发布到网络；并支持码流自定义6 丰富的场景模板及三维物件素材软件提供种类丰富，数量众多的虚拟场景供使用，并可以实时弹出和收回场景库进行场景的调拨和控制，并提供场景定制服务。7 非编软件编辑制作系统提供非编软件专业级VR编辑制作系统，可编辑制作VR视频与360全景视频让虚拟场景变得更真实更丰富。8 支持独特的VR图文与特效软件支持VR字幕和叠画功能，支持转场特效，并不断丰富数量。系统支持一键普通字幕生成VR球形