内容呈现的至高境界-2023.10

内容呈现的至高境界disguise架构搭载RenderStream™协同运作，维持极致帧精度与极低延迟，呈现一切想象之内容。RENDERSTREAMWHITEPAPER前言在过去几年中，GPU

的整体速度有了显著提升，使得内容渲染具备了低延迟和高质量的能力。与此同时，游戏引擎引领了新一代的图形技术，使得电影和剧集制作可以在

LED舞台上实时渲染内容，而无需使用绿幕。这一突破为现场拍摄带来了更多合作机会，同时减少了实地拍摄和多个实体场景的建设需求。然而，当涉及到多个系统和渲染节点时，正确生成图像一直是一个重大挑战。随着制作需求对更大画布和更高视觉保真度的要求，我们需要找到一种无缝扩展内容的方法。首先，我们提供了一个专用服务器，以实现最大化的效率。然后我们思考...如果我们能做得更好，能否将多个服务器都用于该任务？于是，RenderStream™和当前的

disguise系统架构诞生了。在这里，我们探索了

disguise系统架构和

RenderStream™的技术，以及它们如何最大程度地减少延迟，为实时视效工作流程（ICVFX）、无限可扩展的内容和卓越的系统效率提供了更大的灵活性。同时，它们尽可能地消除了性能上的限制，并为所有人开启了新的创意可能性。Tom

Whittock软件架构师disguise©2023DisguiseSystemsLimited.www.disguise.one2RENDERSTREAMWHITEPAPER架构概览disguise的架构源自

20多年为全球最壮观的现场活动提供内容的历史，我们的软件和硬件平台以及最近推出的创意服务，使创意人员和技术人员能够将他们最狂野的想象变为现实。disguise架构由充当合成器的媒体服务器组成（与显示设备连接，例如

disguisevx

和gx

服务器系列），以及分离的渲染节点（例如

disguiserx

系列）。渲染节点与合成器之间的通信通过一种名为我们在图像和投影映射、大型视频播放以及与时间码、同步信号和LED显示屏输出等相关技术的合作方面拥有丰富经验，这使我们具备了制定架构选择的知识和专业技能，为跨平台上准确、无缝的内容渲染创造出最佳的配置。RenderStream™的独特开源基础架构进行。渲染节点可以作为独立的渲染实例工作，也可以通过RenderStream™组合在一起，实现名为集群渲染的能力，用于实时视觉效果（ICVFX）或扩展现实（xR）。摄像机LED处理器LED舞台校准渲染节点可以用于无限扩展内容，将其渲染到不同的表面上，包括投影画布和

LED屏幕。©2023DisguiseSystemsLimited.www.disguise.one3RENDERSTREAMWHITEPAPER架构概览什么是

RenderStream™？什么是集群渲染？RenderStream™是一种双向传输渲染信息的协议。它包括与渲染请求相关的元数据（相机、场景参数、纹理信息）以及渲染缓冲区。通过该协议，可以将渲染请求发送到托管渲染引擎的渲染节点，并从这些渲染节点接收返回的缓冲区信息。利用

RenderStream™SDK，可以在任何计算机图形/渲染应用程序中实现

RenderStream™。disguise

的开发者网站提供了UnrealEngine和Unity的示例实现，以及完整的文档。集群渲染是一种强大的系统，可以将单个场景的渲染任务分配给多台计算机，并将这些任务结果拼接在一起，创建一个连贯、高分辨率的图像或视频。这在为

ICVFX中使用的虚拟场景创建最苛刻的逼真内容时至关重要。通常，单个渲染节点上的单个

GPU无法满足渲染需求，因此集群渲染允许您添加多个渲染节点，并根据需要扩展制作能力。您可以通过划分渲染画布、为不同对象选择不同的渲染节点，或者仅使用

disguise，通过不同的画面板进行集群渲染，允许您在不同节点上渲染前板和后板的视觉效果。利用

disguiseRenderStream™，您可以扩展视锥体，例如，您可以选择将大部分渲染能力分配给相机中捕获的内部视椎区域。获得

SDKrx#2外视锥vx4输出3rx#1内视锥vx4输出1vx4输出2©2023DisguiseSystemsLimited.www.disguise.one4RENDERSTREAMWHITEPAPERRenderStream™的优势1.管理实际延迟为了在电影和剧集制作中使用实时内容，需要保持其光线追踪技术的逼真性和低延迟，以保留电影质量。延迟是指从信号发送到到达目标位置并显示出来的时间间隔。这种延迟是相机跟踪系统、网络延迟、渲染流程、LED

处理流程和相机捕获过程的综合系统延迟的结果。时间渲染帧，因为合成器能够将帧重新拼接在一起。这使得

RenderStream™集群对于网络延迟的变化更具韧性，并且使得每个渲染节点只需关注渲染工作，从而大大减少了同步开销。同时，这也避免了出现视频伪影或撕裂的问题，这种问题在其他实现中，如果跟踪数据没有在所有渲染节点上同时准确接收，就会发生。虽然

disguise有策略来管理这些延迟，但本文重点关注往返延迟中的渲染流程部分。在真实世界和虚拟世界之间进行交互时，当物理世界发生变化（例如相机移动），虚拟世界的反应延迟会更加明显。RenderStream™通过允许每个渲染节点单独接收渲染请求来管理延迟，这意味着在整个集群中，渲染节点不需要在精确的同一渲染流程渲染位置

A

的帧追踪位置

A显示调整后的当位置A

的帧正在渲染时，相机移动到位置B时间

X位置

A

的帧追踪位置

B时间

Y从位置B

捕获在位置A

渲染的帧©2023DisguiseSystemsLimited.www.disguise.one5RENDERSTREAMWHITEPAPERRenderStream™的优势2.管理感知延迟大多数虚拟制作解决方案都有克服实际延迟的机制，然而，disguise

是市场上唯一通过时间空间补偿来克服感知延迟的解决方案。在扩展现实（xR）和虚拟制作中，信号路径仍然主要基于帧间隔或边界进行参考/同步，因此大多数情况下都在使用一些暂时不同步的信息，这意味着当相机跟踪数据被接收和处理时，相机已经移动到空间中的另一个位置。例如，我们接收到的跟踪数据是相机在时间点X的位置，而不是在时间点

Y处理跟踪数据的时刻。为了避免额外的延迟，我们必须尽快请求相应相机位置的帧渲染。此外，由于我们在时间和空间域中都有数据访问权限，我们可以建立一些预测能力，并利用事件之后接收到的更新信息。因此，我们可以修正图像，使其在正确的时间和空间中显示，从而更准确地匹配相机的移动本身。所有这些过程之间存在循环依赖，并且它们都基于最近的信息进行工作，作为当前最佳猜测。这通常被认为是一个无法解决的问题。通过RenderStream™，disguise架构提供了对系统状态的完整视图，因此可以在图像处理流程中进行微小调整，充分利用所有信息来构建更好的结果。渲染流程合成流程渲染位置

A

的帧重新投影位置

B

的帧追踪位置

A时间

X在位置B

中显示位置

A

的帧当位置A

的帧正在渲染时，相机移动到位置

B追踪位置

B时间

Y©2023DisguiseSystemsLimited.www.disguise.one6RENDERSTREAMWHITEPAPERRenderStream™的优势3.

内容的近线性可扩展性可扩展性是disguise架构最显而易见的优势之一。RenderStream™的一个主要目标是实现超越单个GPU的渲染能力的扩展，以满足特定数量的输出需求。这意味着无论规模如何，现在都可以轻松实现任何内容的渲染，这对于实现电影和剧集的电影级内容至关重要。如果没有RenderStream™，最终会遇到一个限制，超过这个限制将无法进一步扩展可扩展性，除非彻底改变部署架构以容纳额外的LED处理器和服务器。系统互联，这独特地实现了内容的近线性扩展性。这意味着随着渲染规模的增大，您可以以稳定的帧率渲染越来越复杂的场景。将

3D渲染和合成分离到独立的服务器上可以显著提高性能，因为它减少了资源竞争并消除了内容切换的开销。相较于传统的“大型设备”方法，RenderStream™

将帧生成的渲染部分与物理LED输出分离，并使用

IP流将方案

1

：未使用

RenderStream™渲染合成方案

2：使用

RenderStream™渲染渲染合成渲染©2023DisguiseSystemsLimited.www.disguise.one7RENDERSTREAMWHITEPAPERRenderStream™的优势内容切换开销是由于竞争性任务类型的快速执行而产生的。一个例子是将3D模型转换为2D图像以在表面上显示。这对服务器的处理能力提出了很高的要求。另一方面，不同的图像同时合成在一起，以生成最终显示在屏幕上的图像。这种合成需要的要求较低，但需要尽快完成。将渲染和合成分开可以实现更高的可扩展性。例如，如果你有一组非常要求高的虚幻引擎场景，你可以单独扩展渲染部分，而无需扩展合成部分。这是可以预期的，因为这两个任务有相反的需求，3D渲染需要计算量较大，而合成计算量较轻但对延迟更敏感。此外，这种方法还具有实际的优势，不需要许多不同的服务器型号组合。如果将这两种不同类型的任务分配给不同的服务器，那么服务器可以根据特定类型的工作选择最高性能。这也意味着渲染不会受到合成需求的拖累，反之亦然。借助这一技术，制作方可以将需求最高、渲染密集的内容带到主要摄影环节，并自信地拍摄所需场景。首尔的CJENM等一些由disguise技术驱动的舞台，同时运行数十个或更多的渲染节点，以实时呈现最丰富的像素内容。作为解释，可以将其比作人脑中的多任务处理。如果你在阅读和倾听同时遇到困难，那是因为书面文本和口头文本都是由大脑的同一部分进行处理的。因此，大脑对于任何一种任务都没有进行优化，两者都会受到影响。然而，如果你在做某种手动操作（如做家务）时倾听，这会刺激运动皮层，结果会更成功，因为控制肌肉运动的大脑部分更适合这种操作，而语言处理的大脑部分则可以成功倾听。这种技术对于大型沉浸式体验也非常有用，比如亚特兰大和拉斯维加斯的Illuminarium场馆，其中20个disguisevx4服务器和45个rxII渲染节点驱动高分辨率投影映射实时内容。了解更多©2023DisguiseSystemsLimited.www.disguise.one8RENDERSTREAMWHITEPAPERRenderStream™的优势4.任何类型镜头的灵活性灵活地分配计算资源给场景中最需求的部分是disguise系统架构的一个重要优势。每个渲染实例可以根据我们定义的任何分配规则进行划分和分段。其中一个例子是Designer的网格映射功能，通常在虚拟制作中使用，它能够感知到它所映射到的表面，并允许从一个视角点创建透视渲染。此外，典型的RenderStream™与内容引擎的集成通常使用3D场景中的虚拟摄像机。到LED的映射由disguise的Designer软件处理，该软件可以进行内容的预览和输出。这意味着任何与内容引擎中场景构图相关的摄像机设置，例如光圈或视场角，都可以应用于内部或外部视锥的视图，这种灵活性对于使用虚拟场景创建电影内容至关重要。通过拆分画布进行集群化通过

ICVFX

对象进行集群化在可能进行基于深度的合成的地方-通过板块进行集群化（仅适用于

xR）根据背景和前景元素。在画布上分割，并选择将每个内容切片分配给多少个渲染节点。例如，对于需要更多渲染能力以使特定对象更加聚焦的情况。©2023DisguiseSystemsLimited.www.disguise.one9RENDERSTREAMWHITEPAPERRenderStream™的优势5.卓越的系统效率某些镜头需要卓越的系统效率才能实现所需的效果。一个例子是需要高保真反射和镜头内视觉特效的镜头。这是指移动物体上有反射表面（如汽车窗户或摩托车头盔），但背景需要使用视觉特效（VFX）而不是在真实世界中拍摄的标准镜头。为了实现逼真的视觉特效，不仅需要昂贵而冗长的后期制作工作来添加背景的视觉特效，还要使其在反射表面上（头盔或汽车窗户）呈现出来。通过使用LED技术，视觉特效不仅出现在背景中，还反射在头盔和汽车窗户等表面上。此外，通过使用disguiseRenderStream™，您可以将渲染能力集中在场景的所需部分，以获得最高保真度的所需镜头部分。以下是两个例子：镜头

1镜头

2特写镜头显示了一个背景使用VFX技术模糊处理的人物。由于背景模糊，我们无法清晰地看到它，但人物的脸部、汽车引擎盖或摩托车头盔可能非常反光且可见。这个镜头构图的关键要素是尽可能高分辨率地渲染反射效果，以便玻璃车窗或头盔上出现非常清晰的反射，从而在拍摄中获得高质量和高保真度。接下来常见的拍摄方式是进行更宽广的车辆或摩托车镜头，背景（主要为VFX）处于焦点以提供镜头的环境背景。车内或摩托车上的人物可能也处于焦点或者不处于焦点，这取决于你想要实现的效果。在第二个镜头中，最重要的是主要视锥体。公式将颠倒过来：内部视锥体需要最高的质量，使得车辆或摩托车持续移动时背景看起来好看。外部视锥体的照明和反射只需足够使车辆或摩托车呈现正确的颜色即可。外部视锥体对车辆的反射需要非常清晰，并以高帧率进行，而内部视锥体则远离并处于焦外。©2023DisguiseSystemsLimited.www.disguise.one10RENDERSTREAMWHITEPAPERRenderStream™的优势在虚拟制作中，效率与灵活性紧密相连。要实现对LED的任何部分进行同等水平的高质量渲染，需要所有部分都由多GPU渲染节点支持。这种方法既昂贵又低效，因为一个节点需要执行两次渲染通道以及合成操作。例如，一个GPU可以处理主体视锥体，另一个可以处理外部视锥体。为不同的拍摄重新布线基础设施当然是不现实的。使用RenderStream™，可以简单地按照拍摄顺序重新分配渲染能力，以便将渲染节点的能力在正确的时间分配给正确的任务。disguise方法使得舞台的每个片段所需渲染的像素数量与渲染节点数量之间存在非线性关系，同时不会使节点承担无法处理的多个角色。7.使用您选择的内容引擎最后，内容引擎的无关性是由

RenderStream™方法实现的disguise的一个重要理念。RenderStream™是一个软件开发工具包（SDK），到目前为止已经有四个内容引擎的实现：Unreal、Notch、Unity

和TouchDesigner，而且在

2023年还会有更多的引擎实现将被宣布。重要的是，在

disguise生态系统中，当一个内容引擎被替换为另一个时，所有关于跟踪和同步的配置保持不变，使创意人员能够在工作中切换到最合适的引擎。6.内置冗余性8.激发无限创意力量在演出活动领域拥有悠久的传统，被认为是最为苛刻的环境之一，RenderStream™提供冗余支持，采用disguiseUnderstudy概念作为热备份。即使使用最新的实时游戏引擎技术，你能够在LED上展示的内容很大程度上取决于你拥有的大量GPU计算能力。如果某个内容引擎实例出现故障，可以通过disguiseDesigner用户界面手动触发故障转移，或通过提高渲染平台的灵活性和可扩展性可以促进创意探索，快速迭代变化，并减少对实时性能优化的精细调整需求。通过disguiseRenderStream™插件在内容引擎中实现对GPU计算能力的控制，disguise操作员能够以所需的质量水平交付创意美学，而无需深入了解开发者级别的知识。RenderStream™的API进行操作。Understudy设备接管，并由专门负责主要流程的合成器进行平稳切换。©2023DisguiseSystemsLimited.www.disguise.one11RENDERSTREAMWHITEPAPER案例研究：LaPlanète

RougeLaPlanèteRouge在马赛的庞大体量是由九台disguiserx渲染节点提供动力。LaPlanèteRouge经常在商业广告或虚构汽车场景中使用RenderStream™。在处理涉及汽车的广角镜头时，墙面渲染的准确性成为一个关键问题。La

PlanèteRouge的首席执行官兼制片人

LionelPayetPigeon表示：“RenderStream™

和网格映射的强大能力使我们能够实现非常高水平的3D渲染，并且可以轻松地进行配置以适应我们的需求。”他们可以将一个或多个服务器专门用于内部视锥，并实现卓越的渲染和摄像机内的锐度。最近，在一则梅赛德斯广告片的拍摄现场，disguiseRenderStream™使LaPlanèteRouge能够以一致的准确性覆盖其全部200°空间，从而显著改善了最终输出效果。LaPlanèteRouge最近还在为Warsha制作的虚拟制作场景中使用disguise，该片荣获2022年圣丹斯电影节国际虚构片最佳短片评审团大奖。据Lionel介绍，“这种灵活性还使我们能够使用多个服务器来渲染外部视锥：没有走样，没有妥协。即使在摄像机看不到的墙壁部分，3D

也是均匀的，但其精确度对整体渲染有很大影响，能够实时渲染约6000

万像素。”用任何其他系统都无法达到这种水平的渲染。对于像我们这样的大量项目，我们将不得不做出巨大的渲染让步。踏上了这条道路，我们将一往无前…这种灵活性对于给予制作和创意团队最佳效果至关重要。Lionel

PayetPigeonCEO,制片人LaPlanèteRouge©2023DisguiseSystemsLimited.www.disguise.one12RENDERSTREAMWHITEPAPERMELS

推荐使用RenderStream™提高系统效率事实上，使用disguise，我们可以使用一台计算机（rx）来渲染一个视锥体，这是令人难以置信的。在之前，当我们使用传统的ICVFX方法时，每个屏幕部分需要一台计算机。现在，我们可以使用一台计算机来完成一个任务，并将