动漫与影视超级渲染云计算平台课件

动漫与影视超级渲染云计算平台电话:86-10-65783520传真:86-10-65451007邮件:网站:Confidential中国传媒大学简介中国传媒大学（于1954年。原名北京广播学院）是教育部直属的国家“211工程”重点建设大学，创建2004年8月，北京广播学院更名为中国传媒大学。学校设有16个学院，24个博士点，48个硕士点，80个本科专业。学校现有全日制在校生近15000人。建校50多年来，学校培养了大批传媒领域的高层次人才，为党和国家的传媒事业发展作出了重要贡献，被誉为“中国广播电视人才摇篮”。2中国传媒大学高性能计算中心简介中国传媒大学高性能计算中心成立于2006年6月，是中国传媒大学“十五”“211工程”实验室建设重点项目。中心的建成不仅满足了传统大规模电磁仿真计算的要求，同时还满足了与数字内容处理相关学科的科研、开发和工程应用等需要，为我校开展数字内容管理、视频图像检索、数字高清视频压缩编码、动画制作以及游戏设计等项目的研究提供了强有力的支持。中心主要研究工作包括集群计算、网格计算、高性能计算方法和高性能计算应用产业化等方面的内容，先后承担了国家科技重大专项、国家高新技术项目、北京市自然科学基金项目等各类课题24项，取得一系列重要的科研成果。3渲染云计算平台的基本概念5什么是渲染云计算平台？渲染应用特点CPU计算量大渲染应用通常会占用大量的CPU资源，一个分辨率较高的画面在渲染时会耗费几小时甚至十几个小时的时间，CPU基本上满负荷运行。内存带宽高渲染任务开始后，大量的材质贴图将被读取到内存中，然后开始渲染图像，在此过程中，CPU与内存的通讯非常频繁。分辨率越高，材质贴图越多，内存带宽要求越高。网络带宽高在通过渲染农场进行网络渲染时，一旦管理服务器下达渲染任务，所有的计算节点便开始从网络共享存储中去读取材质贴图和目标文件。因此，高带宽的网络将大大地缩短预读数据的时间，提高整体的渲染效率。存储系统I/O能力强在渲染过程中，渲染节点会产生大量的，近乎同时的I/O请求。尤其是在节点比较多的情况下，常规存储系统的I/O性能很难满足大规模渲染应用的需求。因此，需要配备具有超强I/O性能的存储系统，以确保系统能够高效运行。7渲染云计算平台所面临的挑战系统管理维护困难渲染应用的用户往往都是艺术家，与专业系统管理员差距比较大；同时，由于缺少针对用户使用习惯和实际需求而定制开发的系统管理软件，使得用户更加难以对系统进行有效的管理、更新和维护，从而导致系统难以长期稳定的运行。“孤岛式”的运营方式导致使用率低下目前动漫渲染平台大多采用“孤岛式”的运营方式，由于本单位动漫渲染任务数量有限，使得渲染平台大部分时间都处于空负载运行的状态，而外单位的人员即使有相关的应用需求，却不知道哪里有这种资源可用。于是就出现了一边是设备和软件闲置无人问、一边是用户“踏破铁鞋无觅处”的尴尬局面，造成了资源的极大浪费。如何有效地整合现有的计算资源、数据资源和软件资源，为用户提供一个方便、透明的动漫渲染平台，也是我们亟待解决的问题9我们对渲染云计算平台的理解艺术创作与科学实践同样都需要智慧，而超级动漫渲染作为一个艺术与科学高度结合的产物，则更是需要二者的智慧大融合，并且技术的应用始终要以服务于艺术创作为宗旨。我们认为渲染云计算平台的解决方案必须遵循这一宗旨，力求用高效的科技手段、个性化的方案定制来帮助艺术家顺利地实现其艺术创作。渲染云计算平台≠高性能计算集群系统+渲染软件传统的集群系统主要用于科学计算领域，关注的问题是如何获得强大的计算能力。为了使其能够适合于高带宽、大I/O的渲染应用需求，我们必须根据渲染应用的特点，从集群系统的多个层次出发，对系统进行重新设计。10超百万亿次规模下渲染云计算平台解决方案11总体思路超级渲染云计算平台包括：基础架构层、平台服务层、应用服务层、服务管理和访问接口五个组成部分。13基础架构层提供了必要的IT基础设施，包括硬件设备和相关的系统软件。计算子系统由系统管理节点、应用管理节点和渲染节点三类节点服务器组成；系统管理节点同时承担了登录节点、控制节点、管理节点和安装节点的所有任务，需要配备高性能、高可靠性的服务器；应用管理节点上部署渲染管理软件，实现对各个渲染节点任务的管理和分发，需要配备高性能、高可靠性的服务器；渲染节点是整个集群渲染系统的计算核心，主要功能就是执行渲染计算。互联子系统提供系统管理节点、应用管理节点、渲染节点和存储子系统之间连接通路；实现了系统的管理、实时监控和网络文件访问数据的传递，以及渲染节点之间的高速消息交换；主流互联技术包括千兆/万兆以太网、Myrinet

光纤网络和Infiniband

网络；几乎所有的网络渲染软件都支持TCP/IP协议，用户无须进行任何改动，渲染平台即可平滑的迁移至万兆以太网。14基础架构层存储子系统为集群渲染平台提供集中的数据存储空间；渲染平台在运行过程中，需要频繁读取各种场景、贴图、材质等文件，同时还会生成大量的图片序列；存储子系统不仅要满足渲染任务对存储容量的要求，而且必须满足渲染节点进行大量数据I/O对性能的要求；目前主流的三种存储架构：DAS、NAS和SAN。虚拟化子系统将高性能计算集群的操作系统和应用系统等动态部分与物理计算资源分离开来，构建了基于动态架构的集群系统实现了计算资源的虚拟化，使得用户能够按需申请所需计算资源。15基础架构层集群管理系统整合分散于操作系统、系统管理、作业管理、状态监控等软件中的各个管理功能，实现了对集群多个层次的统一管理；将渲染集群的所有渲染节点从异构的、松散的状态整合成一个紧密的具有单一映像的“虚拟超级计算机”，实现对渲染集群系统资源有效的管理和维护；目前主流的集群管理系统：COMS、CHESS、OSCAR、xCAT、ROCKS等。17平台服务层包括基础网格服务、计算资源管理、数据资源管理、软件资源管理和渲染作业管理等子系统。基础网格服务：屏蔽了基础架构层中各种资源的异构性以及资源设备之间的复杂关联，为用户及上层应用提供方便、透明的资源访问；计算资源管理：对平台中所有计算资源进行管理，并为用户提交的作业分配合理的资源，确保计算能力得到充分利用；数据资源管理：对平台上的所有数据资源进行统一管理，为用户提供透明地访问、存储、传输和管理数据的接口，使得用户能够方便地实现数据共享；软件资源管理：提供一个开放的应用软件管理平台，通过定义一组接口规范，实现“热插拔式”的应用软件集中管理；渲染作业管理：对任务的排队、分帧、分发、渲染进行高效地调度与管理。18应用服务层包括各种渲染软件、引擎和插件，充分确保用户复杂多样渲染任务的顺利进行。目前常用的渲染软件AvidSoftimageXSISumatraAlias/WavefrontMAYAHoudini3DSMAXLightwave3DAnimatekWorldBuilder2CBrycePoserVue

d'Esprit

Profesional19访问接口包括门户站点、应用网关和编程接口三部分。门户站点：一方面提供了各种公共信息，另一方面为用户访问各种渲染服务提供统一的入口；应用网关：将平台上的渲染服务对外映射成一个Web服务，降低业务系统和渲染平台集成的难度；编程接口：提供了C/C++、Python、Perl、Shell等方式的编程接口，提供系统进一步定制开发的能力。21“天河-酷卡”超级渲染云计算平台的应用案例22“天河-酷卡”超级渲染云计算平台国家超算天津中心的“天河一号”拥有15,000个CPU和7,500个GPU，是目前世界上最快的超级计算机之一。“天河-酷卡”渲染云计算平台由中国传媒大学高性能计算中心与国家超算天津中心、北信酷卡公司联合开发。通过对“天河一号”底层的网络通信