虚拟现实与元宇宙产业联盟：2024年3D数字内容生产技术白皮书

虚拟现实与元宇宙产业联盟2024年1月1随着数字经济的迅速发展，3D数字内容正成为推动产业升级和创影视、文旅还是教育等领域，对于逼真、交互性强的3D数字内容的需求都在不断增长。3D数字内容生产技术作为实现这一需求的关键环节，也在不断演进创新和发展。然而，尽管3D数字内容生产技术在全球范围内取得了显著的进展，我国在这一领域的起步相对较晚，目前正处于追伐，以满足日益增长的3D数字内容生产需求。本白皮书将详细介绍3D数字内容生产技术的关键环节，包括3D建模、仿真动画、可视化渲染、感知交互和数据格式与数字资产等，梳理了3D数字内容生产技术的发展背景和趋势，探讨了我国3D数字内容生产技术面临的问题和挑战，提出了一些建议生产质量，并促进3D数字内容产业的健康发展。希望通过白皮书的为相关从业者、决策者和研究者提供有价值的参考，共同促进我国3D数字内容生2本文件发布日期：2024年1月26日。公司、中影年年(北京)文化传媒有限公司(排名不分先后)科技有限公司、友道科技有限公司、紫光展锐(上海)科技有31.发展背景 52.关键环节技术趋势 8 82.1.13D建模的概念 82.1.2重点环节及关键技术 92.1.3技术趋势与展望 2.2.1仿真动画概念 2.2.2重点环节及关键技术 2.2.3技术趋势与展望 2.3可视化渲染 2.3.1可视化渲染的概念 2.3.2重点环节及关键技术 2.3.3技术趋势与展望 2.4感知交互 202.4.1感知交互概念 202.4.2重点环节及关键技术 212.4.3技术趋势与展望 262.5数据格式与数据资产 272.5.1数据格式分类及其发展 272.5.2数据格式目前存在的问题 2.5.33D数据资产流通及版权管理 3.产业发展趋势 3.13D数字内容生产需求不断增长 43.23D数字内容生产呈“三低”趋势 373.3新一代信息技术赋能3D数字内容生产 3.43D数字内容生产生态进一步完善 3.5国产化3D数字内容生产工具奋力追赶 404.创新应用分析 4.1在影视娱乐领域，3D数字内容生产是推进影视工业化发展的关键技术 414.2在教育培训领域，3D数字内容生产助力打破教育资源壁垒 42 435.我国3D数字内容生产技术面临的问题及建议 456.1缩略语 45 465合由实入虚由虚入实虚拟世界真实化元宇宙虚实融合物理世界当前一虚实分隔发布时间发布部门工信部、文旅部5G+智慧旅游协同创新发展推动5G与物联网、虚拟现实、数字孪生等技术和产品的有效融合，引导5G+4K/8K超高清视频、5G智慧导览、工业和信息化部办公厅、教育部办公厅、文化和旅游部办公厅、国务院国《元宇宙产业创新发展三年(2023—2025到2025年，元宇宙技术、产业、应用、治理等取得突破，成为数字经济重要增长极，产业规模壮大、布局合综合实力达到世界先进水平。6发布时间发布部门资委办公厅、广电总局办公厅园区管理委员会、化局》模型构建的流程自动化及批量生产，提高3D模型精度，提升互联网3.0的内容制作效率。员会宇宙”关键技案(2023-研究跨平台、端云协同架构，突破多线程同异步加载均成本、低带宽设备上的高频数据渲染。到2025年，渲染黑龙江省黑龙江省“十四五”数字经济发展规划建模与渲染、图像引擎等开展研发创新，构建元宇宙技术体系，前瞻布局元宇宙产业。工业和信息化部、视总局、国家体育总局行业应用融合发展行动计划年)》。到2026年，三维化、虚实融合沉浸影音关键技术重点突格局。国务院贸保稳提质的加快中国进出口商品交易会(广交会)等展会数字化、智能化建设，加强与跨境电商平台等联动互促，积极应用虚拟现实(VR)、增强现实(AR)、大数据等技术，优化云业成交。上海市人民政府办公厅四五”规划》引擎等关键技术，发展软硬一体新型VR(虚拟现实)/AR(增强现实)、3D扫描等产品。北京市经济和信息化局数字人产业创划(2022-2025年)》及裸眼3D、全息成像等数字人显示解决方案。广泛应用发智慧大脑、情感计算等新算法，提升数字人交互体验。“元宇宙”新引擎等框架工具，以开源开放为导向，逐步扩大开发者群色数据中心集群。7发布时间发布部门文化和旅游部、中央宣传部、国家发保障部等部门关于进一步推动文化文物单位文化创意产品开发的若干化资源数字化处理、互动影视等技术，增强文化创意产品的文化承载力、展现力和传播力。国务院十四五规划和2035年远景目强化国家战略科技力量”将新一代人工智能领域的前沿基台构建，学习推理与决策、图像图形、语音视频自然语言识别处理等领域创新列为科技前沿领域攻关重点。广东省府关于加快数字化发展的意见强化VR(虚拟现实)、AR(增强现实)、MR(混合现实)、全息成像、裸眼3D等数字创意应用技术创新发化厅、中共广东省委宣传部、广东省东省广播电视局、广东省体育局《广东省培育数字创意战略性新兴产业集(2021—2025大力推进数字技术应用。充分发挥5G、大数据、人工智能、区块链等数字技术在创意产业领域应用，鼓励将游戏引擎等数字创意技术拓展到工业、交通等领域。等少数主流厂商为主的全球3D数字内容生产软件市场格局。耳熟能详的3D数字内容制作软件，例如3Ds8特点自由形状建模自由绘制、形状编辑工具产品设计和个性化定制多边形建模件、多边形编辑工具可以精确控制模型的几何形状和拓扑结构视觉特效和动画制作曲面建模曲面建模软件、曲面编辑工具可以创建平滑和逼真的曲面模型汽车设计和造型计需要具备雕刻技能和经验艺术品和雕塑制作工艺品和装饰品制作模可以模拟物体的体积和密度医学图像处理和仿真9特点模点云建模激光扫描、结构光扫描、摄影测量需要后期处理和重建点云数据较大逆向工程和快速原型制作文物保护和文化遗产图像建模摄影测量、结构光扫描、摄像机标定需要多张图像进行重建和纹理映射影视特效和动画制作参数化建模软件、参数化建模语言模可以通过调整参数来修改模型需要具备参数化建模技能件、虚拟现实设备可以在虚拟环境中进行交互和操作基于手势和运动艺术创作和设计的是2D图像空间的水平轴和垂直轴3,相比于3D扫描建模去噪前去噪后超大场景表面重建和三角面片简化算法常用的表面重算法有泊松、贪婪三角、移动立方体、TSDF、户的工作效率和便捷性。五是生成式人工智能技术将进一步赋能3D建模，通过深度学习和生成式技术，一帧，PAL制式每秒25帧，NTSC制式每秒钟30帧。而“关键帧”是指动画上关键的时刻，至化为具有平面可视化的图像或动画。可视化渲染基于执行方式和目的，主要分为离线渲染(OfflineRendering)和实时渲染(Real-TimeRendering)。此外，还可以根据渲染执行的位置，分为本地渲染 的GPU执行2D和3D图形渲染。WebGL基于OpenGLES,与HTML5兼容，因而可以在任何现代浏览器纵观国内外实时渲染发展情况，国外的3D实时渲染引擎技术相对成熟，其中最著名的是美国Epic纹理映射输出输出图4离线渲染技术框架图在离线渲染工具方面，目前国内外常用的离线渲染器有独立的影视级渲染器Arnold和V-Ray、Blender内置的cycles、C4D内置的Octane等。Octane易用性强，预览渲染质量高速度快，是一个物理无偏差的照片级渲染器。Arnold和V-Ray可以渲染出非常自然的效果，用极其简单的操作和设置就可以获得逼真的渲染为满足3D数字内容应用，可视化渲染需要实现精度和效率双提升。在精度方面，随着处理器性能的提升和深度学习算法的应用，通过光线追踪、物理材质模型、HDR成像、实时渲染等技术的提升，可视化渲染能够更准确地模拟光线传播、材质反射和光照变化，从而呈现更真实的图像。未来的发展将进一步提高图像的细端云协同渲染将推进时间效率提升、算法和硬件优端云协同渲染方案是一种将边缘计算和云计算相结合的渲染方案，通过将端设备逐层分组，将部分渲染任务交给边缘计算节点处理，同时结合云计算资源进行协同渲染，从而解决传统云渲染方案中存在的高延迟、大带宽、高负载等问题。同时作为下一代移动通信技术，在5G网络下实时渲染推流不仅可以更加快速地传输大量的图像数据和视频流，还能够获得更低的延迟和更高的带宽，提高了观看视频和游戏的体验。而未来的6G网络将会在5G的基础上进一步提升网速和实时处理能力，为实时渲染推流提供更加完善的技术支持，更加细在3D数字内容生产过程中，可视化渲染通常是计算量最大、资源消耗最多的过程，近年来，随着移动终端的应用推广，亟需加强软硬件优化适配，从而解决可视化渲染带来的功耗问题。例如，可以利用深度学习来生成逼真的纹理和材质，或者通过机器学习来自动调整渲染参数，以获得更好的渲染效果。同时也可以用基于深度学习的超分辨率技术来完善最终的图像效果。对于VR渲染可视化来说，要达到完全沉浸的标准单眼分辨率最好再8K以上，如此高的分辨率，硬件的提升以及头显对尺寸和功耗的限制，导致常规的渲染方式难以应对。因此利用超分辨率技术进行低分辨率高效渲染，再放大到高分辨率是一种非常可行的手段。常用的超分辨SuperResolution(FSR)、XeSuperSampli在Web端，WebGL将持续演进，进一步推进基于WebGPU的次时代图形API的Web应用。利用WebGL跨语言、跨框架的兼容性和互操作性。Web可视化渲染最新的技术即为WebGPU技术，使得次“时”代渲染2.4感知交互感知交互技术通过环境感知、环境分析和人机交互等关键技术，实现对真实世界的感知重建和与之交互的物体材质、环境光照、运动状态等基础视觉信息。并通过这些信息进行空间计算来定位、追踪、重建、提取环境特征，从而实现对三维环境的感知和初步理解。具体地，环境感知技术主要涵盖图像深度估计、传感器姿态估计、点云配准、三维重建、光场估计等。在此基础之上，环境分析技术通过三维目标识别、目标检测和点云分割等技术手段，分析出环境中目标实体的物理边界、语义功能、组织结构等概念性信息，从而实现对三维环境的分析和理解，进而实现了对三维环境的准确建模，为三维交互操作提供了重要基础。最终，三维交互技术通过对用户行为的分析与实时计算，实现与虚拟环境的双向自然人机交互。感知交互关键技术在虚拟现实/增图5三维感知交互分析框架示意图可以选择更广泛的传感器，如GPS、IMU、雷达等需要复杂的物体检测、跟踪和场相对较直接获取环境信息，数据处理相定位和导航定位和导航要求相对较低，相对较为开阔的环境障碍物检测需要精确检测和识别封闭空间中的物体和结构境需要进行物体检测、场景重建等处理，以获取完整的环境信息相对较直接获取环境信息，环境表示相工业机器人、室内导航和监控系统等内容生产中，语音也是真人与3D数字人的实时互动的重要手段。这类技术首先通过自动语音识别 实时的手部追踪和交互，使用多视角的鱼眼模型三角测量出手部骨骼点相对于头显的准确位置。OculusMPEG-H、DolbyAtmos(杜比全景声)、应对能力，保证行车安全。其中，为了验证机器与环境交互的算法优劣，需要借助Gazebo仿真环境。 在20世纪80年代，3DSystems创建了STL文件格式，最初用于将3DCAD模型信息传输到3D打印在20世纪90年代，3DStudio创建了一种名为3DS的文件格式，用于建筑、工程、教育和制造行业。表4模型数据格式内容理坐标、何形状的原始面数据三维模型的表面几何信息。光，动画等，支持存储几何信息。据，包括机，骨骼存储大量的3D数据，包括几何信灯光，相机，骨骼动画等。存储大量的3D数据，包息，材质，灯光,相机，骨骼动画等。据，支持存储颜色和纹理信息。何信息，材质，灯光，动画或其他高级功不支持动画或复杂的场景信息。不支持动画、颜色、高级功能，3D打印。支持复杂据，主要Studio支持动画和复杂的息，广泛用于游戏和电影制作。支持动画和复杂的场景信息，可以在不同的间进行交换支持动画和复杂的场景信息，为实计，广泛用于WebGL和虚拟现实应用。据，支持颜色和纹理信息支持动画和复杂的场景层次结构变体，实例化，引用等。复杂适合。适合。适合。不适合。适合。3D打印软SketchUp为Web和实时渲染设计CloudComparMaya等软件。等游戏引擎。生格式，在3D到完全支持软件和游戏引擎可能也提供了对3DS的支持。Autodesk的软件完此外，许多游戏引擎(如Unity式。软件。Godot等游软件也提供了对GLTF的件。e等3D扫描和处理软件。可能会有限。主流的3D软件。特点简单，易于理解，持，但不支持动画或复杂的息。3D打印，只包含几何理或动画信息。持复杂的3D数件，但可能不如其他新的格式广泛支持。支持复杂据，广泛用于游戏和电影制作，但文件大小可能较大。开放格式，支持复杂的可以在不同的3D软件设计，支持复杂的3D数据，文件大小较小，加载速度快，WebGL和虚用。据，支持颜色和纹理信息，但不支持动画或复杂的场景信息。强大的层次结构和引用系统，这使型项目。此也支持实时和游戏制作中非常有用用于描述这些材质信息，包括定义渲染方法的PBR(Physically-BasedRendering,物理渲染)、NPR(Non-PhotorealisticRendering,非真实感渲染)等；以及特定的材质定义格式MaterialX、MDL通常与OBJ文件一起使用，用于定义3D模型的材质和纹理。它包含了材质的各种属PBR(Physically-BasedRendering)不是一种特定的文度贴图等。Substance是一种由Allegorithmic开发的材质创建工具，它可贴图。Substance格式(.sbs和.sbsar)可以在SubstanceDesigner,SubstancePainter等软件中使用。出超越现实的视觉效果，如卡通、素描、水彩画等风格。NPR材质可能专注于艺术风格的模拟，而不是物理精确性。OpenGL簇加载。它在记录动画数据方面的优势是高效、易用、跨平台；劣势是相对较新、不够成熟。由KhronosGroup提出和维护的开源格式，也叫Collada,是一种基于XML的文本格式，可由ValveCorporation提出和维护的商业格式，专为Source引擎设计，也叫SourceModelFormat或StudioMDLDataFormat,可以存储网格、材质由idSoftware提出和维护的开源格式，专为QuakeⅡ引擎设计，也叫QuakeIlModelFormat或QuakeIlMeshDataFormat,也可以存储网格和纹理坐标等信息，但是它不支由idSoftware提出和维护的开源格式，专为QuakeⅢI引擎设计，也叫QuakeIModelFormat或QuakeIIlMeshDataFormat,可以存储网格、纹理坐标、帧动画样不支持骨骼动画。由idSoftware提出和维护的开源格式，专为Doom3引擎设计，也叫DooFormat或Doom3MeshDataFormat,可以存储网格、纹理坐标、骨骼等Format或Blitz3DMeshDataFormat,可以由Microsoft提出和维护的商业格式，也叫DirectXModelFormat或DirFormat,可以存储网格、材质、动画等信息。它在记录动画数据方面的优势是专为DAPI设计；劣势是复杂、难以解析。由国内公司艾迪普提出，可以描述引擎、场景树、物件结构、物理属性参数、纹理材质(Phong材质以及PBR材质)、动画效果、逻辑编排以及文件IO等其他可扩展信息几十上百种器本文所涉及的3D数据资产，指的是基于3D图形技术、以3D数据格式为载体的具有实际使用价值的三存在众多3D数据资产流通平台，例如UnityAssetStore提供了超过4.5万个高质量3D模型资产，EPIC公了600万以上的3D资产。此外，在国际上，TurboSquid、CGTrader、Free3D作为鉴定盗版的依据。例如，寰宇信任推出了基于3D水印隐形水印的3D数据资产版权服务平台，结合了3D水印和区块链技术，提供版权留痕、版权登记、盗版监测为促进3D数据资产的流通复用，需要政府、行业、技术和市场各领域共同合作，推动3D数据资产版权管理技术研究和相关法规制定，降低盗版维权成本，建立完善的3D数据资产版权管理体系。颁发登记入3.13D数字内容生产需求不断增长激发技术创新需求。3D数字内容能够带来更高效的信息传递、更大幅度的效率提升和商业价值转化。据Gartner分析报告显示，在泛工业领域，基于数字孪生的产品智能服务、维修人员的响应时间从原来的300分钟缩短到了15分钟，同时一次性修复率从75%提升到92%。据某直播服务商统计，在数字营销领域，通过引入AR、VR等技术对家电内部结构、大型家装产品等进行虚拟化展示，直播间人均观看时长增加74%,新增粉丝人数提升286%,引导支付转化提升213%。快速发展的3D数字内容生产技术将满足用户对3D数字内容沉浸式体验的需求，推动数字内容创作和消费的进一步发展，从而为用户带来更丰富、更真实的视觉和交互体验，推动数字娱乐和创意产业的繁荣。随着市场对3D数字内容的需求提升，3D数字内容生产逐步向高拟真、强交互发展，这样的发展趋势离不开3D数字内容生产工具智能化、基础设施完善化的保障。泛。根据市场研究公司Gartner的数据，2022年全球游戏市场收入为1,925亿美元，其中3D游戏占据了大3D数字内容生产需求。根据市场研究公司IDC的数据，全球VR/AR头显设备出货量从2016年的70万台增长到2021年的1,100余万台，预计到2025年将达到5,500万台I⁸]。②制②制作传播现服务平台基础设施应用③采M楼m?中!中国信通院图93D数字内容生产技术产业图谱在3D数字内容生产工具的辅助下，快速降低3D数字内容创作门槛、降低生产成本、降低响应时间。在过去，3D内容的创作需要专业的3D建模和动画技能，但现在有许多用户友好的工具和平台，如Blender、SketchUp等，提供了直观的界面和丰富的教程，使得非专业人士也能够创作出高质量