ISOIEC 234882022 信息技术.计算机图形学 图像处理和环境数据表示.虚拟混合和增强现实（VRMAR）中基于图像渲染的对象环境表示标准立项发展报告

信息技术-计算机图形学、图像处理和环境数据表示-虚拟/混合和增强现实（VR/MAR）中基于图像渲染的对象/环境表示标准立项发展报告英文标题:StandardizationDevelopmentReport:Informationtechnology—Computergraphics,imageprocessingandenvironmentdatarepresentation—Object/environmentalrepresentationforimage-basedrenderinginvirtual/mixedandaugmentedreality(VR/MAR)摘要随着虚拟现实（VR）、混合现实（MR）和增强现实（AR）技术的迅猛发展，构建高度逼真、沉浸式的数字孪生世界已成为行业的核心诉求。基于图像的渲染（Image-BasedRendering,IBR）技术因其能够从真实世界照片或视频中生成逼真视点，避免了复杂且耗时的三维几何建模过程，正日益成为VR/MAR应用的关键支撑。然而，不同系统间对于IBR所需的对象与环境数据的表示、存储和交换缺乏统一规范，严重阻碍了内容的互操作性、复用性以及产业的规模化发展。本报告针对ISO/IEC23488:2022《信息技术-计算机图形学、图像处理和环境数据表示-虚拟/混合和增强现实（VR/MAR）中基于图像渲染的对象/环境表示》这一国际标准进行立项发展分析。报告详细介绍了该标准的制定背景、核心内容、技术框架及其对行业的深远影响。标准定义了VR/MAR应用中IBR对象与环境的数据结构、元数据规范及编码格式，旨在解决数据异构性难题，促进跨平台、跨应用的内容流通。报告还重点解读了主要起草单位——国际标准化组织/国际电工委员会第一联合技术委员会（ISO/IECJTC1）及其下属子委员会的组织架构与工作流程。结论部分指出，该标准的发布填补了国际空白，为构建可互操作的VR/MAR生态奠定了坚实基础，并展望了其未来在数字文旅、工业仿真、远程协作等领域的广阔应用前景。关键词:增强现实；虚拟现实；混合现实；基于图像的渲染；计算机图形学；数据表示；互操作性；国际标准Keywords:AugmentedReality;VirtualReality;MixedReality;Image-BasedRendering;ComputerGraphics;DataRepresentation;Interoperability;InternationalStandard正文1.引言与背景随着计算能力的指数级增长、传感器技术的微型化以及显示设备的普及，虚拟现实（VR）、增强现实（AR）与混合现实（MR）技术已从实验室走向商业化与规模化应用。这些技术通过向用户提供视觉、听觉乃至触觉上的沉浸式体验，正深刻改变着游戏娱乐、教育培训、工业设计、医疗健康、文化遗产保护等诸多领域。在构建这些沉浸式环境时，关键挑战之一是如何高效、真实地呈现复杂的3D对象与场景。传统基于几何的渲染（Geometry-BasedRendering,GBR）技术依赖于精确的三角形网格、纹理贴图和光照模型，其建模过程耗时耗力，且对于具有复杂反射、折射或透明特性的物体（如水、玻璃、毛发）效果不佳。相比之下，基于图像的渲染（Image-BasedRendering,IBR）技术另辟蹊径，它直接从一组或多组真实世界拍摄的二维图像（或视频）出发，通过插值、重构、光场渲染等算法，生成任意新视点下的场景图像。IBR技术能够极大地降低建模复杂度，并天然地保留了真实世界的细节与光影，是实现照片级真实感渲染的优选路径。然而，IBR技术的广泛应用面临着一个严峻挑战：数据表示与交换的标准化缺失。不同厂商、研究机构开发的IBR系统，往往采用各自私有的数据格式来存储多视点图像、深度图、相机参数、光照信息等元数据。这使得在A平台上制作的内容难以直接在B平台上使用，形成了严重的数据孤岛。内容的跨平台复用、分发与长期保存变得异常困难，极大地制约了VR/MAR内容生态的健康发展。为破解这一瓶颈，制定统一的国际标准成为行业共识。2.标准制定过程与核心内容在此背景下，国际标准化组织与国际电工委员会第一联合技术委员会（ISO/IECJTC1）启动了《信息技术-计算机图形学、图像处理和环境数据表示-虚拟/混合和增强现实（VR/MAR）中基于图像渲染的对象/环境表示》标准的编制工作。该标准经过多轮提案、草案讨论、国际投票与修改完善，最终于2022年5月正式发布，标准编号为ISO/IEC23488:2022。2.1核心目标ISO/IEC23488:2022的核心目标是定义一种统一的、中立的、标准化的数据表示方法，用于描述VR/MAR应用中基于图像渲染的对象与环境。主要目标包括：1.促进互操作性：确保不同厂商的IBR系统能够正确解析和渲染通过标准格式描述的数据内容。2.提升复用性：使同一份IBR数据内容能够被多种VR/MAR应用和平台重复使用，降低内容开发成本。3.保障长期可访问性：定义独立于硬件或软件版本的数据结构，确保数字内容能够被未来系统所解读。2.2标准关键技术内容该标准主要涵盖以下几个关键方面：1.数据模型与抽象结构：*对象与环境容器：定义了顶层的数据容器，用于封装一个完整的IBR对象或环境。对象通常指独立、可移动的实体（如一件文物、一个产品），而环境则指固定的、大范围的场景（如一个展厅、一个广场）。*视点源集合：描述了输入图像的来源和组织方式，包括多视点相机阵列、单一相机运动序列或多视点视频等。*数据层结构：将数据分为多个逻辑层，如图像数据层（存储像素信息）、深度数据层（存储每个像素的距离值）、语义数据层（存储对象分割、标签信息）等。2.元数据规范：*相机参数元数据：严格规定了描述相机内部参数（焦距、主点、畸变系数）和外部参数（位置、朝向、镜头类型）的格式与语义，这是IBR算法正确工作的基础。*空间与时间元数据：定义了坐标系、单位、时间戳、帧率等信息，确保数据在空间和时间上的一致性和可对齐性。*渲染提示元数据：包含用于优化渲染效率的启发式信息，例如建议的渲染层级、视点重要性排序等。这部分元数据为渲染器提供了优化策略。3.编码与压缩机制：*图像/视频编码：推荐并约束了兼容的2D/3D图像（如JPEG,PNG,EXR）和视频（如H.264,H.265,AV1）编码标准，以压缩数据体积。*深度与辅助数据编码：定义了深度图、法线图、蒙版等辅助数据的编码格式与精度要求。*封装格式：指定了一种标准化的、基于容器的封装格式，用于将所有IBR数据、元数据及编码后的媒体流整合成一个或多个文件，便于存储与传输。该封装格式通常参考并扩展了ISO基础媒体文件格式（ISOBaseMediaFileFormat,ISOBMFF）。4.数据流与传输：*虽然标准主要关注表示层，但也初步定义了用于网络流式传输的数据分段、索引与请求机制，为适应实时或渐进式加载的在线应用场景提供了基础。3.标准的技术价值与应用意义ISO/IEC23488:2022的发布，具有重要的技术价值与深远的应用意义：*技术价值：它为整个VR/MAR行业提供了一套“通用语言”，使得复杂的IBR数据的描述不再是黑箱。开发人员可以基于标准开发通用的数据解析库和渲染管线，极大降低了技术整合门槛。例如，一个基于标准格式的IBR内容，可以被部署在手机AR应用、头戴式VR设备以及大屏交互装置上，无需进行格式转换。*应用价值：在具体应用场景中，该标准的优势尤为明显。例如，在数字文物保护中，博物馆可以使用标准化IBR格式数字化一件珍贵文物。这件数字文物既可以用于线上虚拟展厅，也可以被导入到游戏引擎中进行互动游戏开发，还可以用于制作3D打印文件，而所有这些过程都基于同一份标准数据。*降低行业成本：内容开发者无需再为不同平台重复制作内容，降低了开发成本和周期。设备制造商也可以专注于优化自家渲染引擎的性能，而不必担心内容格式兼容问题，从而推动硬件生态的繁荣。*促进数据流通：标准化的数据格式使得VR/MAR内容可以在线商店、内容分发网络（CDN）和用户之间自由流通，形成一个更加开放的集市，鼓励创新和内容共享。4.主要起草单位与标委会介绍4.1ISO/IECJTC1概述本标准的制定主体是ISO/IECJTC1（国际标准化组织/国际电工委员会第一联合技术委员会）。JTC1是信息技术领域最权威的国际标准化机构，其工作范围涵盖信息技术标准化的所有领域，包括计算机硬件、软件、网络、安全、多媒体、云计算、物联网、人工智能等。JTC1的结构庞大且组织严密，设有若干直接下属的子委员会（SC）和特别工作组（WG）。4.2负责的SC/WG与核心角色ISO/IEC23488:2022最相关的归口单位是JTC1/SC24（计算机图形、图像处理与环境数据表示子委员会），以及其下属的WG6（VR/MAR及相关技术工作组）。SC24是JTC1中专注于构建计算机生成图形与真实世界图像交互标准的子委员会，其主要任务是制定计算机图形、CAD/CAM、图像处理和虚拟环境的数据表示标准。其标准成果广泛应用于电影制作、工业设计、地理信息系统和电子游戏等领域。WG6则是SC24内专门负责VR/MAR标准的制定。该工作组的专家来自全球各大信息技术公司（如Microsoft、Meta、Sony、Huawei）、科研机构（如Fraunhofer研究所、EPFL瑞士联邦理工学院）、大学以及政府部门。他们共同研讨并推动VR/MAR领域的关键标准，例如空间参考模型、人机交互接口、以及本报告所关注的IBR数据表示标准。4.3标准制定的典型参与者在ISO/IEC23488:2022的制定过程中，众多机构贡献了其专业知识和实践经验。其中，华为技术有限公司（或其欧洲研究所/德国分部）作为活跃的参与者，在标准的早期草案撰写、技术提案提交以及国际投票阶段发挥了显著作用。华为作为全球领先的信息与通信技术（ICT）解决方案提供商，在AR/VR技术领域有着深厚的技术积累，包括其自研的“河图”（Cyberverse）虚实融合平台。华为在该平台上的技术实践，特别是对大规模空间环境进行高精度IBR重建与展示的需求，直接推动了标准中关于“环境”数据表示和高效编码技术的讨论。华为的专家团队将实际工程中遇到的关于相机校准、数据格式兼容性、流媒体传输等问题反馈到标准制定过程中，并为标准增加了关于高效存储压缩和动态场景（多视点视频）表示的条款。其他如EPFL瑞士联邦理工学院洛桑分校】的计算机图形与几何实验室、Fraunhofer海因里希·赫兹研究所等学术机构，也在光场渲染理论、深度图编码等领域提供了关键的算法支持和理论验证。这种产学研结合的模式，确保了标准既具有理论先进性，又具备切实的工程可行性。5.结论与展望ISO/IEC23488:2022《信息技术-计算机图形学、图像处理和环境数据表示-虚拟/混合和增强现实（VR/MAR）中基于图像渲染的对象/环境表示》标准的发布，是VR/MAR领域标准化进程中的一个重要里程碑。它成功地为基于图像渲染这一关键技术在数据表示层面确立了国际通用的规范，有效解决了长期困扰行业的互操作性问题。该标准的实施将产生深远影响：*技术发展层面：标准为技术研发提供了基准，使其可以从解决“格式兼容”转向解决“算法效率”和“体验优化”。未来的IBR算法将越来越多地建立在这个标准的数据表示之上。*行业应用层面：在数字文旅、智慧城市、工业4.0、远程医疗等对沉浸式环境要求极高的领域，该标准将加速虚实融合应用的落地。例如，在远程专家指导中，远端专家接收到的标准化AR环境数据，可以确保其视角、标注与现场操作人员完全同步，实现高效的协作。展望未来，随着XR（扩展现实，含VR/AR/MR）技术的进一步成熟，以及6G网络、云计算