ISOIEC 23090-122023 信息技术沉浸式媒体的编码表示第12部分MPEG沉浸式视频标准立项发展报告

信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频标准立项发展报告EnglishTitle:StandardizationDevelopmentReport:Informationtechnology—Codedrepresentationofimmersivemedia—Part12:MPEGimmersivevideo摘要随着虚拟现实（VR）、增强现实（AR）和混合现实（MR）技术的飞速发展，沉浸式媒体正成为继高清视频之后的下一个信息交互范式。为了应对海量沉浸式内容在高效存储、传输与呈现方面的技术挑战，国际标准化组织（ISO/IEC）旗下的动态图像专家组（MPEG）制定了ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》（MIV）标准。本报告旨在系统阐述MIV标准的立项背景、核心技术、标准状态及其对产业发展的深远影响。报告首先分析了沉浸式视频发展中面临的带宽瓶颈与数据冗余问题，指出MIV标准通过创新的基于图块的视频流与基于深度图像的渲染技术，实现了对多视点、高动态范围（HDR）、六自由度（6DoF）沉浸式场景的高效编码。报告深入分析了MIV区别于传统视频编码（如H.264/HEVC）的核心技术路线的逻辑，包括如何利用场景中的子视点冗余进行内容剪裁与传输优化。尽管本标准当前（2023年8月发布后）已设定为“废止”状态，但其并非技术失败，而是代表了标准迭代的高效性。报告指出，这标志着MPEG正在向更高效率、更广支持的下一代沉浸式视频标准（如MIV的扩展版本或协同标准）演进。结论部分强调，MIV标准奠定了沉浸式媒体数据压缩的基石，其在金融、医疗、教育、空间计算等领域的应用实践将逐步展开，对推动全球元宇宙基础设施建设具有不可替代的先行探索意义。关键词：沉浸式媒体；MPEG沉浸式视频（MIV）；六自由度（6DoF）；基带提取；基于图块的视频流；无边界服务；信息编码表示；国际标准。Keywords:ImmersiveMedia;MPEGImmersiveVideo(MIV);SixDegreesofFreedom(6DoF);AtlasGeneration;Tile-basedVideoStreaming;BoundlessServices;InformationCodingRepresentation;InternationalStandard.1.引言在信息技术高速迭代的2020年代，人类对视觉体验的追求已从平面、单视角的宽泛展示，转向了立体、多视角、可交互的全真模拟。这种被统称为“沉浸式媒体”的新兴内容形式，要求用户能够在其构建的虚拟或增强环境中自由移动视点，获得接近真实世界的视觉临场感。然而，这种体验的获取代价极高：要支持六自由度（6DoF）的平滑运动，系统需要同时捕捉、传输并渲染来自数十个乃至上百个视角的2D与深度信息，其数据量是传统平面视频的数十倍乃至上千倍。面对这一“信息大爆炸”的现状，传统的视频编码标准（如利用区域间时间/空间预测的H.265/HEVC）虽然高效，却难以直接跨越沉浸式场景中多视点间的巨大数据冗余。鉴于这一瓶颈，国际标准化组织（ISO/IECJTC1/SC29）成立了MPEG-I（沉浸式媒体）标准系列，专门攻克沉浸式内容的表示与编码问题。作为该系列的核心，ISO/IEC23090-12:2023《信息技术沉浸式媒体的编码表示第12部分：MPEG沉浸式视频》（MIV）应运而生。本文旨在通过对该标准的立项背景、核心编码逻辑、技术状态及其阶段性应用的回顾，剖析其在沉浸式媒体标准化进程中的历史坐标与独特价值。尽管该标准目前处于“废止”状态，但其技术原理和产业问题解决的底层逻辑，至今仍是行业从业者理解未来沉浸式交互的基础。2.标准立项背景与核心技术内容2.1背景：解决沉浸式视频的“编码悖论”在MIV出现之前，业界对于沉浸式内容的编码主要有两条路径：1.单路2D+深度编码：效率高但视点有限，无法支持复杂的水平/垂直移动，仅支持所谓的“3DoF+”（三自由度+）。2.全视点（稀疏阵列）编码：直接编码所有摄像机视角（如HEVC多路流），虽支持6DoF，但带宽消耗巨大，完全不适应流媒体传输。MPEG-I面临的核心任务是解决“编码悖论”：用户往往只需要当前头部追踪决定的一小部分视角内容（如视锥范围内的内容），但传输系统却需要准备全量数据。MIV标准的立项目的，正是设计一种能够仅传输与当前（及预测）用户视角相关最小化数据的机制，从而在保证高保真画质的前提下，将带宽和数据存储需求降低至可商业化的水平。2.2核心技术逻辑：基带与补丁MIV标准的编码架构是一个精密的“数据剪枝”和“再组装”过程，其核心概念是基带（Atlas）。这个方法的创新逻辑，在于将多视点视频流转化为类似“二维视频片段集合”的形式：1.视点选择与传输推导：在编码端，服务器拥有完整的“主视点”视频以及多个辅助视角的视频及深度图。2.基带生成：MIV编码器使用算法分析所有视角之间的几何对应关系。它将辅助视角视点内容依据主视点的参考进行“修剪”，只保留在主视点基础上看不到或缺失的那些像素（即冗余信息被剔除）。这些保留的像素被重新打包排列到一个或多个图像序列中，这些图像序列就是基带（Atlas，或译作“图集”）。MIV标准提供了标准化的基带表示格式（包括元器件、布局、数据单元定义等），确保解码器能够解析这种非常规结构。3.数据组合：基带视频本身大多采用标准的传统2D视频编码器（如HEVC/H.265）进行压缩。传输的数据流包括：-主视点视频流（至少提供基础的3DoF体验）。-由子视点提取出的补丁集合流（Atlas流）。-视频对应的深度图流（提供视差）。-元数据流（描述每个“补丁”在世界坐标系中的物理位置、大小、对应的摄像机参数等）。4.解码与合成：客户端解码器解析输入的各路流，根据用户当前的头部姿态数据（视点位置、角度），从基带上提取出与当前视角匹配的补丁，通过元数据指引，将它们重新投影填充到对应的3D几何空间中。最终与主视点内容合并，渲染出适合当前姿态的完整沉浸式视图。总结来说：MIV不编码视频本身，而是编码“我应该缺失了什么，以及哪里能找到它们以供填补”。这一思想极大改变了沉浸式视频的传输观念。2.3技术性能目标MIV标准明确设定了其性能指标：-极端比特率优化：在典型的6DoF场景（如10-12个摄像机阵列）下，相比传输所有独立HEVC编码流，MIV可实现40%-70%的比特率节省（依据视点复杂度和用户运动预测准确度而定）。-自适应流处理：支持根据网络状况和渲染能力动态调整基带中包含的子视角数量。-灵活部署：允许在质量（全画质恢复）与性能（节省带宽）之间进行权衡，适应终端计算能力的多样性（从高端PC头显到移动VR眼镜）。3.标准发布情况与状态分析3.1标准基本信息-标准号：ISO/IEC23090-12:2023-发布日期：2023-08-11（第一版发布）-标准状态：废止-发布机构：ISO/IEC（国际标准化组织/国际电工委员会），其联合技术委员会JTC1下的SC29“音频、图像、多媒体及超媒体信息编码”工作组。-适用领域：信息技术，沉浸式媒体传输，3D渲染接口定义。3.2“废止”状态的深度解读对于一个在国际标准体系下正式发布的标准，“废止”（Withdrawn）状态通常会有几种原因：版本更新、技术过时、被替代或存在重大设计缺陷。在ISO/IEC23090-12:2023的情况下，将其解读为“技术迭代导致的标准快速演化”比“失败”更为准确。1.标准化动作的敏捷性：随着MPEG-I标准化的推进，MPEG开发团队（如由多家公司和研究机构组成的共同专家组）在研究MIV的技术获取和实现反馈后，迅速推出了性能提升更显著的修正版或扩展版。这可能使得原始的2023年8月发布的版本迅速进入废止状态，转而采用全新的技术规范，例如ISO/IEC23090-12Amendment1，或全新的Part（如MIV的演进版）。ISO标准的管理惯例允许工作组在发现更优方案后“冻结”老版本。2.EoU（EndofUse）的触发：MIV是依赖参考软件实现的标准。当前版本的参考软件（如MPEG提供的ITM测试/参考模型）可能发现了编码效率瓶颈或实现中的算法模糊点。工作组可能决定通过发布废止声明，更新参考软件，并要求专利池许可中对新的实施方案制定新的许可条款。老版本标准被废止，可以避免基于该版本的旧专利许可产生行业混乱。3.向协调标准化方向演进：在元宇宙和空间计算行业标准不太可能由单一技术支撑的情况下，废止原独立制定的Part12，转而在更广泛的“MPEG-IPart集合”下给出统一的参考（例如，与其他沉浸式音频或全场景渲染规范统一数据封装），实现标准间的协同。重要结论：该标准的“废止”，不代表其核心技术无价值。相反，它标志着ISO/IEC对该领域的快速、积极的纠偏和提升了然于案。多视角提取、基带方法、补丁传输这些核心概念，将作为MPEG-I系统的基础模块不可被代替，并以修订版或等同替代版本的形式被永久保留下来。4.标准立项与修订核心参与单位——FraunhoferHeinrichHertzInstitute(HHI)在众多参与MPEG-IMIV标准制定的国际顶尖科研机构和跨国公司（如InterDigital,华为,高通,三星,诺基亚,苹果等）中，德国弗劳恩霍夫海因里希·赫兹研究所（FraunhoferHeinrichHertzInstitute,HHI）扮演了奠基者和技术核心驱动者的角色。单位简介与地位FraunhoferHHI（FraunhoferInstituteforTelecommunications,HeinrichHertzInstitute）是德国弗劳恩霍夫应用研究促进协会下专注于通信技术与数字媒体产业的旗舰级研究机构。该所是全球视频编码与沉浸式媒体标准化的绝对重镇，是MPEG系列AAV核心编码技术（如H.264/AVC、H.265/HEVC、H.266/VVC）的主要发起者与专利持有者。HHI在沉浸式与全向媒体（ISO/IEC23090系列）的标准化工作中更是主导力量。在MIV标准中的关键贡献1.核心概念与算法输入：早在MIV项目启动前的2017至2019年，HHI便提出了名为“基于场景表示的深度视频”和“通用多视点视频编码框架”的研究演进。他们最早发布了阐述将辅助视点转换为“纹理/深度补丁集合”以实现极高压缩比的方法。这是MIV“基带”技术的直接前身。HHI是标准中Atlas（基带）生成与基带合并逻辑算法定义的核心负责人。2.参考软件实现（ITM-MIVTestModel）：MIV标准的制定需要可重复验证的参考软件。HHI主导开发并维护了MIV的参考软件版本（ITM），所有联盟成员及后来标准的使用者（包括芯片设计公司、运营平台）的体验和测试都是基于HHI提供的代码库和操作指南展开。3.技术验证与挑战解决：针对MIV实际布署中的“BoundedView”（受限画布/视点限制）与无连贯性场景下的拼接伪影问题，HHI的团队提出了多种精细编码工具（如PatchMerge模式，用于在补丁边界减少失真，节省更多码流），这些工具被直接采纳并写入最终标准的技术附录中。4.专利池与产业推动：作为基本专利（SEP）的主要持有人，HHI通过与专利池（如MPEGLA或AccessAdvance）的合作，确保MIV标准及相关后续标准的专利许可框架，使得产业界能够基于具有法律确定性的授权来开发产品。对全球沉浸式标准化的影响HHI在MIV项目中的工作树立了标准化的范式：“学术严谨性+工程可实现性+商业专利布局”的三位一体。虽该标准部分细节由联盟共同决策，但弗劳恩霍夫HHI始终扮演着“技术出题者”和“标准蓝图工程师”的角色，其在多视点重建、8K以上高动态范围视频、以及6DoF空间音频方面积累的深度使MIV在发布之初便拥有技术与性能极具可信度。5.结论与展望ISO/IEC23090-12:2023（MIV）标准，虽然作为一个“版本本”仅在短短几个月内被视为有效状态（随后被废止/演进），但其在信息技术标准发展史中的地位是里程碑式的。它成功地将标准化工作的重点从“编码多路视频流”转移到了“智能编码多路可拼接的媒体片段”，开辟了一条能将沉浸式数据降低到可传输水平的现实路径。它证明了，在不牺牲6DoF核心体验的前提下，可通过巧妙的视点支配算法与视频纹理的几何空间重映射，打破数据墙。对未来发展的展望：1.集成化与ESG（通过单一标准涵盖全流程）：未来的标准修订版本（如MIVv2或MPEG-I的基带编码扩展）将进一步整合多路