11.0K-6G沉浸式通信场景需求与关键技术研究白皮书（中文）

1引言

沉浸式通信作为6G的重要应用场景之一，正逐渐成为科技和产业革命的发展机遇。

它集成了扩展现实（XR）、全息技术和感官互联技术，将彻底改变人们的工作、娱乐和

交流方式。随着5G-A技术的成熟，通信业务正向着高沉浸、强交互、多维多模态的方

向演进，进一步实现人与人、人与物的三维动态感知与交互。沉浸式包括沉浸式XR、

全息通信、感官互联三大应用场景，具有强交互、高沉浸、智能化的特点。

VR/AR已经通过5G网络应用于行业应用（ToB）和个人消费应用（ToC）的诸多领

域，包括工业制造、影视、直播、游戏、社交等。例如在杭州亚运会期间，中国移动打造

了VR电竞、VR赛事直播、裸眼3D看亚运等新业务，实现了多用户多业务并发场景下

20ms业务帧级无线传输时延以及125Mbit/s帧级保障速率。可以看到5G沉浸式多媒体业

务已经可以满足一部分应用场景需求。随着RedCap、无源物联、通感一体、AI、边缘计算、

云计算等技术的发展和完善，无线传感、视频监控、可穿戴设备的高速规模化应用，沉浸

式多媒体业务基于未来6G网络的更高性能，将得到更好的发展，满足用户对于更加自然、

直观和沉浸式交互体验的需求。

6G沉浸式通信将支持多维多模态协同控制、QoS智能感知、高效编解码技术、渲染

呈现技术以及多种类型终端等，同时也将满足端到端毫秒级时延、Tbps级带宽、超高可靠

性等需求。

白皮书从沉浸式应用场景及需求、标准化情况、产业发展现状以及关键技术对6G沉浸

式业务进行分析研究，希望能够为业界开展6G沉浸式业务研究提供参考。

3/75

2应用场景和需求

2.1应用场景

沉浸式通信是指利用人的感官和认知，通过技术手段为用户营造身临其境的感受，从而

提供一系列高逼真度体验的业务。高逼真度体验可基于各类多媒体技术的结合实现，如感知

信息获取、媒体处理、媒体传输、媒体同步和媒体呈现。

面向2030及未来，社会发展将会逐步进入到数字智能化时代，6G沉浸式通信将在5G

eMBB场景基础上不断的拓展深化，具体表现在真实场景的体验感、更清晰流畅的内容显示、

多通道交互等，通过真实与虚拟三维建模影像相互交融，给人带来不一样的视觉和感官体验。

6G沉浸式通信围绕以人为中心的发展理念，高效能的融合通信、感知、计算等能力支

持各类的智能化服务，满足以人为中心、以场景为单位，为用户提供更及时、更精确的持续

性体验服务。沉浸式通信场景具备虚实相应、时空跨越、情景重现、实时传递、多重维度、

智能体验、体感交互等特征。

6G沉浸式通信主要包括沉浸式XR、全息通信、远程多感官互联、智能移动机器人和

社交互联网等典型应用场景。

在沉浸式场景中信息以高实时和多维度进行传播，6G沉浸式通信应用场景需要超大的

带宽、超高的数据速率和超高的可靠性来保证用户在虚拟现实环境中的交互和沟通。为此，

6G技术将在速率、容量、交互、算力、感知、安全和时延等方面进行全面优化，为沉浸式

体验提供更加稳定、低时延、高效的通信环境。

2.1.1沉浸式XR

VR（虚拟现实）、AR（增强现实）、MR（混合现实）等技术的集合统称为扩展现实XR。

沉浸式扩展现实XR通过数字化手段来增强用户感官体验和实现人机交互，可通过有限的传

感器连接实现从现实世界到完全沉浸式的虚拟世界，利用多种交互技术的集成和融合，为用

户提供沉浸式体验和真实感受。在虚拟环境中，用户可以利用XR设备构建虚拟人物形象。

因此，XR技术是连接元宇宙最好的桥梁，也是实现元宇宙的主要技术之一，可以把它理解

为是人类进入元宇宙的入口。

业界已经开始沉浸式扩展现实（XR）交互方式的探索，相关技术已被应用到各个垂直

应用领域中，沉浸式XR技术向着裸眼3D、宽带实时交互、沉浸式体验、超高清视频等方

4/75

向发展，业务场景逐步扩展到智能工厂、智慧城市、医疗健康、数据中心等领域。沉浸式扩

展现实（XR）有可能改善人们沟通、互动和获取信息的方式，使用户能够享受更加身临其

境和个性化的用户体验，实现远程控制、实时虚拟现实等新应用，改变人们沟通协作的方式。

例如，沉浸式扩展现实（XR）可以实现影视、广播、直播娱乐制作，使虚拟演播和虚拟制

作成为行业主流；实现虚拟会议、互动营销、远程协作、虚拟报告会和产品发布会等模式，

为用户提供真实的环境和大规模的多人互动与沉浸式感官体验。

以下是几个沉浸式XR技术的典型用例：

1、钢铁

在AR设备检维修方面，钢铁行业的检维修需要工程师对各生产设备的结构和功能非常

熟悉。基于AR技术可辅助钢铁行业检维修工程师更高效地进行点检、维护和维修工作。在

需要专家远程接入时，6G网络可为专家提供低时延高可靠的沉浸式体验，指导现场工程师

高效解决问题。

在VR模拟教学实训方面，钢铁冶炼操作处于高温高压危险环境，VR模拟教学实训借

助6G网络，脱离实际场域，深入三维仿真冶金现场，还原冶炼全程，辅助学员掌握操作与

安全规程，降低设备故障磨损，延长使用年限。

2、汽车

在VR设计生产方面，为应对消费者个性化需求增长以及产品生命周期缩短的挑战，汽

车制造企业将6G与虚拟现实技术应用于工业设计和生产。设计者用虚拟现实头盔展示汽车

细节，减少失误和资源浪费。3D投影与手势控制应用于虚拟装配线校检，提高装配准确性，

优化生产流程，提升效率。

在AR辅助装配方面，6G与AR技术实现实时辅助装配、防错防漏及新员工指导。操

作人员佩戴AR眼镜采集数据，接收专家指导，提升装配准确性与效率，智能化防错系统避

免错误，同时为新员工提供规范、标准化的操作指导。

3、娱乐

XR游戏能够为玩家提供一个高度逼真的虚拟世界，让他们在其中进行冒险、竞技和社

交。这种沉浸式的游戏体验，依托6G高速率、大带宽及低时延的网络性能，不仅让玩家感

到身临其境，还极大地丰富了他们的娱乐生活。此外，XR技术还可以应用于虚拟演唱会、

体育赛事等娱乐活动中，为观众带来前所未有的观看体验。

4、教育

5/75

在教育领域，沉浸式XR结合6G网络，为学生提供了一个全新的学习途径。通过创建

虚拟的学习环境，学生可以在其中进行探索、实验和互动，从而更深入地理解复杂的概念和

历史事件。例如，在历史课上，学生可以通过XR技术“穿越”到古代，亲身体验历史事件，

感受不同文化的魅力。这种教学方式不仅提高了学生的学习兴趣，还增强了他们的记忆和理

解能力。

沉浸式扩展现实（XR）对于网络带宽、容量、高数据速率、精确定位、流量密度、算

力和感知的空间映射、端到端低延迟和边缘云的处理提出了更高的要求。当前，5G网络仍

是按照传统网络建设，不具备为智能体之间的信息传递和交互，无法为网络环境提供超大容

量、超高数据速率、超低时延的数据与反馈信息的可靠传输。6G将提供更快的数据传输速

率、更低的延迟和更高的可靠性，为高速的数据传输和实时数据采集提供更加快速的数据响

应和更高质量的虚拟现实体验。6G系统将通过异构网络融合技术，内生支持实时业务及通

信的技术将不同类型、不同频段、不同覆盖范围的网络资源组合起来，扩大网络覆盖能力，

提高系统容量。

未来，沉浸式扩展现实（XR）为了减轻UE视频压缩与解压，与媒体渲染的算力需求，

将借助6G高速稳定的承载网络，实现云，边，端的三方协作，利用算力进行合理的分配，

实现云化XR业务的内容上云、渲染上云，实现用户与环境的多重业务交互，开启云应用、

宽管道、智终端的全新模式，将原有的物理硬件迁移至云端/边缘端，实现轻量级客户端转

型。沉浸式扩展现实（XR）将实现大带宽，XR远程全息会议与协作，要求体验速率达到

Gbps量级；强交互，交互时延短，云化XR网络传输时延为10ms以下。随着6G技术的成

熟，沉浸式扩展现实（XR）实现轻便化、智能化、低碳化的商业化新模式。

2.1.2全息通信

随着无线网络通信性能、终端显示设备不断发展，全息通信通过采集来自人、物和环境

的数据信息，使得用户可以通过全息方式，实时深度参与人、物和环境交互的三维空间场景，

最终让用户获得完全沉浸式的体验，构建出人_机_物_境协同发展的新通信方式。全息场景

的实现依赖全息技术与通信技术的紧密结合，结合多维度信息影像投射技术，呈现出真实影

像复现的视觉盛宴。

全息通信作为新兴的通信业务，主要用于实现人与人、人与物、物与物之间的远程交互

和沟通，具有高度的交互性、感知性、安全性和时延性等特点。这种业务的应用前景非常广

泛，包括教育、医疗、工业、文化娱乐等各个领域。例如：在文化娱乐方面，可以实现全息

6/75

影院、全息剧院等场景下的数字全息交互技术，从而给用户带来极致的沉浸感体验。在医疗、

工业、教育等方面，具有快速计算的全息通信服务能力，在远程手术、工业远程管控和远程

教学等方面，可以使用全息影像对工作情况进行精确的复制，进而实现远程操纵和精准交互。

全息通信高精度现实还原和实时交互场景的特性，对带宽、时延、速率、算力、安全、

可靠、定位精度等提出了很高的要求，仅依靠5G现有的网络和技术是难以满足这些要求的，

现有的5G网络中业务应用层无法精准、实时掌握网络性能，导致业务体验感差，网络无法

进行分析数据并自适应调整。随着6G技术的发展，全息通信正在逐步走向可能。6G将以

超高带宽、超高的数据速率、超高频谱效率、超高可靠性和超低时延，支持基于传感的物联

网应用架构，支持各类终端设备的数据采集和利用，支持多模态联合传输来提升全息通信服

务体验。全息通信将通过移动算力网络、云计算、智能感知、超高带宽频谱、优化网络和传

输协议等技术，在交互、算力、感知、安全和时延等方面进行全面优化，以实现更加真实、

生动、自然的远程交互和沟通。未来，随着对6G技术的探索，在太赫兹通信和可见光通信

等更高工作频段，全息通信将实现用户体验速率有望达到100Gbit/s，移动性可实现1000公

里/小时的突破，满足全息通信高沉浸式、高交互性、高还原度和强参与度的需求。

2.1.3感官互联

远程多感官互联通过使用多感官交互技术，包括声音、图像、触觉、味觉、嗅觉等，可

以让远程交互更加真实、生动、自然。远程多感官互联的诞生，让数实之间从“连接”升级为

双向交互，利用人的多感官即眼、鼻、口、手、脑进行输入，实现交互。在远程多器官互联

时，用户可以利用6G网络环境充分调动视觉、味觉、听觉、触觉等重要的感官信息，实现

感觉互通的体验型传输神经网络，从而实现体感信息智能交互。

目前，远程多感官互联的应用前景非常广泛，这种技术依托6G网络环境，涉及领域主

要包括教育、健康医疗、工业制造、文化娱乐等各个领域。无论在哪里，远程多感官互联都

可以在休闲娱乐、远程协作、健康医疗、智能驾驶等方面，获得真实环境的沉浸式体验。例

如，可以感受到真实、不消耗实物的美食、护肤、旅游、美妆试用体验；可以获得精准操控

平台硬件设施的云端协同办公体验；智能感知设备可以实时获取用户的动作、姿态、心率、

体温等信息，从而更加准确地响应用户的需求；在智能驾驶领域，自动驾驶汽车采用无数传

感器来生成数据，通过雷达、激光雷达、摄像头和其他驾驶员辅助设备等传感器，来实现多

维“感觉”互通与情感交流。

远程多感官互联最大的特点是交互性强，智能化操控对时延有着较高的要求，对于目标

7/75

物体之间实现频繁交互，需要触觉反馈交互并同步反馈多重感官信息，这种多重感官交互行

为需要大量的计算资源。

目前，对于触觉的研究与标准化属于起步阶段，触觉作为强交互的重要输入部分，对其

传输时延要求非常短。5G具有低延迟特点，但不足以支持实时控制。远程多感官互联需要

高度的安全保障，以保护用户的隐私和数据安全。6G将提供更高的带宽、更低的时延、更

强的可靠性，为远程多感官互联应用提供了更加平滑、可靠、高效的连接，来实现沉浸式的

远程交互和沟通。远程多感官互联将通过支持端边协同、智能感知技术、移动算力网络、加

密技术、访问控制和云计算等技术，以保障良好的用户体验。利用6G使能技术充分满足多

种感官（如听觉、视觉与触觉）之间的协同性，实现低延迟、高可靠性、高安全性、高清晰

度和高帧率的传输和处理，以便为用户提供更加个性化、实时化、真实化的交互体验。

2.2需求

从沉浸式通信应用场景中可以看出，沉浸式通信需要6G网络提供高速率、低时延、

高可靠、高安全等性能以及多模态协同传输，以实现更加丰富和真实的用户体验。同时

沉浸式业务具有业务模式随着场景和应用变化的特点，需要支持可变QoS和QoE。沉浸式

设备需要减少发热，延长电池续航时间，对网络和终端节能都有需求。

2.2.1超高带宽/极高数据速率及低时延高可靠

沉浸式通信作为6G网络的关键应用场景之一，对网络性能提出了更高的要求，主要体

现在超高带宽、极高数据速率以及低时延高可靠三个方面。

1.极高数据速率：沉浸式通信需要极高的数据传输速率来支持高清、3D甚至6D视频

内容的实时传输，以及高交互XR业务。ITU-RM.2160[4]对用户体验速率的举例为300Mbps

到500Mbps。ITU-RM.2516[3]中指出室内场景峰值数据速率可能达到Tbps。3GPPTS

22.261[1]中针对VR8K视频的用户数据速率要求为1Gbit/s，通过头显观看视频的VR业

务数据速率可以高达10Gbit/s。3GPPTS22.263[2]中即使一些压缩的视频数据速率也能

达到3Gbit/s，医疗的数据速率甚至达到50Gbit/s。

2.低时延：为了保证用户沉浸感体验，沉浸式通信要求网络具有极低的时延。3GPPTS

22.261[1]中VR的MTP（Motion-To-Photon）要求为7~15ms，云/边缘/分割渲染用例的

MTP为5ms。3GPPTS22.263[2]中对音频的端到端时延指标为750µs和4ms，对视频的端

8/75

到端时延指标为3ms，6ms，40ms，400ms和1s，对医疗的端到端时延指标为1ms，10ms，

20ms和100ms。ITU-RM.2160[4]中对用户面时延的研究目标是0.1–1ms。

3.高可靠：可靠性指标有误包率（PacketErrorRatio，PER），误块率（FrameErrorRate，

FER）和误码率（BitErrorRate，BER）三种表述形式。误包率=错误数据包数/总数据包数，

误块率=错误数据块数/总数据块数，误码率=错误比特数/总比特数。对沉浸式业务应用，可

靠性往往指的是误包率或传包率（1-误包率）。3GPPTS22.261[1]中对VR/AR业务的可靠

性（传包率）要求为99.99%，对多模态业务的可靠性要求在99.9%到99.999%。3GPPTS

22.263[2]中音频的PER指标为10−5和10-6，视频的PER指标为10−7到10−10，医疗的PER

指标为低于10−4到10−7，ITU-RM.2160[4]中对可靠性（传包率）的研究范围为1-10−5到1-10−7。

2.2.2多维多模态

沉浸式业务的生成和传输包含了多个维度的信息，这些信息来源于视频、音频、触

觉、嗅觉、味觉等。只有当各个维度的信息保持严格同步（包括时间，空间，运动方向

等的同步和一致性），才能给用户身临其境的感觉。因此，在传输过程中，来自不同传感

器、不同角度的物体生成的各个并发媒体流之间需要保持相当严格的同步。

沉浸式业务的多维多模态需求体现在时间，空间，运动方向等多个维度，其中空间，

运动方向等维度主要是通过构建包含完备的通信信息与多模态感知信息的数据集来实现。

多模态需求中与通信直接相关的需求体现在多维多模态时间同步上。3GPPTS22.261[1]

中以图形方式对多模态交互系统的显示图见图1。

图1多模态交互系统[1]

对于沉浸式多媒体多维多模态业务的同步传输，引入了同步阈值的概念，同步阈值可

定义为两个多媒体流的最大可容忍时间间隔。其中一个多媒体流为一种感官的数据，另一个

9/75

多媒体流为另一种感官的数据，满足同步阈值的感官就会被认为是同步的。

对于音视频同步，

目前在音视频同步方面影响最大的国际标准是ITU-RBT.1359-1(RELATIVETIMING

OFSOUNDANDVISIONFORBROADCASTING)[5]，该标准由国际电信联盟在1998年提

出，针对电视广播的音视频同步标准，该标准至今依然被使用。该标准根据人体评测结果，

将音视频同步划分为5个等级。

表1音视频同步等级

体验感无法感知能够感知可以忍受不可接受

(-∞，-185ms)

延迟范围(-100ms，+25ms)(-125ms，+45ms)(-185ms，+90ms)

∪(+90ms，+∞)

其中延迟范围是视频延迟与音频延迟的差值，负数表示音频延迟更大，正数表示视频延

迟更大。现实中光速快于音速，人体习惯于画面快于声音，对声音滞后有更大的耐受度，而

音频提前于视频则会导致不适。因此音视频同步阈值是非对称的。基于以上音视频同步等级，

可以简化为音频与视频的延迟<-200ms或者>100ms都是不可忍受的，音视频的同步阈值可

以定义为(-200ms，+100ms)。

在3GPPTS22.261[1]中进一步缩小了VR的音视频的同步阈值，规定为音频延迟范围

为[125ms，5ms]，视频延迟范围为[45ms，5ms]。

沉浸式多模态除了音视频外，还包括触觉、嗅觉、味觉等，目前对触觉研究较多，3GPP

TR22.847[9]中对触觉与音频和视频的同步阈值规定见表2。

表2触觉与音频，视频的同步阈值

多媒体流同步阈值(note1)

音频-触觉音频延迟:50ms触觉延迟:25ms

视频-触觉视频延迟:15ms触觉延迟:50ms

NOTE1:对于每个媒体流，“延迟”指的是该媒体流与其他媒体流相比延迟的情况。

多维多模态是沉浸式通信的特点，如何更好的支持多模态是沉浸式通信的研究重点。

2.2.3业务特征动态变化及协作控制

以XR为代表的沉浸式通信可以为用户创造一个沉浸式的交互环境，使用户能够享受到

身临其境的极致体验。在这个过程中，受到用户行为和需求变化、网络状态起伏和设备性能

10/75

等影响，虚拟环境也需要动态变化和适配，以免影响用户体验。因此，XR业务的一大特点

是其业务模式（TrafficPattern）会随着场景和应用变化，从而具有动态变化的业务数据特性，

例如可变的数据比特速率、可变的数据帧/数据包大小[12]。文献[13]对沉浸式通信业务特

征的动态变化和影响有进一步描述。例如，用户拖拽业务进程会影响媒体帧大小，引起应用

层业务特征的变化，为此，应用层可预先为网络提供多组QoS需求，并在业务进行中提供

实时特征指示，网络需要识别和适配业务特征的变化。对于实时性较强的沉浸式业务，应用

层采用了FEC（ForwardErrorCorrection，前向纠错）编码增加冗余，提高包传输的可靠性，

减少重传降低时延。其中，编码开销在10-50%之间，可能随传输状况动态调整，从而影

响业务数据速率，也需要网络按需满足。

此外，沉浸式多媒体业务可能由多个不同媒体流组成，在传输时，这些媒体流可以复用

在一个传输通道中，也可以使用不同的通道传输。而且，每个媒体流有不同的QoS需求，

业务特征也可能发生变化。因此，6G网络不光需要识别并支持多路复用、共享传输下的差

异化QoS，还需要在部分数据流特征发生变化时，支持同一业务下不同流QoS满足的协同

控制，特别是涉及多基站下多个终端承载的多流协同，以便多个数据流QoS实时需求同时

得到满足，保障用户的沉浸式业务体验。

综上所述，为了实现沉浸式通信场景下对业务特征的实时满足，以及多流之间的协同控

制，6G网络需要增强对业务需求动态变化的感知和适配能力，通过基站之间、基站与终端

之间的实时信息交互，提高网络对沉浸式业务的服务能力。

2.2.4安全性

沉浸式业务在网络中会传输更多前所未有的数据形式，传输的信息可能涉及用户人脸、

声音等生物特征以及行为数据等其他敏感信息和个人隐私。因此，需要确保这些数据在

传输和处理过程中不被未经授权的人获取和篡改，避免隐私泄露风险。因此，安全性是

沉浸式通信的重要需求。

6G的安全机制应该为差异化的应用场景与新的网络架构提供全面且可靠的安全防护。

其中涉及多个安全域，如终端设备安全、网络接入安全、网络域安全等。

2.2.5绿色低碳

沉浸式终端，如VR和AR设备，通常需要较高的计算负荷和能耗，这导致设备发热和

电池消耗快，影响用户体验。大带宽传输和多收/发天线数目会增加终端的射频前端和收发

11/75

链路的能耗。

通过节能技术，可以减少设备发热，延长电池续航时间，提升用户佩戴舒适度。另一方

面，通过节能技术，使得设备变得更轻便，更易于商业化和用户日常使用。

6G网络需要绿色可持续发展，因此对6G网络提出了更严苛的性能指标。可以通过架

构智简、协议智简、组网智简构建绿色低碳的网络体系，以及采用动态关断技术来降低能耗。

12/75

3相关标准化和产业化进展

沉浸式通信作为未来通信六大应用场景之一，国内和国际多个标准组织均对沉浸式通信

进行了研究，发布了多项研究报告和标准。同时，各国和各大公司正在积极布局沉浸式产

业，以期在未来的广阔市场中占据先机。

3.1国际标准化进展

3.1.13GPP

3GPP是制订无线通信标准的国际标准化组织。从Release15开始，3GPPSA4工作组就

开始对虚拟现实开展研究工作，在Rel-17对XR的典型业务特征、编解码特征和协议特征

进行了研究。RAN1工作组则对XR业务模型和评估方法进行了研究。3GPP在Rel-18全面

启动端到端XR业务的系统架构和网络机制的研究，涉及RAN1、RAN2、RAN3、SA1、SA2、

SA4等多个工作组。5GXR的网络增强被广泛地认为是3GPPRel-18的重要标准工作。

SA1在3GPPTS22.104，3GPPTS22.261，3GPPTS22.263标准中针对沉浸式业务给出

了具体KPI参数集。

SA2进一步进行5G网络架构增强，以更好地支持移动媒体服务、云AR/VR、云游戏、

基于视频的机器或无人机远程控制等5GXR业务。包括多模态传输、5GS信息公开、基于

PDUset的QoS处理、上下行传输协调、包时延变化监测和报告以及节能增强。

SA4对虚拟现实VR音频和视频内容制作，格式，质量评估，应用场景和质量衡量标准

进行了研究和标准化工作，给出了VR流媒体的profile，定义了沉浸式语音和音频服务的

EVS编解码，定义上行链路直播流媒体（例如360视频，VR，UHD，多声道音频）的框架，

给出了VR的QoE指标。

RAN工作组针对XR业务特征，进一步在上下行带宽、时延、抖动、丢包率、网络拥

塞、节电方面进行了增强。Rel-18XR在RAN侧的增强集中在三个方面：XR业务感知、节

能、容量提升。

当前3GPP正在进行Rel-19的标准化工作，包括SA1,SA6和SA3参与的Rel-19本地化

移动元宇宙业务研究，SA1的XR业务UE移动性支持，SA2和SA6参与的XRM第二阶段

项目，以及RAN的XR第三阶段项目。

XR涉及很多3GPP标准，大部分协议中都会针对增强点做相应的标准修改，例如

13/75

BSR,DSR的增强主要体现在TS38.321中，这里仅列出一些沉浸式通信强关联的协议和标准。

表33GPP沉浸式相关标准

序

标准号标准名称标准内容

号

Servicerequirementsforcyber-physical垂直领域中的网络物理控制应用的服务

1TS22.104

controlapplicationsinverticaldomains要求

2TS22.156MobileMetaverseServices;Stage1移动元宇宙业务

3TS22.261Servicerequirementsforthe5Gsystem5G系统业务需求

ServicerequirementsforVideo,Imaging

4TS22.263专业应用的视频、图像和音频业务需求

andAudioforProfessionalApplications

Studyonsupportingtactileand

5TR22.847关于支持触觉和多模态通信业务研究

multi-modalitycommunicationservices

FeasibilityStudyonLocalizedMobile

6TR22.856本地化移动元宇宙业务可行性研究

MetaverseServices

TRStudyonXR(ExtendedReality)andmedia

7XR和媒体业务研究

23.700-60services

Studyonarchitectureenhancementfor

TR

8ExtendedRealityandMediaservice扩展现实和媒体业务架构增强研究

23.700-70

(XRM)

3GPPVirtualrealityprofilesforstreaming

9TS26.118流媒体应用的虚拟现实配置文件

applications

DeviceMediaCapabilitiesforAugmented

10TS26.119增强现实服务的设备媒体功能

RealityServices

11TS26.238UplinkStreaming上行链路流

VirtualReality(VR)streamingaudio;虚拟现实(VR)音频流；

12TR26.818

Characterizationtestresults特性测试结果

VirtualReality(VR)mediaservicesover

13TR26.9183GPP虚拟现实媒体业务

3GPP

TrafficModelsandQualityEvaluation

5G系统媒体和XR业务的业务模型和质

14TR26.926MethodsforMediaandXRServicesin5G

量评估方法

Systems

15TR26.928ExtendedReality(XR)in5G5G扩展现实

14/75

QoEparametersandmetricsrelevanttothe与虚拟现实（VR）用户体验相关的QoE

16TR26.929

VirtualReality(VR)userexperience参数和指标

CodecforImmersiveVoiceandAudio沉浸式语音和音频服务（IVAS）编解码

17TR26.997Services(IVAS);器；

PerformanceCharacterization性能鉴定

VirtualReality(VR)Streaming虚拟现实(VR)流媒体互操作性和特性

18TR26.999

InteroperabilityandCharacterization分析

19TR38.835StudyonXRenhancementsforNRNRXR增强研究

StudyonXR(ExtendedReality)

20TR38.838NRXR评估研究

EvaluationsforNR

3.1.2ITU

ITU的国际电联电信发展部门（ITU-D）、国际电联无线电通信部门（ITU-R）和国际电

联电信标准化部门（ITU-T）都在进行VR/AR相关的研究工作。早在2018年，ITU-D研究

组进行了新广播技术和新兴服务在VR/AR上的趋势以及电信业务对应的政策和方法的研究。

ITU-T下的研究组SG9（broadbandcableandTV）、SG12(Performance,QoSandQoE)、

SG16(Multimedia)、SG20(IoT,smartcity&communities)、SG21(Multimedia,content

delivery&cableTV)都有VR/AR标准研究项目，其中云XR研究成果较为突出。ITU-TSG16

完成了H.430系列标准的制定，为交互型沉浸式业务提供了标准化的框架，推动了VR、AR

等技术的发展和国际标准化进程。

ITUSG16与ISO/IECJTC1/SC29合作成立的联合视频专家组（JointVideoExpertsGroup，

JVET）已制定VR/AR相关的H.266（VVC）通用视频编码标准。H.266支持8K超高清、

屏幕、高动态和360度全景视频等新的视频类型以及自适应带宽和分辨率的流媒体和实时通

信等应用。相对于H.265/HEVC，H.266在同等画质下可以节省近50%的传输流量，对于高

清晰度视频，码率节省甚至更多。

另外，ITU-R下的SG6（broadcastingservice）研究组开展了VR/AR视频相关的技术研

究，已经发布了BT.2123-0和BT.2420-0两项研究成果。

ITUNetwork2030提出全球性网络发展愿景，旨在定义2030年及以后网络和相应通

信服务的能力。Network2030将支持更丰富的应用，如全息通信、多感官通信、紧急通

信和协作机器人（或称Cobots）。在其系列报告中，将多感官协同业务、全息业务作为代

表性新兴业务，开展了详细的技术gap和性能目标分析。

15/75

2022年12月，ITU-T成立元宇宙焦点组（FG-MV），致力于为元宇宙制定国际技术标准，

并发布了《2024-FSTP-ACC-MV-SUST-Accessibilityinasustainablemetaverse》。

2023年11月国际电联发布了《IMT面向2030及未来发展的框架和总体目标建议书》

ITU-RM.2160[4]，定义了六大场景，其中“沉浸式通信”场景作为5GeMBB场景的增强，

主要包括沉浸式XR通信、远程多感官呈现、全息通信等典型用例。

表4ITU沉浸式相关标准

序

标准号标准名称标准内容

号

1H.266Versatilevideocoding多用途视频编码标准

ConformancespecificationforITU-TH.266ITU-TH.266多用途视频编码的一

2H.266.1

versatilevideocoding致性规范

ReferencesoftwareforITU-TH.266versatileITU-TH.266多用途视频编码参考

3H.266.2

videocoding软件

Requirementsforimmersiveliveexperience

4H.430.1沉浸式现场体验（ILE）业务需求

(ILE)services

Architecturalframeworkforimmersivelive沉浸式现场体验（ILE）业务架构框

5H.430.2

experience(ILE)services架

Servicescenarioforimmersiveliveexperience

6H.430.3沉浸式现场体验（ILE）业务场景

(ILE)

Serviceconfiguration,mediatransport

沉浸式现场体验（ILE）系统MPEG

protocols,signallinginformationofMPEG

7H.430.4媒体传输业务配置，媒体传输协议，

mediatransportforimmersiveliveexperience

信令信息

(ILE)systems

Referencemodelsforimmersivelive沉浸式现场体验（ILE）演示环境的

8H.430.5

experience(ILE)presentationenvironments参考模型

Mediatransportprotocols,signalling

媒体传输协议，沉浸式现场体验

9H.430.6informationofhaptictransmissionfor

（ILE）系统的触觉传输信令信息

immersiveliveexperience(ILE)systems

10H.430.7Requirementsofinteractiveimmersiveservices互动沉浸式业务需求

Functionalarchitectureofinteractiveimmersive

11H.430.8互动沉浸式业务系统功能架构

services(IIS)systems

16/75

Functionalarchitectureforcloudvirtualreality

12H.431.1云VR系统功能架构

systems

Videoparametervaluesforadvanced

规定了用于制作和国际交换的高级

immersiveaudio-visualsystemsforproduction

13BT.2123-0沉浸式视听（AIAV）系统的视频参

andinternationalprogrammeexchangein

数

broadcasting

Collectionofusagescenariosandcurrent规定了用于制作和国际节目交换的

14BT.2420-0statusesofadvancedimmersiveaudio-visual高级沉浸式视听（AIAV）系统的视

(AIAV)systems频参数

ITU-RFrameworkandoverallobjectivesofthefuture面向2030及未来发展的框架和总体

15

M.2160-0developmentofIMTfor2030andbeyond目标建议

ITU-RFuturetechnologytrendsofterrestrial面向2030及未来的地面系统技术趋

16

M.2516-0IMTsystemstowards2030andbeyond势

2024-FSTP-ACC-MV-SUST-Accessibilityin

17可持续元宇宙中的无障碍环境

asustainablemetaverse

NewServicesandCapabilitiesforNetwork

ITU-T

2030:

FG2030网络的新服务和功能：

18Description,TechnicalGapandPerformance

NET-2030描述、技术差距和性能目标分析

TargetAnalysis

Sub-G2

3.1.3ISO/IECMPEG

国际标准化组织ISO和国际电工委员会IEC下属的运动图像专家组MPEG于2016启动

针对服务于虚拟现实VR、增强现实AR和混合现实MR等场景的沉浸式媒体的标准化工作，

发布了ISO/IEC23090MPEG-I标准，该标准包含沉浸式媒体的总体框架和系统、全向媒体

格式、视频编码、MPEG沉浸式视频MIV、MIV的一致性测试、触觉编码、场景描述等

多个技术领域。目前，3DoF视频的标准化工作已完成，针对6DoF视频的工作还在推进中。

17/75

表5ISO/IEC23090MPEG-I系列标准

序

标准号标准名称标准内容

号

ISO/IECCodedrepresentationofimmersivemedia—

1沉浸式媒体的总体框架和系统

23090-1Part1:Generalframeworkandtimeline

ISO/IECCodedrepresentationofimmersivemedia--定义了全向媒体格式（Omnidirectional

2

23090-2Part2:OmnidirectionalmediaformatMediaFormat）

定义了基于视频的体积视频编码（Visual

ISO/IECCodedrepresentationofimmersivemedia--VolumetricVideo-basedCoding，V3C）和基

3

23090-5Part5:Video-basedpointcloudcompression于视频的点云压缩（Video-basedPointCloud

Compression，V-PCC）。

详细描述了MPEG沉浸式视频（MPEG

ImmersiveVideo，MIV），它支持压缩沉浸

ISO/IECCodedrepresentationofimmersive式视频内容，使得真实或虚拟的3D场景可

4

23090-12media-Part12:MPEGimmersivevideo以通过多个真实或虚拟相机捕获，并支持6

自由度（6DoF）的视角位置和方向进行播

放。

ISO/IECCodedrepresentationofimmersivemedia—场景描述，为沉浸式媒体提供场景的数字化

5

23090-14Part14:Scenedescription表示。

Codedrepresentationofimmersivemedia—

ISO/IEC规定了如何进行MIV的一致性测试，并提供

6Part23:Conformanceandreferencesoftware

23090-23了参考编码器和解码器软件。

forMPEGimmersivevideo

Codedrepresentationofimmersivemedia—

ISO/IEC涉及触觉编码的一致性和参考软件，定义了

7Part33:Conformanceandreferencesoftware

23090-33与触觉相关的术语和格式。

forhapticscoding

ISO/IEC23005系列标准为多媒体内容的交互和控制提供了一套全面的规范，支持虚拟

世界和真实世界之间的数据流动和交互，旨在规范物理世界与虚拟世界以及虚拟世界之间的

接口，以实现互操作性、同步反应和无缝信息交换。ISO/IEC23005适用于广泛的元宇宙商

业服务。

18/75

表6ISO/IEC23005系列标准

序

标准号标准名称标准内容

号

沉浸式媒体的总体框架和系统。MPEG-V

（媒体上下文和控制）的架构以及与之相关

ISO/IECMediacontextandcontrol—Part1:

1的三种用例类型：从虚拟世界到真实世界的

23005-1Architecture

信息适应、从真实世界到虚拟世界的信息适

应、虚拟世界之间的信息交换。

ISO/IECMediacontextandcontrol-Part2:Control

2媒体上下文描述

23005-2information

ISO/IECMediacontextandcontrol—Part3:Sensory

3媒体控制描述

23005-3information

ISO/IECMediacontextandcontrol—Part4:Virtual

4媒体控制接口

23005-4worldobjectcharacteristics

交互设备的数据格式，包括用于识别设备的

标识符、环境信息、控制指令、设备状态和

ISO/IECMediacontextandcontrol—Part5:Data

5执行结果等内容。它为交互设备的通信提供

23005-5formatsforinteractiondevices

了标准化的格式和协议，确保数据的准确性

和一致性。

ISO/IECMediacontextandcontrol—Part6:Common

6媒体控制协议

23005-6typesandtools

3.1.4IEEE

IEEE消费技术协会下的虚拟现实和增强现实标准委员会设立了两个标准工作组，包括

13个VR/AR的标准项目，覆盖设备分类、沉浸式视频、沉浸式音频、用户界面、身份认证、

环境安全、虚拟对象映射、虚拟对象与现实世界之间的互操作性、内容的评级等多个技术

领域。针对全景视频投影技术，IEEE发布了面向沉浸式视觉内容编码的标准IEEE1857.9，

该标准定义了一套有效编码沉浸式视觉内容的工具，以及相应的解码和重建程序。沉浸式视

觉内容包括但不限于全景视频、自由视图视频、光场、三维（3D）模型和其他类型的合成

视觉内容。通过计算沉浸式视觉内容的目标视觉质量下的数据速率来衡量编码效率。

19/75

表7IEEE沉浸式系列标准

序

标准号标准名称标准概述

号

IEEEStandardforVirtualRealityandAugmented

1