扩展现实（XR）产业和标准化研究报告

扩展现实（XR）产业和标准化研究报告目 录前 言 1第一章总体情况 3良好政策环境带来发展机遇 4软硬件+内容构建XR产业生态 6产业体系 9第二章基础通用 13关键器件 13基础软件 38基础技术 56第三章内容生产 75内容采集 75内容制作 91第四章内容分发 108分发传输 108业务运营平台 115第五章内容呈现与交互 123内容呈现 123感知交互 129第六章产业应用 144工业生产 144文旅娱乐 151商贸创意 163教育培训 167医疗体育辅助 183安全应急 199智慧城市 207第七章扩展现实标准化体系 214现有标准和在研计划 214国际标准现状 215标准体系规划 218标准化工作规划 227前 言为贯彻落实《虚拟现实与行业应用融合发展行动计划（2022—2026年）》《元宇宙产业创新发展三年行动计划（2023-2025年）》等文件要求，系统化推进我国扩展现实（XRVRARMR等）标准化工作开展，2024513日，全国信标委计算机图形（C2/SC2（C24）以（TC28/SCXR领域标准体系研究和相关国际、国家、行业、团体标准制定。本报告主要参编单位有（排名不分先后）：OPPO广东移（山东限公司、浙江水晶光电科技股份有限公司本报告主要参编人有（排名不分先后）：段家喜、王阳、陈近近、冯东洋本报告公开发布。转载、摘编或利用其它方式使用本研究报告文字或观点的，请注明：“来源：《扩展现实（XR）产业和标准化研究报告（2024版）》”。本报告将结合XR产业发展和国内国际标准化进展，依托XR标准工作组，持续更新。感谢关注！潘 榕 耿丹扩展现实（XR）标准工作组2024年12月18日《扩展现实（XR）产业和标准化研究报告（2024版）》第章 总情况扩展现实（ExtendedRealityXR）是从现实到虚拟的连续概念统称。XR以沉浸式图像处理和显示等核心技（其余两项包括先进无线通信和区块链XRAR)（MixedReality，是通过计算机图形图像等系统；AR是将现实世界中的实体通过模拟仿真处理将虚拟信息叠加在真实世界中加以应用；MRVRAR的进一XR领域的探索性方向。作为新一代信息技术的重要前沿方向，XR是下一代通领域。XR集成了近眼显示、渲染计算、三维重建、传感测XR3DXR终XR内容生产工具开发的投入力度，加强针对产业高质量发展。良好政策环境带来发展机遇世界各国政府加快布局，XR产业不断创新和发展。欧2014XR2017年提出《科学与技术战XR等技术利用；日本内阁会议发布《科2017XR2022XR等技术推广至更广泛的学生和教师群体。在国内，国家和地方省市政府高度重视XR产业，相关20163XR“十四五”规划纲要将虚拟现实和增强现实产业列为未来五年数字经济重点产业；2022合发展行动计划(2022-2026年)52023（2023-2025年XR技术的创新和XR产业发展，打造全新的数字经济生态体系。在国家政策的有力支持下，我国XR产业正蓬勃发展，生态体系不断完善，呈现良好发展态势。XR核心技术不断5GXR融合应用不断深化，亚运会、数字火炬人、VR观赛等给观众带来震撼新奇的赛事体验，XR新场景、新模式、新业态层出不穷。目前XR产业链企业主要集中在北京、广东、上海等地XR专利数量最多的省份，江西和部地区加大对XR产业引导力度，2023VR产业大会、13届西部VR/ARXR资源，聚焦产XR产业高质量发展。软硬件+XR产业生态XR产业包括硬件、软件、内容制作与分发、应用和服XR产业生态发展注入活力。硬件性能迭代优化，持续向轻薄超清化目标迈进。硬件备；配套外设包括手柄、摄像头体感设备等视/触/力觉反馈装置等。ProM2+R1PICO4Pro7纳米XR2芯片，能进行高效场景理解和三维重VR/AR/MR智慧终端提供Fast-LCD和超高分辨率、OLEDPancake透镜成XR设备的热门解决方案，国内的华为、创维及国MetaPancake光学方AR眼镜兼具语音识别和AR眼镜采用了高清摄像头和深度传感器，融合开发3DUnityU3D和EpicGamesUnrealEngineAR开发者的便捷化软件开发工具ARKitARCoreXR企业也推出了XR内容开发引擎、系统和内容制作系列软件，部分产品已有大量开发者入驻。开发平台方面，Facebook发布了最新XRHorizonAR透视、Pico为创作者提供了一站式的XR内容创作、应用检测获5GVR开发平台，通过云上图像渲染和内容制作，结合边缘计算和AI技术，促进终端轻量化和移动化。消费级XR内容正在突破单一限制，生态逐步完善。XRXR20236随时随地畅游于魔幻乐园之中。Pico应用商店汇聚了超过400XR350款游戏内容，此XR内容。Steam平台作为XR内容应用的平台之一，已经推出了超过7344XR的内容应用，XR250推出AppLab渠道，允许开发者提供实验性、小众和早期的内OculusStoreGorillaTag内容在AppLabOculusStoreBeatSaberiOUT内容制式，其内容在分辨率以及Pico供了更加丰富多彩的内容，为用户呈现出更为引人入胜的XR体验。硬内容应用提供坚实高品质显示等保障，赋予内容更加生动、XR消费市场的逐步扩大。三者协同发展为整个XRXR市场的前景更加值得期待。产业体系XR产业链初步形成XR产业生态体系按产业链环节划分，包括基础通用、内容生产、内容分发、内容呈现与交互、行业应用。基础通用环节主要涉及XR技术的研发和标准化工作，包括硬件和软件的基础技术研发，以及制定相关的技术标准和规范；内容生产环节涵盖了从场景设计、角色建模到交互设计等一系列内容制作过程；内容分发环节主要负责将制作好的XR内容进行发布和推广，通过各种渠道和平台将内容传递给用户；内容呈现与交互环节主要负责将XR内容以高质量的方式呈现给用户，并提供良好的交互体验，包括头戴式显示设备的设计和优化，以及交互方式的设计和实现；行业应用环节主XR技术应用到具体的行业中，为各行业提供创新的解决方案，包括工业、游戏、教育、医疗、旅游等。目前，我国XR产业初步形成全产业链生态体系，核心5GXR设备纷纷涌现。XR产业市场初具规模5G商用加速到来，开启了XR产业发展的新一轮热潮，推动XR的应用范围从直播、游戏等消费娱乐领域，加速向工业、医疗、教育等垂直领域渗透，实现规模化发展。XR的国家之XR头显产品销售仍呈现波动状态。据IDC统计，2023AR/VR头显出货72.5202239.8%AR26.2万46.357.9%。2023全年，ARAR/VR36.1%，创历史新高。从XR的应用场景看，除游戏、娱乐等大众熟知的应用场景外，XR已涉足医疗保健、教育、机械工程等新领域，行业渗透率不断提升。其中AR游戏的表现尤为引人注目，根据MarketsandMarkets的预测，2025年AR在电子游戏应用领域所占份额将达到AR领域的28.1％。2021XR在现实物理世界基础上为用户开拓了一个数字化的虚拟世界空间，是元宇宙的核心。元宇宙的兴起导致XR行业投资数量明显增加。2022XR154202155336.912021年增加了227.7120236XR65起，投资金额64.56亿元。3.3XR生态体系尚未完善国内XR产业链已较为完整，但整体来看自主产业生态体系尚未完善。XR重点领域龙头企业少，具有领先自主技定突破，但难以取代国外软件的市场地位。XR高端研发人才缺乏，相关政策法规和标准测试认证体系亟待完善。XRXR的认知认可程XR内容缺乏变现渠道影响了开发者的积极性，内容和终端互相促进的正向循环产业生态尚未形成。第章 基通用关键器件核心计算芯片XRXR设备主要技术特点核心计算芯片的技术特点主要包括：设备芯片具有更强的空间计算能CPUGPUISP、VPUNPUCPU个任务，提高XR产品的运行效率。证用户视觉体验的流畅性。因此，芯片中的GPU模块具备实时渲染能力，能够在短时间内完成大量的图形渲染任务，并不断向更精细的图形渲染、更高效的通用计算和更智能的AI运算方向发展。多传感器信息融合：核心计算芯片能够处理来自计提XR产品的续航能力和稳定性。主要功能模块核心计算芯片主要功能模块包括：CPU、GPU、ISP、VPU、WCN、NPU等。（CentralProcessing实体验。未来更高级别CPUAI能力DSPXR应用算法实现提供良好支撑并为运算实XR内容生态开发提供便利，CPU需提供强大的生态和软件支持。（GraphicProcessingGPU不仅向着更多更精细的图形渲染能力、AI运算能力方向迈能计算、更加逼真的图形展现方向将成为GPU未来发展的三个趋势。(ImageSignal负责接收感光元件（Sensor）控制等。未来ISP随着高像素采样和多摄的不断发展，将会提出更高的性能收益。Processing视频格式和灵活稳定的码率控制。未来VPU将需要支持更16KXR设备的需求。WCN：无线通信网络（WirelessCommunicationNetwork，WCN）主要负责无线通信功能，支持高速数据传XR业务高频多连DSP：数据信号处理（DataSignalProcess，DSP）（例如音频信号DSP向更低功耗、更强计算能力方向演进。DPU（DisplayPocessingUnitDPU）单眼8KDPU需要支持1KDPU的宽占用，特别是与GPU的交互带宽。NPU：神经网络处理单元（NeuralProcessorUnit，NPU）将更加注重针对特定应用场景的计算需求。主流核心计算芯片目前主流的XR核心计算芯片主要有：SnapdragonXR2Gen2124K分辨率空间计算。SnapdragonXR2Gen2平台，搭载设备端人工智能和低延迟视频透视功能，为XR体验提供更高水平的沉浸感。SnapdragonAR1Gen1平台，专为智能眼镜ISP目显示器以实现免提通知和指示。SnapdragonAR2Gen1平台，专为轻便、无AR眼镜设计，优化尺寸、功耗、性能，可支持Wi-Fi7，支持定位追踪、环境感知、平面检测等功能，采用4nmAR协处理AI和计算机视觉，使得AR眼镜更轻薄。瑞芯微VRRK3288RK3399RK3588。RK3588具备强大的视觉处理能力，可支持结构光、TOF等8K显示处理能力；扩展性好，支持PCIE3.0、、双TypeC/USB3.1等高速接口，可做AI算力、图像数据处理等扩展。虽然国产芯片不断探索，但与国外先进芯片仍存在较大差距，相关技术仍是未来需要持续探索和不断投入的方向。传感器陀螺仪XR设备中，陀螺仪主要用于追踪头部或精度提升：现代陀螺仪具有极高的测量精度，能够捕捉到微小的设备动作，使得XR体验更加真实。集成化：随着技术的发展，陀螺仪正变得越来越XR设备中。加速度计XR中，加速度计通常与其他传感器结合使用，以提供更准确的运动追踪。其特点有：多轴测量：现代加速度计能够测量多个轴上的加XR设备提供更为详尽的运动数据。噪声减少：随着技术的进步，加速度计的噪声水平正在不断降低，提高了数据的准确性。磁力计磁力计用于测量地磁场强度和方向，主要用于确定设备的方向。其特点有：XR使用户能够更为自然地在虚拟环境中移动。校准和稳定：磁力计还可用于校准其他传感器并XR体验的一致性和准确性。光学传感器光学传感器利用光学原理进行测量，常被用于位置和方向的精确检测。其特点有：XRXR设置还使用外部光眼动追踪传感器眼动追踪传感器主要涉及相机、光电传感器、超声换能器等。相机：眼动追踪领域一般采用红外相机进行眼部（例2mm*1.96mm*3.42mm）（30~380Hz）48mW）；事件相机采样率较高（1000Hz）、光电传感器：基于光电传感器的眼动追踪方案，（如发光二极管发出再经人眼反射后发光与感光一体器件将是光电传感器的发展趋势。超声换能器：基于超声换能器的眼动追踪方案，显示屏概述XRXR产品的核心组件，对于提升用户体验和沉浸感起着至关重要的作用。XR显示屏涉及的主要性能指标有：XR产品中，3D显示屏的分XR3D显示屏2K、4K8K的90Hz、120Hz或更高的刷新率。XR产品沉3D显示屏时的可视XR3D显示屏已经能够实现接近人眼的视角和视场角。串扰值：3D3DXR3D1.8%以下，能够3D显示观看效果。业界在不断探索新的XR显示屏技术路线，目前主要涵盖AMOLED、Fast-LCD、MicroLED等显示屏产品。AMOLED按照驱动方式的不同，OLEDPMOLEDAMOLED两大类，AMOLEDOLED显示发展的主要方向。AMOLED使用有源驱动方式，可以针对每个像AMOLED90%的工5%。AMOLED产业对韩国供应链的依赖程度较高。随着良AMOLED出货持续攀升。AMOLED工艺较复杂，对工艺的精细度和到电性指标的均一度有极高要求。此外，AMOLED性能需要进一步提FMM物理限制带来的瓶颈。Fast-LCDFast-LCD技术使用了全新铁电液晶材料和超速驱动技Fast-LCD在保证高分辨OLED，且因为成熟工艺带来的造价成本相对更低。凭借同时具备高清画质和高刷新率的优XR设备领域稳居应20172023Fast-LCD的PICO4XR-V3HTCXRElite、OculusQuest2、PicoNeo3等机型。Fast-LCDLED背光Fast-LCD成为重要技术方向。Fast-LCDMiniLED相结合，不仅可以很好Fast-LCD在高对比度、HDR功能，将更好地发挥XR产品近眼超清细腻画质的要求。MicroLEDMicroLED指在芯片上集成高密度微小尺寸的LED阵（点距0.1mm0.3mmMicroLED显示产0.9mm0.2mmMicroLED产品。MicroLED产业呈现出创新研发热度高涨、市场发展潜MicroLED发展机遇，苹果、谷歌、TCLLGDisplay等国内外科技巨头纷纷涌入MicroLEDLED和OLEDMicroLED技术研发上取得了显著进展，如镭昱、Porotech、思坦科技、Kopin等纷纷发布MrcroLED微显示屏，雷鸟创新也MicroLEDAR眼镜。MicroLED技术发展处于商业化早期，现阶段仍有许多技术瓶颈亟待突破。如芯片制造环节，MicroLED芯片尺寸MicroLEDPPIMiniLED，小尺寸微显示应用无疑是未来MicroLED、镭昱、MICLEDI、Sundiode、思坦科技、赛富乐斯、PorotechMicroLED微型显示器，MicroLED显示在小尺寸微显示领域逐步兴起。光学器件VR光学器件VR光学经历了非球面透镜、菲涅尔透镜和Pancake方VR光学系统方案，但在显示的图像质量和光学放大系统总长度之间具有不可调和的VR头显方案的选择；Pancake方案，以其轻巧、出色的成像VR光学产品的发展和演进方向。非球面透镜非球面透镜（AsphericLens）的特点是有一个随着透镜的中心而径向变化的曲率半径，能够更精确地同时操纵多个波长的光，从而获得更清晰的图像，特别是边缘图像质量。因此，可以使用更少的光学元件，如一个或两个非球面透镜来取代五个或六个球面透镜，实现相同或更高的光学效果，降低整个系统的设计成本。VR头显使用的非球面透镜基本采用注塑成型工艺。歌尔股份、欧菲光、双莹光电、VR盒子大GearVR、以及暴风盒子以及当前千幻魔镜生产销售的VR盒子等，目前仅有爱奇艺奇Dream、PSVRVR头显使用了非球面透镜，其VRPancake光学方案。菲涅尔透镜菲涅尔透镜将连续的表面切割成一段常曲率的非常精镜，但对精度和材料要求更高。目前，VR光学中使用的菲涅降VR代工厂商以及光学厂商，包括歌VR头显Metaquest2、PICOneo3、NOLOsonic等均采用了菲涅尔透镜的方案。然而菲涅尔透镜同样存在重量较重、成像清晰度低等问题。Pancake方案Pancake光学方案又名折叠光路方案，压缩了VR光学VRVR头显轻量化Pancake方案工艺成熟，成本可控，可以实现大规模的量产。Pancake光学的核心思路是压缩屏幕与透镜之间的距离，目前非球面透镜和菲涅尔透镜的系统总长约为40-50mm，Pancake光学方案系统总长基本为18-25mm左右；Pancake光学方案中，通过透镜组合，可以提高透镜边缘成像质量，降低图像畸变，提高成像的对比度、清晰度、细腻度。Pancake光学模组生产主要包括光学设计、透镜加工、球面透镜和菲涅尔透镜，Pancake模组功能优势在于光路折1/4相位延迟片准确性Pancake光学成像质量构成关键影响。目前高端光学膜材只有日本企业可以提供。AR光学器件AR光学面向不同需求，衍生了两个主要发展方向：一BirdbathBirdbath方案Birdbath/组合器（半透半反）和一个分束器。BirdbathOLED的光OLED45度角。分束器具有反射（Br）和透射（Bt）特性，允许将光部分反Br的百分比，分束器返回的光通过凹面镜重定向到眼C端市场的AR终端主要使用Birdbath光学方案，比如华为、OPPO、Xreal、Rokid等厂家先后发布了基于Birdbath光学的C端产品。自由曲面方案自由曲面是一种有别于球面或者非球面的复杂非常规面形，即用来描述镜头表面面形的数学表达式相对比较复杂，往往不具有旋转对称性。显示器发出的光线直接射至凹面镜当前市面上采用自由曲面方案的AR智能眼镜无论在沉光波导方案AR几何光波导（又称阵列光波导）：通过镜面反射原理传导光信号，在人眼前方通过半透半反射膜阵列将光线Lumus，但由于制造工（正在探索二维扩瞳阵列光波导的产品方案。表面浮雕光栅波导：通过光的衍射光学原理实现波导方案相对成熟，已被很多产品商用，例如微软的Hololens2和MagicLeap2。表面浮雕光栅波导虽然工艺成熟射效率不高，还导致AR显示时的杂散光较为明显。全息体光栅光波导：以全息体光栅作为核心光学100%，光能利用率显著提高。同时，全息体光国外研究机构和企业通常直接采用德国科思创的Bayfol系AppleGoogleMeta、SonySamsung以及中国华为等国内外著名企业均积极布局全息体光栅光波导技术，推动全息体光栅光波导技术发展和产业化应用。通信模块概述XR系统由终端、内容生成系统、应用平台和网络传输XR和蓝牙模块用于网络XR5G网络还面临挑战，5GXR续航能力和性能、XR应用的内容和体验等方面，需要在技术、产业、政策等多方面进行协同创新和推进。5GXR技术的5G6G网络中XR游戏、XR电影、XR教育、XR医疗等领域。5G/6G3GPP5G5G的第一个版本就启XRR15和R16引入了低时延和高可靠传输，以及终端节能特性；R17XR业务特征以XR应用在系统容量、功耗等方面的研究，定义了触觉及多模态的需求；R18XR业务特征识别、终端节能和网络控制等技术；20242R19R19XR，的挑战，是未来的重点研究方向。Wi-Fi技术7（802.11be）6GHz（5.925GHz~7.125GHz）2.4GHz、5GHz和6GHz相应的网络性能，其中6GHz频段的将提供可达320MHz5ms，20msXR使用体验，XR应用场景。71672.47和6的吞4.6Gbps1.92Gbps6AP74K18K头戴设备，Wi-Fi7可174K48K头戴设备。蓝牙技术蓝牙技术可对XR设备的耳机和控制器提供可靠、低延迟及低功率的无线连接。XR设备可以通过蓝牙与其他设备进行交互，以及实现设备间数据传输、位置追踪及定位、连接耳机/音响播放音频等功能，增强XR的交互性及沉浸感。蓝牙技术联盟于2016年推出蓝牙5.0，较之前的蓝牙协2倍速率增加、48倍广2Mbps5.1引入了5.2300协议，LE功耗控制和LE5.3202325.4，主要改进之一是与来自单个接入点的数千个终端节点进行双向通信。相关标准化情况国际电子显示标准化技术委员会（IECTC110）主要负责电子显示设备及相关组件领域的标准化工作。针对全球正在兴起的虚拟显示产业，IECTC1102015年正式成立了“眼戴显示（EyewearIEC63145系列标准（1）系列标准主要内容包括对虚拟现实（VR）眼镜和增强现实TC547）对部分标准进行了采标。该系列标准为终端整机测试提供了重要参考和依据。TC110AR/VR互式显示器光学测量方法、AR眼镜显示的光学元件、柔性显示、OLED等方面的标准研制。表1IEC63145系列标准清单序号标准状态标准号标准名称（英文）标准名称（中文）主要内容1已发布IECTR63145-1-1:2018Eyeweardisplay-Part1-1:Genericintroduction眼戴显示第1-1部分：通则IECTR63145-1-1:2018(E)是一份技术报告，提供了眼戴显示标准化的一般信息。本文档包括技术概述、关键性能特征、光学测量问题和其他信息。2已发布IEC63145-1-2:2022Eyeweardisplay-Part1-2:Generic-Terminology眼戴显示第1-2部分：通则-术语本文件提供了用于增强现实、虚拟现实、混合现实以及这些显示器上的图像或视频渲染的眼戴显示领域的术语。3已发布IEC63145-10:2023Eyeweardisplay-Part10:Specifications眼戴显示第10部分：规范IEC63145-10:2023建立了眼戴显示的规范和要求。本文档适用于使用虚拟图像光学器件的虚拟现实(VR)类型(不透明)和增强现实(AR)类型(透明)眼戴显示。医学镜片的规格和要求超出了本文档的范围。IEC63145-20-10:2019（该标准目前在修订中）IEC63145-20-10:2019(E)规定了确定眼戴显示光学性4已发布Eyeweardisplay-Part20-10:Fundamentalmeasurementmethods-Opticalproperties眼戴显示第20-10部分：基本测试方法光学特性能的标准测量条件和测量方法。本文档适用于使用虚拟图像光学器件的非透明类型(虚拟现实“VR”护目镜)和透明类型增强现实“AR”眼镜)眼镜显示器。隐形眼镜类型的显示器和视网膜直接投影显示器不在本文档的范围内。序号标准状态标准号标准名称（英文）标准名称（中文）主要内容5已发布IEC63145-20-20:2019Eyeweardisplay-Part20-20:Fundamentalmeasurementmethods-Imagequality眼戴显示第20-20部分：基本测试方法图像质量IEC63145-20-20:2019E)规定了确定眼戴显示图像质量的标准测量条件和测量方法。本文档适用于使用虚拟图像光学器件的非透明类型(虚拟现实“VR”护目镜)和透明类型(增强现实“AR”眼镜)眼镜显示器。隐形眼镜类型显示器和视网膜直接投影显示器不在本文档的范围内。6已发布IEC63145-21-20:2022Eyeweardisplay-Part21-20:SpecificmeasurementmethodsforVRimagequality-Screendooreffect眼戴显示第21-20部分：VR图像质量特殊测试方法纱门效应IEC63145-21-20:2222(E)规定了确定纱门效应(SDE)(VR)类型的眼镜显示器的图像质量方面之一。7已发布IEC63145-22-10:2020Eyeweardisplay-Part22-10:SpecificmeasurementmethodsforARtype-Opticalproperties眼戴显示第22-10部分：AR特殊测试方法光学特性IEC63145-22-20:2020(E)规定了用于确定增强现实(AR)眼镜显示器的透明光学特性和成像质量的标准测量条件和测量方法。这包括眼镜显示器的传输特性和环境光学性能。隐形眼镜类型的显示器不在本文档的讨论范围之内。8已发布IEC63145-22-20:2024Eyeweardisplay-Part22-20:SpecificmeasurementmethodsforARtype-Imagequality眼戴显示第22-10部分：AR特殊测试方法图像质量IEC63145-22-20:2024规定了确定增强现实(AR)型眼镜显示器图像质量的标准测量条件和测量方法。本文档适用于使用虚拟图像光学的透视式(AR眼镜)眼镜显示器。透明显示器(VR眼镜)、隐形眼镜显示器和视序号标准状态标准号标准名称（英文）标准名称（中文）主要内容网膜直接投影显示器不在本文档的讨论范围之内。9在研IEC63145-30ED1Eyeweardisplay-Part30:Durabilitytestmethods眼戴显示第30部分：耐久性试验方法—10在研IECTR63145-40-20ED1Eyeweardisplay-Part40-20:3Dsensing眼戴显示第40-20部分：三维传感—11在研IEC63145-201-10ED1Eyeweardisplay-Part201-10:MeasurementmethodsforVRtype-Opticalpropertiesofasingletlensusedforeyepieces第20-10—12在研IECTR63145-202-40ED1Eyeweardisplay-Part202-40:GeneralinformationofARtype-Frontalstraylights眼戴显示第202-40部：AR型通则正面散射光—13待立项PNW110-1650ED1Eyeweardisplay-Part50:Userinteraction眼戴显示第50部分：用户交互基础软件开发引擎概述开发引擎是一套完整的开发工具，用于创建和呈现2D/3D图形和场景，为开发者提供了创建XR应用程序所需2D3D图形图形渲染：引擎提供高级的图形渲染功能，能够3DXR体验至关重要，因为它需要高度逼真的视觉表现来增强用户的沉浸感。物理和交互模拟：开发引擎包含物理引擎，可以音频处理：引擎提供音频处理工具，用于创建空XR中非常重要，因为它增强了空间感知和沉浸感。输入/输出集成：集成了对各种输入设备（如XR头盔、手柄、运动传感器）的支持，使开发者能够设计交互式体验。XR应用需要高帧率和低延迟来保证舒运行平稳。多平台支持：许多现代开发引擎能够支持跨平台开发，XR设备创建应用，无论PCXR设备。虚拟环境和元素。随着虚拟世界开发人员的不断增多以及虚拟世界产业逼真度或者是更加宏大的虚拟世界的创作，促进了UGCUnityCocosCreator、Lumverse3D引擎为代表。主流开发引擎Unity由UnityTechnologiesUnityOS19个不同平台，包括移动平台、桌面平台、网络平台、主机平台、XR平台等多种类型。XRXRPC端。具体功能方面，Unity目前可提供的功能包括用于VR（HDRP和用于VR（URP、空间音效（SpatialAudio）、粒子系统、AR基础套件（ARFoundation）以及混合和增强现实工作室（MARS）等。其中，UnityMARS（AR）开发工具AR应用程序和增强现实体验。UnityMARS采用了场景书写、节点布局和AR数据等抽象概念，大大简化了AR的开发流程。UnrealEngineUnrealEngine（虚幻引擎）EpicGamesVR/ARUnrealEngineOS及多平台下运行。2022年，UnrealEngine5.0（UE5）正式发布，OpenXRXR开发更具扩展性与高效性。它还针对VR模板进行了更新，包括对抓取系统（GrabSystem）的改进，支持组件抓取和放置，VRSpectator5中最为重磅的两项渲染技术Lumen及Nanite增加了对VR的初步支持。截至目前，通过虚幻引擎制作的知名VR游戏代表包HubrisVR》《行尸走肉：圣徒与罪人第二章》《Moss:BookII》等。CocosCreatorCocosCreator是一款高效、轻量、免费开源的跨平台2D&3D2D&3D数字内容创作XR目。20229Cocos宣布正式布局XRCocosCreatorXR。CocosCreatorXRCocosCreatorCocosEngine打造的一款XROpenXR标准协议来抹平不同XR设备之间的差异；中层封装了一系XRXR内容创作支持；上层基于CocosCreator面板扩展出多种形式的XR功能菜单和组件样式。Lumverse3DLumverse3D（ERA引擎2023统信操作系统在内的多个纯国产软硬件平台上完美兼容运产业的内容创作提供便捷的创作工具、高效的技术实现PCXR者可通过一套工具实现在不同操作系统和硬件平台发布3D应用。技术特性XR6DoF高性能的实时3D渲染VR3D能够提供高效率、高性能的实时渲染能力。VR环境对帧率（Asynchronous技术来沉浸式的立体声和空间音频处理沉浸式的立体声和空间音频处理技术使声音能够在三SteamVRSDKSteamAudio利用物理学原理来模拟声音如何在复杂的环境中传播和反射，提高了声音的真实感和方向感，为用户提供更自然和沉浸式的音频体验。更为真实的物理和环境互动模拟在XR中实现更为真实的物理和环境互动模拟是提高用VR环境中的体验尽可UnityVRBeatSaber低延迟的头部追踪和手势识别追踪对于创建交互式XR体验也至关重要。高延迟会导致用户体验不适，开发引擎需要特别注意对延迟的优化。例如OculusRiftSQuest采用了“Inside-Out”追踪技术，无需外部传感器即可追踪头部和手部的位置。通过这种技术，Oculus设备能够以极低的延迟实时追踪用户的头部和手部运动，从而提供流畅和连贯的VR体验。不同于单一界面的交互设计工具XR中的用户界面（UI）和交互设计与基于传统屏幕的Brush（Unity引擎）是一款XR绘画应用，允许用户在三维空间中绘制。用户通过XR控制器作为UIXR环境中。这种设计使用户能够以一种非常XRUI和交互设计的潜力。操作系统操作系统（OperatingSystemOS）XR硬提供一个让用户与系统交互的操作界面。相比于计算机、手机等设备，XR设备作为一个独立使XR显示的内容是动态的，当前，主流XR设备的操作系统由安卓主导。当前市场中的XR一体机的操作系统大多基于安卓系统底层进行优化XR设备则依靠主机的操作系统。除了安卓XRWindows操作系统。华为分体式VRGlassOS。20236月，苹Apple224年4eta宣布开放支持Quest的操作系统etaHorizonOS，允许其他公司基于其生态系统设计更多头显设备。HorizonOSMeta公司围绕其元宇宙愿景所开发的专用MetaHorizonOS的主要特点包括：（1）跨设备支持：可在Meta的XR头戴设备以及其他相关硬件上运行；（2）MetaverseMetaHorizon平台深度集成，支持元宇宙中的XR设备优化，提供低延迟和高效的性能表现；（4）新的交互方式：支持（5）开发者生态：提供工具和APIXR应用程序。开发平台VR开发平台VR开发平台集成了VRVR类APP开发者和内容创作者提供全面的开发工具，方便开发者获取、共享资源并可在不同VR设备上进行适配测试。目前国内外OculusGoogleVR开发平台。OculusVRSDKOculusVRSDK支持OculusRift和Quest头戴式显示器，并提供高性能和逼真的图形。OculusVRSDK的主要功能包括：（1）头部和眼球追踪：使用摄像头和传感器来跟踪用户的头部和眼球位置，使用户能够在虚拟世界中进行自然的导航和操作；（2）手部追踪：支持手部追踪，使用户能够使用手势与虚拟世界进行交互；（3）空间音频：使用空间音频技术，让用户能够在虚拟世界中听到声音来自不同的方HTCSDKHTCSDKHTC能包括：（1）API来控制头显的显示、位置和方向，实现头部跟踪、视角转换和场景旋转等各种VRAPI来控制手柄的输入和状态，VRVR效果；（4）API来渲染VRDirectX、DirectX12、OpenGLAPI。（5）API来处VRMP3AAC（6）输入处理：HTCSDKAPI，开发者可APIVR输入。HTCSDK支持多种输入设备，包括键盘、鼠标、手柄和触控设备。SteamVRSDKSteamVRSDK发布的基于OpenVR标准的虚拟现实平台。OpenVRAPI，允许开发人员为VRVRSteamVRSDK支持VRHTC、Index、OculusRift和VRPlayStationVRSDKPlayStationVRSDKPlayStationVR游戏和应用程序而提供的软件集合，包含一系列API、工具和资PlayStationVR硬件和软件的功能，从VR提供访PlayStationVR等；（3）提供资源工具，辅助创建和管理游戏中的图形、声音和其他资源，包括图像编辑器、声音编辑器等；（4）多维度精益孪生平台DLT是鸣启数字发布的VR开发创作平台，提供项目交付和一套覆盖全流程的工具链和资源库，以“拖、拉、拽”操作实现从模型场景、数据结构、精益计算、效果设置到数据对接全流程“0代码”配置交付，并将精益管理理念贯穿企业数字化转型全流程，解决VR制作“技术门槛高、交付周期长、使用效果差”的三大痛点问题，实现VR低门槛的创作场景及数字孪生项目零代码开发交付。该平台包含362万行基础代码，3000余个三维模型，8700条节点逻辑优化，56项精益算法内嵌，涉及20多个行业领域。AR开发平台伴随着智能手机的大规模普及，苹果公司推出的ARKitGoogleARCore增强现实软件平台分别支持iOSAndroid操作系统，使得用户可以便地在手机等移动等。SenseMARS和河图AR应用开发门槛。ARKitARKit2017年推出的增强现实开发框架，负责为iOSAPIAR应用程序。ARKit整合了设别、3D物体识别、人脸检测、人体动作捕捉等高级功能，APIAR应用开发难度。ARCoreARCore是Google针对移动设备的增强现实体验构建平光照条件。ARCoreARSDK，为所有AR（API，可以帮助开发者利用现有的Android设备构建增强现实应用程序。是一个跨平台的增强现实和混合现实应用程序世界中的对象、形状和环境。提供功能包括：（1）标记识2）对象跟踪：可以跟踪现实世界中移动或旋转的物体；（3）ARARAR教育和培训应用AR辅助工具。商汤SenseMARS2020SenseMARS火星混合增强现实（（如云引擎等为各类应用提供支持，用人、物、场构建混合现实空间。SenseMARSAndroid/iOS/Web/小程序等系统平台，以及手机、平板电脑、MR眼镜、汽车等多种终MRSenseMARS平台主要采用基于视觉的高精度华为河图Cyberverse河图Cyberverse3D43D高精度地图，通过地图识别等场景。设计建模软件三维设计建模软件是XR产业的基础，用于在虚拟环境常用于虚拟现实领域的设计建模软件包括Blender、、3dsMax、ZBrush、Rhino等。BlenderBlender3D于创建动画电影、视觉效果、艺术、3D打印模型、运动图3DBlender的功3DUVBlenderGNUGPL开源协议，无版权OpenGL3D架构，可实现快速高效的创建工作流程；四是拥有积极的社区支持。MayaMayaAutodesk3D内容创建应用程3D动画和建模并能够创建虚拟现实体验的专3DMayaCG运动匹配等。Maya3D动画、3D渲染、3D阴影、3D建模提供了广泛的开发工具，使得虚拟现实的画面更为逼真。CreateVR推出的沉浸式概念设计工具，设计师能3D方式进行创作，草图和模型可以轻松导出到Maya或其他内容创建应用程序。3dsMax3dsMax是美国Autodesk公司出品的三维动画制作及渲动画设置及渲染等功能。3dsMax可以利用一些基本的几何及复合运算等一系列集合操作来构建复杂的三维场景。3dsMaxZBrushZBrushPixologic开发的专业三维建模软件，功能包括：（1）提供雕刻工具，用于创建出各种形状的模型；（2）纹理绘制功能，用于为模型创建纹理；（3）提供拓扑工具，用于修改模型的网格结构；（4）渲染功能，用于生成模型的最终效果。RhinoRhinoceros3D（）RobertMcNeel&AssociatesNURBS曲线、曲面、实体、细分几何(SubD)NURBS曲线和曲面而不是使用传统的多边形建模方法，来创建出更加精确、流畅的模型。Rhino的主要功能包括：（1）NURBS建模工具，用来创建出各种形状的模型；（2）点云处理功能，从点云数据中创建模型；（3）三维打印功能，将模型导出为三维打印格式；（4）渲染功能，生成模型的最终效果。发展趋势XR应用，将成为三维设更加智能化的建模能力，实现自动生成模型，或帮助用户快速创建模型；（3）更加便捷易用的软件能力，满足不同用户的需求。相关标准化情况TheOpenGroup组织维护UNIX®标准。该标准定义了UNIXUNIXofElectricalandElectronicsEngineers，IEEE）POSIX操作系统接口标准族，旨在提供应用UNIXISO/IECPOSIX标准紧密相关的操作环境标准ISO/IEC9945。国内全国信息技术标准化技术委员会程序设计语言分会（TC28/SC22）Linux操作系统研制了系列标准（2）。此外，针对网络终端、云计算等操作系统机测试方法，也制定了对应的标准规范（3）。全国网络安全标准化技术委员会（TC260）制定了操作系统安全技术要（4）2022表2Linux操作系统相关标准标准号标准名称GB/T32395-2015信息技术中文Linux操作系统应用编程接口（API）扩充要求GB/T32394-2015信息技术中文Linux操作系统运行环境扩充要求GB/T25645-2010信息技术中文Linux服务器操作系统技术要求表3TC28/SC22其他相关标准标准号标准名称GB/T36465-2018网络终端操作系统总体技术要求GB/T37730-2019Linux服务器操作系统测试方法GB/T37731-2019Linux桌面操作系统测试方法GB/T42140-2022信息技术云计算云操作系统性能测试指标和度量方法GB/T36441-2018硬件产品与操作系统兼容性规范表4TC260相关标准标准号标准名称GB/T20272-2019信息安全技术操作系统安全技术要求GB/T20008-2005信息安全技术操作系统安全评估准则XR设备作为高度复杂的独立电子设备，对操作系统的XR设备操作系统的定制标准，以满足其独特的技术要求和用户体验需求。VR/AR/XRMaya和3DsMax等建模软件都其独特的工具集和工作流程，各/增强现实内容制作已有相关标准化成果，将在后续基础技术、内容制作章节详细介绍。基础技术AI技术概述人工智能（ArtificialIntelligence，AI）技术是一种模拟在XR产业中，基于人工智能技术的识别技术和生成技术为XR应用带来了全新的维度。人工智能技术可以通过对XR环境中的实时交互和控制。通过自然语言处理技术，XRXR产业的发展，为用户带来更加丰富和优质的虚拟体验。智能识别技术在虚拟现实中使用智能识别技术能够减少用户对传统XR环境中通过简单的裸手手势直观、自然的交互方式。在AR应用中，手势识别可以实现尽管语音识别和手势识别在XR中展现出了巨大的潜力，但仍面临一些技术挑战，如识别准确性、交互稳定性、延迟问题以及不同用户间的差异性等等。为了克服这些挑战并推动技术的成熟与应用，标准化工作显得尤为重要。手势识别方面，全国信标委计算机图形图像处理及环境数据表示分会（TC28/SC24）研究制定GB/T38665.1-2020《信息技术手势交互系统第1部分：通用技术要求》和GB/T38665.2-20202ISO/IECJTC1/SC35制定了ISO/IEC30113系列标准，提供了跨设备和平台的手势交互的通用框架和规范，涵盖了手势识别、生成和理解的通用方法，标准清单见表5。表5ISO/IEC30113系列标准清单标准号标准名称（英文）标准名称（中文）ISO/IEC30113-1:2015Information technology —信息技术用户界面跨设备标准号标准名称（英文）标准名称（中文）User interface Gesture-based acrossdevicesandmethods—Part1:Framework和方法的基于手势的界面1部分：框架ISO/IEC30113-5:2019Informationtechnology—User interface Gesture-based acrossdevicesandmethods—Part5:GestureInterfaceMarkupLanguage(GIML)信息技术用户界面跨设备和方法的基于手势的界面5部分:手势界面标记语言(GIML)ISO/IEC30113-11:2017Informationtechnology—Gesture-based acrossdevicesandmethods—PartSingle-pointgesturesforcommonsystemactions信息技术跨设备和方法的11部分通用系统操作的单点手势ISO/IEC30113-12:2019Informationtechnology—User interfaces Gesture-based acrossdevicesandmethods—Part12:Multi-pointgesturesforcommonsystemactions信息技术用户界面跨设备和方法的基于手势的界面。第12部分:通用系统操作的多点手势ISO/IEC30113-60:2020Informationtechnology—Gesture-based acrossdevicesandmethods—Part60:Generalguidanceongesturesforscreenreaders信息技术跨设备和方法的60部分屏幕阅读器手势的通用指南ISO/IEC30113-61:2020Informationtechnology—Gesture-based acrossdevicesandmethods—Part61:Single-pointgesturesforscreenreaders信息技术跨设备和方法的61部分屏幕阅读器的单点手势（TC28/SC35）制定了智能语音交互GB/T36464和GB/T41813系列标准，系统的术语定义和系统框架以及要求和测试方法。（2024版AI技术224年2OpenAI发布了文生视频人工智能模型Soa，OpenAIChatGPT所用的Transformer算DiT，使SoraAIXR3D模型、场景、动作和脚本的创建提供前所未有的自由XR内容、场景和虚拟世界的快速构建。此外，XR中的虚拟场景、人物，需要与用户进行有效AI技术基于大语言模型XR场景与用户之间的虚实交互提供更加自然的交互方式、更流畅的场景和角色切换，让用户感受到与现实世界相匹配甚至超现实的沉浸式体验。展。全国信标委人工智能分委会（TC28/SC42）GB/T42382.1-20231部分：卷积神经网络》，规定了卷积神经网络（ConvolutionalNeuralNetwork面向人工智能生成模型的国家标准。此外，《信息技术神2（计3部分：图神经网络》（计划号：20230718-T-469）正在起草过程中。全国网络安全标准化技术委员会（TC260）正在起草生成式AI注安全规范》（计划号：20242097-T-469）、《网络安全技术生成式人工智能服务安全基本要求》（计划号：20241752-T-469）。国际上ISO/IECJTC1/SC42负责人工智能标准化工作，27届联合国科技大会期间，世界数字技术院编解码技术概述4K/8K3D（3DMesh）XR中的编解码技术视频编码超高清视频编码超高清视频通常指4K/8K分辨率的视频内容，支持高帧率（HFR，如100fps、120fps）、高动态范围（HDR）、广色域（WCG）。超高清视频对应的超高数据量和超大带宽，对压缩效率和时延也提出了更高的需求。基于此，国内外标准工作组织，如ISO/IECJTC1/SC29（音频、图像、多媒体及超媒体编码）下设WG5“MPEG联合视频编码”工作组，（工作组）AOM阵营也提出了面向互联网流媒体的开发编码。MPEG最新一代的编码标准VVC（ITU-TH.266|ISO/IEC50%ITU-TH.265|ISO/IEC标准相似的主观的通用性也可以支持如超高分辨率（4K/8K）、高动态范围（HDR）、屏幕内容编码、360度沉浸式视频编码等多种新兴的视频内容与应8K（UHD）电视VR等新兴应用场景的国内自主视频标准。最标准提出了更灵活的扩展四叉树划分方式、更另一方面，为了支持更多样化的超高清视频应用场景，ISO/IECJTC1/SC29WG4“MPEG视频编码工作组”正在研制的由中国专家主导的VCM（VideoCodingformachine）FCM（Featurecodingformachine）标准项目，以及国内面向机器智能的数据编码标准工作组正在研制的codingfor或者是前序任务产生的特征图产生码流，以供机器分析直接使用，支持多种机器视觉任务。全景视频编码VR相关业务的发展。因此，高效的全景视频编码技术至关重要。SO/ICJC1/SC29下设G“PG205年起开始制定相关标准，提出了全向媒体格式（OMAF），3603DOFFOV的编码方法，前者通常将球面内容投影到二维平（Tile）为单位拆分码流进行切片分发。-自由视点视频编码自由视点视频实现了3DoF/6DOF观看体验，相较于其他沉浸媒体，其具有低成本制作、应用场景多等优势。面向自由视点视频，ISO/IECJTC1/SC29/WG4工作组制定了沉浸式视频（MIV）标准，提供沉浸式、6DOF立体视觉场景的高效编码，可用于VRARMRMPEG计划基于视觉V3C的框架进行技术集成和扩展。国内虚拟现实标准工作组VRU2019年启动了自由视点视频标准制定工作，开展国家标准《信息技术虚拟现实内容表达22D视频编码，在终端将基于深度图的处理合成虚拟视点的合成。MPEGMIV（源视角（深度以及可选的占用图（几何和属性MIV编码器将基于几何和属性信息生成属性图2D视频编码器编码为视频比特流，而元数据使用MIV标准编码。点云编码3D3D（颜ISO/IECJTC1/SC29/WG7“MPEG和基于几何的点（G-PCC）点云编码参考软件（PCRM），3D空间对点云进行编码处理。DCM工作组也面向机器智能的点云编码提出了Google发布了开源库Draco3D几何网格和点云。V3C（Patch）划分重组、几何和纹理图像的生成、填充及编码、未来，点云编码技术发展将围绕下列方面展开：更高效的几何表征方法及属性预测技术、更灵活的编码速度配置；支持多种延迟场景，比如离线转码、云游戏、视频直播、视频会议等；兼容各终端设备，实现场景自适应，提高编码速度（帧间并行加速、预分析和后处理加速），实现智能码率控制等。3D网格编码3D网格已成为视觉沉浸媒体主要的数据格式之一。一3D网格由以下部分组成：拓扑信息、几何信息、映射信的数据量更为庞大，因为它包含大量随时间变化的信息。ISO/IECJTC1/SC29/WG7正在计划开发一种新的3D网格压缩标准，用以压缩具有时变拓扑信息和可选时变属性映射自由视点视频、ARVR等。SC29/WG7计划基于视觉体积视频编码（V3C）的框架进行技术集成和扩展。目前，国内标准工作组暂未开设相关专题组。未来，3D网格编码技术的发展特点大致如下：支持静态和动态网格编码、支持有损和无损压缩、支持随机访问、低延迟、具有容错能力、支持并行编码和解。音频编码3DoF甚6DoF的声音感受，灵活适用各类场景，从个性化音频制国际上，ISO/IECJTC1/SC29WG6“MPEG音频MPEG-H3D前正在开展PEGIPGH3DAudioMPEG-I是为虚逼真VR体验。相比MPEG-H，MPEG-I能够提供更优秀的互6DOF，用户可以在虚拟空间内移动，并与虚拟空间物品进行交互。3GPP沉浸式语音及音频服201715开始已经演进到版VRVR用户体验、边缘计算、场景探索、触觉和媒体服务相关业务，QoS、QoE指标等。国内，2016年起，开始对三维声和互动式音频开展研讨和技术征集，2018年发布GB/T33部分：音频》，规定了虚拟现实设备及相关系统中的沉浸式音频内容的表达方式，提出了包括传输、回放系统；2022年，世界超高清产业联盟009.1—20221T/AI109.3—2023《信息技3部分沉浸式音频》，即三维菁彩声Audio音频标准。三维菁彩声（Audio针对不同的信号类型采用不同的技术工具对输入信号进行编解码；采用多声道编码技术去除多声道信号间的信息冗余；采用HOA空间编码技术去除HOA各声道信号间的空间几何信息冗余；采用基于心理声学模型的预处理和基于AI的量化，熵编码技术去除单声道、对象音频信号中的信息冗余；通过扬声器或耳机完成最终渲染输出。接口协议概述XR软件与设备之间的数据交互越来越被建设者和使用者所重视，构建一套标准的数据传输协议规范在XR设备、软件和平台之间得到了广泛关注。通过这些接口协议，不同厂商、XR设备和软件之间可以互相通信，并为开发者构建跨平台的XR应用内容提供数据传输基础支撑。XR接口协议的标准化方面积累了一定经验，其中OpenXR作为一个开放标准受到了全球范围内的广泛关XR设备提供了互操作性。而其他SDK工具，在市场中也具有较大的SteamVR、OculusSDKSDK。这SDK工具通常提供了丰富的功能和接口，支持XR内容，同时记录了操作的整个过程数据。然而，XR设备之间的互操作性、数据传输兼容性仍然存在一些问题和瓶颈，包括不同厂商设备之间的接口差异、设备性能的差异以及软件兼容性差异等。这些问题使得开发XR技术XR设备接口标准有着XR技术的XR产业发展。XR中的接口协议在XR应用中，接口协议技术主要用于实现设备、应用程序和系统之间的通信和交互。XR应用中常见的接口协议OpenXR、等。OpenXRKhronosGroup开发的开放式、跨平台的XR接口标准。它旨在提供一个统一的接口，使开发者能够XR设备上编写一次代码，实现跨平台的兼容性和可移植性。XRXR内容。JavaScriptAPIXR设备的访问和控制，使开发者能够在浏览器中创建交互式的VR和AR应用。SteamVRVR平台，OpenVR是其开放的接口标准。SteamVR/OpenVRVR设备的交互和控制的接口，使开发者能够创建适用于SteamVR平台的VR应用。OculusSDKOculusVR于开发适用于OculusVR设备的应用程序。它提供了与OculusARKitApple开发的AR是由Google开发的ARAR设备的交互和控制的接口，使开发者能够创建适用于iOS和Android平台的AR应用。XR设备的交互和XR应用，提供更好的用户体验。3D数据格式概述3D数据格式是指用于存储和处理3D数字内容的格式和3D模型的几何形状、拓扑结构和纹理信息，如OBJFBXSTL3DJPEGPNG、TGA3D模型的动画效果BVH、FBX、GIF3D数据格式和3D数字内容的创建、编辑、存储和交流提供了基础3D3DXR3D数据格式在XR3D数据格式有以下几种：OBJ）：OBJ是一种广泛使用的开放标3D材质信息等。FBX（Filmbox）：FBXAutodesk开发的专有3D文件格式，广泛用于游戏开发和虚拟现实应用。它支持几何形状、材质、动画、骨骼等多种数据。STL（Stereolithography）：STL是一种用于3D打印的文件格式，它描述了物体的几何形状，通常由三角面片构成。Transmission是一种开放标准3D和移动平台上实时渲染。ScenePixar3D这些格式在XR应用中具有不同的特点和用途，开发者3D数据。空间计算空间计算最早应用于卫星定位系统和地理信息系统等XR、虚拟数字人等技术发XR产品sinPoOS。空间计算被认为是构建元宇宙等虚拟世界的基础技术（如键盘和鼠标XR交互应用第章 内生产内容采集全景拍摄全景摄像是利用实景拍摄设备对环境的全景图像以720（360360度立体全方位视角进行拍摄采的全景画面，并在计算机、移动终端、XR设备或互联网上全景拍摄设备全景拍摄一般需要一种或多种拍摄设备，包括一体式全景相机和多机组合拍摄两种类型。一体式全景相机一体式全景相机是一种成像视角可以覆盖整个球面或者至少可以覆盖水平面上环形视野的相机，可以捕捉到从各360°的视野在三维场景建模中具有广泛的应用。一体式全景相机一般由多个内置的超广角/鱼眼镜头组成，是目前沉浸式视频/VR/全景视频常用的拍摄设备，包括单目全景相机、双目全景相机、四目全景相机、Gear360、Insta360、GoproMAX等。I/O；体积较小，重量较轻，可配合各种轨（拼接后能达到8K10bit30fps、8K8bit60fps8bit30fps的全景视频。多机组合拍摄多机组合拍摄是采用多种相机+镜头的组合，包括单反数码相机+鱼眼镜头+全景云台++鱼眼镜头+全景云台+三脚架、运动相机组合等。多机组合拍摄要求多种相机+镜头在同一时间、同一位置分别拍摄不同角度有部分重叠的画面，然后将采集到的多360°有较高的分辨率、动态范围和彩色量化深度，多用于对图像质量有很高要求、能够承受后期复杂制作流程的应用场景。其缺点在于需要使用比较复杂笨重的多机支架；实际拍摄中对于场地、移动要求较高；拍摄前需要对各个摄像机、镜头等进行匹配调整；拍摄完成后各机位采集的素材需要进行时间码对齐、色彩统一调整、图像拼接缝合等处理才能形成全景图像。通常，全景拍摄图片分辨率包括4K（3840*1920px）、等；全景拍摄视频分辨率及帧率包括 4K（3840*1920@30/60fps）、6K（5760*2880@30/60fps)、8K（7680*3840@30/60fps）、12K（11520*5760@30fps）等。全景拍摄流程采集路线规划：提前根据室外地图或者室内平面拍摄区域划分：拍摄区域较大，需要把区域划分拍摄时间规划：由于光照条件对场景拍摄的存在拍摄高度和角度确定：由于全景拍摄需要尽量对拍摄速度控制：考虑到全景拍摄的稳定性，保证局部补充采集：由于采集过程中某些场景采集不够细致或在部分场景中发生了较大变化时，需要对变化区域进行补采。三维扫描三维扫描是利用三维扫描仪等全景扫描设备对场景信息进行扫描采集的过程。实景扫描设备包括利用激光雷达、结构光成像等技术的空间测量和扫描设备，其中以三维扫描仪为主。三维扫描仪在XR领域，三维扫描仪用于侦测并分析现实世界中物（几何构造与外观数据（得到物体表面的点云信息并转化为计算机可以直接主要使用各种不同直径和形状的探针（或称为接触测头）沿被测物体表面运动，被测表面的反作用力使探针发生形变。这种形变触发测量传感器，将测出的信号反馈给测量控制系统，经计算机进行相关的处理得到所测量点的三维坐标。（称为主动光源照射被测物体，手持式三维扫描仪主要采用双目立体视觉与多线结构LED光源发射器和双1kg万点/600mm×550mm左右，扫描精度最高可达0.01mm。拍照式三维扫描仪主要采用双目立体视觉与编码结构光法相结合的方法，仪器硬件主要由编码结构光投影装置和0.005mm。桌面式三维扫描仪主要采用线激光直接三角法，扫描精度比手持式和拍照式产品低，仪器的一体化机身小巧便携，可直接放置于桌面上，将物品放置于载物转台上即可方便地进行扫描，主要功能定位为小型物品的快速简便化扫描。三维扫描流程三维扫描方式包含地面固定点云数据采集：点云数据是三维空间中所有点的三维扫描仪应按架设扫描站、建立扫描项目、扫描范围设置、点间距或者采集分辨率设置、开始扫描等步骤操作；纹理数据采集：纹理信息是描述物体或场景表面特征的重要信息，它可以用来增强三维模型的真实感和逼真动作捕捉动作捕捉概述姿结果。动作捕捉外设设主要可以分为两种类型：惯性动作捕捉设备惯性动作捕捉设备主要利用惯性传感器对人体主要骨骼部位的运动进行实时测量。这种设备不受光线限制，因此惯性动作捕捉设备优点在于设备成本相对较低，系统相对简单，安装和使用也更加容易，不受环境光线的影响，可以捕捉人体在任何环境中的运动，这使得其在应用范围上更加灵活。惯性动作捕捉设备缺点在于捕捉精度受到惯性传感器的制造工艺和材料等因素的限制，并且惯性传感器在测量物光学动作捕捉设备光学动作捕捉设备则是使用摄像机捕捉物体表面的运需要高精度的摄像头及框架，安装和使用也更加困难，操作相对复杂且专业。采集数据处理采集的数据包括全景视频、3D点云数据、纹理数据等JPEGPNGBMP等，MP4MOVRMVB3DOBJFBX3Dmax等，3DNeRF、SDF等。此外，将采集到的3D数据进行处理和整合，以便进行后续的分析和应用。这一步骤主要包括数据文件的格式转换、区域划分、要素分类、时间排序、冗余数据处理，确保采集到的全景数据覆盖场景，通过对数据进行处理，可以提高数据的质量和完整性，为后续的3D模型生成提供可靠的数据基础。全景视频处理在从全景拍摄设备中采集得到空间中不同方位所对应的视频序列后，多个视频序列需要通过拼接与融合技术生成最终的全景视频。全景视频拼接的整体流程包括：图像预处理图像预处理指的是对上述全景拍摄设备采集到的视频序列进行一些常见的图像处理操作，如对图像进行亮度及色彩校正以避免由于拍摄时的一些因素导致的设备焦距不同、曝光参数不同、白平衡不同的问题，如对图像进行去噪处理以去除图像中的高频噪声。这一步中没有固定的操作，而是根据序列的特性选用合适的算法进行处理。图像配准由于拍摄视角、角度、分辨率、光照等参数的差异，待拼接的若干幅图像之间在位置平移、方向旋转、尺度变换、变形扭曲等方面存在一定区别。图像配准过程采用一定的匹配策略，寻找待拼接图像中的特征点在参考图像中的位置，从而得出最能描述待拼接图像之间映射关系的变换模型。常用的变换模型有平移变换模型、刚性变换模型、仿射变换模型及投影变换模型等等。图像变换图像变换指的是将配准后的视频图像进行变换，在通过上述配准操作找到变换矩阵并计算出矩阵中各个参数的值，然后将待拼接的图像变换到参考图像的坐标系中，完成统一的坐标变换，以满足拼接的需要。图像变换可以包括旋转、缩放、平移等操作。图像融合点云数据处理3D模型或其他数据集的过程。点云数据处理的流程一般包括以下几个步骤：点云预处理特征提取点云配准将两个或多个点云数据集在相同坐标系下进行对齐，使得它们在空间中具有一致的位置和姿态。在实际应用中，往往需要将多个点云数据进行配准，以获得更加完整的3D模型。数据配准可以通过计算点云数据之间的变换矩阵实现，也可以采用ICP算法、特征匹配等方法。数据重建3D模型的过程。数据重建可以通过3D建模、XR等应用提供基础。纹理数据处理纹理数据处理的目的是保证处理后的图像与实地情况图像色调调整变形纠正因视角或镜头畸变引起变形，应对图像的变形部分作纠正处理。图像配准图像配准时，应保证图像细节表现清晰，无配准镶嵌缝隙。格式转换将处理后的图像转换为通用的文件格式。三维声场麦克风三维声麦克风可捕获360°环绕声，应用于虚拟现实、声音设计、沉浸式音频和实验性录音。典型产品是麦克风领域的开拓者SoundField（首款商用三维声麦克风的发明者）和RØDE合作推出的NT-SF1。三维声场麦克风由四个紧密排列的心形或心形（单向）A格式和BAAB格式。根据麦克风型号，此转换可以通过硬件或软件完成。格式录音也可以解码到放置在水平和垂直平面上的任意数量的扬声器。相关标准化情况SJ/T《结构光手持VR激光雷达三维扫描相机技术规范》规定了VR激光雷达三维扫描相机的设GB/T23698-2023《信息技术面1部分：通用技术《信息技术面向虚拟现实应用的3部分：惯性动作捕捉系统软件接口标准》；《信息技术面向虚拟现实应用的人体动作捕捉系2部分：大范围光学动作捕捉系统软件接口标准》正JTC1一直致力画系列标准，用于三维化身的表示、可视化和信息处理：ISO/IEC19774-1类人动画(HAnim)架构定义了一个人形数据19774-2类人动画运动数据动画可用于生成和交换人形动画。最近，正在积极推动相关国家标准与国际标准研制。将提高内容生成效率，推动行业规范化发展。内容制作视频融合拼接（如强度、的是尺度不变特征变换（Scale-invariantfeaturetransform，SIFT对图像3D视点的变化、噪声的SIFT⼊视频的选定帧以生成（如手持移动摄像机或无人机近年来，随着VR技术和拼接技术的发展，各种基于全360⼀种闭环拼拼接的大部分工作都是利用⼀般的透视变换方法估计摄像⼀360度全景视图/接