2022全息通信技术白皮书

全息通信技术白皮书（2022）全息通信技术白皮书（2022全息通信技术白皮书（2022）PAGEPAGE10目录全息技术概述 2全息概念 2发展历程 2全息技术在通信中的应用 3一对多场景：全息演讲或教学 3一对一场景：私人交流 4多对多场景：会议 5全息通信关键技术 6内容采集 6彩色相机 6深度相机+彩色相机阵列 6算法处理 7非三维重建 8传统三维重建算法 8基于深度学习的三维重建 123.3传输 13高带宽 14低时延 14强安全 14大算力 15渲染技术 15多视图立体渲染技术 15超多视点的虚拟立体内容渲染技术 16多平面图像渲染技术 19显示技术 20穿戴式设备 20裸眼3D显示设备 21全息通信技术案例 22微软（MICROSOFT） 23谷歌（GOOGLE） 23螳螂慧视（MANTISVISION） 23总结和展望 24编写单位和作者 25缩略语列表 26全息技术概述全息概念“全息”（Holography）即“全部信息”，这一概念是在1947年由英国匈牙利裔物理学家丹尼斯1971通信及人机交互等学科领域有着密切的联系。发展历程自1947年由丹尼斯段，分别是：传统光学全息（Traditionalopticalholography），数字全息（Digitalholography）与计算全息（ComputationalHolography）。在每一个过程。新处理，数字全息是利用电荷耦合器件来代替传统的光学记录材料来记录全息Goodman1967年提出的。KozmaKelly21维显示技术，与传统光学全息术相比具有灵活、可重复性好的特点。全息技术在通信中的应用6GXR、新型智慧城市、本文所涉及的内容为狭义上的通信概念，即指人与人之间通过某种\h媒介进行的信息交流与传递。通讯质量等问题；传输高质量的视觉通讯内容受制于传输带宽而难以实现的问6G个问题，赋能全息通信应用。用于以下三类场景：一对多场景、一对一场景和多对多场景。一对多场景：全息演讲或教学升，学习效果进一步贴近线下演讲或教学。（讲者或授课者的信息）大于上行流（受众的反馈），信息流呈现辐射状。6G如图1所示：图1一对多场景一对一场景：私人交流正做到天涯若比邻。信模式为点对点通信。2图2一对一场景多对多场景：会议当全息技术和大带宽网络技术发展到一定阶段，可以构筑高质量的互动通息显示技术构建高真实度的参会场景，实现身临其境般的线上会议感受。所有其他人的全息影像和声音，是一对一场景的复杂形式。3图3多对多场景全息通信关键技术全息通信的关键技术包括内容采集、算法处理、传输、渲染和显示。内容采集全息通信所需的动态三维内容又称作“体积视频”（VolumetricVideo），其采集方式可以分为纯彩色相机阵列采集和深度相机+彩色相机阵列采集。彩色相机动拍摄。360°围绕式。180°360°围成一圈，做成影棚的形态，这样可以同时采集人体各个角度的影像。深度相机+彩色相机阵列高度、嘴唇的轮廓等细节。4场地要求也比较灵活。图4深度相机+彩色相机阵列彩色相机红外相机彩色相机红外相机红外投射器图5掩膜编码结构光深度相机算法处理同的图像，是一种相对“粗糙”的处理方式。非三维重建即视差图，在同一行上平移虚拟相机位置，从而生成新的视角图像。0.5。以此类推。融合，比如基于距离的线性融合等。传统三维重建算法色相机的主动式。2DSFMSFMSFMMVSTOF返回光的时间或相位差来计算距离目标的距离。主动式算法如结构光法和TOF法能够精准构建3D模型，但二者都需要较为精密的传感器。6格三维数据，最后贴上彩色照片。图6三维重建过程SFMSFM，StructurefromMotion，3D2D3D2D信息，在这一点上，原理和基于双目视觉的三维重建相同。SFM2D2DSIFT，SURFAKAZE（SIFT）来匹配。SFMRANSAC（RandomSampleConsensus）。2D3DBundler[2]就是一种SFMBundler的匹配算法，并且对匹配进行了过滤去噪处理。MVSSFM的重建成果是稀疏三维点云，为了得到更好的深度结果，需要使用多视角立体视觉（MultipleViewStereo，MVS）算法。某种意义上讲，SFM者可以在环境里面“穿行”，而后者更像在环境外“旁观”。SFM（即一堆相邻像素MVS接近图像为我们展示出的清晰度。分存在极线几何约束。（StructuredLight）（算被测物的三维形状及深度信息。结构光3D成像技术主要由4大部分组成：不可见光红外线发射模组（IRProjector）不可见红外光至被拍摄物体；不可见光红外线接收模组（IR）红外光；2D图像处理芯片（非必须，有些结构光供应商提供的解决方案可利用主机AP体的深度信息。iPhoneXPrimeSense（光7和方向而不同，由此计算得到被拍摄物体深度信息。图7散斑结构光TOFTOF（TimeofFlight）（光）飞行时间，字面理解就是通过光的飞行时间来计算距离。TOFTOFDTOF（DirectTOF）（一般是正弦波TOFITOF（IndirectTOF）TOF像精度、应用场景等方面又有差异，比较如下：工作距离精度功耗应用场景TOF几米至十几米（和光源功率成正比）DTOF（1-2中远距离精度比结构光好高别、动作捕捉等结构光消费级模组工作距离2工业级模组工作距离可达7米最高可达亚毫米级（0.5毫米）；近距离精度比TOF好中等金融刷脸支付；3D3D识别、动作捕捉等基于深度学习的三维重建少对图片的依赖。Saxena等提出了利用监督学习的办法去预测照片的像素对应的深度[3]ECCV2022NianticUCL3D3D[4]”则是基于前者的提升，无论从效果到性能均显著优于前者。GRAILNeRFAI2D3D[5]，CVPR2022。SimpleRecon3D从姿态图像重建3D室内场景通常分为两个阶段：图像深度估计，深度合并（DepthMerging）和表面重建（SurfaceReconstruction）。过去的研究依赖于昂贵的3D卷积层，限制了其在资源受限环境中的应用。来自Niantic和UCL等机构的研究者利用强大的图像先验以及平面扫描特征2DCNN（SimpleRecon）70ms。而实时三维重建正是全息通信的关键技术之一。该研究的关键是将现有的元数据与典型的深度图像特征一起注入到代价体积（CostVolume）3DHumanNeRF2D3DNeRF2020ECCV2NeRF论文数量已经十分可观。NeRFNeuralRadianceFields2D3DHumanNeRF三维重建。HumanNeRF3DT2D3DNeRF化对结果的影响等。HumanNeRF小时对特定数据的微调，即可生成改进后的结果。传输四个方面：高带宽、低时延、强安全和大算力。高带宽Mbps101080P32512dpi×424dpi1660100420MbpsMG。（效的满足全息通信的带宽需求。低时延延，需要处理节点具有高算力，并进一步缩减网络本身的传输时延。此对于处理算法的优化研究是当前的热门方向。对于网络本身的传输时延，5G20ms强安全延。对时延和安全性的折中考虑是未来网络需要面对的难题之一。大算力MTPMEC来网络可通过云端和边缘端的快速部署解决全息通信的算力需求。渲染技术术、超多视点的虚拟立体内容渲染技术和多平面图像技术。VR3D3D解决方案。多视图立体渲染技术量等方面不断努力，并推出一系列技术与解决方案。虚拟现实图形管道原理图形应用程序为显示设备渲染一个3D3D像机并根据摄像机的位置对场景中的几何图形执行计算。渲染引擎执行像素阴VR3D性能要求。单通道立体(SPS)渲染技术NVIDIAPascal（SPS）渲染的技术来帮VRSPSGPUx(FOV)Pascal180FOV图灵多视图渲染技术VRNVIDIAGPU的多视图渲染扩展了单通道立体渲染。MVR4FOV4超多视点的虚拟立体内容渲染技术设计了不同的渲染方式以提升设备的画面性能。逐视点渲染法方法，也可以采用光线跟踪的方法。100场景的实时渲染。基于几何着色器的逐视点渲染法可一次性地在一个纹理上渲染出多个视点的图像，这样可以极大地节省多视点渲染时间。GPUinstancing技术[6]，随着场景品质需求的提升，需要在场景里绘制越来越多的物体，CPUGPU的压力都会上升。在场景中有大量重复物体需要绘制时，使用GPUInstancingdrawcall光线跟踪法8检测，最后通过着色程序就可以生成相应的光场图像。图8基于光线跟踪的集成成像算法向2K以下的显示设备且可绘制的场景有限[7]。基于深度信息的超多视点渲染基于深度信息的渲染（Depth-Image-BasedRendering，DIBR）在虚拟场景的渲染过程中十分常用[8]DIBR缺点是造成渲染质量的下降。DIBR，一类为多参考视点的DIBR[9]DIBR10°以内观看视角的光场显示设备。多参考视点的DIBR需要多个深度参考[10]来插值出中间视点。DIBRDIBRDIBR左右视图实现对遮挡区域的信息互补。基于几何相关性的超多视点渲染所示，其对应的EPI图像为三条直线[11]。图9虚拟点在错切排列下的采集以及对应的EPI图像EPI则对应的EPIEPI图EPI图像上由这两视点生成相应的EPI多平面图像渲染技术3D（multi-planeimage，MPI）（包括遮挡元素alphaMPIMPIMPI10MPIdRGBARGBalpha（透明度MPIMPIalpha图10多平面图像（MPI）示意图SFMRGB-DMPIDeepStereo、NeRFNeRFMPILLFF[12]NeX[13]等方法渲3-5ms200-300fps。显示技术3D3D穿戴式设备VR，VR睛。VR（左眼一个，右眼一个），经过光学元件的放大和调整，显示在用户眼前的特定位置上。AR眼镜，又称作“增强现实头显”。当前增强现实头显变得越来越普遍，3D3D构的体三维技术和光场立体显示技术。3D线，所以亮度有了很大改善[14]。建出三维图像[15]。体三维显示技术呈现的图像就像是一个真实的三维物体一暗示，可实现多人、多角度、同一时间裸眼观察。光场三维显示技术如图11线[16]2D的3D影像。图11光场立体显示技术示意图全息通信技术案例1849·乌梅奇第一次实现电话通信；1877术普及并创立电话公司（AT&T）；1973丁功能让“视频通信”成为普通消费者亦触手可及的功能；2014100105G105G6G术的普及，“全息通信”将会融入我们的生活。以下是几例走在世界前列的“全息通信”技术案例。微软（Microsoft）SIGGRAPH2015[17]，IRRGB、IR由视觉上重要（敏感）区域的自动检测引导的自适应网格划分；网格跟踪以创建时间上相关的子序列；MPEG谷歌（Google）5I/O大会上，谷歌公布了其多年研究成果——全息视频聊天技术ProjectStarline。ProjectStarline3D和普通的视频电话会议相比，用户感觉就像坐在真人面前一样。通过Starline相互交流的人，不需要佩戴任何眼镜或者头盔，就像坐在对面聊天一样[18]。该系统三维采集部分仍采用了深度相机+彩色相机的组合（RGBD），系统包括三组RGBD相机、跟踪相机等。其投入商用，但其颠覆传统视频通话的浸入感让所有体验者都眼前一亮。螳螂慧视（MantisVision）螳螂慧视科技有限公司于2019年推出全息视频采集系统原型，并在其以色12多组深度相机+彩色相机（RGBD）21RGBD（两组彩色相机组成）。图12螳螂慧视标准全息影棚总结和展望5G6G到商用的距离。问题：采集设备集成度较低，设备占用空间较大；不佳，而可接受的实时性又会以牺牲图像质量为代价；性未纳入当前解决方案的考虑；缺乏能提供整体技术方案的厂商，产业链需要整合。5G6G当前全息通信中存在的问题，促进全息通信产业的发展。的发展，全息通信在不远的将来会为人类世界带来全新的交流体验。缩略语列表缩略语英文全名中文解释6G6thGeneration第六代移动通信技术XRExtendedReality扩展现实MTPMotiontoPhotons运动到成像MECMobileEdgeComputing移动边缘计算SFMStructu