CN112106063B 用于动态调整点云的细节级别系统及方法 （Pcms控股公司）

2020.11.09PCT/US2019/0218462019.03.12WO2019/182811EN2019.09.26ofPoint-SampledGeConferenceonComputerConferenceonComputer本文公开的示例方法的一些实施例可以包以及在所述点云数据内用所述细节级别数据替2从第一服务器(402,504)接收表示多个三维对象的点云数据，其中所述点云数据被分基于与所选对象相关联的标签从第二服务器(404,506)获取神经网络模型，其中所述2.根据权利要求1所述的方法，其中生成针对所述所选对象的所述增加的细节级别包3.根据权利要求2所述的方法，其中使产生针对所述所选对象的附加几何细节的幻觉从所述第一服务器接收具有基于所述视点的细节级别的更新的点6.根据权利要求5所述的方法，其中所接收的点云的所述分辨率被下采样以符合带宽7.根据权利要求1所述的方法，还包括在所述点云数据内用增加的细节级别替换与所8.根据权利要求1所述的方法，其中使用所述视点从所述三维对象中选择所述对象包其中选择所述对象还包括从所述点云数据内检测到的所述一个或多个对象中选择所316.根据权利要求15所述的方法，其中将相应对象映射到可用神经网络模型的信息包其中获取与所述所选对象相对应的所述相应神经网络模型包括确定所述所选对象是一个或多个非暂时性计算机可读介质，其存储指令，所述指理器执行时可操作以执行根据权利要求1-17中任一项所4动态调整点云的细节级别的系统和方法”的非临时提交，维(3D)空间内容观看的需求正在增长。用于这种全3D内容的传统事实标准是多边形3D图生和分发沉浸式空间3D内容的方式的新的潜在发展[0004]从现实世界环境收集点云数据的空间捕获系统可以产生可用作沉浸式体验的内[0005]根据一些实施例的示例方法可以包括：接收表示一个或多个三维对象的点云数经网络来推断由于用于所选对象的有限采样[0010]根据一些实施例的示例方法可以进一步包括：选择用于所选5[0016]根据一些实施例的示例方法可以进一步包括：捕获头戴式显示器(HMD)的运动数[0019]根据一些实施例的示例方法可以进一步包括：在第一服务器6[0032]图2是示出根据一些实施例的用于两个服务器和一个客户端的示例性接口集的系[0035]图4是示出根据一些实施例的用于一组服务器和客户端的一组示例性接口的系统主条款。[0044]图1A是示出了其中可以实现一个或多个所公开的实施例的示例通信系统100的址系统。通信系统100可以使多个无线用户能够通过共享包括无线带宽的系统资源来访问7114b可以被配置为在一个或多个载波频率上(其可以被称为小区(未示出))上发送和/或接下行链路(DL)分组接入(HSDPA)和/或LTE(LTE-A)和/或高级LTEPro(LTE-APro)来建立空中8到/来自多种类型的基站(例如eNB和gNB)的多种类型的无线电接入技术和/[0053]在其它实施例中，基站114a及WTRU102a、102b、102c可实施无线技术，例如IEEE802.11(即无线保真(WiFi)、IEEE802.16(即全球微波存取互操作性(WiMAX))、且可以利用任何合适的RAT来促进局部区域中的无线连接，该局部区域诸如营业场所、家通信协议例如是TCP/IP因特网协议族中的传输控制协议(TCP)、用户数据报协议(UDP)和/或因特网协议(IP)。网络112可以包括由其他服务提供商拥有和/或运营的有线和/或无线RAN104/113相同的RAT或不同9[0060]发射/接收元件122可以被配置为通过空中接口116向基站(例如，基站114a)发射[0062]收发信机120可以被配置为调制将由发射/接收元件122发射的信号，并且解调由[0063]WTRU102的处理器118可被连接到扬声器/麦克风124、键盘126和/或显示器/触摸[0064]处理器118可以从电源134接收功率，并且可以被配置成分配和/或控制功率给[0065]处理器118也可以耦合到GPS芯片组136，其可以被配置成提供关于WTRU102接收可以是并发的和/或同时的。全双工无线电设备可以包括借助于硬件(例如扼流线圈)或是凭借处理器(例如单独的处理器(未显示)或是凭借处理器118)的信号处理来减小和/有信号(例如与用于UL(例如用于传输)或下行链路(例如用于接收)的特定子帧相关联的信的功能中的一者或一者以上或全部可以由一个或多个仿真设备(未示出)执行：WTRU102a-[0069]仿真设备可以被设计为在实验室环境和/或运营商网络环境中实现对其他设备的捕获的用户导航来设置视点。该方法还可以包括在观看客户端处确定该对象需要新模型，长地需要全三维(3D)空间内容，诸如可以利用RGB-D传感器、光场相机以及光检测和测距(LIDAR)系统从现实世界环境(实时或近实时)收集以检查所捕获的几何结构的多近的距离。点云数据传输所需的带宽也会限制显示分辨率。年4月7日在暗影(Umbra)上发表的以前可在https：///blog/visualizatioof-large-point-clouds/获取，题目为“大点云可视化(VisualizationofLargePointClouds)”的来自暗影网站的博客文章(可在https：///web/后的访问时间为2019年2月28日)描述了一种用于在暗影优化系统中使用的点云流传输的据应用机器学习的早期方法需要将3D数据变换为体积格式(即，体积像素(体素)或二进制文章QI(CharlesR等人在2016年在计算机视觉和模式识别(CVPR)的第4期学报1(2)上发表测和识别。[0079]当从相对较近的距离捕获内容时，内容质量的增加可用于提供更真实的观看体则根据原始未被处理的点云数据降低细节级别，以及(2)使得能够动态模拟(使产生幻觉)度与一些应用中可用来针对活动视点产生高质量可视化的点密度相匹配。在一些实施例中，观看客户端可以将由点云服务器流传输的点云数据与从神经网络服务器(其可以是不[0081]图2是示出根据一些实施例的用于两个服务器和客户端的示例性接口集的系统接[0083]图3A是示出了可以由一些实施例捕获和处理的场景的示例点云的示意性透视场景300包括从具有某一视在(apparent)高度的观看者视点成像的在某一距离处的多个建[0084]图3B是示出了可以由一些实施例捕获和处理的对象的示例点云的示意性透视[0085]图4是示出根据一些实施例的用于一组服务器和客户端的一组示例性接口的系统另外可以包括用于从传感器数据模拟器418、神经网络训练模块420和服务器管理功能422户端406的点云数据408。点云服务器402以空间捕获已经提供的分辨率流传输点云数据[0089]点云服务器504处理508点云以允许处理定制的细节级别，考虑例如流约束(时间和带宽)、观看距离以及使用神经网络模型对可允许在观看客户端处快速重构的对象的检检测到的对象的指示。客户端502基于客户端可以用来增加用于某些对象集的观看分辨率[0091]图6是示出根据一些实施例的由服务器执行的示例过程的流程图。由服务器(例输的条件(例如，是否已经接收到结束流传输请求)；以及618监视622终止处理的条件(例些体积或区域中的点密度)可以取决于数据点距客户端的指定视点的虚拟距离。在启用基选择点云内的三维对象可以包括选择所检测的对象有效的流传输的片段。例如，一个在2016年4月7日在暗影(Umbra)上发表的以前可在云可视化(VisualizationofLargePointClouds)”，的来自暗影网站的博客文章(可在of-large-point-clouds获取)(最后的[0095]图7是示出根据一些实施例的由服务器执行的示例过程的流程图。由服务器(例针对神经网络的客户端请求；714从所存储的神经网络模型发送所请求的神经网络；以及型和在多个3D模型储存库中可用的高分辨率3D扫描来训练神经网络。在一些实施方式中，神经网络服务器收集对象模型并对其进行分类，并且通过创建对象的低分辨率点云版本对由训练数据集表示或类似于训练数据集的对象类别的增加的细节级数据的低分辨率版本可以通过用产生较低分辨率结果的空间数据捕获方法模拟对象的3D也可以利用到高分辨率数据的链接而被存储在训网络(CNN)架构来构建。经训练的神经网络可以用于产生低分辨率点云输入的高分辨率版31-38(2014)上发表的会议论文从单深度帧进行3D面部幻觉(3DFaceHallucinationfromaSingleDepthFrame)描述了例如用于从低分辨率深度帧幻觉高分辨率3D模型的类似于例如使产生3D面部的增加的细节级别的幻觉的(CVPR)(2018)的第2790-2799页发表的杂志文章PU-Net：点云上采样网络(PointCloud成所选对象的细节级别可以包括使产生针对所选对象的附加细节的幻觉。在一些实施例维对象的附加细节的幻觉可以包括例如使用神经网络模型推断(或生成)对象的细节数据样(或下采样)，以生成与第二分辨率级别相对应的点集合。上采样(或下采样)增加(或减的视点，选择其细节级别可以被增加的对象；812确定对象是否对应于新的神经网络模型使用神经网络模型(最近接收的或先前存在的)来增加分辨率并使产生针对所选对象更高[0103]在一些实施例中，由客户端执行的示例过程可以开始于用户启动点云观看应看客户端最初从点云服务器请求点云数据，则观看客户端可用信号通知默认或特定视点。如果观看客户端开始接收点云数据，则观看客户端可根据用户输入和/或用于渲染所接收如在较高点云分辨率的类似对象中观看到的典型细节产生幻觉来以较高分辨率创建对象的新几何结构。为点云而产生幻觉的细节可以是添加到对象的整体形状的典型几何图案。可以基于由神经网络的较低层从在训练期间已经被馈送到网络中的对象中提取的特征来辨率点云数据，则观看客户端可以用神经网络产生的相应高分辨率点来代替原始数据点。[0108]对于一些实施例，示例过程可以包括在观看客户端处捕获指示用户移动的数据从神经网络服务器检索用于所选对象的神经网务器可使用神经网络来增加点云数据的细节级别并流传输点云数据的视点。过程900还可以包括906使用视点从一个或多个三维对象中选择所选对经网络模型生成针对所选对象的细节级别数据，并912在点云数据内用细节级别数据替换对所选对象的细节级别数据可生成针对所选对象的增加的细节[0115]根据一些实施例的示例方法可以包括：接收表示一个或多个三维对象的点云数对所选对象的附件细节的幻觉或推断针对所选对象的所选对象的附加细节可以增加点云数据的采经网络来推断由于用于所选对象的有限采样[0120]根据一些实施例的示例方法可以进一步包括：选择用于所选[0126]根据一些实施例的示例方法可以进一步包括：捕获头戴式显示器(HMD)的运动数确定观看客户端缺少神经网络模型，从神经网络服务器检索用于所选对象的神经网络模[0129]根据一些实施例的示例方法可以进一步包括：在第一服务器选对象的神经网络模型；使用所述神经网络模型生成针对所述所选对象的细节级别数据；以及在所述点云数据内用所述细节级别数据替换与所选对象相降低的分辨率的点云数据和检测到的对象的标识流[0154]根据一些实施例的示例方法还可以包括基于到点云数据的视点来选择细节或分[0155]根据一些实施例的示例方法还可以包括使得能够产生针对所选对象的添加的细[0156]根据一些实施例的示例方法还可以包括向所接收的神经网络馈送被标签为所选[0157]根据一些实施例的示例方法还可以包括用所选对象的更高分辨率版本替换从点[0158]根据一些实施例的示例方法还可以包括向用户呈现具有动态调整的细节级别的[0160]尽管以上以特定的组合描述了特征和元素，但是本领域中以由计算机或处理器执行。计算机可读存储介质的示例包括但不限于，只读存储器