CN113936119B 一种数据渲染方法、系统及装置 （华为技术有限公司）

由于时延而导致终端显示设备的显示画面出现在未来时刻之前或未来时刻时使用预测显示资未来时刻之前提前看到未来时刻的显示画面或避免或缓解由于时延问题而导致的终端显示设2接收终端显示设备发送的第一信息，所述第一信息中包括用户在从初始显示资源中确定出所述动作捕捉信息对应的当前显示资源和所述第一动作预在所述未来时刻到来之前，向所述终端显示设备发送第二将所述当前显示资源对应的全部数据流、以及所述预测显示资重新划分所述初始显示资源，使重新划分后的当前显示4.如权利要求3所述的方法，其特征在于，所述将所述当前显示资源对应的全部数据若所述服务器的可用资源不小于第二资源阈值，则将所述当前显示资源的全部数据若所述服务器的可用资源小于所述第二资源阈值，则降低所述预测显示资源的分辨5.如权利要求1至4中任一项所述的方法，接收所述终端显示设备发送的至少两个时刻分别对应的第一信息；所述根据所述至少两个时刻分别对应的第一动作预测信息，得到所述用户在根据所述未来时刻的目标动作预测信息，从所述初始显示资源中确3对所述至少两个时刻分别对应的第一动作预测信息进行加权求平均，得到若所述至少两个时刻分别对应的第一动作预测信息的差异程度不大于预设的差异程若所述至少两个时刻分别对应的第一动作预测信息的差异程度大于所述预设的差异8.如权利要求1至4中任一项所述的方法，其特征使用预测模型确定所述用户在所述未来时刻对所述第一动作预测信息和所述第二动作预测信息进行加权平均其中，所述预测模型为使用一个或多个终端显示设备上报的学个终端显示设备上报的学习数据用于指示穿戴所述终端显示设备的用户在所述未来时刻从所述初始显示资源中确定出所述第二动作预测信息对应的所述预测显检测用户在第一时刻的动作捕捉信息，并预测得到用户在未来在所述未来时刻到来之前，接收所述服务器发送的第二信息，在所述未来时刻到来之前或在所述未来时刻时，使用所述目标显示资源刷新显示画4在所述未来时刻到来之前，根据所述当前显示资源和所述在所述未来时刻到来时，根据所述当前显示资源和所述预测显示资在至少两个时刻分别预测得到所述用户在所述未来时刻的动作预分别向所述服务器发送所述至少两个时刻的每个时刻对应的第对应的第一信息包括在所述时刻预测得到的所述用户在未来时刻的第终端显示设备，用于检测用户在第一时刻的动作捕捉信息服务器，用于接收所述第一信息，并从初始显示资源中确定出所述所述终端显示设备，还用于在所述未来时刻到来之前或在所述未所述终端显示设备还用于：在至少两个时刻分别预测得到所述用户动作预测信息，并分别向所述服务器发送所述至少两个时刻中的每个时刻对应的第一信一信息包括在所述时刻预测得到的所述用户在所述未来时刻所述服务器还用于：根据所述至少两个时刻分别对应的第一动作5来自所述数据渲染装置之外的其它通信装置的信号并传输至所述处理器或将来自所述处行代码指令用于实现如权利要求1至10中任一项、或权利要求11至13中任一项所述的数据述数据渲染装置执行如权利要求1至10中任一项、或权利要求11至13中任一项所述的数据所述处理器用于通过所述接口读取指令以执行权利要求1至10中任一项、或权利要求6[0001]本申请要求在2020年6月28日提交中华人民共和国知识产权局、申请号为资源中确定出第一动作预测信息对应的预测显示资源，并对预测显示资源进行基础渲染；[0008]上述设计由服务器提前将预测得到的未来时刻的显示资源提供给终端显示设备7应的部分数据流作为预测显示资源，以在缓解黑边现象的同时尽量节省云端服务器的资[0010]在一种可能的设计中，第一信息中还可以包括用户在第8[0016]在一种可能的设计中，服务器根据至少两个时刻分别对对第一动作预测信息和第二动作预测信息进行加权平均，根据加权平均后的动作预测信示资源，相比于只根据终端显示设备上报的动作预测信息确定预测显示资源的方式来说，终端显示设备上报不准确的动作预测信息而导致无法解决显示画面的黑9第二信息中携带该动作捕捉信息对应的当前显示资源并发送给终端显示设备。这种情况围大于预设的视角范围。该设计由终端显示设备提前向用户提供一个超视角的显示画面方面的任意一种可能的设计的方法的模块/单元，或者包括执行上述第二方面的任意一种[0050]图12A至图12D示例性示出本申请实施例提供的一种终端设备与显示设备建立连[0051]图13A至图13C示例性示出本申请实施例提供的另一种终端设备与显示设备建立如在将显示资源提供给终端显示设备之前，云端服务器还可以对显示资源进行基础渲染，括具有有线连接功能或无线连接功能的手持式设备、或连接到有线调制解调器或无线调制端设备、移动终端设备、设备到设备通信(device-to-device，D2D)终端设备、车到万物 machine-typecommunications，M2M/MTC)终端设备等。例如，可以包括移动电话(或称为通过网络协议进行通信，网络协议例如可以包括传输控制协议/网际协议(transmissioncontrolprotocol/internetprotocol，TCP/IP)、用户数据报协议/网际协议(user用协议(remoteprocedurecallprotocol，RPC)协议、表述性状态传递[0068]先以图1A所示意的系统架构为例对云端渲染场景进行介绍。图2示例性示出本申提高数据传输效率)基础渲染后的显示资源并下发给终端设备。当显示设备具有一定的处动作捕捉信息后，云端服务器会将该动作捕捉信息所对应的原始FOV(如a图中实线部分所如果用户在该时延内又产生了新的转头动作，则用户的实际FOV(如b图中的虚线部分所围实际FOV超出原始FOV的区域(如c图中的斜线所围成的区域)则会出现黑边(显示为黑色或作捕捉信息后，除了可以对该动作捕捉信息对应的高质量的局部显示资源进行基础渲染，度对应的低质量的显示资源显示给用户。这种方式能够使用户的视角范围内不出现黑边，[0076]图4示例性示出本申请实施例一提供的渲染方法对应的交互流程示意图，该方法使用其它传感器来确定动作捕捉信息，例如使用体感装置检测手部动作(此处以手部为例时刻的头部位置(例如若终端显示设备为VR眼镜，则头部位置可以是指VR眼镜的中心线与为负)和头部转动速度输入预设的航位推测模型。预设的航位推测模型可以先根据未来时测器在估算过程考虑到了实际数据，因此能够减少估算得到的数据中的一部分噪声或误向云端服务器发送动作预测信息，例如若分别在N(N为大于或等于2的整数)个时刻预测得到N个动作预测信息，则终端显示设备可以分别在这N个时刻将N个动作预测信息上报给云端服务器，也可以在未来时刻之前的某个时刻将这N个动作预测信息一次上报给云端服务次实验的情况下，将第一时间间隔设置为多次实验中的最大时延(或者也可以为多次实验[0086]步骤403，云端服务器从初始显示资源中确定出未来时刻的动作预测信息对应的[0088]图5示例性示出一种初始显示资源在云端服务器中的存储方式示意图，如图5所这20个数据流的编码依次为1至20，且按照4行5列的形式排列，每个数据流的分辨率都为[0089]下面以云端服务器根据动作捕捉信息确定出捕捉到的用户动作对应的当前显示为预测显示资源，且部分数据流的数据量可以随着云端服务器不充足的增大程度而减少，[0092]图6示例性示出一种通过增加数据流数量的方式来确定目标显示资源的示意图，显示资源为动作预测信息对应的部分数据流的情况下，目标显示资源对应为图6中的目标[0093]图7示例性示出一种通过增加数据流大小的方式来确定目标显示资源的示意图，信息对应的部分数据流的情况下，云端服务器可以先扩大数据流8的尺寸使扩大后的数据流8包括原数据流8和原数据流9，同时扩大数据流13的尺寸使扩大后的数据流13包括原数据流13和原数据流14，如此，重新划分得到的初始显示资源对应为图7中的初始显示资源扩大后的数据流8和扩大后的数据流13则分别占动作预测信息对应的部分数据流作为预测显示资源虽然可能无法完全覆盖显示画面中的信息对应的预测转动角度小于实际转动角度(例如预测用户向右转头10°而用户实际向右动作预测信息对应的部分数据流作为预测显示资源，都无法完全覆盖显示画面中的黑边，[0095]步骤404，云端服务器对未来时刻的动作预测信息对应的预测显示资源进行基础均占据2个单元格，因此云端服务器对目标显示资源a3进行基础渲染所耗费的资源大于对低质量的预测显示资源作为目标显示资源显然比将高质量的当前显示资源和高质量的预测显示资源作为目标显示资源要耗费更少的[0100]步骤405，云端服务器在未来时刻到来之前将基础渲染后的目标显示资源发送给[0101]本申请实施例中，云端服务器还可以对基础渲染后的目标显示资源进行压缩处器发送基础渲染后的目标显示资源之后至终端显示设备实际刷新显示图像之间的时间差，[0105]本申请实施例中，预设的端云渲染方式可以由本领域技术人员根据经验进行设到云端服务器发送的第P时刻的显示资源后，才会开始采集用户在该时延内的新的头部动器和终端显示设备的各项操作都是串行执行的，这种串行执行的方式会耗费较长的时间，导致终端显示设备从检测到用户的头部动作至刷新显示画面(motiontophoton，MTP)的时延很长。一般来说，如果用户的头部发生运动到双眼所见的图像发生变化的时间差在[0106]为了解决上述问题，图9示例性示出本申请实施例提供的一种异步端云渲染方法并使用头动渲染后的第P-M时刻的显示资源刷新显示画面。当终端显示设备刷新显示画面[0107]基于图9所示意的执行流程，图10示例性示出本申请实施例提供的异步端云渲染新的显示画面都是距离该时刻之前一个周期时延时长的历史时刻的头部动作所对应的显[0108]为了便于理解，图11示例性示出本申请实施例提供的一种云端渲染过程中FOV变终端显示设备根据当前FOV1和右转2度的预测显示资源能够刷新得到一个超视角的FOV3，备可以先确定用户使用的当前业务的业务类型，如果属于弱交互的业务(例如看电影、直待下一个新的动作发生后直接将当前FOV的显示范围更新为新的FOV的显该种方式能够避免或缓解由于时延问题而导致的终端显示设备的显示画面上出现黑边的中还可以包括其它信息，例如眼镜Y的型号、媒体存取控制位址(MediaAccessControl到已与眼镜Y建立连接，则手机X可以直接向用户显示如图12D所示意出的显示渲染配置界[0114]本申请实施例中的方案还可以应用在其他场景中，例如未来可能会存在一种场[0119]步骤1401，终端显示设备在K时刻将K时刻对应的动作捕捉信息和K+5时刻对应的[0120]步骤1402，终端显示设备在K+1时刻将K+1时刻对应的动作捕捉信息和K+5时刻对[0121]步骤1403，终端显示设备在K+2时刻将K+2时刻对应的动作捕捉信息和K+5时刻对的权重可以根据各自预测得到的时刻和时刻K+5的时间差进行设置，当预测得到动作预测测得到动作预测信息X11的时刻K与时刻K+5的时间差>预测得到动作预测信息X12的时刻K+1[0126]步骤1405，云端服务器根据K+2时刻对应的动作捕捉信息从初始显示资源中确定出当前显示资源，根据K+5时刻对应的目标动作预测信息从初始显示资源中确定出预测显端服务器也可以将高质量的当前显示资源和初始显示资源在各个方向上对应的部分低质[0129]在上述实施方式中，预设的差异程度可以由本领域技术人员根据经验进行设[0130]任意两个动作预测信息的差值不大于第[0135]存在两个动作预测信息的差值大于第一个轮询周期的第1个时刻开始，按照每个时刻上报一次的上报频率进行动作预测信息的上询周期为5，则终端显示设备会在每个轮询周期的前3个时刻上报最后1个时刻的动作预测[0143]在一种可选地实施方式中，终端显示设备可以在app启动的同时向用户展示如图[0145]在又一种可选地实施方式中，终端显示设备可以自动识别用户正在使用的app的[0146]若确定属于弱交互的扩展现实(extendedreality，XR)类业务(例如电影等视频如图12D所示意的配置界面，然后根据用户在该配置界面上输入的信息确定上述各项配置[0152]步骤1501，终端显示设备在Q时刻将Q时刻对应的动作捕捉信息和Q+5时刻对应的的动作预测信息X23、Q+6时刻对应的动作预测信息X32发送给云端服务器和Q+7时刻对应的[0156]步骤1505，云端服务器根据Q+2时刻对应的动作捕捉信息从初始显示资源中确定出当前显示资源，根据Q+5时刻对应的目标动作预测信息从初始显示资源中确定出预测显上报的Q+5时刻对应的3个动作预测信息，确定出Q+5时刻对应的预测显示资源并提前发送个时刻上报的数据较多，但是这种方式从第3个时刻开始后续每个时刻都可以预先将对应的预测显示数据发送给终端显示设备，因此终端显示设备在Q+2时刻以及后续每个时刻的[0160]上述实施例二和实施例三都是直接根据终端显示设备上报的动作预测信息来确[0163]步骤1601，一个或多个第一终端显示设备向云端服务器上报第一时刻的学习数当用户在使用视频app看电影时，某个时刻对应为从电影开始播放至结束播放的时长中的以包括穿戴该第一终端显示设备的用户在第一时刻的动作预测信息和动作预测误差信息。会根据其它终端显示设备的VR动作信息改善该第一终端显示设备预测用户动作的准确度。新规则来更新初始神经网络模型得到训练好的神或主成分分析算法训练未标记的学习数据得到无监用新的第一终端显示设备上报上来的学习数据或旧的第一终端显示设备上报的新的学习可以获取该用户使用各种类型业务的app所对应的学习数据，并对这些学习数据中的特征模型适用于预测该用户在各种类型业务下的真实动作信息。在又一种可选地实施方式中，器发送穿戴第二终端显示设备的用户在第一时刻的动第二终端设备上报的动作预测信息X51的准确度。根据动作预测信息X51确定预测显示资源[0188]步骤1608，云端服务器根据动作预测信息X51和动作预测信息X52确定第一时刻对X51和动作预测信息X52确定出目标动作预测信息，再将目标动作预测信息对应的全部数据[0190]在一种可选地实施方式中，云端服务器可以将动作预测信息X51和动作预测信息X52的加权平均值作为目标动作预测信息，例如在动作预测信息X51包括动作预测信息X511、别为动作预测信息X511、动作预测信息X512和动作预测信息X513和动作预测信息X52对应的权511信息X512和动作预测信息X513与第一时刻的时间差进行设置，例如若动作预测信息X511与第第一时刻的动作预测信息X51和动作预测误差信息更新预测模型，提高预测模型的预测效设备上报的动作预测信息来综合确定预测显示资源，则还能够使预测显示资源更为全面，门阵列(fieldprogrammablegatearray，FPGA)，可以是专用集成芯片(application是中央处理器(centralprocessorunit，CPU)，还可以是网络处理器(network微控制器(microcontrollerunit，MCU)，还可以是可编程控制器(programmablelogic[0202]可以理解，本申请实施例中的存储器1704可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器读存储器(erasablePROM，EPROM)、电可擦除可编程只读存储器(electricallyEPROM，步连接动态随机存取存储器(synchlinkDRAM，SLDRAM)和直接内存总线随机存取存储器置1801实现上述图1A至图16的相关方案中服务器侧的方法。本申请实施例中，通信接口可以实现如上图1A至图16中所示的任一项或任多项对应的方法中终端显示设备所执行的测得到用户在未来时刻的动作预测信息，动作预测信息用于指示用户在未来时刻的动作。染装置可以包括处理单元1902和收发单[0225]上述各个装置实施例中网络设备与终端设备和方法实