CN110959169B 用于游戏生成的运动向量的系统和方法 （泽尼马克斯媒体公司）

US2016150231A1,2016.05.26US2015379727A1,2015.12.31US2012213278A1,2012.08.23BroadbandWirelessServiApplications.2004,第1-2020.04.032019.12.16PCT/US2018/0285442018.04.20WO2018/195405EN2018.10.25在一些实施例中，所述系统和方法利用图形引2生成动态对象的一个或更多个每像素运动向量并将所述一个或更多个每像素运动向使用计算着色器将所述速度缓冲区中的所述一个或更多个每像素运动向量与尚未包将所述一个或更多个每像素运动向量转换为一个或更多个将所述一个或更多个每块运动向量转换为经编码生成动态对象的一个或更多个每像素运动向量并将所述一个或更多个每像素运动向使用计算着色器将所述速度缓冲区中的所述一个或更多个每像素运动向量与尚未包所述视频编解码器引擎，所述视频编解码器引擎被配置成：将所述每块一个或更多个色度亚采样视频帧同时注入所述视9.根据权利要求7所述的系统，其中，所述视频编解码器引擎执行运动补偿和残差变3所述一个或更多个每像素向量转换为一个或更多个每4[0002]本申请要求于2017年4月21日提交的第62/488,526号和于2017年12月8日提交的传统视频流对延迟更为敏感。现有的视频编码方法能够用计算量来换取编码时间的减少，而几乎没有其他方法。将编码过程集成到视频渲染过程中的新方法能够显著减少编码时[0004]现有的视频编码标准仅包含图像序列中的颜色和时间信息，以改善视频编码时[0005]将编码过程集成到视频渲染过程中提供了对能够用于编码改进的其他数据源的量数据注入编码器中，能够为每个帧跳过视频编码器中计算复杂度最高、最耗时的步[0007]通过下文描述的技术不足，本发明的这些优点和其他伴随的优点会变得显而易解码以生成视频图像的已解码的块序列的技术。该技术允许在编解码器引擎生成解码块得在将经编码的视频数据传输到远程客户端编码引擎之前视频编解码器引擎不需要执行5有公开或使用提供用于注入视频编解码器引擎的适当格式化的运动向量数据和最终渲染环境中的视频编码相关的当前的计算机技术频编解码器引擎的适当格式化的运动向量数据和最在将经编码的视频数据传输到远程客户端编码引擎之前不成每像素运动矢量：使用计算着色器将每像素运动向量添加到相机速度以获得每像素结据由图形引擎实时地与色度亚采样(chromasubsampled)视频帧一起[0018]图2是示出通过将3D图形引擎生成的运动向量注入图4的经修改的编码过程中来[0019]图3是示出在图形引擎中生成的每像素运动向量到每宏块运动向量的变换以注入6模糊方法中使用重建过滤器的图形引擎中，可以已经为每个视频帧计算出每像素运动向[0024]图1示出了示例系统，在该示例系统中，视频被渲染和编码以传输到远程客户端频帧的视频和补充运动向量信息传递到编解码器引擎(这里称为编解码器或编码器)102，120是能够支持图形引擎和编解码器引擎的功能的硬件或软件的任何组合。在所给定的示器114上播放。远程客户端计算机系统116是能够对经编码的比特流108进行解码和显示的[0025]图2示出了通过在视频编码过程中重用来自渲染过程的现有补充数据来实现更快的编码时间所需的步骤。在步骤202中，作为位于服务器120的图形引擎100的正常操作功7[0027]在步骤204中，位于服务器120处的图形引擎100基于待用于编码的宏块大小将每[0028]在步骤206中，将每宏块运动向量信息注入位于服务器120处的编码引擎/编码器显著节省CPU计算时间。CPU中节省的时间应该足以抵消在GPU中计算平均向量(在步骤204细描述的，视频编码处理的其余部分与使用运动估计技术的编码标准执行的典型运动补[0030]图3进一步详细示出了在图形引擎100中发生的从每像素运动向量到每宏块运动并将该数据存储在同样位于服务器120的速度缓冲区300中。速度缓冲区300可以仅包含用用的宏块大小。对于4×4宏块306，在运动向量缓冲区304中存储了16个每像素运动向量均是一种具有低计算复杂度和较短计算时间的变[0032]能够对算术平均变换312进行可选的修改，以附加的计算复杂度或计算量为代价块运动向量始终是比现有的基于块的运动估计算法计算的运动向量更精确的表示，其中，这些运动估计算法只能基于像素颜色数据得[0033]图4示出了通过将在图1的服务器120的图形引擎100中生成的运动向量注入图1的服务器120的编码引擎102中来跳过计算复杂的运动估计过程的方法。如下面详细说明的，经编码的视频数据108的结果比特流被传输到远程客户端计算机系统116。图4所示的方法8帧402和每块运动向量数据404可用，它们将被从图形引擎100传输。游戏生成的运动向量404用于规避原本会在典型运动估计426步骤中发生的运动向量生成，如H.264/MPEG-4AVC标准中所述的那样。运动估计426步骤将被跳过，并且能够在编码引擎的软件实现中被禁[0034]已经转换为适当宏块大小的运动向量404能够被直接使用，而不需要对运动补偿406进行任何更改。运动补偿406的结果与输入色度亚采样视频帧402相结合以形成残差图为比特流108传输到远程客户端计算机系统116以在远程客户端计算机系统的编解码器110频数据)108保留与实施方式中使用的编码标准例如H.264/MPEG-4AVC所定义的相同的格[0037]传统H.264兼容编码中的运动估该测试的结果显示在下面的表1中，其中示出了使用和不使用本文描述的游戏生成的运动9[0042]测试环境还显示了将游戏生成的每像素运动向量转换为用于编码器的每宏块运测得的节省的编码器时间比使用