CN114730481B 用于调整gpu的一个或多个参数的系统和方法 （索尼互动娱乐股份有限公司）

2022.05.13PCT/US2020/0606742020.11.16WO2021/101826EN2021.05.27JP2015186550A,2015.10.29JP2017221553A,2017.12.21JP2018106591A,2018.07.05JPWO2005038638A1,2008US2019308099A1,2019.10.10用于调整GPU的一个或多个参数的系统和方法描述了一种用于调整由图形处理单元(GPU)述GPU处理游戏场景的图像帧。所述方法还包括信号(QAS)发送到与游戏引擎相关联的着色器。基于与所述GPU的所述处理相关联的所述一个或多个度量来生成所述QAS。在所述图像帧的所述述调整一个或多个着色器参数改变正由所述GPU2在所述图像帧的所述第一渲染部分的所述生成期间，以及所述图在所述图像帧的所述第一渲染部分的所述生成期间，以及所述在所述图像帧的所述第二渲染部分的所述生成期间，由所器参数，其中所述修改所述第二渲染部分的所述一个或多个着色器参数改变正由所述GPU分析在所述图像帧的所述第一渲染部分的所述生成期间由所述GPU消耗的所述功率量3.如权利要求1所述的方法，其中所述第二渲染部分的所述一个或多个着色器参数包4.如权利要求3所述的方法，其中所述优先级次序是基于所述虚拟对象将被渲染所处5.如权利要求1所述的方法，其中所述修改所述一个或多个着色器参数包括通过以下在确定由所述GPU消耗的功率量大于预定水平时，减少在所述图像帧的所述第二渲染在确定由所述GPU消耗的所述功率量大于所述预定水平时，降低所述图像帧的所述第在确定由所述GPU消耗的所述功率量大于所述预定水平时，减少在所述图像帧的所述在确定由所述GPU消耗的所述功率量大于所述预定水平时，对所述虚拟对象的渲染进36.如权利要求1所述的方法，其中跟踪所述一个或多个度量以识别在所述图像帧的所在所述图像帧的所述第一渲染部分的所述生成期间，分7.如权利要求1所述的方法，其中所述修改所述第二渲染部分的所述一个或多个着色在确定在节点和客户端装置之间传送分组的等待时间量大在确定所述等待时间量大于所述预定水平时，降低所述图在确定所述等待时间量大于所述预定水平时，减少在所述图像帧在确定所述等待时间量大于所述预定水平时，对所述图像在所述图像帧的所述第一渲染部分的所述生成期间，分析所述9.如权利要求1所述的方法，其中所述修改所述第二渲染部分的所述一个或多个着色在确定在所述图像帧的所述第一渲染部分的所述生成期间所述GPU的温度量大于预定在确定所述温度量大于所述预定水平时，降低所述图像帧的所在确定所述温度量大于所述预定水平时，减少在所述图像帧的在确定所述温度量大于所述预定水平时，对所述图像帧的411.如权利要求1所述的方法，其中所述所述图像帧的所述第二渲染部分包括多个像12.如权利要求1所述的方法，其中在所述图像帧的所述第一渲染部分的所述生成期分析所述用户输入以确定是否修改所述第二渲染部分的所述一个或多个着色器参数，述修改所述图像帧的所述第二渲染部分的所述一个或多个着色器参数，其中所述GPU耦合其中所述GPU被配置为修改所述图像帧的所述第二渲染部分的所述一个或多个着色器参数，其中在不修改所述图像帧的所述第一渲染部分的一个或多个着色器参数的情况下，分的所述一个或多个着色器参数的所述修改改变所述图像帧的其中在所述图像帧的所述第二渲染部分的所述生成期间向所述像素中的每一个像素提供分析所述GPU消耗的所述功率量以确定所述功率量是否超过预定阈值水平，其中所述GPU被配置为在确定所述功率量超过所述预定阈值水平时，修改所述第二渲染部分的所述16.如权利要求14所述的服务器，其中所述图像帧的所述第二渲染部分的所述一个或多个着色器参数包括在所述图像帧的所述第二渲染部分的所述生成期间执行光线跟踪的5中所述GPU被配置为在所述图像帧的所述第一渲染部分的所述生成期间，以及所述图像帧染部分的所述一个或多个着色器参数，其中所述CPU被配置为基于所述确定将要修改所述其中所述GPU被配置为在接收到所述QAS时修改所述图像帧的所述第二渲染部分的所色器参数的情况下，修改所述图像帧的所述第二渲染部分的所述一个或多个着色器参数，其中所述第二渲染部分的所述一个或多个着色器参数的所述修改改变正由所述GPU生成的染部分的所述生成期间是否经由计算机网络接收到用户输入，其中所述CPU被配置为分析所述用户输入以确定是否将生成所述质量调整20.如权利要求18所述的系统，其中为了在所述图像帧的所述第二渲染部分正由所述6[0004]本公开的实施方案提供了用于调整图形处理单元(GPU)的一个或多个参数的系统数。着色器在着色器执行期间选择着色器数据参数值。例如，着色器基于图形处理单元(GPU)的忙碌程度来修改诸如虚拟草或虚拟树叶的虚拟对象的光线迭代计数或细节级别。方法包括由所述GPU处理游戏场景的图像帧。所述方法还包括在所述图像帧的所述处理期一个或多个着色器参数改变正由所述GPU处理的图像帧的复杂度[0009]在一个实施方案中，描述了一种用于调整由GPU渲染的内容的复杂度的服务器。GPU执行着色器以处理游戏场景的图像帧。GPU跟踪关于图像帧的处理的一个或多个度量。7参数的调整在图像帧正被处理时进行，并且一个或多个着色器参数的调整改变GPU正处理该系统包括经由计算机网络与服务器节点通信图像帧的渲染期间网络等待时间增加，则降低图像帧的复杂度以提高图像帧的渲染速率。[0015]图2是系统的实施方案的图，示出了基于网络等待时间调整着色器的一个或多个[0021]图6C是方法的实施方案的图，示出了在GPU执行渲染操作期间修改图像帧中的虚8[0024]图8是概念性地示出为了将云视频游戏流式传输到客户端装置而执行的各种操作[0025]图9是可兼容与客户端装置的显示装置的交接并且能够经由计算机网络与游戏服[0028]描述了用于调整图形处理单元(GPU)的一个或多个参数的系统和方法。应当指出着色器部件A。如本文所述，存储器装置系统的示例包括彼此耦合的一个或多个存储器装控制器、专用集成电路(ASIC)和可编程逻辑器件(PLD)，并且这些术语在本文中可互换使理器或ASIC或PLD或微控制器的电子电路，其应用渲染程序来生成图像帧以输出到显示装诸如蓝牙TM或Wi-FiTM的无线传输协议传送数9内的像素的颜色和强度。渲染操作由GPUA执行以处理(诸如生成或输出)一个或多个图像[0039]在GPUA执行用于生成(诸如渲染)图像帧的渲染操作期间，处理单元A确定GPUA[0042]在接收到QAS时，着色器参数调整器A应用内容规则来调整正由GPUA生成的图像用于生成表示图像帧102A中的虚拟对象的像素颜色和强度的光线迭代次数减少到预设的到预设的细节级别，或者将图像帧102A-102C内的虚拟对象在深度维度上的距离增大到预A提供参数P1-P3中的一个或多个参数的调通信介质A将图像帧102A-102C发送到视频编码器A。视频编码器A对图像帧102A-102C进行[0045]在一个实施方案中，在图像帧102A-102C被渲染诸如被生成或被产生或被输出之[0048]在一个实施方案中，本文所述的由诸如处理单元A的处理单元执行的功能由诸如[0049]在一个实施方案中，本文所述的由CPU执行的功能不由具有[0051]在一个实施方案中，着色器参数调整器A应用内容规则来确定虚拟场景中的多个后的图像帧进行解码诸如解压缩以输出未编码的图像帧的部件。说明性地，解码器应用[0056]在帧102A-102C被渲染的渲染操作期间，处理单元A经由通信介质A将信号发送到客户端装置A所花费的时间量以及流引擎接收来自客户端装置A的预定数量的分组所花费[0058]在接收到带有指令的预定数量的测试分组时，客户端装置A解析测试分组以获得擎A应用互联网协议来解析返回测试分组以获得指令。流引擎A经由接收单元A将指令发送引擎A向客户端装置A以及通过计算机网络202从客户端装置A向流引擎A传送预定数量的测A发送预定数量的测试分组的操作和流引擎A接收预定数量的返回测试分组的操作之间的[0059]处理单元A确定网络等待时间是否大于存储在存储器装置系统A中的预定量的网A的功率输入引脚。[0062]在GPUA执行渲染操作以生成图像帧102A-102C中的一个或多个图像帧期间，PMD方式调整图像帧102A-102C中的一个或多个图像帧的参数P1-P3中的一个或多个参数的值。调整后的值经由通信介质A从着色器参数调整器A发送到着色器A，从而以本文所描述的方式渲染具有调整后的值的图像帧102A-102C中的一个或多接收温度数据，并确定GPUA的温度是否超过存储在存储器装置系统A中的预定温度阈值色器参数调整器A以本文所描述的方式调整图像帧102A-102C中的一个或多个图像帧的一后的值时，着色器A生成具有参数P1-P3中的一个或多个参数的调整后的值的一个或多个[0068]图5是系统200的实施方案的图，示出了基于从客户端装置A接收的用户输入的等引擎A经由接收单元A将用户输入A1发送到CPUA。CPUA执行游戏引擎A以基于用户输入A1用于变量以生成图像帧102A-102C中的一个或多个图像帧。例如，图像帧102A具有虚拟场流引擎A和接收单元A接收来自客户端装置A的用户输入A2。响应于用户A对客户端装置A的一个或多个按钮的选择或者响应于用户A的身体部位的移动，客户端装置A生成用户输入渲染图像帧102A-102C中的一个或多个图像帧的时间少于在接收到用户输入A2之前，用于102A并且尚未完成图像帧102A的渲染的响应信号。在接收到响应信号时，处理单元A生成器参数调整器A以本文所描述的方式修改图像帧102A-102C中的一个或多个图像帧的参数改后的值渲染图像帧102A-102C中的一个单元A收到用户输入A2和收到用户输入A1之间的时间差。在确定用户输入等待时间小于诸的任何一个参数的一个示例是图像帧102A-102C(图5)中的任何一个图像帧内诸如虚拟对像帧102A-102C中的任何一个图像帧的至少一部分诸如虚拟对象而执行的迭代次数。说明性地，由着色器参数调整器A确定的将被应用于渲染表示图像帧102A的虚拟场景中的虚拟对象的像素的光线迭代计数小于由着色器参数调整器A确定的将被应用于渲染图像帧102A色器参数调整器A计算图像帧102A中的虚拟对象的像素颜色[0077]参数P1-P3中的任何一个参数的另一示例是在图像帧102A-102C中的任何一个中容规则(图5)以与在接收到QAS之前确定在图像帧102A中将被渲染的虚拟对象的量相比在图像帧102A中渲染更少数量的虚拟对象。进一步说明性地，CPUA(图5)确定将在图像帧102A(图5)的虚拟场景中渲染两个虚拟对象。CPUA经由通信介质A(图5)将指令发送给GPU[0080]参数P1-P3中的任何一个参数的另一示例包括优先级(PRTY)，虚拟物体将在图像图像帧102A的虚拟场景的第二虚拟对象被GPUA渲染之前，图像帧102A的虚拟场景中的第第一虚拟对象将在一个或多个图像帧102A-102C内比在一个或多个图像帧102A-102C中的第二虚拟对象的位置更显著的位置被渲染。与第二虚拟对象在深度维度中的距离量相比，第一虚拟对象在深度维度中的较小距离量是第一虚拟对象的显著位置的示例。在本文中，渲染图像帧102A-102C中的一个或多个图像帧中的虚拟对象的优先级的改变是一个或多个图像帧102A-102C的复杂度水平的改迭代计数RIC、渲染后的虚拟对象(VOR)的数量以及应用于图像帧102A-102C中的任何一个[0084]图6B是与GPUA(图5)相关联的度量和参数P1、P2或P3之间的映射650的实施方案帧正在被渲染并且尚未完成渲染之前接收到用户输入A2(图5)时，用户输入等待时间具有定图像帧102A的至少一部分的分辨率是R1，该部分的光线迭代计数是RTC1，质量参数是或多个图像帧正在被渲染并且已经完成渲染之前接收到用户输入A2(图5)时，用户输入等[0087]图6C是方法660的实施方案的图，示出了在GPUA(图5)执行渲染操作期间修改图个图像帧均是图像帧102A-120C(图5)中的任何一个图像帧[0094]在一个实施方案中，图像帧699的部分B具有参数P1-P3中的一个或多个参数的调[0097]如本文所使用的，交换机系统包括促进节点组装服务器704和节点A和B中的一者系统包括一个或多个晶体管，其促进节点组装服务器704和节点A和B中的一者或多者之间交换机的闭合位置将节点组装服务器704耦合到[0098]存储器装置系统A包括GPU存储器装置A，其包括用于存储编码后的图像帧104A和网络202将游戏请求708B与登录信息发送到用户账户服务器[0100]用户账户服务器702基于与游戏请求708A一起接收的登录信息来确定客户端装置户账户A和B被授权访问游戏引擎A时，用户账户服务器702发送信号到节点组装服务器704706选择将执行游戏引擎A的节点A和B中的一者或两者，以初始化节点A和B中的一者或两[0102]执行游戏引擎A以经由计算机网络202从节点A和B中的一者或两者向客户端装置A和B传送数据诸如编码后的帧。当数据诸如编码后的帧正从节点A传送到客户端装置A和B置A包括解码器，其对编码后的图像帧104A和104B进行解码诸如解压缩，以生成图像帧还在客户端装置A的显示装置上显示图像帧102B[0105]图8是概念性地示出为了将云视频游戏流式传输到客户端装置A或B(图7)而执行[0106]编码后的音频810和编码后的视频812被进一步分包成网络分组，如附图标记814[0107]游戏服务器802另外生成触觉反馈数据822，其也被分包为网络分组用于网络传[0108]生成原始视频和音频和触觉反馈数据的前述操作在数据中心的游戏服务器802上执行，并且对视频和音频进行编码以及对编码后的音频/视频和触觉反馈数据进行分包以觉反馈分组通过计算机网络820传输。如附图标记826所示，客户端装置A或B对音频分组830进行解码，以生成客户端侧原始音频和视频数据以在客户端装置的显示装置840上渲842或其他接口装置(例如HMD等)处生成触觉反馈效果，通过控制器装置842或其他接口装842是具有多个按钮的手持控制器的示例。控制器装置842也是客户端装置A或B的一部分。制器装置842和HMD。控制器装置842经由文描述的用于传输和处理用户输入的程序流相似但在从客户端装置A或B到游戏服务器802[0111]图9是可兼容与客户端装置A或B的显示装置的交接并且能够经由计算机网络820(图8)与游戏服务器802(图8)通信的游戏控制台900的实施方案的框图。游示在诸如HMD的客户端装置A或B上的游戏。游戏控制台900配备有可连接到游戏控制台900的各种外围装置。游戏控制台900具有动态随机存取存储器(XDRAM)单元926、单元处理器928、具有专用视频随机存取存储器(VRAM)单元932的现实合成器图形处理器单元930以及输入/输出(I/O)桥接器934。游戏控制台900还具有用于从盘940a读取的BluRayB光盘只读存储器(BD-ROM)光盘读取器940，以及可通过I/O桥接器934访问的可移除插入式硬盘驱Bluetoothg无线链路端口918、电气和电子工程师协会(IEEE)802.9b/g无线网络(Wi-FiTM)端口920、千兆以太网端口922和能够支持Bluetoothg连接的通用串行总线(USB)2.0而生成的游戏时，I/O桥接器934经由Bluetooth@链路从游戏控制器842和/或903和/或从是用户输入A1或A2的另一示例(图5)。游戏控制器842和903中的每一个游戏控制器均是手围装置提供连接，例如遥控器904、键盘906、鼠标908、便携式娱乐装置910(例如Sony式娱乐装置910经由Wi-FiTM自组织连接进行通信，而麦克风耳机914经由Bluetoothg链路[0114]提供这些接口意味着游戏控制台900还可能与诸如数字视频录像机(DVR)、机顶戏控制台900所使用的存储卡948能够被读取。游戏控制器842和903以及HMD905可操作来对游戏控制器842和903以及HMD905的电池充电的电力。在一些实施方案中，游戏控制器[0116]游戏控制器842是设计成用户A双手使用的控制器，并且游戏控制器903是带有附引擎A(图5)的诸如输入信号A1或A2的输入。可选地，其他支持无线的外围装置，例如制控制器等。定制控制器的示例包括用于快速反应问答游戏的单个或几个大按钮(也未示[0117]遥控器904还可操作以经由Bluetoothg链路918与游戏控制台900无线通信。遥控[0118]除了传统的预录制和可录制的CD以及所谓的超级音频CD之外，BluRROM读取器940可操作以读取与游戏控制台900兼容的CD-ROM。除了传统的预录制和可录制的DVD之外，BluRayTM光盘BD-ROM读取器940还可操作来读取与游戏控制台900兼容的数字[0119]游戏控制台900可操作以通过音频连接器950和视频连接器952向诸如监视器或电视机等显示和声音输出装置942提供经由现实合成器图形单元930生成或解码的音频和视(HDMI)输出。因此，视频输出可以是诸如逐行倒相(PAL)或国家电视系统委员会(NTSC)格执行。游戏控制台900的操作系统支持DolbyB5.1环绕声、DolbyB影院环绕声(DTS)以及来自Blu-RayB光盘的7.1环绕声的解码。的运动图像专家组(MPEG)标准的适当格式传输用于由游戏控制台900解码。摄像机912的照明条件等。摄像机912的一些实施方案以各种方式经由USB、Bluetooth⃞.或Wi-FiTM通信还能够传输音频数据。在摄像机的若干实施方案中，CCD具有适合于高清视频捕获的分辨[0121]在各种实施方案中，为了经由游戏控制台900的通信端口中的一个通信端口与诸互性来确定游戏的当前状态。系统装置在用户A与游戏的交互式会话期间跟踪HHC和/或HMD905的位置和取向。系统装置基于游戏的当前状态以及HHC和/或HMD的跟踪的位置和取[0123]参考图10，示出了HMD1002的部件的图。HMD1002是HMD905(图9)的示例。HMDHMD1002的电源。运动检测电路1008包的麦克风1022用于捕获来自真实世界环境的音频，包括来自周围环境的声音和用户A发出通电等。提供读卡器1028以使得HMD1002能够从存储卡读取信息以所包括的USB接口1030作为用于实现外围装置连接或与诸如其他便携式装置、计算机等其[0134]图11示出了信息服务提供商(INSP)架构的实施方案。INSP1102向地理上分散并1120-1附近的INSP服务，并且当用户A在不同的城市旅行时，客户端装置1120-1由不同的置1120-1交互的服务器INSP之间建立主-服务器关系。在一些实施方案中，当客户端装