CN119450049A 运动矢量确定方法、芯片、电子设备和可读存储介质 （荣耀终端有限公司）

街道东海社区红荔西路8089号深业中二特征点，确定虚拟相机的旋转参数和平移参数，虚拟相机用于获取前一帧图像和后一帧图2根据所述至少一个第一特征点和所述至少一个第二特征点，确根据所述旋转参数和所述平移参数，确定运动矢量，所述运动矢量获取目标图像中的至少一个角点，所述目标图像为所述前一帧图像或所述后一帧图确定所述至少一个角点中，响应函数的值大于或等于预设4.根据权利要求3所述的方法，其特征在于，所述颜色图像中携带多个像素点的颜色根据第一像素点的颜色值，确定所述第一像素点的亮度值，所述第一像确定所述N个周围像素点中，亮度值和所述第一像素点的亮度值的亮度差值的绝对值所述深度差分包括第一方向深度差分和第二方向深度差分，所述第一38.根据权利要求1至7中任意一项所述的方根据所述至少一个第一特征点和所述至少一个第二特征点，确空间变换矩阵表征所述后一帧图像相对于所述前一帧图像的相同像素点的空间位置的变对所述至少一个第一特征点和所述至少一个第二特征点进行特征点匹配对所述至少一个第一特征点进行特征向量转换操作，得到述至少一个第一特征向量和所述至少一个第一特征点对所述至少一个第二特征点进行所述特征向量转换操作，得到至少一个第二特征向确定所述至少一个第二特征向量中，与第一目标特征向量特征点和所述第二目标特征点构成的特征点对为所述至少一组根据第一随机向量提取第一偏移点和第二偏移点，所述第一随根据所述第一偏移点的亮度值和所述第二偏移点的亮度值的大所述第一向量参数为所述第一特征向量中的一个参数，所述第一特征4获取第一目标特征点相对于所述第一质心坐标的第一质心偏获取第二目标特征点相对于所述第二质心坐标的第二质心偏特征点和所述第二目标特征点形成的特征点对为所述至少一组特征将所述第一质心偏移量中多个方向偏移值中的每一个和所述第二质心偏移量中多个获取基准特征点的二维图像坐标，所述基准特征点为所述根据所述基准特征点所在的目标图像的深度图像和所述目标图像的根据所述基准特征点的三维相机坐标、结合所述旋转参数和所述平根据所述虚拟相机的世界矩阵和所述投影矩阵，将所述预测三维相5据前后两帧真实图像来预测中间一帧图像，将中间这一帧预测出来的预测图像进行插帧，是针对前一帧图像和后一阵图像中每一个像素点的位置变化来生成运动矢量的方式运算[0007]GPU通过获取前一帧图像的特征点和后一帧图像中的特征点，然后基于前后这两6和第一像素点的亮度值的亮度差值的绝对值大于预设亮度阈值的周围像素点的目标数量；[0013]GPU可以根据颜色图像得到各个像素点的亮度值，然后根据像素点的亮度值和周[0016]在一种可能的实现方式中，亮度差分包括第一方向亮度差分和第二方向亮度差[0017]GPU选择角点两个不同方向的两侧的像素点的亮度差异来确定亮度差分，以及选[0019]GPU根据亮度差分和深度差分的函数作为e的第一指数，将e的第一指数次幂作为7[0021]GPU根据特征点来生成空间变换矩阵，相比根据所有的像素点来生成空间变换矩[0023]GPU根据匹配的特征点来生成空间变换矩阵，能够结合匹配的特征点的运动变化标特征点对应的第一特征向量，第二目标特征向量为第二目标特征点对应的第二特征向[0025]GPU通过将特征点转换为特征向量，然后根据特征向量之间的特征距离来进行特8量中多个方向偏移值中的每一个和第二质心偏移量中多个方向偏移值中的每一个两两相[0031]GPU可以根据得到旋转参数和平移参数，针对特征点先进行二维图像坐标到三维和平移参数来计算中间的预测帧中像素点的预测三维空间坐标，预测得到的坐标更精确。9[0048]图6是本申请实施例提供的一例根据旋转参数和平移参数确定运动矢量的方法流(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing[0065]在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general_purpose[0066]I2C接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功口包括摄像头串行接口(cameraserialinterface，CSI)，显示屏串行接口(display[0077]天线1和天线2用于发射和接收电磁波信号。图1中的天线1和天线2的结构仅为一[0078]移动通信模块150可以提供应用在终端设备100上的包括2G/3G/4G/5G等无线通信[0080]无线通信模块160可以提供应用在终端设备100上的包括无线局域网(wirelesslocalareanetworks，WLAN)(如无线保真(wirelessfidelity，Wi_Fi)网络)，蓝牙无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，GSM)，通用分组无线服务(generalpacketradioservice，GPRS)，码分多址接入(codedivisionmultipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，WCDMA)，时分码分多址(time_divisioncodedivisionmultipleaccess，TD_统(globalnavigationsatellitesystem，GLONASS)，北斗卫星导航系统(Beidounavigationsatellitesystem，BDS)，准天顶卫星系统(quasi_zenithsatellite晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight_emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active_matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight_emitting[0086]摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元[0088]视频编解码器用于对数字视频压缩或解压缩。终端设备100可以支持一种或多种[0091]内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0093]音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风[0097]耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是蜂窝电信工业协会(cellulartelecommunicationsindustryassociatio力传感器180A检测所述触摸操作强度。终端设备100也可以根据压力传感器180A的检测信[0100]气压传感器180C用于测量气压。在一些实施例中，终端设备100通过气压传感器[0101]磁传感器180D包括霍尔传感器。终端设备100可以利用磁传感器180D检测翻盖皮[0102]加速度传感器180E可检测终端设备100在各个方向上(一般为三轴)加速度的大100附近没有物体。终端设备100可以利用接近光传感器180G检测用户手持终端设备100贴[0105]环境光传感器180L用于感知环境光亮度。终端设备100可以根据感知的环境光亮[0106]指纹传感器180H用于采集指纹。终端设备100可以利用采集的指纹特性实现指纹[0107]温度传感器180J用于检测温度。在一些实施例中，终端设备100利用温度传感器频模块170可以基于所述骨传导传感器180M获取的声部振动骨块的振动信号，解析出语音Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时[0117]应用程序框架层为应用程序层的应用程序提供应用编程接口(application息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通[0128]系统库可以包括多个功能模块。例如：表面管理器(surfacemanager)，媒体库[0134]为了便于理解，本申请以下实施例将以具有图1和图2所[0137]本申请的技术方案中，通过获取前一帧图像的特征点和然后基于前后帧的匹配的特征点来提取运动矢量，可以大大减少要处理的像素点的数量，以应用在游戏应用播放游戏视频的帧预测中为例说明，图3示出了本申请实施例提供的游图形管理器和GPU驱动等传递到GPU。GPU通过渲染指令获取函数，根据游戏渲染指令的特像是游戏应用所显示的一帧静态图像。每帧静态图像可以由3D场景图像和UI图像等组成，可以调用NPU的神经网络模型对逐像素偏移后的空白区域进行图像修复，并将修复后的3D照下述步骤3步骤5移动3D场景图像中的对象，那么UI图像中的对象将会随着3D场景图像相机的相关数据。GPU可以从glBindBuffer指令对应的缓存(buffer)内获取虚拟相机的世[0154]需要说明的是，GPU从步骤1中获取的3D场景图像和从步骤2中获取的深度图像的[0155]为了便于理解上述虚拟相机的世界矩阵和投影矩阵，下面结合图4对本申请实施例涉及到的像素坐标系(pixelcoordinatesystem)、图像坐标系(rentialcoordinate标系(worldcoordinatesystem)进[0159]世界坐标系O_XYZ是为了描述各个虚拟相机的位置被引入的一个三维坐标系。在虚拟对象在游戏世界中的位置定义为在世界坐标系[0161]投影矩阵(projectionMatrix)，也称为内参矩阵，其作用是：将相机坐标系O0_阵ViewMatrix0和虚拟相机的投影矩阵ProjectionMatrix0，以及与真实帧N+1对应的3D场[0170]具体的，GPU可以根据前一帧图像中提取得到的至少一个第一特征点和后一帧图像中提取得到的至少一个第二特征点之间的关系，来确定出虚拟相机的旋转参数动趋势。则GPU可以在第一特征点和第二特征点的数量大于或等于预设特征点数量阈值的[0174]可选地，GPU可以基于前一帧图像中第一特征点的在前一帧图像中的二维图像坐征点的数量为多个时，则可以得到每个第一特征点在预测帧中各自对应的二维图像坐标，[0175]可选地，GPU也可以基于后一帧图像中第二特征点的在后一帧图像中的二维图像[0183]具体的，GPU还可以获取基准特征点所在的目标图像的深度图像和投影矩阵。例投影矩阵的逆矩阵，得到一个三维坐标矩阵，再将三维坐标矩阵除以裁剪坐标系中的w分[0190]上文中所得到的旋转参数和平移参数表达了一个像素点从前一帧图像到后一帧[0193]上述公式中，viewPos.xyz表示S602三维空间中基于旋转参数和平移参数来计算中间的预测帧中像素点的预测三维空间坐标，标特征点为至少一个第一特征点中任意一个或至少一个第二特征点中的获得的角点中筛选出响应函数的值大的角点作为第一特征点，并将响应函数小的角点丢[0215]Intensity0(u,v)＝Color0(u,v).r*0.299+Color0(u,v).g*0.587+Color(u,v)仅示出了部分像素点作为示例性的表达，实际上的图像中的像素点可能远远大于图8所示值。假设第一像素点的坐标为(u,v)，则计算Intensity(u,vIntensity(u+2,v)，In以为y方向，第一方向亮度差分Ix可以为第一角点沿x方向的正方向相邻的像素点的亮度[0234]第二方向亮度差分Iy可以为第一角点沿y方向的正方向相邻的像素点的亮度值，以为y方向，第一方向深度差分可以为第一角点沿x方向的正方向相邻的像素点的深度值，[0240]第二方向深度差分可以为第一角点沿y方向的正方向相邻的像素点的深度值，减[0242]可选地，上述深度差分和亮度差分均以左右或上下间隔将e的第一指数次幂作为对应的角点的响应函数，得到的响应函数与亮度差分和深度差分[0253]可选地，GPU也可以是判断匹配出来的特征点对的数量，如果特征点对的数量过特征点对的数量大于或等于预设特征点对数量阈值的情况下才执行根据特征点对确定空得到至少一个特征点对，然后根据各特征点对中匹配的两个特征点的空间位置的变换关[0260]具体的，GPU可以对至少一个第一特征点中每一个第一特征点都执行特征向量转[0262]具体的，GPU可以对至少一个第二特征点中每一个第二特征点都执行特征向量转[0266]基于上述GPU的能力，特征向量转换操作的具体逻辑为：GPU创建了256个四维向LocalInvocationIndex进行标记，例如gl_LocalInvocation1代表如图11中的左上角第一这256个线程都可以采用gl_LocalInvocationIn指数函数的示例为：esin(gl__localInvocationID*73456)，ecos(gl__localInvocationID*73456)，etan(gl坐标为(u，v)的特征点为例，先从上述256个随机向量中的第一个随机向量，也就是gl_[0271]Color0_i.rgba＝[0273]Intensity_i＝Color输出的数值对应在特征向量中为特征向量的第二个数值。如果随机向量为第N个线程生成[0275]所有线程计算完成之后，由此可以生成一个长度为256的由0和1组成的特征向量specialVector，表达语句为：Atomic(specialVector[gl_LocalInvocationIndex]，标特征点构成的特征点对为至少一组特征点对中[0279]GPU从至少一个第一特征向量中任选一个第一目标特征向量，然后分别计算每一[0280]GPU需要针对每一个第一特征向量均执行如第一目标特征向量的操作，得到每一[0285]viewPosC.xyz=∑(viewPos.xyz)/keyPoint0.Num；[0291]GPU针对每个第一特征点都可以计算对应的第一质心坐标，也就是每个第一特征二目标特征点形成的特征点对为至少一组特征点对[0296]GPU针对每个第二特征点都可以计算对应的第二质心坐标，也就是每个第二特征[0297]S1205、将第一质心偏移量中多个方向偏移值中的每一个和第二质心偏移量中多viewPos1.z，然后，GPU可以将viewPos0.x、viewPos0.y、viewPos0.z和viewPos1.x、[0302]上述图12所示的实施例中，GPU可以根据前一帧图像中每个特征点距离质心坐标[0305]Hook指令流也就是渲染质量流，GPU可以从Hook指令流中提取出颜色图像和深度[0307]具体的，GPU可以对前一帧图像和后一帧图像的两个颜色图像分别进行特征点识[0308]S1303、判断特征点数量是否大于或等于预设特征点数量阈值。若是，则执行[0309]具体的，GPU可以判断前一帧图像对应的第一特征点的数量是否大于或等于预设[0311]具体的，GPU分别针对前一帧图像得到第一特征点和后一帧图像的第二特征点进[0312]S1305，判断特征点对的数量是否大于预设特征点对