CN114358112B 视频融合方法、计算机程序产品、客户端及存储介质 （北京旷视科技有限公司）

真实相机的真实配置信息以及真实相机采集的括视角信息和经变换的位姿信息；生成播放面步采集播放面板上的画面以及特定虚拟场景的2获取真实相机的真实配置信息以及所述真实相机采集的视频信息包括初始位姿信息和视角信息，所述初始位姿信息包括初始位置信息和初始姿态信将虚拟配置信息赋值给所述三维引擎的虚拟相机，所述虚拟配及通过所述虚拟相机同步采集所述播放面板上的画面以及特定虚拟场将修改后的虚拟配置信息赋值给所述虚拟相机并返回至所述通过所述虚拟相机同步对所述当前视频帧进行边缘虚化处理，以获得与所述当前视频帧获取特定虚化模板图像，所述特定虚化模板图像的虚化样式为将所述第一色彩信息与所述第二色彩信息进行张量乘积计算，36.如权利要求1至5任一项所述的方法，其中，所基于所述播放面板的大小对所述当前视频帧进行缩放，以使得将缩放后的所述当前视频帧的视频帧信息载入到所述播8.一种计算机程序产品，包括计算机程序指令述计算机程序指令被所述处理器运行时用于执行如权利要求1至7任一项所述的视频融合在所述计算机程序指令被所述处理器运行时所执行的通过所述虚拟相机同步采集所行时用于执行如权利要求1至7任一项所述的视4[0002]视频融合技术是虚拟现实技术的一个分支，也可以说是虚拟现实的一个发展阶[0003]在现有的视频融合技术中，常规做法是将真实相机采集的视频流(即真实视频流[0004]现有的视频融合方法可以达到真实视频与虚拟场景的融合，但是其具有如下缺姿信息包括初始位置信息和初始姿态信息；基于特定变换关系对初始位姿信息进行变换，[0007]示例性地，在通过虚拟相机同步采集播放面板上的画面以及特定虚拟场景的画5[0009]示例性地，在通过虚拟相机同步采集播放面板上的画面以及特定虚拟场景的画的画面以及特定虚拟场景的画面，以获得与当前视频帧相对应的融合视频帧的步骤之后，端接收真实配置信息和视频流并将真实配置信息和视6[0020]通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、[0021]图1示出用于实现根据本发明实施例的视频融合方法和装置的示例电子设备的示[0024]图4示出根据本发明一个实施例的虚拟相机、播放面板和虚拟场景的位置关系示7示的工作模式，现有技术普遍采用上述对视频流进行裁剪拼接的融合方式来实现视频融行融合的方式来实现视频融合。这种方式摒弃了现有的后端渲染融合前端显示的工作模[0033]首先，参照图1来描述用于实现根据本发明实施例的视频融合方法和装置的示例执行能力的其它形式的处理单元中的一种或几种的组合，并且可以控制所述电子设备100[0036]所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或[0039]所述图像采集装置110可以采集图像，并且将所采集的图像存储在所述存储装置104中以供其它组件使用。图像采集装置110可以是单独的相机或移动终端中的摄像头等。8[0042]本文虽然在描述本发明要解决的技术问题以及本发明的技术效果时将参与视频端负责进行视频融合(或者融合及渲染)。用于实现本文所述的视频融合方法200的开发语[0050]相机的姿态信息(包括初始姿态信息和经变换的姿态信息)可以包括相机的俯仰文所述的用于实现视频融合方法的客户端(例如上述电子设备100)连接。相机管理系统可9[0054]特定变换关系是预先设定的用于实现真实相机的位姿与虚拟相机的位姿之间的[0055]真实世界的相机与三维引擎所构建的虚拟世界中的虚拟相机之间存在一定的变虚拟相机保持与真实相机一致或基本一致的[0056]特定变换关系可以是用户提前预设好的。本文所述的用可以提前通过理论或实验等方式找出真实世界的相机的位置和姿态与虚拟世界的相机的[0058]视角信息是指相机的镜头中心点到成像平面对角线两端所形成的夹角的大小信相机的视角信息进行拼接，获得拼接后的视角信息作为单个真实相机的视角信息来看待。[0063]可以将上述经变换的位置信息和姿态信息以及原始的视使得在虚拟世界中能够构建与真实相机观察效果一致放面板的大小可以根据虚拟相机的视角大小及播放面板与虚拟相机之间的[0067]虚拟相机的视角以及播放面板与虚拟相机之间的距离可以决定虚拟相机在播放[0068]图4示出根据本发明一个实施例的虚拟相机、播放面板和虚拟场景的位置关系示放面板可以理解为是与虚拟相机相对应的一种模拟的一个示例中，当前视频帧可以是真实相机所采集的视频流中的部分视频帧中的每个视频频流中选择预设时段内的视频帧执行与特定虚拟[0072]将当前视频帧匹配到播放面板上可以包括将当前视频帧缩放到与播放面板大小频帧信息载入到播放面板中可以理解为将当前视频帧的各像素的像素信息(如下述纹理信[0073]在步骤S260，通过虚拟相机同步采集播放面板上的画面以及特定虚拟场景的画[0079]示例性地，根据本发明实施例的视频融合方法可以在具有存储器和处理器的设景的画面，以获得与当前视频帧相对应的融合视频帧(步骤S260)之后，方法200还可以包[0083]显示装置可以是任何合适的现有或将来可能出现的具备显示装置可以包括但不限于以下一项或多项：阴极射线管显示器(CRT)、等离子显示器帧(或说融合视频流)直接渲染并输出显示，而无需像现有技术那样必须经过中间的编码、传输以及在客户端上解码等多重操作才可以在[0087]由于信息采集的局限性，真实相机的真实配置信息可能存在一定的误差(采集端景的画面，以获得与当前视频帧相对应的融合视频帧(步骤S260)之前，方法200还可以包以利用三维引擎中的着色器(Shader)进行边缘[0094]图5示出根据本发明一个实施例的对视频帧进行边缘虚化处理的流程示意图。在[0095]用户可以通过输入装置(例如上述输入装置106)向客户端输入样式设定信息。样音等形式将用于指示采用何种虚化模板图像作为特定虚化模板图像的指令(即样式设定信息)输入至客户端，以指示客户端(具体为客户端上的三维引擎)选择或生成对应的虚化模图像进行RGBA拆分可以获得一个大小为x×y×4的三维张量。针对当前视频帧和特定虚化图像不对当前视频帧各像素的颜色值进行调整(各像素的颜色值保持原始的RGB值)，而将当前视频帧各像素的透明度乘以一个对应的系数A(该系数A为特定虚化模板图像各像素的[0100]图5所示的虚化方式仅为示例而非对本发明的限制，本发明可以采用其他合适的以对当前视频帧中与这部分颜色值不为1的像素相对应的像素的比较适配，采用该解码方式可以使本发明实施例提供的视频融合方法更好地工作在[0114]在现有的前端渲染融合后端显示的工作模式中，由于需要先在服务端进行解码、[0115]而根据本发明实施例的视频融合方法，由于位姿变换、画面融合(及可能的编解样就可以允许授权用户在自己的客户端上随时下载安装到客户端进行使用。用户将SDK下载到自己的客户端之后，SDK可以加载到客户端的三维引擎中作为三维引擎的一个功能化画面以及在三维引擎中建模的虚拟场景的画面，获得融合画面(即融合视频帧或融合视频或融合视频流进行编码以实现进一步处理的方案可以在同一实施[0119]如图7所示，根据本发明实施例的视频融合装置700包括获取模块710、变换模块块可分别执行上文中结合图2描述的视频融合方法200的各个步骤/功能。以下仅对该视频[0120]获取模块710用于获取真实相机的真实配置信息以及真实相机采集的视频流，其[0121]变换模块720用于基于特定变换关系对初始位姿信息进行变换，以获得经变换的[0122]赋值模块730用于将虚拟配置信息赋值给三维引擎的虚拟相机，虚拟配置信息包括视角信息和经变换的位姿信息。赋值模块730可以由图1所示的电子设备中的处理器102[0124]匹配模块750用于对于视频流中的任一当前视频帧，将当前视频帧匹配到播放面[0125]采集模块760用于通过虚拟相机同步采集播放面板上的画面以及特定虚拟场景的[0127]图8示出了根据本发明一个实施例的客户端800的示意性框图。客户端800包括存[0128]存储装置810存储用于实现根据本发明实施例的视频融合方法200中的相应步骤[0130]在一个实施例中，计算机程序指令被处理器820运行时用于执行以下步骤：步骤将融合视频帧发送给其他设备并通过其他设备的显示装置显示信装置用于从服务端接收真实配置信息和视频流并将真实配置信息和视频流传输至处理于采集视频流并将真实配置信息和视频流传在计算机程序指令被计算机或处理器运行时用于执行根据本发明实施例的视频融合方法令，在程序指令被计算机或处理器运行时用于执行根据本发明实施例的视频融合方法200实现根据本发明实施例的视频融合装置的各个功能模块，并和/或者可以执行根据本发明[0140]根据本发明实施例的客户端中的各模块可以通过根据本发明实施例的实施视频本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的视频融合装置或客户