CN110599605A 图像处理方法及装置、电子设备和计算机可读存储介质 （腾讯科技（深圳）有限公司）

世界坐标系的三维坐标及其在第一帧图像上的个特征点在世界坐标系的三维坐标及其在第一第m帧图像的相机坐标系相对于世界坐标系的位2在所述待处理视频的第一帧图像的目标平面上放获取所述目标面的多个特征点在世界坐标系的三维坐标及其在所述第一帧图像上的根据所述目标面的多个特征点在所述世界坐标系的三维坐标及其在所述第一帧图像根据所述目标平面、所述目标面的多个特征点在所述述第一帧图像上的像素坐标，获得所述待处理视频的第二至第m帧图像的相机坐标系相对将目标展示链接模型替换所述目标三维模型放置在获得所述待处理视频的第j帧图像上的目标平面相对于所述第一帧图像上的目标平面根据所述第j帧图像的单应矩阵和所述目标面的多个特征点在所述第一帧图像上的像根据所述待处理视频的相机内参、所述目标面的多基于所述待处理视频的第二至第m帧图像的相机坐标系相对于所述世界坐标系的位将所述目标展示链接模型替换所述目标三维模型放置在所述待处理视频的每一帧图根据所述待处理视频的每一帧图像的相机坐标系相对3以所述立方体与所述最左上角的特征点相交的三条边为坐标轴，建立所述世界坐标通过神经网络模型对所述第一帧图像进行处理，获得所响应于对所述第一帧图像的平面选择指令，从所述至少一个平面中确定所述目标平三维模型放置模块，配置为在所述待处理视频的第一帧第一坐标获取模块，配置为获取所述目标面的多个第一位姿获得模块，配置为根据所述目标面m帧图像的相机坐标系相对于所述世界坐标系的位4存储装置，配置为存储一个或多个程序，当所述5[0004]本公开实施例提供一种图像处理方法及装置、电子设备和计在所述第一帧图像上的像素坐标，获得所述待处理视频的第二至第m帧图像的相机坐标系模型放置模块，配置为在所述待处理视频的第一帧图像的目标平面上放置目标三维模型，其中所述目标三维模型的目标面的多个特征点落在所述目标平面上；第一坐标获取模块，配置为获取所述目标面的多个特征点在世界坐标系的三维坐标及其在所述第一帧图像上6处理视频的第二至第m帧图像的相机坐标系相对于所述世界坐标系的位姿；目标视频生成[0013]图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统[0024]图12示意性示出了根据本公开的一实施例的拖动立方体的顶点来控制立方体的7[0025]图13示意性示出了根据本公开的一实施例的旋转立方体来控制立方体的位姿的[0026]图14示意性示出了根据本公开的一实施例的跟踪立方体所在的目标平面的示意[0027]图15示意性示出了根据本公开的一实施例的显示各帧图像上面的立方体的示意[0028]图16示意性示出了根据本公开的一实施例的在各帧图像上合成三维广告的示意本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，[0032]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相[0034]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控8[0042]图1示出了可以应用本公开实施例的图像处理方法或图像处理装置的示例性系统9[0046]服务器105可以是提供各种服务的服务器。例如用户利用终端设备103(也可以是终端设备101或102)打开待处理视频并在所述待处理视频的第一帧图像上拖入一个目标三在所述第一帧图像的目标平面上，所述待处理视频包括m帧图像，m为大于或等于2的正整帧图像上的像素坐标，获得所述待处理视频的第二至第m帧图像的相机坐标系相对于所述世界坐标系的位姿；将目标展示链接模型替换所述目标三维模型放置在所述世界坐标系包含所述目标展示链接模型的目标视频，服务器105可以将该目标视频返回给终端设备[0047]又如终端设备103(也可以是终端设备101或102)可以是智能电视、VR(Virtual以通过该智能电视、VR/AR头盔显示器或者该即时通讯、视频APP向服务器105发送各种请208加载到随机访问存储器(RAM，RandomAccessMemory)203中的程序而执行各种适当的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF(Radio[0055]描述于本公开实施例中所涉及到的模块和/或单元和/或子单元可以通过软件的电子设备可以实现如图3或图4或图5或图6或图7或图8或图9[0064]图3示意性示出了根据本公开的一实施例的图像处理方法的流程图。本公开实施例提供的方法可以由任意具备计算处理能力的电子设备执行，例如如图1中的终端设备[0067]本公开实施例中，所述待处理视频例如可以是当前准备要植入[0068]在步骤S320中，在所述待处理视频的第一帧图像的目标平面上放置目标三维模[0069]本公开实施例中，所述第一帧图像可以是指上述提取出的m帧图像中按时间排序的最先的一帧图像，可以将其编号为0或者1(下面以编号为1为例)。但本公开并不限定于入的广告本身的三维模型作为所述目标三维模型，例如下面实施例中提及的红色可乐罐体的底面的四个顶点作为四个特征点，调整立方体在该第一帧图像上的位置和姿态(简称多个特征点。即只要能确定所取的至少4个特征点在目标三维模型的世界坐标系下的三维的三维坐标及其在所述第一帧图像上的像素坐标，获得所述待处理视频的第二至第m帧图算出该第一帧图像中的目标三维模型相对于相机坐标系的位姿，通过对该目标平面的跟踪，可以计算出该待处理视频后面每一帧图像中的目标三维模型相对相机坐标系的位姿，[0084]本公开实施例中，所述神经网络模型可以是任意一种能够进行实例分割(Instancesegmentation)的深度学习模型，例如MaskR-CNN(MaskRegion-[0092]在步骤S321中，响应于向所述第一帧图像中添加所述目标三维工手动调整立方体的多个顶点或者旋转该立方体来使得立方体的底面的四个顶点落在第bc[0113]在步骤S351中，获得所述待处理视频的第j帧图像上的目标平面相对于所述第一[0118]假设该待处理视频的第二帧图像的单应矩阵H2的初值为单位矩阵然2把A1映射到第二帧图像上，得到目标平面B上的所有的像素坐标A2，A2＝{p21(2222222323[0123]然后，计算A1的每一个像素点的像素值与它对应的优的ΔH。因为ΔH的初值是零矩阵，经过高斯牛顿法等方法优化之后，才会变成最优值像的单应矩阵H4的初值假设……如此一直重[0132]在步骤S352中，根据所述第j帧图像的单应矩阵和所述目标面的多个特征点在所述第一帧图像上的像素坐标，获得所述目标面的多个特征点在所述第j帧图像上的像素坐机标定的感知测量方法(APerceptualMeasureforDeepSingleImageCamera矩阵。根据单应矩阵，计算出在第j帧图像上面的立方体的底面的4个特征点的像素坐标b,jc,j[0146]在步骤S361中，基于所述待处理视频的第二至第m帧图像的相机坐标系相对于所述世界坐标系的位姿，将所述目标三维模型分别投影至所述待处理视频的第二至第m帧图[0161]在步骤S1004中，调整立方体A的位置和姿态使其底面的4个顶点落在第一帧图像面B上的4个顶点在第j帧图像Mj上的像素[0173]本公开实施例中，所涉及到的原始数据和/或处理后的数据均可以存储于区块链的主体可以是区块链中的任意一个节点(可以是服务器和/或用户终端设备等)。对提取出[0176]如图11所示，假设立方体的边[0177]图12示意性示出了根据本公开的一实施例的拖动立方体的顶点来控制立方体的体的顶点尽量靠近这些白色圆点，使得立方体看起来它的底面的4个顶点是落在目标平面[0181]图13示意性示出了根据本公开的一实施例的旋转立方体来控制立方体的位姿的[0182]除了上述图12所示的方式，还可以通过如图13所示的方式来调整立方体的[0184]图14示意性示出了根据本公开的一实施例的跟踪立方体所在的目标平面的示意待处理视频的第一帧图像上显示的目标平面，中间的(b)图假设为第二帧图像上显示的目[0186]图15示意性示出了根据本公开的一实施例的显示各帧图像上面的立方体的示意[0188]图16示意性示出了根据本公开的一实施例的在各帧图像上合成三维广告的示意[0189]图16左边的(a)图假设为待处理视频的第一帧图像上显示的红色可乐罐子，中间可以配置为根据所述目标面的多个特征点在所述世界坐标系的三维坐标及其在所述第一帧图像上的像素坐标，获得所述第一帧图像的相机坐标系相对于所述世界坐标系的位姿。第m帧图像的相机坐标系相对于所述世界坐标系的位姿。目标视频生成模块1760可以配置置为获得所述待处理视频的第j帧图像上的目标平面相对于所述第一帧图像上的目标平面据所述第j帧图像的单应矩阵和所述目标面的多个特征点在所述第一帧图像上的像素坐置为基于所述待处理视频的第二至第m帧图像的相机坐标系相对于所述世界坐标系的位者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识