CN113470112B 图像处理方法、装置、存储介质以及终端 （Oppo广东移动通信有限公司）

目标对象中各对象关键点在图像二维坐标系中的二维位置信息以及相对目标对象中参考点的定目标对象中各对象关键点在世界三维坐标系的目标模型中各模型关键点的第二三维位置信目标对象对应的目标模型中各模型关键点的第2识别目标图像中的目标对象，确定所述目标对象中各对象关键点根据所述二维位置信息以及所述相对深度，确定所述根据所述第一三维位置信息，确定所述目标对象中各对象关键点相根据所述驱动旋转角度驱动所述目标对象对应的目标模型中各得所述目标模型的姿势与所述目标对象在所述目标图像中获取运动后的所述目标模型中各模型关键点在所述世界三维坐标系中的模型三维位根据所述二维位置信息以及所述模型三维位置信息确定所述目标模型对应的真实相根据所述目标对象中各对象关键点在所述相机三维坐标系中的三维位置信息以及所基于所述目标模型中各模型关键点在所述世界三维坐所述根据所述二维位置信息以及所述模型三维位置信息确定所述目标模型对应的真基于最小化重投影误差方法求解n点透视算法，将所述二维位置信息与所述模型三维获取所述目标对象中各对象关键点在图像二维坐标系中的二维获取所述目标对象中各对象关键点在垂直于所述图像二维坐标系的一维坐标系中的一维根据所述二维坐标概率分布图确定所述目标对象中各对象关键点在图像二维坐标系3.根据权利要求1或2所述的方法，其特相对深度，确定所述目标对象中各对象关键点在世界三维坐标系中的第一三维位置信息，根据所述二维位置信息、所述相对深度以及预设相机内参，确定所根据所述目标对象中各对象关键点在相机三维坐标系中的三维位置信息以及预设相3根据所述目标对象中各对象关键点中父节点的位置信息、子节根据所述目标对象中各对象关键点中父节点的位置信息、子节基于所述驱动旋转角度通过正向驱动方法驱动所述目标对象对应的目标模型中各模对象二维位置确定模块，用于识别目标图像中的目标对象，确定所述象关键点在图像二维坐标系中的二维位置信息以及相对所述目标对象中参考点的相对深对象三维位置确定模块，用于根据所述二维位置信息以及所标对象中各对象关键点在世界三维坐标系中的第一三驱动旋转角度确定模块，用于根据所述第一三维位置信息，确定所驱动模块，用于根据所述驱动旋转角度驱动所述目标对象对应的目第二三维位置确定模块，用于获取运动后的所第二三维位置确定模块，具体用于根据所述二维位置根据所述目标对象中各对象关键点在所述相机三维坐标系中的三维位置信息以及所所述图像处理装置，还用于基于所述目标模型中各模型关键点在所述世界4适于由处理器加载并执行如权利要求1～5任意一项5标模型中各模型关键点在所述世界三维坐标系中的第二三各对象关键点在图像二维坐标系中的二维位置信息以及相对所述目标对象中参考点的相述目标对象中各对象关键点在世界三维坐标系中的第一[0013]模型三维位置确定模块，用于根据所述二维位置信息以及所述第一三维位置信6对象关键点在图像二维坐标系中的二维位置信息以及相对目标对象中参考点的相对深度；及第一三维位置信息，确定目标对象对应的目标模型中各模型关键点的第二三维位置信的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方7端101和服务器103之间提供通信链路的介质。网络102可以包括各种类型的有线通信链路二维坐标系中的二维位置信息以及相对目标对象中参考中各对象关键点相对目标对象中参考点的相8标模型中各模型关键点在世界三维坐标系中的第二三[0050]可选地，根据驱动旋转角度驱动目标对象对应的目标模标系中的二维位置信息以及相对目标对象中参考点的相对9基线(SimpleBaselines)网络实距离也可以认为是目标图像各对象关键点相对于目标对象中参考点的相[0063]在确定目标对象中各对象关键点在图像二维坐标系中的二维位置信息以及相对信息以及相对深度，转换为目标对象中各对象关键点在世界三维坐标系中的三维位置信[0065]在确定目标对象中各对象关键点在世界三维坐标系中的对应的矩形区域的一个顶点作为原点，并将矩形边框中原点附近的两条边框分别作为u坐坐标系的坐标轴位置可以不做限定，在双目视觉中一般将世界三维坐标系原点定在左相上采样(Upsample)630对特征进行采样，其中上采样630可以基于卷积函数(Conv2D)631以一维坐标系可以分成两个处理部分，一部分经过采样后的数据基于卷积函数(Conv2D)631得到目标对象中各对象关键点在图像二维坐标系中的二维坐标概率分布图660，其中二维坐标概率分布图660代表了目标对象中各对象关键点的二维坐标点(由于x坐标和y坐标构成的坐标点)在图像二维坐标系中分布情况；另一部分经过采样后的数据基于平均池化点的以为坐标点(由于Zc坐标构成的坐标点)在一维坐标过网络学习出二维姿态点和相对深度的网络都标概率分布图中数据集中的坐标，作为目标对象中各对象关键点在图像二维坐标系中的x距离也可以认为是目标对象中各对象关键点相对目标对象中参考点的相对各对象关键点在世界三维坐标系中的第一三维位置信息的过程中，可以分为两个步骤进[0087]在确定目标对象中各对象关键点在世界三维坐标系中的根据上述步骤求得的目标对象中各对象关键点在世界三维坐标系中的第一三维位置信息，确定目标对象中各对象关键点相对于初始旋转角度的驱动[0088]请参阅图7，图7为本申请另一实施例提供的目标对象处于标准姿势时的示意[0089]其中确定目标对象中各对象关键点相对于初始旋转角度的驱动旋转角度的方法[0090]法向量＝TriangleNormal(盆骨点位置点，左胯位置点，右胯位置点)，其中[0092]节点初始逆矩阵＝Quaternion.Inverse(Quaternion.LookRotatio置点-子节点位置点,法向量))，其中Quaternion.LookRotation函数为注视旋转函数，关键点对应的驱动旋转角度也即父节点骨骼驱动旋[0094]父节点骨骼驱动旋转角度＝Quaternion.LookRotation(父节点位置–子节点位使得目标模型的姿势与目标对象在目标图像[0097]驱动目标对象对应的目标模型中的各对象关键点运动的方法可以不做限定，例么可以获取运动后的目标模型中各模型关键点在世界三维坐标系中的模型三维位置信息，[0103]确定目标模型中各模型关键点在世界三维坐标系中的第二三维位置信息的方法维位置信息与目标模型的模型三维位置信息进行匹配，以求得目标模型的真实相机外参；还可以通过EPnP(EfficientPerspective-n-PointCameraPoseEstimation)算法求解及真实相机外参，确定目标模型中各模型关键点在世界三维坐标系中的第二三维位置信要多张图像检测方法较为复杂，且直接预测目标模型中各模型关键点深度不准确的问题，对象对应的目标模型1010中各模型关键点在世界三维坐标系中的真实三维位置信息之后，各对象关键点在图像二维坐标系中的二维位置信息以及相对目标对象中参考点的相对深定目标对象对应的目标模型中各模型关键点在世界三维坐标系中定目标对象中各对象关键点在相机三维坐标于驱动旋转角度通过正向驱动方法驱动目标对象对应的目标模型中息确定目标模型中各模型关键点在世界三维坐标系中的第二各对象关键点的二维位置信息以及相对目标对象中参考点的相对深度可以构成目标对象于相机参数以及反投影方法确定目标模型中各模型关键点在世界三维坐标系中的第二三[0131]本申请实施例还提供了一种计算机存储介质，计算机存指令适于由处理器加载并执行如上述实施例中的能和处理数据。可选的，中央处理器1501可以采用数字信号处理(DigitalSignal可集成中央中央处理器(CentralProcessingUnit，CPU)、图像中央处理器(Graphics可存储用于实现操作系统的指令、用于至少一个功能的指令(比如触控功能、声音播放功的二维位置信息以及相对目标对象中参考点的相对深度；根据二维位置信息以及相对深中各对象关键点相对目标对象中参考点的相[0145]可选地，根据驱动旋转角度驱动目标对象对应的目标模说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介