CN113850709B 图像变换方法和装置 （华为技术有限公司）

像中的目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述目标人物的人2目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述目标人物的人脸根据所述目标人物的人脸的不同转角、所述目标距离将所述第一物的人脸与标准人脸模型进行拟合得到所述目标根据所述深度信息对所述第一图像进行透视畸变矫正得3.根据权利要求1或2所述的方法，其特根据所述屏占比和所述前置摄像头的视场角FOV4.根据权利要求1或2所述的方法，其特征在于，所述人脸相较于所述第一图像中的目标人物的人脸更接近于所述目标人物的人脸的真实样貌，所述第二图像中的目标人物的五官的相对比例相较于所述第一图像中的目标人物的所述第二图像中的目标人物的五官的相对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人脸五对所述第一三维模型的位姿和/或形状进行变换得到所述目标人物的人脸的第二三维根据所述深度信息、所述第一三维模型和所述第二三维模型获取所3根据所述目标人物的人脸的像素位移向量场得根据所述深度信息对所述第一三维模型进行透视投影得到第一坐标集合包括对应于所述第一三维模型中的多个像素的根据所述深度信息对所述第二三维模型进行透视投影得到第二坐标集合包括对应于所述第二三维模型中的多个像素的计算第一坐标值和第二坐标值之间的坐标差得到所述目标人物的人脸的像素位移向维模型和所述第二三维模型包含的多个相同像素中获取模块，用于通过前置摄像头针对目标场景获取第一图像处理模块，用于当所述目标距离小于预设阈值时，对所述第一图像进行第一第二图像中的目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述目所述处理模块，具体用于根据所述目标人物的人脸的不同转角、第一图像中的所述目标人物的人脸与标准人脸模型进行拟合得到所述目标人物的人脸的物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述目标人物的人脸的真实所述第二图像中的目标人物的五官的相对比例相较于所述第一图像中的目标人物的4所述第二图像中的目标人物的五官的相对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人脸五立所述目标人物的人脸的第一三维模型；对所述第一三维模型的位姿和/或形状进行变换一三维模型和所述第二三维模型包含的多个相同像素中的所述计算机程序代码在计算机或处理器上运行时，使得计算机或处理器执行权利要求1_95述第二图像中的目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述6[0009]目标人物的人脸与摄像头之间的目标距离可以是目标人物的人脸上的最前端部者，目标人物的人脸与摄像头之间的目标距离还可以是目标人物的人脸上的中心位置(例屏占比和前置摄像头的FOV得到上述目标距离。也可以通过距离传感器测量得到上述目标的目标人物的五官的相对比例相较于所述第一图像中的目标人物的五官的相对比例更接对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人7[0019]当获取第一图像时，目标人物的人脸与前置摄像头之间的目标距离小于预设阈脸的真实样貌的相对比例和相对位置。通过对第一图像进行透视畸变矫正得到的第二图[0020]在一种可能的实现方式中，所述根据所述目标距离对所述第一图像进行畸变矫模型的位姿和/或形状进行变换得到所述目标人物的人脸的第二三维模型；根据所述深度信息、所述第一三维模型和所述第二三维模型获取所述目标人物的人脸的像素位移向量[0022]基于目标人物的人脸建立三维模型，再通过三维模型实基于变换前和变换后的三维模型之间采样点的关联获取目标人物的人脸的像素位移向量像中的目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述目标人物的目标人物的人脸相较于第一图像中的目标人物的人脸更接近于目标人物的人脸的真实8物的五官的相对比例和相对位置更接近于目标人物的人脸五官的相第二终端在在拍摄所述第一图像时所述目标人物的人脸与所述第二终端之间的目标距离一图像的可交换图像文件格式EXIF信息中整等效模拟拍摄距离的选项中的控件或滑块的操作所触发的指令获取所述等效模拟拍摄模拟拍摄距离的选项中的等效模拟拍摄距离的值包括默认值或者预先计算距离的选项中的控件或滑块的操作所触发的指令获取调整[0036]在一种可能的实现方式中，所述畸变矫正功能菜单包括调整五官的相对位置和/用户在所述调整五官的相对位置和/或相对比例的选项中的控件或滑块的操作所触发的指9能菜单包括调整表情的选项；所述获取用户在所述畸变矫正功能菜单上输入的变换参数，的目标人物的五官的相对比例相较于所述第一图像中的目标人物的五官的相对比例更接对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人[0039]在一种可能的实现方式中，所述根据所述变换参数对所述第一图像进行畸变矫根据所述变换参数对所述第一三维模型的位姿和/或形状进行变换得到所述目标人物的人第二坐标集合，所述第二坐标集合包括对应于所述第二三维模型中的多个像素的坐标值；一个或多个滑块和/或所述一个或多个控件进行触控操作时产生的变换参数，所述变换参所述第二图像中的目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所目标人物的人脸更接近于所述目标人物的人脸的真实所述第一图像中的屏占比；根据所述屏占比和所述前置摄像头的视场角FOV得到所述目标的目标人物的五官的相对比例相较于所述第一图像中的目标人物的五官的相对比例更接对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人一图像中的所述目标人物的人脸与标准人脸模型进行拟合得到所述目标人物的人脸的深第一三维模型；对所述第一三维模型的位姿和/或形状进行变换得到所述目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述目标人物的人脸的真第二终端在在拍摄所述第一图像时所述目标人物的人脸与所述第二终端之间的目标距离一图像的可交换图像文件格式EXIF信息中模拟拍摄距离的选项中的等效模拟拍摄距离的值包括默认值或者预先计算[0064]在一种可能的实现方式中，所述畸变矫正功能菜单包括调整五官的相对位置和/还用于根据用户在所述调整表情的选项中的控件或滑块的操作所触发的指令获取新的表户在所述调整动作的选项中的控件或滑块的操作所触发的指令获取的目标人物的五官的相对比例相较于所述第一图像中的目标人物的五官的相对比例更接对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人一图像中的所述目标人物的人脸与标准人脸模型进行拟合得到所述目标人物的人脸的深第一三维模型；根据所述变换参数对所述第一三维模型的位姿和/或形状进行变换得到所二图像的获取过程的录制，直到收到用户对停止录制控件的触发操作产生的停止录制指滑块和/或所述一个或多个控件进行触控操作时产生的变换参数，所述变换参数至少包括制图像采集模块和图像处理模块实现各自的功能，该设备还可以具备无线或有线传输能手表)、带无线收发功能的电脑、虚拟现实(virtualreality，VR)设备、增强现实(applicationprocessor，AP)，调制解调处理器，图形处理器(graphicsprocessing信号处理器(digitalsignalprocessor，DSP)，基带处理器，和/或神经网络处理器[0104]在一些实施例中，处理器210可以包括一个或多个接口。接口可以包括集成电路(universalasynchronousreceiver/transmitter，UART)接口，移动产业处理器接口(mobileindustryprocessorinterface，MIPI)，通用输入输出(general_purpose[0105]I2C接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，处理器210可以通过I2S总线与音频模块270耦合，实现处理器210与音频模块270之间的通也可以通过PCM接口向无线通信模块260传递音频信号，实现通过蓝牙耳机接听电话的功用于连接处理器210与无线通信模块260。例如：处理器210通过UART接口与无线通信模块口包括摄像头串行接口(cameraserialinterface，CSI)，显示屏串行接口(display现终端200的拍摄功能。处理器210和显示屏294通过DSI接口通信，实现终端200的显示功[0116]天线1和天线2用于发射和接收电磁波信号。终端200中的每个天线可用于覆盖单[0117]移动通信模块250可以提供应用在终端200上的包括2G/3G/4G/5G等无线通信的解块250的至少部分功能模块可以与处理器210的至少部分模块被设置在同一个[0119]无线通信模块260可以提供应用在终端200上的包括无线局域网(wirelesslocalmodulation，FM)，近距离无线通信技术(nearfieldcommunication，NFC)，红外技术multipleaccess，CDMA)，宽带码分多址(widebandcodedivisionmultipleaccess，navigationsatellitesystem，GLONASS)，北斗卫星导航系统(beidounavigation晶显示屏(liquidcrystaldisplay，LCD)，有机发光二极管(organiclight_emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active_matrixorganiclightemittingdiode的，AMOLED)，柔性发光二极管(flexlight_emitting[0125]摄像头293用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元[0127]视频编解码器用于对数字视频压缩或解压缩。终端200可以支持一种或多种视频编解码器。这样，终端200可以播放或录制多种编码格式的视频，例如：动态图像专家组[0129]外部存储器接口220可以用于连接外部存储卡，例如MicroSD卡，实现扩展终端200的存储能力。外部存储卡通过外部存储器接口220与处理器210通信，实现数据存储功[0130]内部存储器221可以用于存储计算机可执行程序代码，所述可执行程序代码包括[0132]音频模块270用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频或发送语音信息时，用户可以通过人嘴靠近麦克风270C发声，将声音信号输入到麦克风[0136]耳机接口270D用于连接有线耳机。耳机接口270D可以是USB接口230，也可以是蜂窝电信工业协会(cellulartelecommunicationsindustryassociatio280A检测所述触摸操作强度。终端200也可以根据压力传感器280A的检测信号计算触摸的角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消终端200的抖动，实现防[0140]磁传感器280D包括霍尔传感器。终端200可以利用磁传感器280D检测翻盖皮套的[0141]加速度传感器280E可检测终端200在各个方向上(一般为三轴)加速度的大小。当终端200静止时可检测出重力的大小及方向。还可以用于识别终端姿态，应用于横竖屏切[0144]环境光传感器280L用于感知环境光亮度。终端200可以根据感知的环境光亮度自频模块270可以基于所述骨传导传感器280M获取的声部振动骨块的振动信号，解析出语音[0155]本申请中的第一图像是在用户进行自拍的场景下，由终端的前置摄像头获取到[0159]目标人物的人脸与前置摄像头之间的目标距离可以是目标人物的人脸上的最前离，即先获取目标人物的人脸在第一图像中的屏占比(人脸的像素面积与第一图像的像素户自拍时可以通过终端上的距离传感器测量得到前置摄像头与前方目标人物的人脸之间中的目标人物的五官的相对比例和相对位置相较于第一图像中的目标人物的五官的相对比例和相对位置更接近于目标人物的人脸五官的相对比例和头可以获取正对着目标场景区域的第一图像(者该第一图像并未在屏幕上出现过)，终端采用上述方法对该第一图像进行透视畸变矫正据目标距离将第一图像中的目标人物的人脸与标准人脸模型进行拟合得到目标人物的人视投影得到该标准三维人脸模型上特征点的二维投影点集A，并获取第一图像中的目标人实三维模型上任一像素点相对于原点O的坐标(x,y,z)，再根据原点O与摄像头之间的目标[0170]终端对目标人物的人脸的第一三维模型的位姿和/或形状进行变换得到目标人物[0171]调整第一三维模型的位姿和/或形状需要根据目标人物的人脸和前置摄像头之间此目标人物的人脸相对于前置摄像头的变化角度[0178]计算第一坐标值和第二坐标值之间的坐标差得到目标人物的人脸的像素位移向[0179]第二三维模型是第一三维模型进行位姿和/或形状变换得到的，因此二者包含大即可得到目标人物的人脸的像素位移向量场，像素位移向量场由各个采样点的坐标差组物的人脸的边缘相对于周围区域的位移尽量小，周围区域包括背景区域或视场边缘区域，示例性的示出了30cm和55cm物距下的人脸[0192](1)掩膜区域对应的约束项，用于约束对图像中掩膜区域对应的目标图像矩阵逼一个图像矩阵。本申请中的几何变换可以是图像平移变换(Translation)，图像缩放变换的位移矩阵，k表示图像的第k个掩膜区域，Func1k表示第k个掩膜区域对应的几何变换函[0198]第k个掩膜区域对应的几何变换函数Func1k表示第k个掩膜区域内的所有点共享[0204](2)视场边缘区域对应的约束项用于，约束图像中视场边缘区域对应的初始图像向边缘区域内侧移动，这样做的好处是可以尽量减少后续矩形裁切造成的图像信息损失，[0215](3)背景区域对应的约束项用于，约束图像中的背景区域对应的图像矩阵中的像[0219]背景约束项需保证在该位移矩阵Dt(i,j)作用下的坐标值M0(i,j)倾向于为坐标第一终端作为对第一图像进行畸变矫正的处理设备，可以是任意具备图像处理功能的设物的人脸存在畸变是由第二终端在在拍摄第一图像时目标人物的人脸与第二终端之间的目标距离小于第一预设阈值引起的。即第二终端拍摄第一图像时，目标人物的人脸与摄像头之间的目标距离较小。通常使用前置摄像头自拍时，人脸距离摄像头的距离较小，存在部拉长等效果。而当目标人物的人脸与前置摄像头之间的距离较大时，可能上述问题会削弱。因此本申请设定了一个阈值，认为目标人物的人脸与前置摄像头之间的距离小于该阈于预设阈值的具体取值可以视前置摄像头的性能、拍摄光照等情况而定，本申请对此不作具体限定。[0257]目标人物的人脸与摄像头之间的目标距离可以是目标人物的人脸上的最前端部者，目标人物的人脸与摄像头之间的目标距离还可以是目标人物的人脸上的中心位置(例[0258]终端可以根据目标人物的人脸在第一图像中的屏占比和第二终端的摄像头的FOV一图像的摄像头的信息记录于可交换图像文件格式(exchangeableimagefileformat，目标人物的人脸与FOV的边缘之间的像素距离小于第三预设阈值引起的。如果终端的摄像[0260]像素距离可以是目标人物的人脸上的最前端部位与第一图像的边界之间的像素过调节一个滑块的位置来该改变其取值，也可以通过触发一个控件来确定其被选中的取据选中的表情模板对左侧部分图像中的人脸的五官的相对比例和相对位置进行变换。例[0268]在一种可能的实现方式中，畸变矫正功能菜单包括调整五官的相对位置和/或相官的相对位置和/或相对比例的选项中的控件或滑块的操作所触发的指令获取调整方向、目标人物的人脸相较于第一图像中的目标人物的人脸更接近于目标人物的人脸的真实样的五官的相对比例和相对位置更接近于目标人物的人脸五官的相对比对比例和相对位置趋近于、甚至恢复到目标人物的人脸的真实样貌的相对比例和相对位[0280]本申请中，对第一图像进行透视畸变矫正得到的第二图像的过程可以参照步骤如指定为将第一三维模型左移或者右移6cm左右(人脸左右眼间距)。得到变换后的第二图述图3所示实施例中的方法对拍照成像(第一图像)进行畸变矫正得到第二图像，此时第二[0298]如图13b所示，用户在图片库中选中要做畸变矫正的第一图像，该第一图像拍摄具体限定。[0300]终端在检测到当前显示的图像中的目标人物的人脸存在畸变时，也可以如图12d12d提供了畸变矫正功能菜单的触发控件的一个示例，但这并不对弹窗的界面或显示内容脸在所述第一图像中的屏占比；根据所述屏占比和所述前置摄像头的视场角FOV得到所述的目标人物的五官的相对比例相较于所述第一图像中的目标人物的五官的相对比例更接对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人述第一图像中的所述目标人物的人脸与标准人脸模型进行拟合得到所述目标人物的人脸脸的第一三维模型；对所述第一三维模型的位姿和/或形状进行变换得到所述目标人物的到第二坐标集合，所述第二坐标集合包括对应于所述第二三维模型中的多个像素的坐标所述第二三维模型包含的多个相同像素中的述第二图像中的目标人物的人脸相较于所述第一图像中的目标人物的人脸更接近于所述第二终端在在拍摄所述第一图像时所述目标人物的人脸与所述第二终端之间的目标距离一图像的可交换图像文件格式EXIF信息中件或滑块的操作所触发的指令获取所述等效模拟拍摄距离的选项中的等效模拟拍摄距离的值包括默认值或者预先计算[0331]在一种可能的实现方式中，所述畸变矫正功能菜单包括调整五官的相对位置和/相对比例的选项中的控件或滑块的操作所触发的指令获取调整方向、位移距离和/或五官用于根据用户在所述调整动作的选项中的控件或滑块的操作所触发的指令获取新的动作的目标人物的五官的相对比例相较于所述第一图像中的目标人物的五官的相对比例更接对位置相较于所述第一图像中的目标人物的五官的相对位置更接近于所述目标人物的人述第一图像中的所述目标人物的人脸与标准人脸模型进行拟合得到所述目标人物的人脸脸的第一三维模型；根据所述变换参数对所述第一三维模型的位姿和/或形状进行变换得到第二坐标集合，所述第二坐标集合包括对应于所述第二三维模型中的多个像素的坐标所述第二三维模型包含的多个相同像素中的令，所述畸变矫正指令包括用户对所述一个或多个滑块和/或所述一个或多个控件进行触processor,DSP)、特定应用集成电路(application_specificintegratedcircuit，ASIC)、现场可编程门阵列(fieldprogrammablegatearray,FPGA)或其他可编程逻辑器易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(read_only缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器动态