版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
(19)国家知识产权局(12)发明专利(10)授权公告号CN114331824B(65)同一申请的已公布的文献号(73)专利权人北京字跳网络技术有限公司楼2层0207(74)专利代理机构北京远智汇知识产权代理有限公司11659本公开实施例提供了一种图像处理方法、装效触发操作,采集包括目标对象的待处理图像;基于目标瞳孔特征调整模型对待处理图像,以及与待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像;将目标特效图像展示在目标显示界面。本公开实施例提供的技术方案,实现了基于瞳孔属性条件标签对瞳孔进行精细调整,为眼部添加特效,使生成的特效图与条件标签相一致,提高了眼部特效添加的准确性,进而将特效图展示在显示界面上时,使展示图像2响应于特效触发操作,采集包括目标对象的待处理图像;基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像;其中,所述目标特效图中目标对象的瞳孔特征与所述至少一个目标条件标签相匹配;所述至少一个目标条件标签包括与瞳孔的目标显示尺寸相对应的目标尺寸标签,和/或瞳孔在眼睛中的目标相对显示位置所对应的目标将所述目标特效图像展示在目标显示界面上;所述方法还包括:若所述目标瞳孔特征调整模型是在位置标签固定,尺寸标签变换的条件下训练得到的,则所述至少一个目标条件标签包括目标尺寸标签。2.根据权利要求1所述的方法,其特征在于,所述特效触发操作包括如下至少一种:检测到视野区域中包括目标对象;检测到所述目标对象触发目标特效动作;检测到触发特效生成控件。3.根据权利要求1所述的方法,其特征在于,所述基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特确定与所述待处理图像相对应的至少一个目标条件标签;将所述至少一个目标条件标签和所述待处理图像作为所述目标瞳孔调整模型的输入,得到所述目标特效图。4.根据权利要求3所述的方法,其特征在于,所述确定与所述待处理图像相对应的至少获取预先设置的至少一个目标条件标签;或,根据所述待处理图像中目标对象的姿态信息,确定与所述目标对象相对应的至少一个目标条件标签。若所述目标瞳孔特征调整模型是在尺寸标签固定,位置标签变换的条件下训练得到的,则所述至少一个目标条件标签中包括目标位置标签;若所述目标瞳孔特征调整模型是在尺寸标签和位置标签变换的条件下训练得到的,则所述至少一个目标条件标签中包括目标位置标签和目标尺寸标签。6.根据权利要求1或5所述的方法,其特征在于,所述基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目若所述至少一个目标条件标签包括目标尺寸标签和目标位置标签,则基于所述目标瞳孔特征调整模型,将所述待处理图像中目标对象的瞳孔调整至与所述目标尺寸标签和目标位置标签相匹配,得到所述目标特效图;若所述至少一个目标条件标签包括目标尺寸标签,则基于所述目标瞳孔特征调整模型,将所述待处理图像中目标对象的瞳孔调整至与所述目标尺寸标签和训练得到所述目标瞳孔特征调整模型时所使用的位置标签相匹配;3若所述至少一个目标条件标签包括目标位置标签,则基于所述目标瞳孔特征调整模型,将所述待处理图像中目标对象的瞳孔调整至与所述目标位置标签和训练得到所述目标瞳孔特征调整模型时所使用的尺寸标签相匹配。训练得到所述目标瞳孔特征调整模型;所述训练得到所述目标瞳孔特征调整模型,包括:获取第一训练样本集;其中,所述第一训练样本集中包括多个第一训练样本,所述第一训练样本中包括第一原始输入图像和第一理论图像,所述第一理论图像是基于预先训练得到的目标瞳孔位置调整模型和目标瞳孔尺寸调整模型生成的;针对各第一训练样本,将当前第一训练样本的第一原始图像作为待训练瞳孔特征调整模型的输入,将所述第一理论图像作为所述待训练瞳孔特征调整模型的输出,调整所述待训练瞳孔特征调整模型的模型参数;将所述待训练瞳孔特征调整模型的损失函数收敛作为训练目标,得到所述目标瞳孔特征调整模型。8.根据权利要求7所述的方法,其特征在于,确定第一训练样本集中的各第一训练样本获取第一原始输入图像;将所述第一原始输入图像和待显示瞳孔位置标签,输入至所述目标瞳孔位置调整模型将待使用图像和待显示瞳孔尺寸标签,输入至所述目标瞳孔尺寸调整模型中,得到所述第一理论图像。若所述待显示瞳孔尺寸标签为固定值,则各第一理论图像为瞳孔尺寸相同,且瞳孔位置存在差异的图像;若所述待显示瞳孔位置标签为固定值,则各第一理论图像为瞳孔位置相同,瞳孔尺寸存在差异的图像;若所述待显示瞳孔尺寸标签变化,所述待显示瞳孔位置标签变化,则各第一理论图像为瞳孔位置和瞳孔尺寸存在差异的图像。训练得到所述目标瞳孔位置调整模型;所述训练得到所述目标瞳孔位置调整模型,包括:获取第二训练样本集;其中,所述第二训练样本集中包括多个第二训练样本,所述第二训练样本中包括瞳孔位置不同的第二输入图像、第二理论输出图像以及与所述第二理论输出图像相对应的瞳孔位置标签,所述第二输入图像和所述第二理论输出图像是基于预先训练得到的目标瞳孔重建模型确定的;所述目标瞳孔重建模型,用于重建出与标记瞳孔相一致的图像;针对各第二训练样本,将当前训练样本的第二输入图像和瞳孔位置标签作为待训练瞳孔位置调整模型的输入,将第二理论输出图像作为所述待训练瞳孔位置调整模型的输出,调整所述待训练瞳孔位置调整模型的模型参数;4将所述待训练瞳孔位置调整模型的损失函数收敛作为训练目标,得到所述目标瞳孔位置调整模型。训练得到目标瞳孔尺寸调整模型;所述训练得到目标瞳孔尺寸调整模型,包括:获取第三训练样本集;其中,所述第三训练样本集中包括多个第三训练样本,所述第三训练样本中包括瞳孔尺寸不同的第三输入图像、第三理论输出图像以及与所述第三理论图像相对应的瞳孔尺寸标签,所述第三输入图像和所述第三理论输出图像是基于预先训练得到的目标瞳孔重建模型确定的;所述目标瞳孔重建模型,用于重建出与标记瞳孔相一致的针对各第三训练样本,将当前训练样本的第三输入图像和瞳孔尺寸标签作为待训练瞳孔位置调整模型的输入,将第三理论输出图像作为所述待训练瞳孔尺寸调整模型的输出,调整所述待训练瞳孔尺寸调整模型的模型参数;将所述待训练瞳孔尺寸调整模型的损失函数收敛作为训练目标,得到所述目标瞳孔尺寸调整模型。训练得到目标瞳孔重建模型;所述训练得到目标瞳孔重建模型,包括:确定多个第四训练样本,所述第四训练样本中包括预处理图像,和按照预设图像处理算法确定出预处理图像中包括瞳孔标记的待使用图像;针对各第四训练样本,将所述待使用图像作为待训练瞳孔重建模型的输入参数,将所述预处理图像作为所述待训练瞳孔重建模型的输出参数,调整所述待训练瞳孔重建模型的模型参数;将所述待训练瞳孔重建模型的损失函数收敛作为训练目标,得到所述目标瞳孔重建模获取包括目标部位的预处理图像,并确定所述目标部位的灰度图;按照预设图像处理算法确定所述灰度图中的第一区域和第二区域;其中,所述目标部位为眼睛部位,所述第一区域为瞳孔区域,所述第二区域为眼白区域;基于所述第一区域和所述第二区域,得到包括瞳孔标记的待使用图像。14.根据权利要求13所述的方法,其特征在于,所述预设图像处理算法包括灰度均值算法,所述按照预设图像处理算法确定所述灰度图中的第一区域和第二区域,包括:确定所述灰度图的灰度均值;将低于所述灰度均值的像素点作为第一类型像素点,将高于所述灰度均值的像素点作为第二类型像素点;基于所述第一类型像素点和所述第二类型像素点,确定第一区域和第二区域。15.根据权利要求13所述的方法,其特征在于,所述预设图像处理算法包括灰度阈值算法,所述按照预设图像处理算法确定所述灰度图中的第一区域和第二区域,包括:将灰度值小于预设灰度值阈值的像素点第一类型像素点,将灰度值大于等于预设灰度5阈值的像素点作为第二类型像素点;基于所述第一类型像素点和所述第二类型像素点,确定第一区域和第二区域。16.根据权利要求13所述的方法,其特征在于,所述按照预设图像处理算法确定所述灰度图中的第一区域和第二区域,包括:确定灰度均值大于预设灰度值阈值的第一待确定像素点,以及确定灰度值小于所述预设灰度值阈值的第二待确定像素点,并基于所述第一待确定像素点和所述第二待确定像素确定灰度均值大于所述目标部位灰度值均值的第三待确定像素点,确定灰度值小于所述灰度值均值的第四待确定像素点,并基于所述第三待确定像素点和所述第四待确定像素根据所述第一分割图像和所述第二分割图像中的第一待确定像素点和所述第三待确定像素点,确定像素点交集和像素点并集;若所述像素点交集与所述像素点并集的比值大于预设比值阈值,则基于所述像素点交集确定第一区域和第二区域。待处理图像采集模块,用于响应于特效触发操作,采集包括目标对象的待处理图像;目标特效图像获取模块,用于基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像;其中,所述目标特效图中目标对象的瞳孔特征与所述至少一个目标条件标签相匹配;所述至少一个目标条件标签包括与瞳孔的目标显示尺寸相对应的目标尺寸标签,和/或瞳孔在眼睛中的目标相对显示位置所对应的目标位置标签;图像展示模块,用于将所述目标特效图像展示在目标显示界面上;所述装置还包括:目标条件标签设置子单元,用于若所述目标瞳孔特征调整模型是在位置标签固定,尺寸标签变换的条件下训练得到的,则所述至少一个目标条件标签包括目标尺寸标签。一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-16中任一所述图像处理方法。19.一种包含计算机可执行指令的存储介质,所述计算机可执行指令在由计算机处理器执行时用于执行如权利要求1-16中任一所述图像处理方法。6图像处理方法、装置、电子设备和存储介质技术领域[0001]本公开实施例涉及图像处理技术领域,尤其涉及一种图像处理方法、装置、电子设备和存储介质。背景技术[0002]随着科技的发展,越来越多的应用软件走进了用户的生活,逐渐丰富了用户的业于短视频软件拍摄相应视频。为了进一步提高视频内容的丰富性和趣味性,通常会为视频中的视频帧进行特效处理。[0003]现有为图像添加特效时,通常会采用PS(Photoshop,图像处理软件)软件等方式来处理。还可以是采用预先训练好的对抗模型对图像进行特效处理,得到特效图。[0004]上述方式确定特效图时,存在计算量较大以及特效图像真实度较差的问题,从而引起用户使用体验较差的问题。发明内容[0005]本公开实施例提供一种图像处理方法、装置、电子设备和存储介质,以实现对瞳孔特征进行多方面调整,从而提高特效图像真实性的技术效果。[0007]响应于特效触发操作,采集包括目标对象的待处理图像;[0008]基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像;其中,所述目标特效图中目标对象的瞳孔特征与所述至少一个目标条件标签相匹配;[0009]将所述目标特效图像展示在目标显示界面上。[0011]待处理图像采集模块,用于响应于特效触发操作,采集包括目标对象的待处理图[0012]目标特效图像获取模块,用于基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像;其中,所述目标特效图中目标对象的瞳孔特征与所述至少一个目标条件标签相匹配;[0013]图像展示模块,用于将所述目标特效图像展示在目标显示界面上。[0017]当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本公开实施例任一所述的图像处理方法。[0018]第四方面,本公开实施例还提供了一种计算机可读存储介质,其上存储有计算机7程序,该程序被处理器执行时实现如本公开实施例任一所述的图像处理方法。[0019]本公开实施例的技术方案,通过响应于特效触发操作,采集包括目标对象的待处理图像,进而基于目标瞳孔特征调整模型对待处理图像,以及与待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像,将目标特效图像展示在目标显示界面,实现了对瞳孔特征进行多方面调整,从而提高图像内容丰富性以及逼真性的技术效果。附图说明[0020]结合附图并参考以下具体实施方式,本公开各实施例的上述和其他特征、优点及方面将变得更加明显。贯穿附图中,相同或相似的附图标记表示相同或相似的元素。应当理解附图是示意性的,原件和元素不一定按照比例绘制。[0021]图1为本公开实施例一所提供的一种图像处理方法的流程示意图;[0022]图2为本公开实施例二所提供的一种图像处理方法的流程示意图;[0023]图3是本公开实施例三所提供的一种图像处理方法的流程示意图;[0024]图4a为本公开实施例三所提供的确定第一训练样本的流程示意图;[0025]图4b为本公开实施例三所提供的第一理论图像的示意图;[0026]图5是本公开实施例四所提供的一种图像处理方法的流程示意图;[0027]图6a是本公开实施例四所提供的眼部结构分割图像的示意图;[0028]图6b是本公开实施例四所提供的瞳孔位置存在差异的眼部重建图像的示意图;[0029]图7是本公开实施例五所提供的一种图像处理方法的流程示意图;[0030]图8是本公开实施例五所提供的瞳孔尺寸变化的眼部图像的示意图;[0031]图9为本公开实施例六所提供的一种图像处理方法的流程示意图;[0032]图10a为本公开实施例六所提供的眼部重建图像示意图;[0033]图10b为本公开实施例六所提供的待使用图像的示意图;[0034]图10c为本公开实施例六所提供的待使用图像的的示意图;[0035]图10d为本公开实施例六提供的待使用图像的示意图;[0036]图11是本公开实施例七所提供的一种图像处理装置的结构框图;[0037]图12是本公开实施例八所提供的一种电子设备的结构示意图。具体实施方式[0038]下面将参照附图更详细地描述本公开的实施例。虽然附图中显示了本公开的某些实施例,然而应当理解的是,本公开可以通过各种形式来实现,而且不应该被解释为限于这里阐述的实施例,相反提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是,本公开的附图及实施例仅用于示例性作用,并非用于限制本公开的保护范围。[0039]应当理解,本公开的方法实施方式中记载的各个步骤可以按照不同的顺序执行,和/或并行执行。此外,方法实施方式可以包括附加的步骤和/或省略执行示出的步骤。本公开的范围在此方面不受限制。[0040]本文使用的术语“包括”及其变形是开放性包括,即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”;术语“另一实施例”表示“至少一个另外的实施例”;术语“一些实施例”表示“至少一些实施例”。其他术语的相关定8义将在下文描述中给出。元进行区分,并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系。[0042]在介绍本技术方案之前,可以先对应用场景进行示例性说明。可以将本公开技术方案应用在任意需要特效展示的画面中,如应用在视频拍摄过程中,可以对被拍摄对象进行特效处理,得到展示的目标特效图;也可以是应用在静态图像拍摄过程中,例如,通过终端设备自带摄像机拍摄图像后,将拍摄的图像处理成特效图像进行特效展示的情况。在本孔中心点与眼睛中心点相对偏移的特效。在本实施例中,目标对象可以是用户,也可以是拍摄到的各种宠物。[0044]图1为本公开实施例一所提供的一种图像处理方法的流程示意图,本公开实施例适用于在互联网所支持的任意图像展示场景中,用于将目标对象的眼部图像处理为特效图像并展示的情形,该方法可以由图像处理装置来执行,该装置可以通过软件和/或硬件的形图像展示的场景可以由服务端来执行,客户端来执行,或者是客户端和服务端的配合来执行。[0045]如图1,本实施例的方法包括:[0046]S110、响应于特效触发操作,采集包括目标对象的待处理图像。[0047]需要说明的是,上述已对各种可以应用的场景进行简单的说明,在此不再具体阐述。其中,执行本公开实施例提供的图像处理方法的装置,可以集成在支持图像处理功能的应用软件中,且该软件可以安装至电子设备中,可选的,电子设备可以是移动终端或者PC端等。应用软件可以是对图像/视频处理的一类软件,其具体的应用软件在此不再一一赘述,只要可以实现图像/视频处理即可。还可以是专门研发的应用程序,来实现添加特效并特效展示的软件中,亦或是集成在相应的页面中,用户可以通过PC端中集成的页面来实现特效添加处理。[0048]其中,待处理图像可以理解为需要被处理的图像。此图像可以是基于应用软件采集的图像,也可以是应用软件从存储空间中预先存储的图像。在实际应用中,可以基于应用软件实时或者周期性的拍摄包括目标对象的图像,此时可以直接为对象添加特效。也可以是在检测到用户触发特效添加控件后,将图像发送至服务端,服务端为采集的待处理图像中的目标对象添加特效。相应的,待处理图像中可以包括目标对象,目标主体可以是用户、也可以是宠物。需要说明的是,还可以对拍摄视频对应的视频帧进行处理,如,可以预先设置与拍摄视频对应的目标对象,当在检测到视频帧对应的图像中有该目标对象时,可以将该视频帧对应的图像作为待处理图像,以使后续可以对视频中的每个视频帧图像中的目标对象进行特效处理。[0049]需要说明的是,同一拍摄场景中目标对象的数量可以是一个也可以是多个,不论是一个还是多个,都可以采用本公开所提供的技术方案来确定特效展示图。9[0050]具体的,在检测到需要为待处理图像中的目标对象添加特效时,可以采集包括目标对象的待处理图像,以为待处理图像中的目标对象添加特效,从而得到与待处理图像相对应的目标特效图。[0051]在本实施例中,所述特效触发操作包括如下至少一种:检测到视野区域中包括目标对象;检测到所述目标对象触发目标特效动作;检测到触发特效生成控件。[0052]其中,特效生成控件可以是应用软件的显示界面上显示的按键,该按键的触发表征需要采集待处理图像,并对待处理图像特效处理。在实际应用中,若用户触发该按键,可以认为要触发特效展示的图像功能,即需要为目标对象添加相应的特效。其中,添加的特效具体是什么可以与用户触发的特效相一致。目标特效动作可以为预设的肢体动作,预设的肢体动作可以与添加的特效相匹配,也可以理解为,不同的特效对应于不同的肢体动作。本技术方案中的目标特效动作可以是转头的动作,或者是眨眼的动作,此种方式进一步提高了特效识别和添加的智能性。例如,可以根据移动终端的拍摄视野范围,确定视野范围内目标对象的肢体动作是否与预设的肢体动作相一致,若是,则说明触发了特效添加操作,例了特效触发操作。另一种实现方式可以是,根据移动终端的拍摄视野范围,判断视野范围是否包含目标对象,若是,则说明触发了特效添加操作,例如,可以预先设置宠物猫咪为目标对象,当检测到视野区域内包括该宠物猫咪时,则说明触发了特效触发操作。[0053]S120、基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像。[0054]其中,目标瞳孔特征调整模型为用于调整瞳孔属性的模型。目标条件标签可以理解为瞳孔属性标签。目标条件标签可以是瞳孔位置标签和/或瞳孔尺寸标签。目标特效图是与待处理图像和至少一个目标条件标签相匹配的图像。示例性的,目标条件标签为瞳孔半径5mm时的标签1,则基于该目标瞳孔特征调整模型对待处理图像处理和标签1处理后,可以[0055]需要说明的是,可以根据实际所需设置与目标对象的瞳孔特征相同的目标条件标签;也可以根据最终所需要的效果设置目标条件标签。在实际应用中,为了提高与用户之间的交互效率,可以将目标条件标签内置的程序中,以在对待处理图像处理时,调取相应的目标条件标签。[0056]具体的,在接收到待处理图像后,服务器可以将待处理图像和预先设置的至少一个目标条件标签,输入至目标瞳孔调整模型中,得到与目标条件标签相匹配的目标特效图。[0057]S130、将所述目标特效图像展示在目标显示界面上。[0058]具体的,在得到目标特效图像后,为了使用户了解最终的特效图可以将目标特效图像展示在目标显示界面上。其中,目标显示界面为上传待处理图像时所对应的终端设备的显示界面。[0059]本公开实施例的技术方案,通过响应于特效触发操作,采集包括目标对象的待处理图像,进而基于目标瞳孔特征调整模型对待处理图像,以及与待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像,将目标特效图像展示在目标显示界面,实现了对瞳孔特征进行多方面调整,从而提高图像内容丰富性以及逼真性的技术效果。[0060]实施例二[0061]图2为本公开实施例二所提供的一种图像处理方法的流程示意图,在前述实施例的基础上,对S120作进一步的细化。其中,与上述实施例相同或者相应的技术术语在此不再赘述。[0062]如图2所示,该方法具体包括如下步骤:[0063]S210、响应于特效触发操作,采集包括目标对[0064]S220、确定与所述待处理图像相对应的至少一个目标条件标签。[0065]在本实施例中,确定至少一个目标条件标签,包括:获取预先设置的至少一个目标条件标签;或,根据所述待处理图像中目标对象的姿态信息,确定与所述目标对象相对应的至少一个目标条件标签。[0066]可以理解为:可以将目标条件标签预存储在数据库中,在需要生成什么样的特效时,可以直接调取与该特效相匹配的目标条件标签。在接收到待处理图像后,可以将目标条件标签和待处理图像作为目标瞳孔调整模型的输入,以得到目标特效图。[0067]为了提高待处理图像中目标对象与添加特效的适配度,可以根据待处理图像中目标对象对应的形态信息,确定与形态信息相适应的条件标签,作为目标条件标签。如,目标对象歪着头,未完全将眼睛露出来,可以通过算法分析目标对象的眼睛状态,确定将眼睛处理成何种尺寸是特效效果最佳的,如,最佳效果的瞳孔尺寸为5mm,则可以将瞳孔尺寸5mm作为目标条件标签。也可以是在提高目标对象与添加特效的适配度的同时,也满足用户的特等等,确定此种情形下的目标条件标签。[0069]可以理解为,目标条件标签是根据待处理图像中目标对象的姿态信息确定的,如,可以利用算法对目标对象的姿态信息进行分析,进而可以根据实际想要做出特效的需求,确定该姿态信息为目标对象添加何种条件标签的眼睛特效是效果最佳的。例如,想为猫做出疑问的表情时,可以利用算法分析将猫眼睛调整到什么尺寸,瞳孔调整到什么位置是效果最佳的,可以将此时的瞳孔尺寸和瞳孔位置作为目标条件标签。[0070]还需要说明的是,在确定目标条件标签之前,可以通过对眼睛进行位置划分标定,确定出瞳孔在眼睛中不同位置所对应的条件标签。可选的,将瞳孔的中心点与眼睛中心点重合时所对应的标签记为0.5,瞳孔中心点相对于眼睛中心点左偏,则可以将标签依次减少;如果是瞳孔中心点相对于眼睛中心点右移,则可以将标签依次增加。将最最左边标签0,最右边标签为1。瞳孔尺寸标签可以以瞳孔的半径来定义,可选的,瞳孔的半径2mm、5mm、8mm,瞳孔尺寸标签可以为2、5、8等等。可以从预先设置的多个瞳孔尺寸标签和瞳孔位置标[0071]在本实施例中,所述至少一个目标条件标签包括与瞳孔的目标显示尺寸相对应的目标尺寸标签,和/或瞳孔在眼睛中的目标相对显示位置所对应的目标位置标签。[0072]可以理解为:目标尺寸标签用于表征瞳孔显示半径的标签。目标位置标签,用于表征瞳孔中心点在眼睛中偏移信息的标签。可以将目标尺寸标签和目标位置标签作为目标条件标签。在本实施例中,目标条件标签中标签的数量与训练得到的目标瞳孔调整模型存在一定的关联,其具体的方式可以是:若目标瞳孔特征调整模型是在位置标签固定,尺寸标签变换的条件下训练得到的,则至少一个目标条件标签包括目标尺寸标签;若目标瞳孔特征11调整模型是在尺寸标签固定,位置标签变换的条件下训练得到的,则至少一个目标条件标签中包括目标位置标签;若目标瞳孔特征调整模型是在尺寸标签和位置标签变换的条件下训练得到的,则至少一个目标条件标签中包括目标位置标签和目标尺寸标签。[0073]可以理解为,目标瞳孔特征调整模型可以是通过利用条件标签预先训练好的,如,模型可以在条件标签不变、条件标签部分变化,或者条件标签组合变化的情况下训练得到[0074]示例性的,若变换的条件标签为位置标签,则可以将尺寸标签固定。通过不同的位置标签和相应的待训练图像,训练一个p2p神经网络,从而训练得到一个目标瞳孔特征调整模型。该瞳孔特征调整模型的输入可以是位置标签和相应的待处理图像,得到的目标特效图中瞳孔位置与位置标签相一致,瞳孔尺寸与固定的尺寸标签相一致。若变换的条件标签为尺寸标签,则可以将位置标签固定。通过不同的尺寸标签和相应的待训练图像,训练一个p2p神经网络,从而训练得到一个目标瞳孔特征调整模型。该瞳孔特征调整模型的输入可以是尺寸标签和相应的待处理图像,得到的目标特效图中瞳孔尺寸与尺寸标签相一致,瞳孔位置与固定的位置标签相一致。如果目标瞳孔特征调整模型是在位置标签固定,尺寸标签变换的条件下训练得到的,则可以对位置标签和尺寸标签进行随机组合,将组合后的标签和原始图像作为待训练模型的输入,将其对应的理论图像作为模型输出,以训练得到目标瞳孔特征调整模型。[0075]S230、将所述至少一个目标条件标签和所述待处理图像作为所述目标瞳孔调整模[0076]在本实施例中,可以将待处理图像和所选定的至少一个目标条件标签输入至目标瞳孔调整模型。该模型可以对待处理图像进行处理,输出在目标条件标签下的目标特效图,如,目标条件标签为瞳孔尺寸8mm和瞳孔位置0.5,则可以生成瞳孔半径变化为8mm,且瞳孔移动到眼睛中间位置的特效图。[0077]在本实施例中,基于目标瞳孔特征调整模型对待处理图像进行处理的具体方式可以是:若至少一个目标条件标签包括目标尺寸标签和目标位置标签,则基于目标瞳孔特征调整模型,将待处理图像中目标对象的瞳孔调整至与目标尺寸标签和目标位置标签相匹配,得到目标特效图;若至少一个目标条件标签包括目标尺寸标签,则基于目标瞳孔特征调整模型,将待处理图像中目标对象的瞳孔调整至与目标尺寸标签和训练得到目标瞳孔特征调整模型时所使用的位置标签相匹配;若至少一个目标条件标签包括目标位置标签,则基于目标瞳孔特征调整模型,将待处理图像中目标对象的瞳孔调整至与目标位置标签和训练得到目标瞳孔特征调整模型时所使用的尺寸标签相匹配。[0078]S240、将所述目标特效图像展示在目标显示界面上。[0079]本公开实施例的技术方案,通过获取与待处理图像相对应的包括目标尺寸标签和目标位置标签的目标条件标签,进而将至少一个目标条件标签和待处理图像作为目标瞳孔调整模型的输入,得到目标特效图,实现了基于瞳孔尺寸和位置条件标签对瞳孔进行精细调整,提高了眼部特效添加的准确性、丰富性,进一步提高了用户使用体验的技术效果。[0080]实施例三[0081]图3是本公开实施例三所提供的一种图像处理方法的流程示意图,在前述实施例的基础上,还可以预先训练得到目标瞳孔特征调整模型,以基于目标瞳孔特征调整模型确定目标特效图,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。[0084]为了提高模型的准确性,可以尽可能多而丰富的获取训练样本。第一训练样本集中包括多个第一训练样本,第一训练样本中包括第一原始输入图像和第一理论图像。第一原始输入图像为基于拍摄装置拍摄的图像,或图像重构模型重构出的图像,还可以是从存储空间中预先存储的图像。此时,未为第一原始输入图像添加相应的特效,即未修改图像中的瞳孔特征。同时,第一原始输入图像中一定包括目标对象的目标部位。目标部位可以是眼睛部位。第一理论图像是基于预先训练得到的目标瞳孔位置调整模型和目标瞳孔尺寸调整模型生成的。此时,第一理论图像是期望待训练瞳孔特征调整模型输出的图像。[0085]其中,目标瞳孔位置调整模型,用于调整第一原始输入图像中对象的瞳孔位置。目标瞳孔尺寸调整模型,用于调整第一原始输入图像中对象的瞳孔尺寸。可以依次基于目标瞳孔位置调整模型和目标瞳孔尺寸调整模型对原始输入图像进行处理,以得到训练目标瞳孔特征调整模型的第一理论图像。[0086]在本实施例中,确定各训练样本种的第一理论图像可以是:获取第一原始输入图像;将第一原始输入图像和待显示瞳孔位置标签,输入至目标瞳孔位置调整模型中,得到待使用图像;将待使用图像和待显示瞳孔尺寸标签,输入至目标瞳孔尺寸调整模型中,得到第一理论图像。[0087]其中,待显示瞳孔位置标签是指期望目标瞳孔位置模型对图像处理后,瞳孔在眼睛中位置信息的标签。例如,期望瞳孔偏移眼睛中心点百分之二十,则待显示瞳孔位置标签可以是0.2;期望偏移眼睛中心点百分之九十,则待显示瞳孔位置标签可以是0.9。可以将待显示瞳孔位置标签0.9和第一原始输入图像,同时输入至目标瞳孔位置调整模型中,得到瞳孔偏移眼睛中心点百分之九十的待使用图像。待显示瞳孔尺寸标签是期望目标瞳孔尺寸模型对图像处理后,瞳孔大小的标签。如,期望瞳孔在眼睛的半径为5mm,则待显示瞳孔尺寸标签可以是5,若期望瞳孔在眼睛中的半径为2mm,则待显示瞳孔尺寸标签为2。可以将待显示瞳孔尺寸标签5和瞳孔偏移中心点百分之九十的图像,作为目标瞳孔尺寸调整模型的输入,得到瞳孔偏移中心点百分九十,同时瞳孔尺寸为5mm的第一理论图像。[0088]采用上述方式,可以得到各第一原始输入图像所对应的第一理论图像,从而基于第一原始输入图像和相应的第一理论图像,确定第一训练样本。基于各第一训练样本,确定第一训练样本集。[0089]上述确定第一训练样本的过程可以是:如图4a所示,将第一原始输入图像(如图4b中的A)和待显示瞳孔位置标签输入至目标瞳孔位置调整模型中,得到瞳孔移动至指定位置的待使用图像。将待使用图像和待显示瞳孔尺寸标签输入至目标瞳孔尺寸调整模型中,得到瞳孔尺寸变化为至固定尺寸的特效图,此时得到的特效图是瞳孔位置移动、尺寸变化的[0090]需要说明的是,在实际应用中,还可以是第一原始输入图像先经目标瞳孔尺寸调整模型进行处理,再经瞳孔尺寸模型进行处理,从而得到第一理论图像。只要可以得到第一理论图像即可,其模型的具体处理顺序不做限定。在上述技术方案的基础上,可能存在想要得到瞳孔尺寸或者瞳孔位置固定的目标瞳孔调整模型,此种情形下,可以在对确定第一理论图像时进行优化。[0091]可选的,若待显示瞳孔尺寸标签为固定值,则各第一理论瞳孔位置存在差异的图像;若待显示瞳孔位置标签为固定值,则各第一理论图像为瞳孔位置相同,瞳孔尺寸存在差异的图像;若待显示瞳孔尺寸标签变化,待显示瞳孔位置标签变化,则各第一理论图像为瞳孔位置和瞳孔尺寸存在差异的图像。[0092]可以理解为,如果想要得到瞳孔尺寸固定不变的第一理论图像,在得到各待使用图像后,可以保持待显示瞳孔尺寸标签为固定数值。将待使用图像和固定的待显示瞳孔尺寸标签共同作为目标瞳孔尺寸调整模型的输入,得到瞳孔尺寸固定,且瞳孔位置存在一定偏移的第一理论图像。此时,所有第一理论图像的瞳孔尺寸都是相同的。如果想要得到如果想要得到瞳孔位置固定不变的第一理论图像,可以将待显示瞳孔尺寸标签设定为固定值。将第一原始输入图像和固定的待显示瞳孔位置标签输入至目标瞳孔位置调整模型后,可以得到瞳孔位置均相同的待使用图像。进一步的,将待使用图像和可以发生变化的待显示尺寸标签输入至目标瞳孔尺寸调整模型中,得到瞳孔位置不变但瞳孔尺寸变化的第一理论图像。如果想要得到瞳孔尺寸和瞳孔位置均为固定的第一理论图像,则可以说明待显示瞳孔尺寸标签和待显示瞳孔位置标签都是固定值。如果想要得到瞳孔尺寸和瞳孔位置是变化的第一理论图像,可以采用上述详细阐述的方式,确定第一理论图像。[0093]S320、针对各第一训练样本,将当前第一训练样本的第一原始图像作为待训练瞳孔特征调整模型的输入,将第一理论图像作为待训练瞳孔特征调整模型的输出,调整待训练瞳孔特征调整模型的模型参数。[0094]其中,待训练瞳孔特征调整模型中的模型参数为默认值。通过训练样本对待训练瞳孔特征调整模型中的模型参数进行修正,以得到目标瞳孔特征调整模型。[0095]需要说明的是,对每一个训练样本的处理方式都是相同的,以对其中一个训练样本处理为例来说明。[0096]具体的,将当前训练样本中的第一原始输入图像输入至待训练瞳孔特征调整模型,将第一理论图像作为待训练瞳孔特征调整模型的输出,以此来调整待训练瞳孔特征调整模型中的模型参数,不断对模型参数进行调优,以使在输入原始图像时,待训练瞳孔特征调整模型可以输出期望的图像。[0097]S330、将待训练瞳孔特征调整模型的损失函数收敛作为训练目标,得到目标瞳孔特征调整模型。[0098]其中,可以将预设损失函数收敛作为训练目标,当判定待训练瞳孔特征调整模型的预设损失函数收敛时,说明可以将此模型作为目标瞳孔特征调整模型。[0099]需要说明的是,由于待训练瞳孔特征调整模型中的模型参数是未修正的,那么,可能此时模型输出的特效图像与当前训练样本对应的第一理论图像也是存在相应差异的,可以不断修正待训练瞳孔特征调整模型中的模型参数,以使待训练瞳孔特征调整模型可以输出期望的第一理论图像。[0100]S340、响应于特效触发操作,采集包括目标对象的待处理图像。[0101]S350、基于目标瞳孔特征调整模型对待处理图像,以及与待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像。[0103]本公开实施例的技术方案,通过基于目标瞳孔位置调整模型和目标瞳孔尺寸调整模型确定训练样本中的第一理论图像。基于第一原始输入图像和相应的第一理论图像对待训练瞳孔特征调整模型进行训练,得到目标瞳孔特征调整模型,从而使目标瞳孔特征调整模型对采集到的图像进行瞳孔特征进行调整,提高了添加特效的效率和丰富度的技术效[0105]图5是本公开实施例四所提供的一种图像处理方法的流程示意图,在前述实施例的基础上,可以训练得到目标瞳孔位置调整模型,以基于目标瞳孔位置调整模型生成瞳孔位置变化的图像,进而基于该图像来生成相应的第一理论图像,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。[0108]为了提高模型的准确性,可以尽可能多而丰富的获取训练样本。第二训练样本集中包括多个第二训练样本,第二训练样本中包括瞳孔位置不同的第二输入图像、第二理论输出图像以及与第二理论输出图像相对应的瞳孔位置标签。第二输入图像和第二理论输出图像是基于预先训练得到的目标瞳孔重建模型确定的;目标瞳孔重建模型,用于重建出与标记瞳孔相一致的图像。[0109]此时,第二输入图像是待训练瞳孔位置调整模型的输入图像,该图像为目标瞳孔模型重建出来的真实眼睛图像。第二理论输出图像是期望待训练瞳孔位置调整模型输出的图像。可选的,针对同一幅包括眼睛部位的图像,基于瞳孔重建模型生成瞳孔在眼睛中位置不同的两幅图像。用户可以根据实际需求在图像中眼睛部位的眼白区域和瞳孔区域进行标记,基于目标瞳孔重建模型对图像进行重建,得到瞳孔存在偏移的图像。由于标记时,瞳孔区域可以根据实际需求进行标记,因此重建出的图像中瞳孔可以与原始图像中的瞳孔存在一定的差异。[0110]示例性的,参见图6a,可以利用摄像装置采集大量包含眼睛的图像,或者基于图像生成模型生成大量包含眼部的图像。可以对眼部的瞳孔区域和眼白区域进行标记,可选的,在眼睛中随机选择瞳孔位置并填充为黑色,眼眶中除黑色区域之外的地方填充为白色,得[0111]基于上述方式,可以基于目标瞳孔重建模型,构建出训练待训练瞳孔位置调整模型的训练样本。参见图6b,针对同一幅图像,分别标记出瞳孔位置不同的两幅待输入图像,基于目标瞳孔重建模型分别对两幅待输入图像进行处理,得到瞳孔位置存在差异的两幅理论图像,即可以得到对应的两张真实眼睛图像(如图6b中A和B)。但是,需要说明的是,上述所提及的图像仅仅是一个示意图,并不对其进行限定。在得到上述样本的同时,如果需要将6b中的A作为待训练瞳孔位置调整模型的输入,将6b中的B中的待训练瞳孔位置调整模型的输出。则可以确定得到6b中的B时,瞳孔位置所对应的待显示瞳孔位置标签。基于上述方式,可以得到第二训练样本中的输入图像、理论图像以及与理论图像对应的瞳孔位置标签。[0112]S420、针对各第二训练样本,将当前训练样本的第二输入图像和瞳孔位置标签作为待训练瞳孔位置调整模型的输入,将第二理论输出图像作为待训练瞳孔位置调整模型的输出,调整待训练瞳孔位置调整模型的模型参数。[0113]其中,待训练瞳孔位置调整模型中的模型参数为默认值。该模型可以为p2p网络模[0114]示例性的,继续参见图6b,确定6b中B图像中瞳孔所在位置,得到瞳孔位置标签。将瞳孔位置标签与6b中的A图像输入至待训练的瞳孔位置调整模型,将6b中的B作为模型的输[0115]具体的,将当前训练样本中的第二输入图像输入至待训练瞳孔位置调整模型,将第二理论输出图像作为待训练瞳孔位置调整模型的输出,以此来调整待训练瞳孔特征调整模型中的模型参数,不断对模型参数进行调优,以使在输入原始图像和位置标签时,待训练瞳孔位置调整模型可以输出与位置标签相一致的期望图像。[0116]S430、将待训练瞳孔位置调整模型的损失函数收敛作为训练目标,得到目标瞳孔位置调整模型。[0117]其中,可以将预设损失函数收敛作为训练目标,当判定待训练瞳孔位置调整模型的预设损失函数收敛时,说明可以将此模型作为目标瞳孔位置调整模型。[0118]需要说明的是,由于待训练瞳孔特征调整模型中的模型参数是未修正的,那么,可能此时模型输出的特效图像与当前训练样本对应的第二理论输出图像也是存在相应差异的,可以不断修正待训练瞳孔位置调整模型中的模型参数,以使待训练瞳孔特征调整模型可以输出期望的第二理论输出图像。在本实施例中,确定目标瞳孔位置调整模型的好处在于,可以基于得到第一理论图像,进而基于第一理论图像和相应的第一原始输入图像,训练得到目标瞳孔位置调整模型。[0119]S440、响应于特效触发操作,采集包括目标对象的待处理图像。[0120]S450、基于目标瞳孔特征调整模型对待处理图像,以及与待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像。[0121]S460、将目标特效图像展示在目[0122]本公开实施例的技术方案,通过确定第二输入图像和第二理论输出图像,可以训练得到目标瞳孔位置调整模型,进而基于目标瞳孔位置调整模型可以得到与第二理论图像中部分特征相一致的理论图像,基于此得到第一训练样本,提高了确定出第一训练样本,准确性和便捷性的效果。[0124]图7是本公开实施例五所提供的一种图像处理方法的流程示意图,在前述实施例的基础上,可以训练得到目标瞳孔尺寸调整模型,以基于目标瞳孔尺寸调整模型生成瞳孔尺寸变化的图像,进而基于该图像来生成相应的第一理论图像,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。[0127]其中,第三训练样本集中包括多个第三训练样本,第三训练样本中包括瞳孔尺寸不同的第三输入图像、第三理论输出图像以及与第三理论图像相对应的瞳孔尺寸标签。第三输入图像是指模型的输入。第三理论输出图像是指模型的输出。第三输入图像和第三理论输出图像是基于预先训练得到的目标瞳孔重建模型确定的;目标瞳孔重建模型,用于重建出与标记瞳孔相一致的图像。[0128]示例性的,者基于图像生成模型生成大量包含眼部的图像。可以对眼部的瞳孔区域和眼白区域进行标记,进而对将标记的图像输入至目标瞳孔重建模型中,得到尺寸调整的图像。例如,参见图8中原始图像A,进行瞳孔尺寸标记,标记出的记图像输入目标瞳孔重建模型中,得到瞳孔尺寸变化的眼部图像。可以将其中一张图像作为待训练瞳孔尺寸调整模型的输入,另一幅图像作为待训练瞳孔尺寸调整模型的输出,此时,输入还包括输出图像的瞳孔尺寸标签。此种方式可以得到多个第三训练样本。各第三训练样本的集合为第三训练样本集。[0129]S520、针对各第三训练样本,将当前训练样本的第三输入图像和瞳孔尺寸标签作为待训练瞳孔位置调整模型的输入,将第三理论输出图像作为所述待训练瞳孔尺寸调整模型的输出,调整所述待训练瞳孔尺寸调整模型的模型参数。[0130]其中,待训练瞳孔位置调整模型中的模型参数为默认参数。[0131]具体的,可以将当前训练样本中的第三输入图像和瞳孔尺寸标签输入至待训练瞳孔尺寸调整模型,将第三理论输出图像作为待训练瞳孔尺寸调整模型的输出。也就是说,可以在待训练瞳孔尺寸调整模型的输入参数和输出参数都固定的情况下,对模型进行训练,以此来调整待训练瞳孔尺寸调整模型中的模型参数,不断对模型参数进行调优,以使在输入原始图像和瞳孔尺寸标签时,模型可以输出期望的第三理论输出图像,第三理论输出图像中的瞳孔尺寸是与输入的瞳孔尺寸标签相匹配的。[0132]S530、将所述待训练瞳孔尺寸调整模型的损失函数收敛作为训练目标,得到所述目标瞳孔尺寸调整模型。[0133]其中,可以将预设损失函数收敛作为训练目标,当判定待训练瞳孔尺寸调整模型的预设损失函数收敛时,表明调整结果符合方案要求,已经得到训练好的模型,从而得到目标瞳孔尺寸调整模型。[0134]需要说明的是,由于待训练瞳孔尺寸调整模型中的模型参数是未修正的,那么,可能此时模型输出的特效图像与当前训练样本对应的第三理论输出图像也是存在相应差异的,可以不断修正待训练瞳孔尺寸调整模型中的模型参数,以使待训练瞳孔尺寸调整模型可以输出期望的第三理论输出图像。[0135]具体的,当检测到待训练瞳孔尺寸调整模型的损失函数收敛时,则表明待训练瞳孔尺寸调整模型训练完成,此时可以停止迭代训练。若检测到损失函数当前未收敛,可以进一步获取训练样本对待训练瞳孔尺寸调整模型继续进行训练,直至损失函数收敛,可以认为待训练瞳孔尺寸调整模型训练好了,以使在将待处理图像和目标尺寸标签输入至训练好的待训练瞳孔尺寸调整模型,模型可以将待处理图像中的目标对象瞳孔调整至目标尺寸标签对应的尺寸大小,以使可以生成尺寸变化的特效图像。可以将训练好的待训练瞳孔尺寸调整模型作为目标瞳孔尺寸调整模型。[0136]S540、响应于特效触发操作,采集包括目标对象的待处理图像。[0137]S550、基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像。[0138]S560、将所述目标特效图像展示在目标显示界面上。[0139]本公开实施例的技术方案,通过基于目标瞳孔重建模型获取与标记瞳孔相一致的图像,相应的,得到第三输入图像和第三理论输出图像作为训练样本,对模型进行训练,得到训练好的目标瞳孔尺寸调整模型,以使基于目标瞳孔尺寸调整模型控制图像中目标对象的瞳孔尺寸变化,提高了添加特效的效率和准确性。[0141]图9为本公开实施例六所提供的一种图像处理方法的流程示意图,在前述实施例的基础上,可以基于训练样本对待训练瞳孔重建模型进行训练,从而得到目标瞳孔重建模型,其具体的实施方式可以参见本实施例技术方案。其中,与上述实施例相同或者相应的技术术语在此不再赘述。[0143]S610、确定多个第四训练样本,所述第四训练样本中包括预处理图像,和按照预设图像处理算法确定出预处理图像中包括瞳孔标记的待使用图像。[0144]需要说明的是,在训练得到目标瞳孔重建模型之前,需要先获取训练样本,以基于训练样本来训练模型。为了提高模型的准确性,可以尽可能多而丰富的获取训练样本。[0145]其中,预设图像处理算法用于对获取到的图像进行瞳孔标记的算法。预处理图像可以为包含目标对象的图像。获取预处理图像的方式可以有多种,如,可以是基于摄像装置拍摄的图像,也可以是从存储空间中预先存储的图像,还可以是基于图像生成模型,生成的[0146]在获取到预处理图像后,可以确定与预处理图像相对应的理论输出图像,从而基于预处理图像和相应的理论输出图像,训练得到目标瞳孔重建模型。可以将基于瞳孔标记重建出的图像作为待使用图像。即,可以根据瞳孔标记,构建出相应的图像,将此图像作为待使用图像。待使用图像是瞳孔标记的灰度图像。可以理解为,训练样本中包括瞳孔标记图像和重建出的图像[0147]在本实施例中,确定每个第四训练样本可以是:获取包括目标部位的预处理图像,并确定所述目标部位的灰度图;按照预设图像处理算法确定所述灰度图中的第一区域和第二区域;其中,所述目标部位为眼睛部位,所述第一区域为瞳孔区域,所述第二区域为眼白区域;基于所述第一区域和所述第二区域,得到包括瞳孔标记的待使用图像。[0148]需要说明的是,可以利用摄像装置对目标对象的眼睛部位进行拍摄,可以采集多张包含眼睛的图像作为预处理图像。为了提高对眼睛进行划分,确定瞳孔区域的准确性,可以利用算法将预处理图像转化为灰度图,灰度值可以包括0至255中任意数值,其中,255表示全白,0表示全黑。进一步的,可以利用预设图像处理算法和相应中的瞳孔区域和眼白区域,并对眼白区域和瞳孔区域进行标记,得到输入至待训练瞳孔重建模型的输入图像。示例性的,参见图10a,在采集到图像后,得到预处理图像,可以对眼睛[0149]在本实施例中,确定预设图像处理算法可以包括灰度均值算法和灰度阈值算法。相应的,确定待使用图像的方法包括至少三种,[0150]第一种确定待使用图像的方式可以是:预设图像处理算法包括灰度均值算法,按照预设图像处理算法确定灰度图中的第一区域和第二区域,包括:确定灰度图的灰度均值;将低于灰度均值的像素点作为第一类型像素点,将高于灰度均值的像素点作为第二类型像素点;基于第一类型像素点和第二类型像素点,确定第一区域和第二区域。[0151]具体的,在将预处理图像转化为灰度图后,可以计算灰度图中目标部位的灰度均值。可以将目标部位中像素点灰度值低于灰度均值的像素点作为第一类型像素点,可以将高于灰度均值的像素点作为第二类型像素点。可以将第一类型像素点构成的区域,作为第一区域,将第二类型像素点构成的区域,作为第二区域。第一区域可以是瞳孔区域,第二区域可以是眼白区域。[0152]第二种确定待使用图像的方式可以是:所述预设图像处理算法包括灰度阈值算法,按照预设图像处理算法确定灰度图中的第一区域和第二区域,包括:将灰度值小于预设灰度值阈值的像素点第一类型像素点,将灰度值大于等于预设灰度阈值的像素点作为第二类型像素点;基于第一类型像素点和第二类型像素点,确定第一区域和第二区域。[0153]具体的,在得到眼部区域的灰度图之前,确定预设灰度值阈值。可以将灰度图中灰度值小于预设灰度值阈值的像素点作为第一类型像素点,可以将大于等于预设灰度值阈值的像素点作为第二类型像素点。可以基于第一类型像素点和第二类型像素点,确定眼白区域和瞳孔区域。[0154]第三种确定待使用图像的方式可以是:确定灰度均值大于预设灰度值阈值的第一待确定像素点,以及确定灰度值小于预设灰度值阈值的第二待确定像素点,并基于第一待确定像素点和第二待确定像素点,确定第一分割图像;确定灰度均值大于目标部位灰度值均值的第三待确定像素点,确定灰度值小于灰度值均值的第四待确定像素点,并基于第三待确定像素点和第四待确定像素点,确定第二分割图像;根据第一分割图像和第二分割图像中的第一待确定像素点和第三待确定像素点,确定像素点交集和像素点并集;若像素点交集与像素点并集的比值大于预设比值阈值,则基于像素点交集确定第一区域和第二区域。[0155]为了进一步提高待使用图像的准确度,可以基于第一种方式确定出第一待确定像素点和第二待确定像素点。基于第二种方式确定出第三待确定像素点和第四待确定像素点。第一待确定像素点和第三待确定像素点对应的为瞳孔区域,第二待确定像素点和第四待确定像素点对应为眼白区域。第一分割图像可以是第一种方式确定出的瞳孔区域。第二分割图像可以是第二种方式确定出的瞳孔区域。针对同一个眼睛,可以确定第一分割图像和第二分割图像中像素点交集的数量和并集的数量。基于交集的数量和并集的数量,确定比值阈值。若比值阈值大于预设比值阈值,则可以将交集区域作为瞳孔区域,将交集之外的眼部区域作为眼白区域。即,可以确定出第一区域和第二区域。[0156]示例性的,参见10b,可以选取灰度值低于灰度均值的像素点构成的区域作为瞳孔区域,眼睛部位中初瞳孔区域之外的区域为眼白区域。10b中的B可以表示为猫眼睛图像的灰度图,10b中的A可以表示为将灰度图划分为瞳孔区域和眼白区域的待使用图像。参见图10c,可以选取低于预设灰度值阈值的像素点构成的区域作为瞳孔区域,将大于预设灰度值阈值的像素点构成的区域,作为眼白区域,10c中的B可以表示为猫眼睛图像的灰度图,10c中的A可以表示为将灰度图划分为瞳孔区域和眼白区域之后的待使用图像。仅仅是一个示[0157]进一步的,为了保证训练数据对的质量,可以根据第一分割图像和第二分割图像分别计算图像中两只眼睛的IOU(Intersection-over-Union,交并比),以得到高质量待使用图像。可以利用算法计算第一待确定像素点和第三待确定像素点的像素点交集和像素点并集,进而可以利用算法计算将像素点交集与像素点并集的比值,可以将该比值与预设比值阈值进行比对处理,若比值大于预设比值阈值,则可以将像素点交集结果作为待使用图并将待使用图像和相应的预处理图像作为第四训练样本。基于第四训练样本对待训练瞳孔重建模型进行训练,以使模型可以通过眼部的二值化mask重建出真实的眼睛图像。[0158]S620、针对各第四训练样本,将所述待使用图像作为待训练瞳孔重建模型的输入参数,将所述预处理图像作为所述待训练瞳孔重建模型的输出参数,调整所述待训练瞳孔重建模型的模型参数。[0159]其中,待训练瞳孔重建模型中的模型参数为默认参数。[0160]具体的,在获取到第四训练样本集后,可以将当前训练样本中的待使用图像输入至待训练瞳孔重建模型,将相应的预处理图像作为待训练瞳孔重建模型的输出。也就是说,可以在待训练瞳孔重建模型的输入参数和输出参数都固定的情况下,调整待训练瞳孔重建模型中的模型参数,以使在输入待使用图像时,模型可以输出期望的预处理图像,预处理图像是待使用图像的原始图像。[0161]S630、将所述待训练瞳孔重建模型的损失函数收敛作为训练目标,得到所述目标瞳孔重建模型。[0162]其中,可以将预设损失函数收敛作为训练目标,当判定待训练瞳孔重建模型的预设损失函数收敛时,表明调整结果符合方案要求,已经得到训练好的模型,从而得到目标瞳孔重建模型。[0163]需要说明的是,由于待训练瞳孔重建模型中的模型参数是未修正的,那么,可能此时模型输出的重建图像与当前训练样本对应的预处理图像也是存在相应差异的,可以不断修正待训练瞳孔重建模型中的模型参数,以使待训练瞳孔重建模型可以输出期望的预处理[0164]具体的,当检测到待训练瞳孔重建模型的损失函数收敛时,则表明待训练瞳孔重建模型训练完成,此时可以停止迭代训练。若检测到损失函数当前未收敛,可以进一步获取训练样本对待训练瞳孔重建模型继续进行训练,直至损失函数收敛,可以认为待训练瞳孔重建模型训练好了,以使在将待使用图像输入至训练好的待训练瞳孔重建模型,模型可以根据待使用图像重建出真实眼睛图像,即未被处理的原始图像。可以将训练好的待训练瞳孔重建模型作为目标瞳孔重建模型。[0165]在本实施例中,训练得到目标瞳孔重建模型后,可以基于目标瞳孔重建模型构建训练目标瞳孔位置调整模型和目标瞳孔尺寸调整模型的训练样本。进一步,基于目标瞳孔位置调整模型和目标瞳孔尺寸调整模型,确定训练目标瞳孔特征调整模型的训练样本,进而训练得到目标特征瞳孔调整模型。[0166]S640、响应于特效触发操作,采集包括目标对象的待处理图像。[0167]S650、基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像。[0168]S660、将所述目标特效图像展示在目标显示界面上。[0169]本公开实施例的技术方案,通过预设图像处理算法确定出待处理图像中包括瞳孔标记的待使用图像,进而将待使用图像作为待训练瞳孔重建模型的输入参数,将待处理图像作为所述待训练瞳孔重建模型的输出参数,调整待训练瞳孔重建模型的模型参数,得到训练好的目标瞳孔重建模型,实现了基于预设图像处理算法对待处理图像进行瞳孔标记处[0170]实施例七[0171]图11是本公开实施例七所提供的一种图像处理装置的结构框图,可执行本公开任意实施例所提供的图像处理方法,具备执行方法相应的功能模块和有益效果。如图11所示,该装置具体包括:待处理图像采集模块710、目标特效图像获取模块720以及图像展示模块[0172]其中,待处理图像采集模块710,用于响应于特效触发操作,采集包括目标对象的待处理图像;目标特效图像获取模块720,用于基于目标瞳孔特征调整模型对所述待处理图像,以及与所述待处理图像相对应的至少一个目标条件标签进行处理,得到目标特效图像;其中,所述目标特效图中目标对象的瞳孔特征与所述至少一个目标条件标签相匹配;图像展示模块730,用于将所述目标特效图像展示在目标显示界面上。[0173]在上述各技术方案的基础上,所述待处理图像采集模块710,包括特效触发操作设[0174]特效触发操作设置单元,用于检测到视野区域中包括目标对象;检测到所述目标对象触发目标特效动作;检测到触发特效生成控件。[0175]在上述各技术方案的基础上,所述目标特效图像获取模块720,包括目标条件标签确定单元和目标特效图获取单元。[0176]目标条件标签确定单元,用于确定与所述待处理图像相对应的至少一个目标条件标签;[0177]目标特效图获取单元,用于将所述至少一个目标条件标签和所述待处理图像作为所述目标瞳孔调整模型的输入,得到所述目标特效图。[0178]在上述各技术方案的基础上,所述目标条件标签确定单元,包括目标条件标签获取子单元。[0179]目标条件标签获取子单元,用于获取预先设置的至少一个目标条件标签;或,根据所述待处理图像中目标对象的姿态信息,确定与所述目标对象相对应的至少一个目标条件标签。[0180]在上述各技术方案的基础上,所述目标条件标签确定单元,还包括目标条件标签设置子单元。[0181]目标条件标签设置子单元,用于所述至少一个目标条件标签包括与瞳孔的目标显示尺寸相对应的目标尺寸标签,和/或瞳孔在眼睛中的目标相对显示位置所对应的目标位置标签。[0182]在上述各技术方案的基础上,所述目标条件标签设置子单元包括,目标尺寸标签包括第一单元、目标位置标签包括第一单元和目标位置、尺寸标签包括第一单元。[0183]目标尺寸标签包括第一单元,用于若所述目标瞳孔特征调整模型是在位置标签固定,尺寸标签变换的条件下训练得到的,则所述至少一个目标条件标签包括目标尺寸标签;[0184]目标位置标签包括第一单元,用于若所述目标瞳孔特征调整模型是在尺寸标签固定,位置标签变换的条件下训练得到的,则所述至少一个目标条件标签中包括目标位置标[0185]目标位置、尺寸标签包括第一单元,用于若所述目标瞳孔特征调整模型是在尺寸标签和位置标签变换的条件下训练得到的,则所述至少一个目标条件标签中包括目标位置标签和目标尺寸标签。[0186]在上述各技术方案的基础上,所述目标尺寸标签包括第一单元,包括目标尺寸标签包括第一子单元。目标位置标签包括第一单元,包括目标位置标签包括第一子单元。目标[0187]目标尺寸标签包括第一子单元,用于若所述至少一个目标条件标签包括目标尺寸标签,则基于所述目标瞳孔特征调整模型,将所述待处理图像中目标对象的瞳孔调整至与所述目标尺寸标签和训练得到所述目标瞳孔特征调整模型时所使用的位置标签相匹配;[0188]目标位置标签包括第一子单元,用于若所述至少一个目标条件标签包括目标位置标签,则基于所述目标瞳孔特征调整模型,将所述待处理图像中目标对象的瞳孔调整至与所述目标位置标签和训练得到所述目标瞳孔特征调整模型时所使用的尺寸标签相匹配;[0189]目标位置、尺寸标签包括第一子单元,用于若所述至少一个目标条件标签包括目标尺寸标签和目标位置标签,则基于所述目标瞳孔特征调整模型,将所述待处理图像中目标对象的瞳孔调整至与所述目标尺寸标签和目标位置标签相匹配,得到所述目标特效图。[0190]在上述各技术方案的基础上,所述装置还包括:目标瞳孔特征调整模型获取模块。其中,目标瞳孔特征调整模型获取模块,包括第一训练样本集获取单元、模型参数调整单元和目标瞳孔特征调整模型获取单元。[0191]第一训练样本集获取单元,用于获取第一训练样本集;其中,所述第一训练样本集中包括多个第一训练样本,所述第一训练样本中包括第一原始输入图像和第一理论图像,所述第一理论图像是基于预先训练得到的目标瞳孔位置调整模型和目标瞳孔尺寸调整模型生成的;[0192]模型参数调整单元,用于针对各第一训练样本,将当前第一训练样本的第一原始图像作为待训练瞳孔特征调整模型的输入,将所述第一理论图像作为所述待训练瞳孔特征调整模型的输出,调整所述待训练瞳孔特征调整模型的模型参数;[0193]目标瞳孔特征调整模型获取单元,用于将所述待训练瞳孔特征调整模型的损失函数收敛作为训练目标,得到所述目标瞳孔特征调整模型。[0194]在上述各技术方案的基础上,所述第一训练样本集获取单元,包括第一原始输入图像获取子单元、待使用图像获取子单元和第一理论图像获取子单元。[0195]第一原始输入图像获取子单元,用于获取第一原始输入图像;[0196]待使用图像获取子单元,用于将所述第一原始输入图像和待显示瞳孔位置标签,输入至所述目标瞳孔位置调整模型中,得到待使用图像;[0197]第一理论图像获取子单元,用于将待使用图像和待显示瞳孔尺寸标签,输入至所述目标瞳孔尺寸调整模型中,得到所述第一理论图像。[0198]在上述各技术方案的基础上,所述第一训练样本集获取单元,还包括固定值第一子单元、固定值第二子单元和标签变化第三子单元。[0199]固定值第一子单元,用于若所述待显示瞳孔尺寸标签为固定值,则各第一理论图像为瞳孔尺寸相同,且瞳孔位置存在差异的图像;[0200]固定值第二子单元,用于若所述待显示瞳孔位置标签为固定值,则各第一理论图像为瞳孔位置相同,瞳孔尺寸存在差异的图像;[0201]标签变化第三子单元,用于若所述待显示瞳孔尺寸标签变化,所述待显示瞳孔位置标签变化,则各第一理论图像为瞳孔位置和瞳孔尺寸存在差异的图像。[0202]在上述各技术方案的基础上,所述装置还包括:目标瞳孔位置调整模型获取模块。其中,目标瞳孔位置调整模型获取模块,包括第二训练样本集获取单元、模型参数调整单元和目标瞳孔位置调整模型获取单元。[0203]第二训练样本集获取单元,用于获取第二训练样本集;其中,所述第二训练样本集中包括多个第二训练样本,所述第二训练样本中包括瞳孔位置不同的第二输入图像、第二理论输出图像以及与所述第二理论输出图像相对应的瞳孔位置标签,所述第二输入图像和所述第二理论输出图像是基于预先训练得到的目标瞳孔重建模型确定的;所述目标瞳孔重建模型,用于重建出与标记瞳孔相一致的图像;[0204]模型参数调整单元,用于针对各第二训练样本,将当前训练样本的第二输入图像和瞳孔位置标签作为待训练瞳孔位置调整模型的输入,将第二理论输出图像作为所述待训练瞳孔位置调整模型的输出,调整所述待训练瞳孔位置调整模型的模型参数;[0205]目标瞳孔位置调整模型获取单元,用于将所述待训练瞳孔位置调整模型的损失函数收敛作为训练目标,得到所述目标瞳孔位置调整模型。[0206]在上述各技术方案的基础上,所述装置还包括:目标瞳孔尺寸调整模型获取模块。其中,目标瞳孔尺寸调整模型获取模块,包括第三训练样本集获取单元、模型参数调整单元和目标瞳孔尺寸调整模型获取单元。[0207]第三训练样本集获取单元,用于获取第三训练样本集;其中,所述第三训练样本集中包括多个第三训练样本,所述第三训练样本中包括瞳孔尺寸不同的第三输入图像、第三理论输出图像以及与所述第三理论图像相对应的瞳孔尺寸标签,所述第三输入图像和所述第三理论输出图像是基于预先训练得到的目标瞳孔重建模型确定的;所述目标瞳孔重建模型,用于重建出与标记瞳孔相一致的图像;[0208]模型参数调整单元,用于针对各第三训练样本,将当前训练样本的第三输入图像和瞳孔尺寸标签作为待训练瞳孔位置调整模型的输入,将第三理论输出图像作为所述待训练瞳孔尺寸调整模型的输出,调整所述待训练瞳孔尺寸调整模型的模型参数;[0209]目标瞳孔尺寸调整模型获取单元,用于将所述待训练瞳孔尺寸调整模型的损失函数收敛作为训练目标,得到所述目标瞳孔尺寸调整模型。[0210]在上述各技术方案的基础上,所述装置还包括:目标瞳孔重建模型获取模块。其中,目标瞳孔重建模型获取模块,包括第四训练样本集获取单元、模型参数调整单元和目标瞳孔重建模型获取单元。[0211]第四训练样本集获取单元,用于确定多个第四训练样本,所述第四训练样本中包括预处理图像,和按照预设图像处理算法确定出预处理图像中包括瞳孔标记的待使用图[0212]模型参数调整单元,用于针对各第四训练样本,将所述待使用图像作为待训练瞳孔重建模型的输入参数,将所述预处理图像作为所述待训练瞳孔重建模型的输出参数,调整所述待训练瞳孔重建模型的模型参数;[0213]目标瞳孔重建模型获取单元,用于将所述待训练瞳孔重建模型的损失函数收敛作为训练目标,得到所述目标瞳孔重建模型。[0214]在上述各技术方案的基础上,所述第四训练样本集获取单元,包括预处理图像获取子单元、区域确定子单元和待使用图像获取子单元。[0215]预处理图像获
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论