CN114981836B 电子设备和电子设备的控制方法 （三星电子株式会社）

2022.07.22PCT/KR2021/0008312021.01.21WO2021/150033EN2021.07.29US2019238759A1,201US2020005100A1,2020.0US2020013371A1,2020.0子设备包括被配置为存储至少一个指令的存储器和被配置为运行至少一个指令并按至少一个过使用训练过的神经网络模型修正第三图像来2通过使用人工智能(AI)模型，通过识别要应用于原始图像以生成修通过将原始图像输入到实施器来获得关于与原始图像的修正相关联的至少一个修正通过基于关于所述至少一个修正参数的信息修正原始图像来通过将修正图像和第三图像输入到比较器基于修正图像的像素值和第三图像的像素通过基于关于与原始图像的修正相关联的所述至少一个修正参数的信息修正第一图基于获得第二图像，控制显示器显示第一用户界面(UI)元素，基于通过第一UI元素接收到用于选择修正第二图像的第二用户命基于通过第二UI元素接收到用于选择与第二图像的修正相关联的所述至少一个参数3其中，第一类型信息包括关于包括在原始图像中的对象的基于接收到修正第一图像的第一用户命令，通过基于第一图像和第二类其中，第一类型信息包括关于包括在第一图像中的对象的通过使用人工智能(AI)模型，通过识别要应用于原始图像以生成修通过将原始图像输入到实施器来获得关于与原始图像的修正相关联的至少一个修正通过基于关于所述至少一个修正参数的信息修正原始图像来通过将修正图像和第三图像输入到比较器基于修正图像的像素值和第三图像的像素4子设备来获得图像并将所获得的图像修正为适合用户自己的品味已[0007]提供了一种能够通过将用户偏好的修正模式反映到原始图像中来获得修正图像5像和第五图像输入到比较器基于第二图像的像素值和第五图像的像素值之差来获得第一[0016]第一神经网络模型是生成对抗网络(GAN)模型，并且生成器和比较器以彼此对抗于与图像的修正相关联的至少一个修正参数的信息的实施器和被配置为比较多个图像的[0022]第一图像和第二图像基于分别与第一图像和第二图像中的每个对应的第一元数据和第二元数据进行比较，并且将第一元数据输入到生成器并将第二元数据输入到比较过使用训练过的神经网络模型修正第三图像6类型信息使用训练过的神经网络模型修正第三图图像的第三用户命令，显示第二UI元素以选择与第四图像的修正相关联的至少一个参数；以及基于通过第二UI元素接收到用于选择与第四图像的修正相关联的所述至少一个参数[0032]图2A是示出根据实施例的训练第一神经网络模型并使用训练过的第一神经网络[0033]图2B是示出根据实施例的训练第一神经网络模型并使用训练过的第一神经网络[0034]图3A是示出根据实施例的训练第二神经网络模型的过程和获得修正图像的过程[0035]图3B是示出根据实施例的训练第二神经网络模型的过程和获得修正图像的过程[0040]图8A是示出根据实施例的通过识别图像中包括的对象来执行图像修正的过程的[0041]图8B是示出根据实施例的通过识别图像中包括的对象来执行图像修正的过程的78[0057]在一些实施例中，电子设备可以包括例如以下至少一种：电视机、数字视频盘子设备100可以通过包括在电子设备100中的相机来获得第一图像。电子设备100还可以从连接到电子设备100的外部设备获得第一图像。(图9和图10所示的)电子设备100可以将所获得的第一图像存储在电子设备100的存储器[0063]如果接收到用于修正第一图像的第一用户命令，则电子设备100可以在操作S120修正第一图像的第一用户命令时，电子设备100可以基于用户的设置来改变与第一图像的修正相关的至少一个修正参数并通过修正第一图像来获得第二图像。电子设备100可以将所获得的第二图像存储在电子设备100的存[0065]“第一用户命令”可以指用于基于用户对修正参数的设置来获得修正图像的用户果电子设备100的用户通过图像修正的应用来输入用于将第一图像的亮度和饱和度分别改9二图像的亮度和饱和度分别变为+13和+8。当在图像修正的应用中提供诸如控制条的用户修正参数可以是第一用户指令，并且电子设备100可以根据第一用户指令来获得曝光、锐基于与第一图像和第二图像中的每个对应的第一元数据和第二元数据来区分第一图像和分别包括关于第一图像和第二图像的生成时间、生成设备和修正时间中的至少一项的信[0069]当获得第一元数据和第二元数据时，电子设备100可以基于第一元数据和第二元学习数据中将具有相同的拍摄时间和拍摄设备的多个图像当中拥有最早修正时间的图像[0071]当获得第一图像和第二图像时，电子设备100可以在操作S130中基于第一图像和[0072]具体地，电子设备100可以基于第一图像和第二图像进行训练使得神经网络模型[0074]可以在各种条件下执行根据一个或更多个实施例的神经网络模型的学习。具体就可以将所获得的原始图像和修正图像输入到神经网络模型以训练神经以基于电子设备100的电力供应和用户使用电子设备100的频率来训练神经网络模型。例提供足够的电力来训练神经网络模型。作为另一示例，当用户使用电子设备100的频率低备的由陀螺仪传感器等感测到的移动的信息来识是由用户新拍摄的图像或由电子设备100上显示的屏幕捕获的图像第三图像指在获得第四地描述用于输入第二用户命令的特定用户界面的一神经网络模型可以是生成对抗网络(GAN)模型，但根据本公开的实施例的神经网络模型不同于第一图像和第二图像的第三图像的第二用户命令时，电子设备100可以将第三图像输入到训练过的第一神经网络模型以获得通过修正第三图像而图像的第二用户命令时，电子设备100可以通过使用训练过的第一神经网络模型修正第三于第一图像和第二图像的第三图像的第二用户命令，则电子设备100可以获得关于在训练过的神经网络模型中与神经网络模型对第三图像的修正相关的至少一个修正参数的信息，并通过基于至少一个修正参数的信息修正第三图像像的第二用户命令时，电子设备100可以获得关于与通过使用训练过的第二神经网络模型一个修正参数的信息时，电子设备100可以通过基于至少一个修正参数修正第三图像来获据本公开的另实施例，电子设备100可以在由电子设备获得第三图像的情况下通过修正第设备100可以使用训练过的第一神经网络模型来获得与用户偏好的修正模式匹配的修正图[0088]图2A和图2B是示出根据实施例的训练第一神经网络模型10并使用训练过的第一第一图像和第二图像)当中的与输入到生成器11的原始图像对应的修正图像。反馈信息可以包括关于由生成器11生成的图像是否与学习数据的修正图像比较器12的情况下，接近1的概率值可以意味着由生成器11生成的图像与学习数据的修正图像基本相似，接近0的概率值可以意味着由生成器11生成的图像与学习数据的修正图像图像输入到比较器12时的概率值相加而获得的值可以是比较[0094]比较器12可以被训练以获得当由生成器11生成的图像输入到比较器12时接近1的[0095]根据本公开的实施例的生成器11可以被训练以生成与学习数据的修正图像相似的图像，比较器12可以被训练以区分或识别由生成器11生成的图像和学习数据的修正图[0097]可以基于包括在由用户添加的学习数据中的几对原始图像和修正图像来训练生[0098]在下文中，将描述根据本公开的实施例的由电子设备100实现第一神经网络的过[0099]当获得第五图像时，电子设备100可以将第二图像和第五图像输入到第一神经网络模型10的比较器12以获得与第二图像的像素值和第五图像的像素值之差相关的第一反以在基于针对修正参数的用户设置而获得的第二图像与由生成器11输出的第五图像之间[0101]如上所述，当第一神经网络模型10基于包括第一图像和第二图像的学习数据(即基于用户设置包括几对原始图像和修正图像的学习数据)进行训练时，包括在第一神经网络模型10中的生成器11可以生成并输出与基于用户设置修正的图[0102]在执行上述学习过程之后，电子设备100可以获得通过使用训练过的神经网络模和第二图像的第三图像的第二用户命令时，电子设备100可以将第三图像输入到训练生成[0103]已经描述了神经网络模型是包括生成器11和比较器12的第一神经网络模型10的实施例，下面将描述神经网络模型是包括实施器和比较器12的第二神经网络模型的实施[0104]图3A和图3B是示出根据实施例的训练第二神经网络模型20的过程和使用训练过[0106]实施器21指被配置为获得关于与图像的修正相关的至少一个修正参数的信息神获得并输出关于与基于输入的原始图像对图像进行修正相关的至少一个修正参数的信息。信息对应的向量并以与将图像输入到生成器11相同的方式输入所获得的向量以及输入图个像素值以生成修正图像来执行获得关于与图像的修正相关的至少一个修正参数的信息[0107]编辑器22指被配置为基于关于至少一个修正参数的信息来生成修正图像的模可以包括关于由编辑器22生成的图像是否与学习数据的修正比较器23的情况下，接近1的概率值可以指示由编辑器22生成的图像与学习数据的修正图像基本相似，接近0的概率值可以指示由编辑器22生成的图像与学习数据的修正图像不相[0111]比较器23可以被训练以获得当关于由生成器获得的至少一个修正参数的信息输22生成的图像的像素值和学习数据的修正图像的像素值之差相[0114]在下文中，将描述通过电子设备100使用第二神经网络来实现实施例的过程。首[0115]当获得与第一图像的修正相关的至少一个修正参数时，电子设备100可以将与第一图像的修正相关的至少一个修正参数输入到编辑器22以获得通过修正第一图像而获得且可以以包括在第二神经网络模型20中的[0116]当获得第六图像时，电子设备100可以将第二图像和第六图像输入到比较器23以可以包括关于基于第二图像的像素值和第六图像的像素值之差而获得的损失函数值的信至少一个修正参数的信息的基础上基于用户设置来生成并输出图像和第二图像的第三图像的第二用户命令时，电子设备100可以获得关于在训练过的神[0122]可以基于触摸图4A的第一UI元素410的用户交互来输入用于通过根据本公开的实施例的神经网络模型修正第三图像的第二用户命令。当基于触摸第一UI元素410的用户交互接收到第二用户命令时，电子设备100可以使用训练过的神经网络模型以通过修正第三[0123]图4B示出了第二用户界面42，其包括根据参照图4A描述的过程而获得的第四图脸部”的明度通过经由神经网络模型的修正被修正得更高。电子设备100可以获得第四图来确定第四图像不需要额外修正，并且可以存储第四图像。如果在如图4B所示的第二UI[0125]图4C示出了当根据参照图4B描述的过程基于用户的设置确定将额外修正第四图第四图像的修正相关的至少一个参数的第四用户命令时，电子设备100可以获得并显示通[0127]图4D示出了当通过参照图4C描述的第三UI元素430执行针对修正参数的用户设置[0129]如果通过修正第四图像而获得的第七图像，则电子设备100可以基于第三图像和图4D描述的实施例而修正的图像的第七图像也可以被包括在用于训练根据本公开的神经子设备100通过训练过的神经网络模型来获得与原始图像对应的一个修正图像，并进一步备100可以通过神经网络模型来获得与原始图像对应的多个修正图像，并显示包括所获得像之一的用户命令时，电子设备100可以将所选择的图像存储为修正图像并基于原始图像网络模型的修正方法的UI元素显示为用户界面610上显示的推荐列表的下部项目。如图6B电子设备100可以基于预定值来确定修正图像的数量[0136]描述了基于第一图像和第二图像来训练神经网络模型并获得通过使用训练过的[0138]如上所述，电子设备100可以在操作S710中获得作为原始图像的第一图像并通过[0139]这里，术语第一类型信息可以指可用于对第一图像的类型进行分类的所有信子设备100可以提取第一图像中的边界以识别对象的存在和对象的位置。例如，电子设备的对象的特征。电子设备100可以获得包括在第一图像中的对象对应于用于基于所提取的[0141]电子设备100可以通过训练过的对象识别模型来识别包括在第一图像中的至少一型的类型和包括在对象识别模型中的人工神经网络的类型没[0142]根据本公开的一实施例的对象识别模型可以包括为每一种类型的对象实现的详级别上识别用户脸部的脸部识别模型和用于基于用户的脸部表情等分别识别用户和用户[0143]可以通过获取第一图像以如上所述的元数据的形式来获得关于拍摄第一图像的于包括在第一图像中的对象当中的背景的信息来获得，并且可以基于全球定位系统(GPS)分的多个神经网络模型。电子设备100可以基于如上所述的第一类型信息来识别多个神经入到被识别为对应于第一图像的类型的神经网络模型经由多个神经网络模型中的每个来[0145]如上所述，电子设备100可以在操作S740中获得作为与第一图像和第二图像不同[0146]当接收到用于修正第三图像的第二用户命令时，电子设备100可以在操作S760中获得通过基于第三图像和第二类型信息使用训练过的神经网络模型来修正第三图像而获得的第四图像。电子设备100可以基于如上所述的第二类型信息识别由图像的类型训练的别出的与第三图像的类型对应的神经网络模型以通过修正第三图像[0150]描述了基于第一类型信息来识别多个神经网络模型当中的与第一图像的类型对应的神经网络模型并通过将第一图像和第二图像输入到被识别为对应于第一图像的类型通过一个神经网络模型来实现识别多个神经网络模型当中的与第一图像的类型对应的神经网络模型以及基于第一图像和第二图像来执[0151]尽管根据本公开的实施例的神经网络模型可以取决于图像的类型在多个神经网100可以将第一类型信息连同第一图像和第二图像一起输入到神经网络模型以训练神经网[0154]如果在操作S810中获得第三图像，则电子设备100可以在操作S820中识别包括在第三图像中的至少一个对象。因为已经参照图7详细描述了用于识别包括在图像中的对象[0155]例如，电子设备100可以通过如上所述的方法识别在包括人的第三图像中的包括[0156]如果识别出包括在第三图像中的至少一个对象，则电子设备100可以基于与识别出的至少一个对象中的修正的目标对象基本匹配的预设对象来确定是否对第三图像执行神经网络模型以获得其中修正了包括在第三图像中的至少一个对象当中的目标对象的第型以获得其中在第三图像中包括的至少一个对象当中修正了对象81[0160]在操作S830-否中如果在识别出的至少一个对象中不包括预设对象作为其是修正[0161]根据如上参照图8A和图8B描述的一实施例，电子设备100可以通过仅对包括用户希望修正的对象的图像使用神经网络模型执行修正来提供更高的用联接到处理器120或联接在处理器120中的随机存取存储器(RAM)或可连接到电子设备100[0168]在根据本公开的各种实施例中，存储器110可以存储用于训练神经网络模型的学且存储在存储器110中的信息可以从服务器或外部设备接收或通过用户的输基于第一图像和第二图像，训练神经网络模型以获得通过修正输入图像而获得的输出图[0175]在各种实施例中，可以通过通信器130从外部设备接收包括在用于训练神经网络[0176]神经网络模型可以以设备上的形式被包括在电子设备100中，也可以被包括在电制命令与第三图像一起发送到服务器，并通过通信器130来接收和获得通过从服务器修正[0178]显示器可以在处理器120的控制下输出图像数据。具体地，显示器可以在处理器[0180]根据本公开的实施例，显示器可以显示各种类型的图像，并且可以显示如图4A-[0182]根据本公开的各种实施例，可以通过输入器150输入用于修正图像的第一用户命[0183]根据前述实施例的电