CN119422382A 检测用户意图以进行图像捕获或视频录制的装置和方法 （三星电子株式会社）

2025.01.06PCT/KR2023/0089512023.06.27WO2024/048944EN2024.03.07检测用户意图以进行图像捕获或视频录制的特征来确定用户意图是录制视频还是捕获图于确定用户意图是捕获图像，无论拍摄模式如2从所述传感器信息中提取的特征包括以下项中的至少一项：用户的面从所述传感器信息中提取的特征包括以下项中的至少一项：所述图像数据4.根据权利要求1至3中任一项所述的方法，其中，从所括基于所述电子设备的位置数据的所述电子设备的姿态和基于所述电子设备的运动数据检测所述一个或多个成像传感器的视场内的一7.根据权利要求5至6中任一项所述的方法，至少一个处理设备（120可操作地耦接到所述一个或多个成像传感器，并且被配置3从所述传感器信息中提取的特征包括以下项中的至少一项：用户的面从所述传感器信息中提取的特征包括以下项中的至少一项：所述图像数据特征包括基于所述电子设备的位置数据的所述电子设备的姿态和基于所述电子设备的运检测所述一个或多个成像传感器的视场内的一理器执行与根据权利要求1至7中任一项所述的方法相45[0011]图2示出了根据本公开的用于检测对相机应用的拍摄模式的用户意图的示例流水[0013]图4示出了根据本公开的用于训练机器学习模型以确定拍摄模式的用户意图的示[0014]图5示出了根据本公开的用于检测对相机应用的拍摄模式的用户意图的示例用户[0015]图6示出了根据本公开的用于检测用户意图以使用电子设备开始视频录制的示例6于该元件和该另一元件之间。理器”可以表示可以通过执行存储在存储器设备中的一个或多个软件程序来执行操作的通定义的术语和短语可以被解释为排除本公开的实78可以添加至少一个其他组件。总线110包括用于将组件120至180相互连接并在这些组件之中的一个或多个。处理器120能够对电子设备101的其他组件中的至少一个执行控制和/或[0033]通过至少一个处理器102和存储器404操作根据本公开的与人工智能相关的功器（诸如CPU、AP或数字信号处理器（DSP、图形专用处理器（诸如GPU或视觉处理单元理器时，该人工智能专用处理器可以被设计为专门用于处理特定人工智能模型的硬件结构。[0034]处理器102根据存储器130中存储的预定义操作规则或人工智能模型来控制要处以被设计为专门用于处理特定人工智能模型的硬件结权重值，并且通过前一层的运算结果与多个权重值之间的运算来执行神经网络运算。多个神经网络层所拥有的多个权重可以通过人工智能模型的学习结果进行优化。例如，可以更新多个权重，使得在学习过程期间减小或最小化从人工智能模型获得的损失值或成本值。人工神经网络可以包括深度神经网络（DNN例如卷积神经网络（CNN）、深度神经网络储与电子设备101的至少一个其他组件相关的命令或数据。根据本公开的实施例，存储器130可以存储软件和/或程序140。程序140包括例如内核141、中间件143、应用编程接口9[0040]I/O接口150充当例如能够将从用户或其他外部设备输入的命令或数据传输到电与网络162或164连接以与外部电子设备进行通信。通信接口170可以是有线或无线收发器可以用于捕获场景的图像的一个或多个相机或其他成像传感器。传感器180还可以包括用[0045]第一外部电子设备102或第二外部电子设备104可以是可穿戴设备或电子设备可备101可以通过通信接口170与电子设备102进行通信。电子设备101可以直接与电子设备[0046]第一外部电子设备102和第二外部电子设备104以及服务器106各自可以是与电子设备101相同或不同类型的设备。根据本公开的某些实施例，服务器106包括一个或多个服务时，作为其自己执行该功能或服务的替代或者附加地，电子设备101可以请求另一设备如电子设备102和104或服务器106）能够执行所请求的功能或附加功能，并向电子设备101传送执行的结果。电子设备101可以通过按原样或附加地处理接收到的结果来提供所请求图1示出了电子设备101包括通信接口170以经由网络162或164与外部电子设备104或服务通信功能。106可以通过执行在电子设备101上实现的至少一个操作（或功能）来支持驱动电子设备算和通信系统具有各种各样的配置，并且图1不将本公开的范围限制于任何特定配置。此[0049]图2示出了根据本公开的用于检测对相机应用的拍摄模式的用户意图的示例流水相机应用的先前使用情况来显示前置相机或后置相机。后置相机是位于电子设备101的与显示器相对的表面或一侧上的相机。前置相机是位于电子设备101的与显示器相同的表面录制或图像捕获，或者当电子设备运动足够大以致于被摄体从预览图像或视频中丢失时，[0053]在操作210中，电子设备101可以对用户意图执行用户确定。可以使用人工智能否打算录制视频或捕获图像。确定用户意图的示例可以包括用户尚未准备好捕获视频或图指示用户尚未准备好录制视频或捕获图像。AI还可以基于眼睛移动的程度或其他面部表情来确定用户打算录制视频或捕获图像。个或多个人正在场景中移动，则用于录制视频的用户意图的可能性可以大于视频录制阈电子设备101的传感器或者使用对由后置相机捕获的帧进行的图像分析来跟踪相机姿态。于用户意图的拍摄模式的提示。还可以使用基于操作220中的整体确定而确定的相机设置[0060]尽管图2示出了用于检测对相机应用的拍摄模式的用户意图的一个示例流水线[0061]图3示出了根据本公开的用于自动捕获最佳瞬间以拍摄群体照片的示例过程30所示的过程300可以与任何其他合适的设备一起使用并且用于任图像中的人的数量增加时。因此，可以训练机器学习模型302来识别这些特征以及其他特[0063]电子设备101可以接收一个或多个相机取景器框304。可以从电子设备101中的一设备101的处理器120使用机器学习模型302识别取景器框中的人员。可以使用任何人员识别方法来执行人员的识别。可以使用机器学习模型302在图像中单独地标记所识别出的人包括例如电子设备101的处理器使用机器学习模型302同时或按照确定的顺序跟踪每个人。用机器学习模型302执行行为检测操作310。行为检测操作310可以包括面部检测操作314、操作308中跟踪的每个用户执行行为检测操作310。操作306至310可以作为操作212的一部部检测算法来执行面部检测操作314。这可以包括例如电子设备101的处理器120使用机器学习模型302针对指定用户识别面部特征是否在取景器框30适的面部检测或提取算法来执行面部表情检测以包括例如电子设备101的处理器120通过使用机器学习模型302基于面部上的位置来识别[0070]可以使用机器学习模型来执行头部姿势检测操作320以确定头部的姿势。可以在面部检测操作314之前执行头部姿势检测操作320。如果头部姿势检测操作320确定头部姿如电子设备101的处理器120通过使用机器学习模型302基于用户的身体不在取景器框304[0072]在完成行为检测操作310之后，电子设备101的处理器120还可以使用机器学习模面对相机的头部姿势时或者当面部检测操作314未检测到面部时，可以使用面部朝向相机确定操作324来确定用户尚未准备好进行[0074]可以使用机器学习模型302来执行笑脸确定操作326，以确定用户是否正在微中检测到的信息来确定用户正在微笑。当在面部朝向相机确定操作324中确定用户未正在和面部表情检测操作316中检测到的信息来确定所跟踪的人的面部表情是否指示该人已准学习模型302来确定用户尚未准备好，或者可以使用其他确定操作330至334来确定用户是势是否指示已准备好进行图像捕获。可以使用机器学习模型302来确定用户是否具有面对定识别出用户正在面对相机时，面部朝向相机确定操作324可以比身体姿势朝向相机确定操作330获得更大的加权。当在面部朝向相机确定操作324中识别出用户正在面对相机时，睁开其眼睛。机器学习模型302可以利用在肖像模式检测操作322和面部检测操作314中检[0079]在已经确定一个或多个所跟踪的人已准备好进行图像捕获之后，例如电子设备于一大群人中有一个或两个人未微笑或没有开心表情的情况，机器学习模型302可以确定[0082]图4示出了根据本公开的用于训练机器学习模型以确定拍摄模式的用户意图的示[0083]如图4所示，可以训练机器学习模型302以基于用户意图来确定合适的拍摄模机是位于电子设备101的与显示器相同的表面或一侧上的相机。虽然针对使用后置相机捕获图像或视频描述了以下操作，但在使用前置相机捕获图像或视频时可以反转类似的功[0088]在操作412中，可以捕获用户的最终动作，以进行用户意图确定和机器学习模型征以在图3所示的行为检测操作310中进行检测并且在状态确定操作312中进行分析。机器学习模型302可以向检测操作314至322和确定324至334中的每一个施加权重，以确定图像频录制模式下还是在图像捕获模式下操作相机应[0092]在操作420中，当机器学习模型302提供关于用户打算进入视频录制模式的确定[0093]在操作422中，当机器学习模型302提供关于用户打算进入图像捕获模式的确定[0094]在操作424中，来自操作420的录制视频和来自操作422的捕获图像可以使用“自[0095]尽管图4示出了用于训练机器学习模型以确定拍摄模式的用户意图的示例过程[0096]图5示出了根据本公开的用于检测对相机应用的拍摄模式的用户意图的示例用户相机应用可以响应于关于打算捕获照片的确定而自动捕获与用户界面500上显示的预览图像502相对应的图像504。可以基于当前预览图像502中当前显示的内容来确定场景中的对机器学习模型302可以确定用户打算以较低的缩放值捕获场景，并且相应地以对于捕获图像504的与当前用于预览图像502的设[0098]尽管图5示出了用于检测对相机应用的拍摄模式的用户意图[0099]图6示出了根据本公开的用于检测用户意图以使用电子设备开始视频录制的示例否以一定速度或更高速度移动或者一个或多个关键对象的速度或加速度是否为零来确定度或更高速度移动或者电子设备101的速度或加速度是否为零来确定