CN113168700B 电子装置及其控制方法 （三星电子株式会社）

2021.05.31PCT/KR2019/0126962019.09.30WO2020/130299EN2020.06.25EP2017783A2,2009.01.21一种电子装置通过重叠图像帧的部分区域2基于第一图像帧的像素信息和至少一个第二图像帧的像素信息中的第一图像帧的部分区域与存储在存储器中的至少一个第二图像帧的部分区域重叠来基于所述多个区域的重叠图像帧的数量或所述多个区域中的图像帧的捕获时间中的基于所述多个区域的所述加权值在所述多个对象中识别至少一个第二图像帧中的相邻图像帧的像素值之间具有最小差异的区域来获得所述全景图基于所述第一图像帧的像素信息和所述至少一个第二图像基于运动值，通过将第一图像帧的部分区域与至少一个第二图基于相邻图像帧中的像素值之间的差和相邻图像帧之间的所述运动值来转换运动值，基于转换的运动值，通过将第一图像帧的部分区域与至少一个第二基于所述第一图像帧的像素信息和所述至少一个第二图像基于从全景图像识别的所述至少一个对象，根据关于所述至少3基于全景图像和在第一图像帧之后捕获的第三图像帧上的像从更新的全景图像或更新的全景图像内的预定形状的区域中重新识别至少一其中所述处理器还被配置为基于与第三图像帧相关的第一图像帧和第三图像帧的重其中所述处理器还被配置成通过经由所述相机执行连续捕获来基于多个帧中的第一图像帧的像素信息和至少一个第二图一图像帧的部分区域与至少一个第二图像帧的部分区域基于所述多个区域的重叠图像帧的数量或所述多个区域中的图像帧的捕获时间中的基于所述多个区域的所述加权值在所述多个对象中识别至11.根据权利要求10所述的方法，其中所述获得包括基于所述第一图像帧的像素信息图像帧中的相邻图像帧的像素值之间具有最小差异的12.根据权利要求11所述的方法，其中所述获得包括基于所述第一图像帧的像素信息和所述至少一个第二图像帧的像素信息获得所述第一图像帧和所述至少一个第二图像帧基于所述运动值，通过将所述第一图像帧的部分区域与所述至少13.根据权利要求12所述的方法，其中所述获得包括基于相邻图像帧中的像素值之间基于转换的运动值，通过将第一图像帧的部分区域与至少一个第二45[0002]本公开还涉及使用机器学习算法及其应用来模拟人脑的功能(例如识别和判断)[0004]人工智能技术由机器学习(如深度学习)和实现机器学习的元素技术(Element[0005]机器学习是一种对输入数据的特征进行分类和/或训练的算法技术。元素技术是6[0011]示例性实施例的一个方面涉及一种用于通过从多个连续帧中改善对象识别性能来提供包括运动稳定对象的增强现实(AR)功能的电子装置像帧的部分区域与存储在存储器中的至少一个第二图像帧的部分区域重叠来获得全景图[0014]处理器还可以被配置为基于第一图像帧的像素信息和至少一个第二图像帧的像[0015]处理器还可以被配置为基于第一图像帧的像素信息和至少一个第二图像帧的像动值通过将第一图像帧的部分区域与至少一个第二图像帧的部分区域重叠来获得全景图[0016]处理器还可以被配置为基于相邻图像帧中的像素值之间的差和相邻图像帧之间[0017]所述处理器还可以被配置为基于所述第一图像帧的像素信息和所述至少一个第处理器还被配置为基于所述全景图像和在所述第一图像帧之后捕获的第三图像帧上的像景图像或所述更新的全景图像内的预定形状的区域中重新识置为基于第一图像帧相对于第三图像帧的比率和小于预定比率的第三图像帧的重叠区域，多个相应区域的多个重叠图像帧中的至少一个或者多个相应区域中的图像帧的捕获时间，7[0024]该获取可以包括基于第一图像帧的像素信息和至少一个通过重叠第一图像帧和至少一个第二图像帧之间的相邻图像帧的像素值之间具有最小差[0025]该获得可以包括基于第一图像帧的像素信息和至少一个第二图像帧的像素信息通过将第一图像帧的部分区域与至少一个第二图像帧的部分区域重叠来[0026]该获得可以包括基于相邻图像帧中的像素值之间的差和相邻图像帧之间的运动[0027]该获取可以包括基于第一图像帧的像素信息和至少一个[0030]第三图像帧可以是在第一图像帧之后捕获的图像帧，其8[0051]图12是示出根据实施例的电子装置可与外部服务器相关联地操作以训练和判断9[0066]根据各种实施例的电子装置100可以是例如增强现实(AR)眼镜装置。AR眼镜装置储在存储器120中并从存储器120加载的计算机可执行指令来执行[0078]处理器120可以基于存储在存储器110中的多个帧中的第一帧和至少一个第二帧第二帧的像素信息，通过将第一帧的部分区域与第二帧的部分区域重叠来获得全景图像。[0081]处理器120可以基于第一帧和第二帧中的每一个的像素信息，通过重叠相邻帧之[0082]处理器120可以基于第一帧和第二帧(并且如果采用多于两个帧，还基于附加帧)个帧。处理器120可以基于多个相应帧的相应捕获时间通过传感器感测电子装置100的运[0084]处理器120可以转换基于相邻帧中的像素值之间的差和相邻帧之间的运动值(运动矢量)获得的运动值，并且基于转换的运动值将第一帧的部分区域与至少一个第二帧的[0086]使用转换后的运动值获得全景图像的方法可以与使用转换前的运动值获得全景[0087]处理器120可以识别全景图像中最大尺寸的预定形状的区域。最大尺寸可以对应[0089]处理器120可以基于第一帧和至少一个第二帧上的像素信息，针对第一帧和至少图像内执行对象识别，并且在显示帧的识别区域上显示对象。该对象可以是虚拟2D/3D内[0091]至少一个第二帧可以是在第一帧之前捕获的帧。处理器120可以基于全景图像和个帧对应数量的全景图像。处理器120可以将对应于紧接在当前帧之前的帧的全景图像与重叠区域之间的比率小于预定比率，则处理器120可以获得关于不能从第一和第二帧导出[0094]当从全景图像中识别出多个对象时，处理器120可以基于作为对象识别结果获得于分配给多个区域中的每个区域的加权值来识别多个对象中[0096]这种用于识别对象的方法可以通过过滤从最老的帧获得的对象识别结果来减少[0097]图2B是电子装置100的详细框图。电子装置100可以包括存储器110和处理器12[0098]存储器110可以实现为例如ROM(例如电可擦除可编程只读存储器(EEPROM))、RAM器110可以以嵌入在电子装置100中的存储器或者电子装置100中的可移除存储器的形式来且用于电子装置100的扩展功能的数据可以存储在可附接到电子装置100或可从电子装置程ROM(OTPROM)、可编程ROM(PROM)、可擦除可编程ROM(EPROM)、电可擦除可编程ROM[0099]存储器110可以存储各种数据，例如用于实现电子装置100的功能的操作系统(O/[0100]处理器120可以通过执行存储在存储器110中并从存储器110加载的各种程序来控可以根据存储在ROM122中的命令将存储在存储器180中的操作[0105]第一到第n接口125-1到125-n可以连接到如上所述的各种组成元件。接口之一可[0107]处理器120可以被配置成执行音频数据的处理。处理器120可以执行各种图像处[0108]通信接口130可以根据各种类型的通信方法来执行与各种类型的外部装置的通使用Wi-Fi芯片131或蓝牙芯片132时，可以首先发送和接收诸如SSID和会话密钥的各种连[0111]红外通信模块133可以根据红外数据协会(IrDA)技术执行通信，用于使用时间射130可以使用各种通信模块中的至少一个[0117]调谐器可以通过调谐用户选择的频道或通过天线接收的射频(RF)广播信号中的[0125]电子装置100可以实现为没有显示器的装置，以将图像信号发送到单独的显示装[0126]相机170可以被配置成在用户的控制下捕获静止图像或视频图像。相机可以在特[0127]除了由输入/输出接口160处理的各种音频数据之外，扬声器180可以被配置为输[0128]麦克风190可以被配置成接收用户语音和其他声音，并将用户语音和其他声音转向与电子装置100一体形成。麦克风190可以包括用于以模拟形式收集用户语音的麦克风、[0130]电子装置100可以从包括麦克风的外部装置接收用户语音信号。接收的用户语音[0131]电子装置100可以向外部服务器发送语音信号，用于从外部装置接收的语音信号[0134]电子装置100可以发送通过语音识别服务器接收的数字语音信号。语音识别服务器可以通过使用语音转文本(STT)将数字语音信号转换成文本信息。语音识别服务器可以[0138]全景图像生成模块113可以是用于通过运动稳定模块112重叠具有稳定运动值的[0139]对象识别模块114可以是用于从通过全景图像生成模块113生成的全景图像中识有意义的对象可以是由对象识别模块114识别的对象。有意义的对象可以是用户设置的对[0140]调整模块115可以是用于识别指示对象的GUI的显示位置的模块。由相机170捕获以包括比通过用户的AR眼镜观看的图像的区域大的区域。调整模块115可以计算要在AR眼模块115可以通过使用根据视角捕获的帧和通过用户的AR眼镜观看的图像之间的预定比率型可以是通过人工算法训练和获得的模块，以基于相邻帧之间的像素值的差来稳定运动[0149]处理器120可以基于多个帧中的第一帧和至少一个第二帧的每一个上的像素信过重叠N+1帧来获得全景图像。第一帧可以是当前帧，第二帧可以是在第一帧之前捕获的[0153]图5A和图5B是解释根据实施例的用于为每个参考帧生成全景图像的方法的视解释用于转换第一帧(帧t-1)的第一全景图像的生成[0155]处理器120可以基于第一帧和两个第二帧上的像素信息，通过将第一帧与两个第二帧重叠来获得第一全景图像。处理器120可以用第一全景图像中最大尺寸的正方形区域[0157]处理器120可以从第一全景图像中移除帧t-3的非重叠部分，并且重叠帧t以获得[0162]处理器120可以在阶段1对帧执行图像处理，并且在阶段2将图像处理后的帧与先以在反时钟方向上将关于从全景图像中识别出对象的位置的信息旋转30度，作为阶段4的是基于阶段1的图像处理信息连同图像处理帧一起，转换关于从全景图像中识别对象的位[0164]处理器120可以控制显示器140在阶段1的帧的显示对象的区域中显示图形用户界[0167]处理器120可以基于全景图像和在第一帧之后捕获的第三帧上的像素信息，通过明显或者当前一帧和当前帧之间的变化或运动小时，处理器120可以不执行对象的重新识[0173]当从全景图像中识别出多个对象时，处理器120可以基于多个相应全景图像的重[0177]图9是根据实施例的电子装置900的框图。电子装置900可以是用于通过人工算法[0179]训练单元910可以通过使用训练数据来生成或训练用于稳定运动值的人工智能模[0180]响应单元920可以通过使用预定数据作为训练的人工智能模型的输入数据来稳定元910的至少一部分和响应单元920的至少一部分可以实现为安装在电子装置100上的软件个可以包括在电子装置900中。训练单元910和响应单元920可以通过有线或无线方式向响应单元920提供由训练单元910建立的模型信息，并且输入到训练单元920的数据可以作为[0185]训练数据获取单元910-1可以获得用于稳定运动值的人工智能模型所需的训练数[0186]模型训练单元910-4可以训练人工智能模型以具有通过使用训练数据来稳定运动模型学习单元910-4可以使用例如关于根据学习提供响应的结果是否正确的反馈，通过强化学习来训练人工智能模型。模型学习单元910-4还可以使用例如包括误差反向传播方法[0187]模型训练单元910-4可以通过使用输入数据来训练关于哪个训练数据将用于稳定[0188]当存在多个预先建立的人工智能模型时，模型训练单元910-4可以将输入训练数元910-4可以将训练的人工智能模型存储在通过有线或无线网络连接到电子装置900的电[0190]训练单元910还可以包括训练数据预处理器910-2或训练数据选择器910-3，以改善人工智能模型的响应结果或节省生成人工智能模[0191]训练数据预处理器910-2可以预处理获得的数据，使得获得的数据可以用于训练预处理器910-2可以将多个运动值分成多[0192]训练数据选择器910-3可以从从训练数据获取单元910-1获取的数据和由训练数据预处理器910-2预处理的数据之间选择训练所需的数据。所选择的训练数据可以被提供据中选择训练所需的训练数据。训练数据选择器910-3可以通过模型训练单元910-4的训[0193]训练单元910还可以包括模型评估单元910-5，用于改善人工智能模型的响应结[0194]模型评估单元910-5可以将评估数据输入到人工智能模型中，并且如果从评估数[0195]当存在多个训练的人工智能模型时，模型训练单元910-5可以评估每个训练的人工智能模型是否满足预定标准，并且将满足预定标准的模型识别为最终的人工智能模型。当存在满足预定标准的多个模型时，模型评估单元910-5可以以较高评估分数的顺序将任[0198]响应单元920可以进一步包括输入数据预处理器920-2、输入数据选择器920-3和可以将从输入数据获取单元920-1获得的输入数据作为输入值应用于被训练的人工智能模识别。[0200]响应结果提供器920-4可以应用人工智能模块来稳定从输入数据获取单元920-1[0201]响应单元920还可以包括输入数据预处理器920-2或输入数据选择器920-3，通过[0202]输入数据预处理器920-2可以预处理获得的数据，使得获得的数据可以用于稳定运动值。也就是说，输入数据预处理器920-2可以以预定义的格式制造从响应结果提供器[0203]输入数据选择器920-3可以从从输入数据获取单元920-1获得的数据和由输入数据预处理器920-2预处理的数据之间选择提供响应所需的数据。所选择的数据可以被提供选择部分或全部获得的或预处理的数据。输入数据选择器920-3可以根据由模型训练单元[0204]模型更新单元920-5可以基于由响应结果提供器920-4提供的响应结果来控制人[0205]图12是示出根据实施例的电子装置100可与外部服务器相关联地操作以训练和判[0207]服务器S的模型训练单元910-4可以执行如图10所示的训练单元910的功能。服务器S的模型训练单元910-4可以通过使用该信息来训练关于哪个滤波器将用于稳定运动值[0208]电子装置100的响应结果提供器920-4可以通过将由输入数据选择器920-3选择的920-4可以从服务器(S)接收由服务器(S)生成的人工智能模型，并且通过使用接收的人工[0210