CN113692604B 用于使用增强现实来显示周围信息的方法和装置 （三星电子株式会社）

2021.10.12PCT/KR2020/0022462020.02.17WO2020/171513EN2020.08.27US2012223966A1,2012.09.06用于使用增强现实来显示周围信息的方法一种使用增强现实来显示附近兴趣点(POI)的方法及其电子装置。一种电子装置的操作方置信息；获取关于位于附近的至少一个POI的信针对一般POI要向用户提供的第一信息；确定针对所述焦点POI要向所述用户提供的包括比所述其中要显示关于所述至少一个POI的信息的预览视频的位置；以及在屏幕的提供所述至少一个POI的全部或一些的所确定预览视频的位置上，2通过控制所述相机模块获取由所述相机模块拍摄基于所述位置信息获取关于位于附近的至少一个兴趣点确定针对所述至少一个POI当中的一般POI要向用户提供的第一信息，所述一般POI包在屏幕上所确定的提供所述至少一个POI的全部或一些的所确定预览视频的位置上，基于在关于所述至少一个POI的信息中包括的每个POI的位置信息或在将显示关于所基于关于所述至少一个POI的信息的所述信息或用户偏好，在所述POI组内的POI当中将关于所述代表性POI的信息显示到屏幕上代表所述POI组的所述代表性在所述至少一个POI当中选择在关于所述至少一个POI的信息中包含广告和/或事件信确定针对所述广告POI要向用户提供的第三信息，其中，所述第三信息包含所述广告针对所述广告POI在提供所确定预览视频的所述屏幕上的位置基于其中所述相机模块拍摄所述预览视频的方向和所述相机在提供所选择的一些POI中的每个POI的所确定预览视频的屏幕的位置上显示所述第选择其中关于所述至少一个POI的信息满足与所述焦点POI对应的条件的POI作为所述3将其实际位置包括在所述焦点区域中的POI配置为与所述焦点POI对应的基于所述电子装置的所述位置信息和在关于所述至少一个POI的信息中包括的每个POI的位置信息，将所述电子装置和每个POI之间的距离确定为与所述焦点POI对应的所述配置其中所述电子装置和POI之间的距离在基于所述电子装置和每个POI之间所确定述具有高偏好的POI包括用户先前已访问的POI或对其用户先前已搜索过信显示以在所述焦点区域内提供针对所述焦点POI确定所述第二信息包括POI相关的图像、名称或距所述电子装置的当前位置的距离中显示包括所述第二信息的用户界面(UI)以提基于所述位置信息获取关于位于附近的至少确定针对所述至少一个POI当中的一般POI要向用户提供的第一信息，所述一般POI包确定针对所述焦点POI要向所述用户提供的包括比所述第一信息多的信息的第二信确定要显示预览视频的屏幕上的位置，其中在所述预览视频在提供所述至少一个POI的全部或一些的所确定预览视频的屏幕的所确定位置上，显基于在关于所述至少一个POI的信息中包括的每个POI的位置信息或在将显示关于所4基于关于所述至少一个POI的信息的所述信息或用户偏好，在所述POI组内的POI当中将关于所述代表性POI的信息显示到屏幕上代表所述POI组的所述代表性在所述至少一个POI当中选择在关于所述至少一个POI的信息中包含广告和/或事件信在针对所述广告POI提供所确定预览视频的所述屏幕上的位基于所述相机模块拍摄所述预览视频的方向和所述相机模块的视在提供所选择的一些POI中的每个POI的所确定预览视频的屏幕的位置上显示所述第从CP服务器获取关于位于附近的至少一个P基于所述电子装置的所述位置信息，根据距所述电子装置的距离基于所述电子装置的位置和所述电子装置的预览视频拍摄方向，配置所述至少一个当所述显示位置是配置的焦点区域之外的一般POI时，获取所述一般POI的类别信息，并在显示所述预览视频的屏幕上的配置的显示位置处显示与所述类确定是否可以生成包括在所述预览视频上被显示为一个显示的至少一个POI的POI组；基于关于所述至少一个POI的信息的所述信息或用户偏好，选择每个POI组的代表性5[0006]传统地图应用可以通过在地图上显示附近地点的位置来帮助用户导航到期望的参考的方向和相机预览屏幕以及兴趣点(POI)的位置信息来帮助用户容易地到达期望的地过控制所述相机模块获取由所述相机模块拍摄的预览视频，获取所述电子装置的位置信针对所述焦点POI要向所述用户提供的第二信息，其中所述第二信息包括比所述第一信息6一般POI要向用户提供的第一信息，所述一般POI包括所述至少一个POI当中除所选择的焦点POI之外的其余POI；确定针对所述焦点POI要向所述用户提供的包括比所述第一信息更所述电子装置的位置和所述电子装置的预览视频拍摄方向，配置所述至少一个POI中的每[0015]根据各个实施例的方法及其电子装置可以除简单位置之外还提供与对应地点有[0016]根据各个实施例的方法及其电子装置可以以比其它信息更详细的方式显示可以7以及未来使用。[0027]图6是示出根据各个实施例的在电子装置的显示屏幕上显示详细POI信息的示例[0028]图7是示出根据各个实施例的在电子装置的显示屏幕上显示POI信息的另一示例[0029]图8是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的流[0030]图9是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的另[0031]图10是示出根据各个实施例的考虑到POI组在显示屏幕上显示电子装置的周围信[0033]在本专利文件中，以下讨论的图1至10以及用于描述本公开的原理的各个实施例络环境100中的电子装置101可经由第一网络198(例如，短距离无线通信网络)与电子装置8或通信模块190)相关的功能或状态中的至少一些，或者在主处理器121处于激活状态(例[0039]可将程序140作为软件存储在存储器130中，并且程序140可包括例如操作系统[0040]输入装置150可从电子装置101的外部(例如，用户)接收将由电子装置101的其它[0041]声音输出装置155可将声音信号输出到电子装置101的外部。声音输出装置155可9[0044]传感器模块176可检测电子装置101的操作状态(例如，功率或温度)或电子装置101外部的环境状态(例如，用户的状态)，然后产生与检测到的状态相应的电信号或数据[0045]接口177可支持将用来使电子装置101与外部电子装置(例如，电子装置102)直接[0047]触觉模块179可将电信号转换为可被用户经由他的触觉或动觉识别的机械刺激星系统(GNSS)通信模块)或有线通信模块194(例如，局域网(LAN)通信模块或电力线通信在用户识别模块196中的用户信息(例如，国际移动用户识别码(IMSI))识别并验证通信网络(诸如第一网络198或第二网络199)中的电所选择的至少一个天线在通信模块190和外部电子装置之间发送或接收信号或电力。根据[0053]上述部件中的至少一些可经由外设间通信方案(例如，总线、通用输入输出[0054]根据实施例，可经由与第二网络199连接的服务器108在电子装置101和外部电子装置104之间发送或接收命令或数据。电子装置102和电子装置104中的每一个可以是与电来自用户或另一装置的请求执行功能或服务，则电子装置101可请求所述一个或更多个外置101除了运行所述功能或服务以外，还可请求所述一个或更多个外部电子装置执行所述功能或服务中的所请求的所述至少部分，或者执行与所述请求相关的另外功能或另外服情况下或者在不对所述结果进行进一步处理的情况下将所述结果提供作为对所述请求的以具有至少一个不同于其它透镜组件的其它透镜属性。透镜组件210可包括例如广角透镜[0056]图像传感器230可通过将从对象通过透镜组件210发送的光转换为电信号来获取同属性的多个图像传感器或具有不同属性的多个图像传感器。在图像传感器230中包括的每个图像传感器可被实现为例如电荷耦接器件(CCD)传感器或互补金属氧化物半导体[0057]响应于相机模块180或包括其的电子装置101的移动，图像稳定器240可将在透镜机模块180内部或外部的陀螺仪传感器(未示出)或加速度传感器(未示出)来检测上述移[0058]存储器250可至少暂时存储通过图像传感器230获取的图像的至少一部分以用于[0059]图像信号处理器260可以对通过图像传感器230获取的图像或在存储器250中存储可再次存储在存储器250中以供进一步处理，或者可以发送到相机模块180的外部组件(例信号处理器260可以被配置为处理器120的至少一部分，或者可被配置为独立于处理器120用相机拍摄周围环境的情况下获取关于散布在用户周围的相对于当前位置的兴趣点(POI)些情况下可以另外包括广告或事件相关信息。POI相关图像可以是可以表示对应POI的图像，并且可以包括企业名称或包括代表性产品的图像。类别可以指示POI所属的企业的类[0066]图3是示出根据各个实施例的电子装置300的功能性配置的示例的图。图3简要地[0068]相机模块350可以拍摄当前位置的附近。相机模块350的特定组件可以是图2中所310选择要在显示器330上显示的周围信息。传感器模块340可对应于图1的传感器模块176[0072]通信模块360可以基于处理器310的控制向外部电子装置发送信息或从外部电子[0073]显示器330可以显示信息以向用户提供该信息。显示器330可对应于图1的显示装[0074]处理器310可以控制电子装置300的整体操作。处理器310可以有机地耦接到其它[0075]存储器320可以指一个或多个存储器组。存储器320可以基于与处理器310的信令理器310可从外部电子装置接收用户或电子装置300的位置周围的兴趣点(POI)信息。处理幕上显示关于焦点POI的更详细信息，并且可以使用图标显示一般POI以向用户提供信息。[0077]根据各个实施例，处理器310可使用GPS模块370来获取电子装置300的当前位置。据实施例，处理器310可以使用通信模块360将电子装置300的当前位置发送到CP服务器以每个POI相对于电子装置300的当前位置的距离和方向，并且可以按照与电子装置300的当于显示器330的屏幕的空间限制而难以在屏幕上区分和显示多个POI，因此处理器310可以问在对应POI组中包括的另一POI的信息。处理器310可基于从CP服务器接收到的信息来确310可确定在在POI组中包括的POI当中最接近电子装置300的当前位置的POI作为代表性[0080]根据各个实施例，处理器310可以在屏幕上显示由相机模块在显示器330的屏幕上显示在相同POI组中包括的其它[0081]根据各个实施例，处理器310可以将其中相机模块350拍摄的方向的POI信息与由随着电子装置300向用户的左侧或右侧旋转而改变相机模块350的方向，处理器310可以确使得可以在焦点区域中提供关于被确定为对用户重要的POI[0083]图4是示出根据各个实施例在电子装置300的屏幕上指定的焦点区域410的示例的焦点POI或焦点POI组。处理器310可以使不能在焦点区域中显示的一般POI或POI组使用简而获得的图标并指示西餐厅类别，图标425可以是通过共享投影仪而获得的图标并指示电实施例，处理器310可显示UI，该UI包括关于焦点POI或焦点POI组的对应POI或POI组的图的屏幕上显示POI组时，处理器310可显示与关于一般POI组的代表性POI的类别对应的图[0086]根据各个实施例，处理器310可以分离广告POI以除一般POI的图标之外还显示广告或事件信息，或者可以允许广告或事件信息被附加包括在焦点POI的UI中以显示对应的[0088]图5是示出根据各个实施例的在电子装置300的显示器330的屏幕上显示POI信息[0089]图6是示出根据各个实施例的在电子装置300的显示器330的屏幕上显示详细POI地图相关应用以提供前往对应地点的详细指南。此外，当用户所触摸的POI是其中将多个POI组成组的POI组而不是单个POI时，处理器310可在显示器330的屏幕上显示单独的UI[0092]图7是示出根据各个实施例的在电子装置300的显示器330的屏幕上显示POI信息用于指示对应的POI是餐厅类别，并且图标725可用于指示对应的POI是可进行会议的地点POI显示为位于屏幕的下部，并且可将与电子装置300具有相对长距离的POI显示为位于屏据另一实施例，处理器310可选择用户先前已访问的POI或对其用户先前已搜索过信息的在显示器330的屏幕上显示在先前选择的焦点POI当中的由相机模块350当前拍摄并显示的服务器接收新的POI信息来新选择焦点POI，并且可以在显示器330的屏幕上显示所选择的[0099]根据本公开，通过处理器310的上述操作，可以在用户拍摄的视频上呈现位置信用户的第一信息，该一般POI包括该至少一个POI当中的除了所选焦点POI之外的其余POI，示以在屏幕上提供该至少一个POI中的全部或一些的所确定预览视频的位置处提供第一信[0101]根据各个实施例，所述指令可以使该至少一个处理器在该至少一个POI当中选择为该广告POI提供所确定的预览视频的位置处提视频的方向和该相机模块的视角，在该至少一个POI当中选择要在提供预览视频的屏幕上显示的一些POI，并显示以在屏幕上提供所选择的一些POI中的每个POI的所确定预览视频并选择其中关于该至少一个POI的信息满足与焦点POI对应的条件的POI置为焦点区域，并将其实际位置被包括在该焦点区域中的POI配置为与焦点POI对应的条和在关于该至少一个POI的信息中包括的每个POI的位置信息，将该电子装置与每个POI之的距离在基于该电子装置和每个POI之间所确包括用户先前已访问的POI或对其用户先前已[0108]根据各个实施例，所述指令可以使该至少一个处理器基于包括在关于至少一个POI的信息中的每个POI的位置信息或将要在其上显示关于至少一个POI的信息的屏幕上的[0109]根据各个实施例，所述指令可以使该至少一个处理器将第一信息确定为所述POI的至少一个，显示与类别对应的图标以提供第一信息，并显示包括第二信息的用户界面[0110]在下文中，将描述在电子装置300中以增强现实的形式来在相机预览视频上提供[0111]图8是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的流程图800。图8中所示的流程图800的操作对象可以理解为电子装置(例如，图1的电子装置101或图3的电子装置300)或电子装置的处理器(例如，图1的处理器120或图3的处理器电子装置101或300可基于所获取的POI信息，选择包含广告和/或事件信息的POI作为广告[0114]根据各个实施例，电子装置101或300可基于各种标准来选择焦点POI。根据实施信息来获得电子装置101或300的当前位置与每个POI之间的距离，可以根据距离来布置周[0117]根据各个实施例，当电子装置101或300的拍摄方向被改变时，可以新选择焦点POI。当电子装置101或300的拍摄方向被改变时，可以改变通过拍摄在预览屏幕上显示的装置101或300可以对于靠近电子装置101或300的当前位置的POI，将显示位置配置为更靠因于显示器的屏幕的空间限制而难以在屏幕上区分和显示多个POI，因此电子装置101或户通过使用代表性POI作为接口来访问该POI组中包括的其它POI的信息。电子装置101或300可以基于在操作801中获取的POI信息来确定代表性POI，或者可以基于用户的使用习[0122]根据各个实施例，电子装置101或300可以在屏幕上显示包括与代表性POI有关的信息的UI，并且可以通过与用户的附加接口来提供在相同POI组中包括的其它POI的信息。在显示器330的屏幕上显示相同POI组中的其以使用具有相对大尺寸的图标或UI来显示附近的POI，并且可以使用具有相对小尺寸的图变而从一般POI改变为焦点POI的POI或从焦点POI改变到一般POI的POI被改变。在实施例[0125]图9是示出在显示屏幕上显示根据各个实施例的电子装置的周围信息的操作的另接收到的周围POI。电子装置可以基于从CP服务器接收到的相对于电子装置的当前位置的POI列表的位置信息来获取每个POI的距离和方向，并且可以按照距离的顺序来布置各个比较其中拍摄预览视频的方向和POI的获取方向，在预览视频中不配置其中实际位置不包在由相机拍摄的预览屏幕上显示在操作907中所确定对应的图标可以显示在由相机拍摄的预览屏幕上在操作907中确定向在正南侧并且相机的视角是60度，则其方向在150度到210度之间的POI可以被定位并显[0135]图10是示出根据各个实施例的考虑POI组在显示屏幕上显示电子装置的周围信息的操作的示例的流程图1000。图10中所示的流程图1000的操作对象可以理解为电子装置[0139]如果不能生成POI组，则可以立即执行操作909。如果可以生成POI组，则在操作POI组中包括的每一条POI信息或基于用户的使用习惯和偏好来确定代表性POI。根据实施可以将具有最高偏好的类别的POI当中具有最高评级的POI配置提供位置信息，以使得通过在由用户拍摄的屏幕上显示地点信息来