CN112753050A 信息处理装置、信息处理方法和程序 （索尼公司）

PCT/JP2019/03603320WO2020/066682JA2020.04.本公开内容涉及能够在遮蔽虚拟对象时确保可见性的信息处理装置、信息处理方法和程被确定为被至少一个真实对象隐藏的第一状态不同于第一显示参数的第二显示参数显示虚拟2在确定从所述显示器的第一用户观看时由所述显示器显示的虚拟对象被至少一个真在确定从所述第一用户观看时所述虚拟对象被与所述第一状态下的真实对象相比更所述显示控制单元通过使用与根据所述确定单元对所述遮挡程度的确定结果的状态所述第一显示参数和所述第二显示参数分别与所述虚拟对象的显示位置、显示姿势、所述第一显示参数是用于根据所述遮挡程度在第一位置处显示所述虚拟对象的参数，所述第二显示参数是用于根据所述遮挡程度在不同于所述第一位置的第二位置处显及所述第二显示参数是用于将所述虚拟对象的显示位置改变所述第一显示参数和所述第二显示参数中的至少一个是用于将所述虚拟对象从默认所述第一显示参数是用于根据所述遮挡程度以第一透射率显示所述虚拟对象的参数，所述第二显示参数是用于根据所述遮挡程度以不同于所述第一透射率的第二透射率3所述人是不同于所述第一用户的第二用户，并且所述第二及设置单元，其被配置成基于所述第一用户的位在所述第一状态下，基于所述第一显示参数，执行基在所述第二状态下，在防止所述遮挡处理的同时在确定从显示器的第一用户观看时由所述显示器显示的虚拟对象被至少一个真实对在确定从所述第一用户观看时所述虚拟对象被与所述第一状态下的真实对象相比更在确定从显示器的第一用户观看时由所述显示器显示的虚拟对象被至少一个真实对在确定从所述第一用户观看时所述虚拟对象被与所述第一状态下的真实对象相比更4示在真实世界中的真实对象上来扩展真实世界的[0012]根据本公开内容的一个方面的信息处理装置是包括显示控制单元的信息处理装拟对象被至少一个真实对象隐藏的第一状态下，通过使用第一显示参数来显示虚拟对象，并且在确定从第一用户观看时虚拟对象被与第一状态下的真实对象相比更多的真实对象[0014]根据本公开内容的一个方面的信息处理方法和程序分别是与根据本公开内容的从显示器的第一用户观看时由显示器显示的虚拟对象被至少一个真实对象隐藏的第一状5[0031]图13是示出当改变被遮挡的虚拟对象的颜色的透射率时用户和对象的布置的示6[0048]客户终端10_1例如是诸如可穿戴终端(例如眼镜型信息终端、头戴式显示器[0050]类似于客户终端10_1，客户端终端10_2至10_N中的每一个包括诸如可穿戴计算[0051]位置共享服务器20是用于共享客户终端10_1至10_N(佩戴客户终端的用户)中的每一个的位置信息和方向信息的服务器。位置共享服务器20经由网络50接收从客户终端关注的用户简称为用户(第一用户)，而将不同于要关注的用户称为其他用户(第二用户)。[0057]客户终端10_1至10_4中的每一个可以通过经由网络50与位置共享服务器20交换2的用户11_2的位置P2和头部取向D2、佩戴客户终端10_3的用户11_3的位置P3和头部取向D3、以及佩戴客户终端10_4的用户11_4的位置P4和头部取向D4由客户终端10_1至10_4共[0059]客户终端10_1至10_4中的每一个基于经由位置共享服务器20共享的诸如位置信7测量单元101根据佩戴客户终端10_1的用户11_1的操作执行各种测量，并且将作为测量的[0067]位置估计单元102基于从测量单元101提供的测量信息来估计客户终端10_1的位置，并且将作为估计的结果而获得的位置信息提供给通信单元103和显示方法确定单元10_1的用户11_1的头部取向，并且将作为估计的结果而获得的方向信息提供给通信单元5G等)或蓝牙(注册商标)的无线通信或者诸如以太网(注册商标)的有线通信的通信模块[0070]通信单元103经由网络50将从位置估计单元102提供的用户11_1的位置信息和方[0071]来自位置估计单元102的用户11_1的位置信息和方向信息以及来自通信单元103的其他用户11_2至11_N的位置信息和方向信息被提供给显示方法确定单元104。显示方法确定单元104基于用户11_1的位置信息和方向信息以及其他用户11_2至11_N的位置信息和8[0073]位置信息获取单元111获取由位置估计单元102估计的用户11_1的位置信息和方[0074]遮挡确定单元112基于从位置信息获取单元111提供的诸如位置信息和方向信息的信息来确定虚拟对象OV是否被真实对象OR隐藏，并且将确定结果提供给遮挡率计算单元于从位置信息获取单元111提供的诸如位置信息和方向信息的信息来计算真实对象OR相对[0076]显示参数设置单元114基于从位置信息获取单元111提供的诸如位置信息和方向信息的信息、从遮挡确定单元112提供的关于遮挡的确定结果、以及来自遮挡率计算单元113的遮挡率的计算结果来生成显示参数，并且将显示参数提供(设置)到显示控制单元[0078]返回到图3，显示控制单元105基于从显示方法确定单元104提供的显示参数来执过将位置信息获取单元111包括到属性确定单元115元105可以通过由诸如中央处理单元(CPU)的处理器(图20中的CPU1001)执行程序来实现，[0087]通信单元202根据来自控制单元201的控制经由网络50接收从客户终端10_1发送9[0091]可以通过使用应用了根据本公开内容的技术的增强现实系统来提供各种AR服拟对象OV可能被过度遮挡并且不能在视觉上被识别，因此需要确保当虚拟对象OV被真实对现对虚拟对象OV的遮挡并且确保当虚拟对象OV被真实对象O示意性地示出了在某个时间t11处每个用户11的视野，并且图6的B示意性地示出了在时间使在某个时间(例如，时间t11)处可以看到的虚拟对象OV的一部分大，虚拟对象OV将来(例的真实对象OR的数目以及诸如遮挡率(遮蔽率)的遮挡程度，虚拟对象OV被显示在(移象12的一部分(图8中左下侧的小部分)被单个用户(其上识别整个显示对象12。尽管用户11_4不可以在视觉上识别显示对象12的左下侧的小部可以减少不适感并且通过真实对象OR给出关于深度的线索，并且可以确保虚拟对象OV的可象12)的显示位置(默认位置，或从默认位置到右侧达预定距离的位置)相关联的显示参数示对象12)与图8中的第二示例中示出的状态(第一状态)下的虚拟对象OV相比被真实对象OR的显示位置(从默认位置到上侧达预定距离的位置)相关联的显示参数(第二显示参数)来等的情况来确定诸如显示对象12的虚拟对象OV是否被除了其他用户11_1至11_3之外的真[0120]在步骤S16中，遮挡确定单元112基于诸如用户11_1至11_3在加载的地图上的位于在步骤S14中的处理中计算的遮挡率，虚拟对象OV(显示对象12)在以预定比率被真实对对象OV被叠加并显示在真实世界上时的时刻之外，已经显示的虚拟对象OV被真实对象OR遮[0135]在步骤S111中，遮挡确定单元112确定隐藏诸如显示对象12的虚拟对象OV的其他骤S112中，显示参数设置单元114设置用于在所有用户均能够在视觉上识别虚拟对象OV的且遮挡率小于预定比率时，设置用于在默认位置处显示显示对象12的第一显示参数(图10中的S112)，并且在所有用户11_1至11_4均能够在视觉上识别显示对象12的第一位置处显步骤S113中，显示参数设置单元114设置用于在所有用户均能够在视觉上识别虚拟对象OV二示例中示出的状态)下，通过使用第一显示参数(用于在第一显示位置处显示的参数)来11_2)更多地隐藏的第二状态(图7中第一示例中示出的状态)下，通过使用第二显示参数遮挡虚拟对象OV的真实对象OR的数目而改变，并且在所有用户均能够在视觉上识别虚拟对[0147]因此，为了使得能够在虚拟对象OV与真实世界相关联的情况下确保射率基于诸如隐藏虚拟对象OV的真实对象OR的数目或遮挡率(遮蔽率[0149]图11示出了被真实对象OR遮挡的虚拟对象OV的颜色的透射率示对象12的大部分被两个用户(其他用户11_2和透射率(第二透射率)高于在图11中叠加在单个用户(其他用户11_1)上的显示对象12的颜色的透射率(第一透射率)，并且可以相对清楚地看到遮挡显示对象12的两个用户(其他用微模糊地看到遮挡显示对象12的单个用户(其他用决于真实对象OR是其他用户11_1至11_3还是真实对象13来确定显示对象12是否被真实对示对象12_1不会被其他用户11_1至11_3完全遮挡，并且根据遮挡程度(遮挡显示对象12_113完全遮挡显示对象12_2(将透射率设置为0％)，并且根据遮挡率从用户11_1至11_4来看可以看到对象12_2的一部分或者无法看到样执行图9中示出的流程图的处理，但是图9中的步骤S17中的显示方法确定处理的处理内[0163]在步骤S121中，遮挡确定单元112确定遮挡诸如显示对象12的虚拟对象OV的其他骤S122中，显示参数设置单元114设置用于以第一透射率显示虚拟对象OV的颜色的第一显步骤S123中，显示参数设置单元114设置用于以第二透射率显示虚拟对象OV的颜色的第二对象12，使得被其他用户11_2和11_3遮挡的部分的颜色的透射率被设置为第二透射率(例[0174]图15是用于说明与图9中的步骤S17对应的第三显示方法确定处理的流程的流程[0176]在步骤S132中，属性确定单元115基于步骤S131中的处理的确认结果来确定虚拟[0178]在第二显示方法确定处理中，在虚拟对象OV(显示对象12)是被固定至真实世界者虚拟对象OV是否是未被固定至真实世界中的表面的对象)来切换显示方法，因此可以例象12的其他用户11的数目的遮挡程度来调整并显示显示对象12的[0186]在第一实施方式和第二实施方式中，在虚拟对象OV被真实对象OR实际隐显示对象12的方向(深度方向)上存在于用户11_4与显示对象12之间的其他用户11的数目[0188]在第一实施方式和第二实施方式中，根据虚拟对象OV与真实以适应性地减少计算用于遮挡处理或绘制虚拟对象的处理的对象之间的位置关系所需的[0196]此外，在图16中，地图提供服务器30包括控制单元301、通信单元302和地图DB[0201]图17示出了用户11通过使用AR导航服务接收作为人形导航器的导航器14对到目象15(地图上存在的真实对象OR)和导航器14(虚拟对象OV)。导航器14通过识别用户11的位置与诸如作为地图上存在的真实对象OR的建筑物的真实对象15的位置之[0209]具体地，如图18所示，在真实世界中存在地图上存在的真实对象O15_1和15_2)以及地图上不存在的真实对象OR(诸如行人16_1至16_3)的情况下，在向佩戴客户终端10的用户11呈现诸如导航器14的虚拟对象OV时，在虚拟对象OV被真实对象OR遮挡R正在遮挡虚拟对[0215]在步骤S213中，遮挡确定单元112确定诸如导航器14的虚拟对象OV是否被地图上骤S214中，遮挡率计算单元113计算正在遮挡诸如导航器14的虚拟对象OV并且在地图上存[0217]在步骤S215中，显示参数设置单元114根据遮挡率设置改变虚拟对象OV的显示以[0220]在步骤S216中，遮挡确定单元112确定诸如导航器14的虚拟对象OV是否被地图上骤S217中，遮挡率计算单元113计算遮挡诸如导航器14的虚拟对象OV并且在地图上不存在[0222]在步骤S218中，显示参数设置单元114根据遮挡率设置改变虚拟对象OV的显示的基于在步骤S215中的处理中设置的显示参数来控制虚拟对象OV和真实对象OR的显示。更具端10_N通过经由网络50与位置共享服务器20交换数据来共享位置信息和方向信息的配置。例如相对于真实对象OR、虚拟对象OV等的相对位置之外，还可以使用基于由全球定位系统器可以生成(密集处理)由每个客户终端10使用的显示参数并且经由网络50将显示参数发[0240]在如上配置的计算机1000中，CPU1001通过经由输入/输出接口1005和总线1[0241]可以例如通过将由计算机1000(CPU1001)执行的程序记录到作为封装介质等的[0250]在确定从所述显示器的第一用户观看时由所述显示器显示的虚拟对象被至少一[0251]在确定从所述第一用户观看时所述虚拟对象被与所述第一状态下的真实对象相[0255]所述显示控制单元通过使用与根据所述确定单元对所述遮挡程度的确定结果的[0261]所述第一显示参数是用于根据所述遮挡程度在第一位置处显示所述虚拟对象的[0262]所述第二显示参数是用于根据所述遮挡程度在不同于所述第一位置的第二位置[0265]所述第一显示参数是用于将所述虚拟对象的显示位置改变为所述第一位置的参[0266]所述第二显示参数是用于将所述虚拟对象的显示位置改变为所述第二位置的参[0269]所述第一显示参数和所述第二显示参数中的至少一个是用于将所述虚拟对象从[0275]所述第一显示参数是用于根据所述遮挡程度以第一透射率显示所述虚拟对象的[0276]所述第二显示参数是用于根据所述遮挡程度以不同于所述第一透射率的第二透[0294]获取单元，其被配置成获取所述第一用户的位置信息和所述第二用户的位置信[0305]根据(1)至(16)中任一项所述的信息处理装置，其被配置为包括所述显示器的移[0312]在确定从显示器的第一用户观看时由所述显示器显示的虚拟对象被至少一个真[0313]在确定从所述第一用户观看时所述虚拟对象被与所述第一状态下的真实对象相[0317]在确定从显示器的第一用户观看时由所述显示器显示的虚拟对象被至少一个真[0318]在确定从所述第一用户观看时所述虚拟对象被与所述第一状态下的真实对象相