CN117931023B 信息处理装置、信息处理方法及非暂态计算机可读介质 （索尼公司）

201880045231.02018.06.29JP2016131662A,2016.07.25信息处理方法和非暂态计算机可读介质可以从通信方面对关于多个用户观看相同内容进行改并且还获取表示观看内容图像的第二用户的视像并且基于第二用户的视场信息显示第二用户2基于所述第一视场图像的显示来显示视场指示图像，其中，基于所述广域图像的显示来显示视场范围，其中，所述视场范围所述符号图像指示所述第二用户的所述第二装置以向所述第一用户同时显示所述第一视场图像基于所述第一用户的视线的移动或者所述第一用户的头部的移动所述电路系统还被配置成基于与所述头戴式显示器相关联的所述第一用户的头部的移动或所述第一用户的视线的移动中的至少之一来确定控制所述显示装置以在所述第一视场图像上叠加与所述多个用户对应的多个用户图3基于所述第一视场图像与所述多个用户中的每个用户的视场之间述多个用户图像中的每个用户图像在所述第一视场图像示装置以在所述第一视场图像上叠加所述多个一用户与所述多个用户之间的通信历史来控制所述显示装置以在所述第一视场图像上叠基于所述第一视场图像的显示来显示视场指示图像，其中，基于所述广域图像的显示来显示视场范围，其中，所述视场范围16.一种其上存储有计算机可执行指令的非暂态计算机可读介质，所述计算机可执行基于所述第一视场图像的显示来显示视场指示图像，其中，基于所述广域图像的显示来显示视场范围，其中，所述视场范围4从而使球面图像中可以由用户观看的图像(图像中的场景)的范围即用户的视场移动(例[0012]本技术的信息处理装置或程序是用于使计算机用作信息处理装置的信息处理装5控制显示装置以基于第二用户的视场信息来显示第二且基于第二用户的视场信息在显示装置上显示第[0024]图7是示出在视场图像上叠加并显示有视场方向指示标记的情况下的显示示例的[0025]图8是示出用户的视场窄于其他用户的视场的情况下的视场图像的显示示例的[0026]图9是示出用户的视场宽于其他用户的视场的情况下的视场图像的显示示例的[0027]图10是示出在视场图像上叠加并显示有视场方向指示线的情况下的显示示例的[0030]图13是示出与用户讲话对应的视场方向指示标记被突出显示的情况下的显示示6的多个装置以及包括被包含在一个壳体中的多个模块的一个装置两者均可以被假定为本[0057]内容观看系统10使得能够在多个用户观看相同内容的情况下了解其他用户的视[0059]由内容观看系统10提供的内容可以是包括从视点观看整个圆周的情况下的图像[0060]球面图像和自由视点图像可以是以下中的任何：通过拍摄真实空间获得的图像成游戏的VR(虚拟现实)空间等而获得的图像、包括在真实空间上叠加的虚拟对象的图像[0061]内容观看系统10包括服务器装置40以及由用户使用的用户装置20_1至20_N(N是7[0063]用户装置20的用户观看内容的图像中的在显示装置22上像的用户的视场的视场大小(由显示装置22向[0064]显示装置22的示例包括在用户的头部上佩戴并使用的显示装置，例如AR(增强现[0068]视场信息管理单元42从每个用户装置20获取表示内容在每个用户装置20中被观置20中的内容的图像即基于内容的数据的内容图像切割出的视场图像(作为用户的视场的8[0073]通信管理单元43管理观看相同内容的用户之间的诸如使用语音或字符的消息交置有服务器装置40的功能的用户装置20的多个用户装置20可以通过内保持要叠加并显示在从基于内容的数据的内容图像切割出的图像(视场图像)上的用户图[0079]视场图像确定单元53基于从显示装置22的视线检测单元71(图3)通知的视线的移动量或者从头部移动检测单元72(图3)通知的头部的移动量中的至少之一来确定视场中用户提供(限制)的视场的视场大小)来确定要从内容图像切割出的用户的视场图像(视场置22的HMD相关联的用户的头部的移动或者用户的视线的移动中的至少之一来确定视场中使作为用户的视场图像的移动量的旋转角度大于用户的头9[0083]图像切割单元54从基于内容的数据的内容图像切割出(从而生成)与用户的视场像切割出用户的视场大小(在用户的视场信息中包括的视场大小信息中指示的视场大小)单元55保持由通信单元51从服务器装置40[0087]显示控制单元60控制显示器以使显示装置22显示视场图像以及表示用户的用户112包括用户装置20的用户的视场图像(第一视场图像)以及与其他用户的视场对应的视场[0090]另外，显示控制单元60将其他用户的用户图像例如化身叠加在用户的视场图像视场之间的位置关系来控制(确定优先级)是否将多个其他用户的多个用户图像中的每个中具有相对接近于用户的视场图像的视场(由视场图像提供的视场)的其他用户的用户图间)到用户的视线的角度(视线移动角度)检测为[0098]头部移动检测单元72将佩戴作为显示装置22的HMD的用户的头部旋转角度检测为作为显示装置22的HMD的用户的头部旋转角度也是HMD[0099]显示单元73基于从显示控制单元60提供的视场图像等的图像信号来显示视场图[0100]语音输入/输出单元74包括例如麦克风和扬声器，并且被配置成输出内容的语音且在HMD(与HMD相关联)检测用户的视线的移动和[0104]整个图像100是通过使用等距柱状投影在平面上展开作为球面图像的整个内容图[0107]由用户A使用的显示装置22显示通过根据用户A的视场信息的视场中心信息和视场大小信息(视场大小信息中指示的视场装置22显示通过根据用户B的视场信息的视场中心信息和视场大小信息从内容图像切割出息的视场中心信息和视场大小信息从内容图像切割出视场范围[0110]图5是示出在由用户A使用的显示装置22上显示并且通过从内容图像切割出视场范围101A而生成的视场图像111A的内容的其他用户(在该情况下为用户B和C)的视场从整个图像100切割出包括用户的视场图像(第一视场图像)以及其他用户的视场图像(第过切割出整个图像100的大范围而获得的图像或者基于整个图像100的全部来生成广域图[0114]图6是在由用户A使用的显示装置22上显示的视场图像111A(图5)上叠加的广域图[0115]在用户A的显示装置22(由用户A使用的显示装置22)上显示的广域图像112包括用户A的视场图像以及作为与用户A共享相同内容的其他用户的用户B和C的视场图像。因此，显示在除了显示装置22以外的显示装置例如电[0123]图7是示出在表示共享内容的其他用户的视场的位置的方向的视场方向指示标记121被叠加并显示为在由用户使用的显示装置22上显示的视场图像111A上的指示其他用户[0124]在图7的显示示例中，与用户B对应的视场方向指示标记121B以及与用户C对应的视场方向指示标记121C被叠加并显示在与用户A对应的视场图像111A(用户A的视场图像)[0125]通过用包括尖锐突起的图形围绕与用户B对应的图标114B(图6)来获得视场方向[0127]在由用户A使用的显示装置22上显示的视场图像111A上叠加的视场方向指示标记121B和121C允许用户A了解共享内容的其他用户(在该情况下为用户B和C)的视场的位置的方向。用户A可以例如在由视场方向指示标记121B的尖锐突起指示的左上方方向上旋转头[0128]类似地，用户A可以例如在由视场方向指示标记121C的尖锐突起指示的右方方向[0129]图8是示出在用户的视场窄于其他用户的视场的情况下的视场图像的显示示例的[0130]如上述的图7所示，当观看包括叠加的视场方向指示标记121C的视场图像111A的用户A在由视场方向指示标记121C的尖锐突起指示的右方方向上旋转头部时，在显示装置22上显示的视场图像111A(作为视场图像111A切割出的范围)移动到内容图像的右侧。因(当用户A的(在显示装置22上显示的)视场图像被包括在用户C的视场图像中时)，如图8所[0131]因此，在用户A的显示装置22上显示的视场图像111A上叠加的视场方向指示标记121C的突起的大小允许用户A了解用户(用户A)的视场与其他用户(在该情况下为用户C)的[0133]图9是示出在用户的视场宽于其他用户的视场的情况下的视场图像的显示示例的[0134]如以上在图7中所述，当观看包括叠加的视场方向指示标记121C的视场图像111A视场方向指示标记121C的尖锐突起消失，并且表示用户C的视场的视场范围显示141C被叠[0135]因此，在由用户A使用的显示装置22上显示的视场图像111A上叠加的视场方向指示标记121C的突起的大小以及视场范围显示141C允许用户A了解用户(用户A)的视场与其[0138]图10是示出在表示共享内容的其他用户的视场的位置的方向的视场方向指示线131被叠加并显示为在由用户使用的显示装置22上显示的视场图像111A上的指示其他用户[0139]在图10的显示示例中，视场方向指示线131B被叠加并显示在与用户A的视场对应[0141]在由用户A使用的显示装置22上显示的视场图像111A上叠加的视场方向指示线[0144]用户装置20可以基于从服务器装置40获取的其他用户装置20的视场信息来跟踪[0145]图11是示出在用户A的视场图像(从内容图像切割出作为视场图像的范围)大于用[0146]由用户A使用的用户装置20可以通过基于用户C的视场信息，以用户C的视场信息中指示的视场中心处为中心从内容图像切割出用户A的视场大小或者用户C的视场大小的[0147]在图11的A中示出的跟踪图像151AC中，表示用户C的视场的视场范围显示152C以及与用户C对应的图标153C被叠加并显示在用户A的视场大[0149]在图11的C中示出的跟踪图像151AC中，用户C的视场大小的视场图像被扩展以与[0150]图12是示出在用户A的视场图像小于用户C的视场图像使得用户A的视场窄于用户视场包括用户A的视场(指示用户C的视场宽于用户A的视场)的箭头163被叠加并显示在用视场范围显示164被叠加并显示在通过将用户C的视场大小的视场图像减小到用户A的视场户的视场图像的正常模式与用于显示图11至图12中示出的跟踪图像的跟踪模式之间切换[0156]图13是示出在由用户A使用的用户装置20响应于用户C的消息的发送而突出显示[0158]注意，为了允许用户A视觉地并且更容易地将发送消息的另一用户与不发送消息[0170]视场图像确定单元53基于更新的视场信息来确定与内容图像中的用户的视场对73上显示的视场图像基于用户的视线的移动量以及头部的移动量(作为视场图像从内容图确定单元53再次将上次的视场图像设置为与用户的视场对应的视场图像，并且跳过步骤用户呈现其他用户的视场。用户可以基于该呈现来移动视线和头部以使用户的视场移动，可以在用户A想要了解用户在整个内容图像中的视场的位置或者用户的视点时(在内容是且视场图像可以被切换为仅在用户正在按遥控器的键期[0187]图15的B是使用响应于触发的检测从视场图像181(图15的A)切换的鸟瞰图的广域广域图像182上。以视场标记183不在广域图像182上的诸如主建筑物的对象的阴影内的角[0188]图15的C是使用响应于触发的检测从视场图像181(图15的A)切换的等距柱状投影的广域图像184的显示示例。表示用户A的视场的视场范围显示185A被叠加在广域图像184[0189]图15的D是使用当例如用户A开始与用户B通信时触发的、从视场图像181(图15的以及表示用户B的视场的视场范围显示187B被叠加在广域图像1[0190]图15的E是使用当例如用户A开始与用户B通信时触发的、从视场图像181(图15的作广域图像并且在用户与另一用户之间的通信期间被自[0198]另外，当其他用户在诸如用户与其他用户之间的语音通[0202]根据广域图像，在用户的视场与其他用户的视场不同而使得通信不顺畅的情况[0209]在步骤S12中，信息处理装置21确定视场图像与广域图像之间是否存在用于指示15中的D的视场范围显示187A和187B)叠加在内容保持单元52中保持的内容图像的整个图图像的图像信号提供给显示装置22以使显[0215]在触发检测单元59在步骤S14中确定检测到视场触发的情况下，处理返回到步骤[0221]在HMD中，用户旋转头部以使要从内容图像切割出的视场图像(视场图像的范围)[0222]因此，本实施方式中的用户装置20使视场图像(在用于确定视场图像的视场信息中包括的视场中心信息中指示的视场中心)移动超过头部的旋转量以减小用户的身体疲[0224]图17的A示出了从上方观看用户在预定方向上面对前方并且观看作为内容图像图像200中的头部旋转相同的方向上被旋转例如大于头部的旋转角度的180度。在该情况以被认为是用户强烈愿意大大地移动视场的动作的情况下或者在用户不太可能注意到视像190上的范围191指示作为要在显示装置22的显示单元73上显示的视场图像192(图18的[0232]如图19的A所示，在用户移动视线使得视线位置195接近视场图像的边缘的情况移动方向相同的方向上将作为视场图像切割出的范围从范围191(图17的A)移动到范围196(图18的B)。可以通过例如将视线位置195设置为视场中心来进行如上所述的基于(在移动之后的视线的)视线位置195的视场图像的移动以确定要从内容图像切割的中间的视场中间到视线移动后视线方向的角度定义为表示作为用户的视线的移动量的21示出了从上方观看其中用户观看作为内容图像200的球面图像的状态的情况。头部旋转[0242]图22是描述根据视线的移动量以及头部的旋转量移动视场图像的视场图像移动角度。将所获取的用户的头部旋转角度通知给信息处理装置21的视场图像确定单元53(图[0244]在步骤S23中，视场图像确定单元53基于来自视线检测单元71的通知确定用户的[0245]注意，在步骤S23中视场图像确定单元53未确定用户的视线已经接近视场图像的[0246]在步骤S25中，视场图像确定单元53确定在一定时间内用户的头部旋转角度与视[0247]另一方面，当在步骤S25中视场图像确定单元53确定在一定时间内用户的头部旋[0248]根据上述的视场图像移动处理，在用户将视线移动到视[0255]在本实施方式的用户装置20中，信息处理装置21的显示控制单元60(图2)选择要[0256]图23是用于描述在显示控制单元60中选择要在视场图像上显示的化身的方法的应的化身311C、以及与用户D对应的化身311D。图23示出了在用户A的视场图像中的范围[0258]用户装置20的信息处理装置21的显示控制单元60可以按照与用户观看相同事物[0259]例如，由用户A使用的用户装置20的信息处理装置21的显示控制单元60指定存在示控制单元60检测以下中的每一个的区域：范围312A与用户B的视场图像中的范围312B的交叠范围315AB、范围312A与用户C的视场图像中的范围312C的交叠范围315AC、以及范围[0261]图24是与图23中示出的状态对应的图，该图示出了在由用户A使用的用户装置20的显示装置22上显示的用户A的视场图像以及与在该视场图像中显示的其他用户对应的化311B。在视场图像中显示的其他用户的化身的数目为3或更大的情况下，显示化身311D、[0264]除了如上所述根据另一用户的视场与用户A的视场图像的接近度来设置在用户A的视场图像中显示化身的优先级以外，还可以根据用户A的视场图像(视场图像中的范围)另一用户的视场之间的位置关系来控制是否在用户A的视场图像上显示(叠加)另一用户的[0267]在步骤S31中，显示控制单元60读取在视场信息保持单元55中保持的用户的视场信息来确定用户的视场图像(即根据用户的视场信息确定的用户的视场图像(视场图像中[0268]在步骤S32中，处理在显示控制单元60确定用户的视场图像包括大于预定数目的[0269]在步骤S34中，显示控制单元60根据设置的优先级确定要在用户的视场图像中显[0270]另一方面，在步骤S32中显示控制单元60确定用户的视场图像不包括大于预定数[0271]在步骤S35中，显示控制单元60确定存在于用户的视场图像中的所有其他用户的化身均为要在视场图像中显示的化身，并且将确定的其他用户的化身叠加在视场图像上。以此方式，等于或小于预定数目的化身被叠加并显示在在显示单元73上显示的视场图像像中的范围)的交叠范围的面积来设置优先级，还可以通过考虑视场图像的交叠时间来设位置)的接近度、在内容是3D游戏等的自由视点图像的情况下用户与其他用户的视点的接的化身被显示在用户的视场图像中时，当其他用户转动脖子以在用户的视场图像中离开户的视场的又一用户(与其他用户不同的用户)的化身可以代替其他用户的化身被显示在息)可以被显示在曾经与其他用户交谈并且将其他用户注册为朋友的用户的视场图像中。与其他用户的化身有关的所有显示(更多信息)可以被显示在与其他用户交谈的用户的视像的视角的组合来确定相同物质是否存在于用户和其他序来执行各种功能的被结合在专用硬件中的计算机以及通信单元509和驱动器510连接到输入/输出接[0298]可以通过例如将程序记录在作为封装介质等的可移除介质511中来提供由计算机[0300]注意，由计算机500执行的程序可以是以本说明书中描述的时间顺序执行处理的成控制所述显示装置以基于所述第二用户的视场信息来显[0311]所述显示控制单元被配置成控制所述显示装置以基于所述第二用户的视场信息来显示指示所述第二用户的视场的位置的视[0317]所述显示控制单元被配置成控制所述显示装置以响应于预定触发来切换所述第户的头部的移动中的至少之一来确定要从所[0332]所述视场图像确定单元被配置成响应于所述第一用户的视线接近所述第一视场[0335]所述视场图像确定单元被配置成基于所述第一用户的视线的旋转角度以及所述用户实质上开始观看所述内容的定时对应的所述第一用户的所述第一视场图像的初始位[0342]所述视场图像确定单元被配置成基于与所述头戴式显示器相关联的所述第一用[0346]所述显示控制单元被配置成控制所述显示装置以在所述第一视场图像上叠加与[0347]所述显示控制单元被配置成根据所述第一视场图像与所述多个用户之中的每个[0350]所述显示控制单元被配置成控制所述显示装置以在所述第一视场图像上优先叠[0353]所述显示控制单元被配置成控制显示装置以根据所述第一用户与所述多个用户之间的通信历史来在所述第一视场图像上优先叠加所述多个用户图像的[0363]从基于所述内容的数据的内容图像切割出与第一用户的视场对应的第一视场图成控制所述显示装置以基于所述第二用户的所述视场信息来显