CN110609622A 结合3d与虚拟现实技术实现多人交互方法、系统及介质 （深圳市瑞立视多媒体科技有限公司）

道沙河西路1819号深圳湾科技生态园结合3D与虚拟现实技术实现多人交互方法、本发明公开一种结合3D显示技术与虚拟现在3D显示屏的场景与呈现在虚拟现实头显中的务器确定各体验者在现实场地中对应的位置和现实主机分别根据各体验者的定位数据确定各体验者在同一虚拟场景中对应的位置及运动轨2述虚拟环境同步服务器运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述所述3D主机和所述虚拟现实主机接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的定位所述虚拟环境同步服务器根据各个体验者的所述定位数据同步各个体验者在同一虚所述3D主机和所述虚拟现实主机根据各个体验者在所述同一虚拟场景中对应的位置所述3D显示屏根据所述3D主机渲染的内容进行显示，所所述3D主机根据由手柄发出的控制命令进所述虚拟环境同步服务器同时接收手柄和3D体验者在真所述3D主机还根据所述各个体验者在同一虚拟场景中对应的位置渲染出相应的3D模所述定位信息还包括手柄与一基准点在真实三维空间内所述3D主机根据所述相对位置信息显示所述手柄在虚拟场确定是否检测到所述射线经过所述虚拟元件36.如权利要求1至4任一项所述的方法，其在真实三维空间中所述多台动捕相机同时连续拍摄各个体验者佩戴设备上的刚体标所述定位服务器对所述标记点二维图像数据进行预处理，得到标记点的二维坐标数所述定位服务器采用计算机多目视觉技术对标记点的所述定位服务器根据所述点云坐标及方向解算出各个刚体标记点在真实三维空间内7.一种结合3D显示技术与虚拟现实技术实步服务器用于运行所述3D主机与所述虚拟现实主机的同一虚拟场景并进行所述3D主机与所述3D主机和所述虚拟现实主机用于接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同一虚所述3D主机和所述虚拟现实主机用于根据各个体验者在同一虚拟场景中对应的位置所述3D显示屏用于根据所述3D主机渲染的内容进行显示所述多台动捕相机用于在真实三维空间中同时连续拍摄各个体验者佩戴设备上的刚所述定位服务器用于对所述标记点二维图像数据进行所述定位服务器用于采用计算机多目视觉技术对标记所述定位服务器用于根据所述点云坐标及方向解算出各个刚体标记点在真实三维空4所述虚拟环境同步服务器用于运行所述3D主机与所述虚拟现实主机的同一虚拟场景所述3D主机和所述虚拟现实主机用于接收位置追踪服务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内的所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同一虚所述3D主机与所述虚拟现实主机分别用于根据各个体验者在同一虚拟场景中对应的所述3D显示屏用于根据所述3D主机渲染的内容进行显示9.如权利要求8所述的一种结合3D显示技术与虚拟现实技术实现多人交互系统，其特数据交换机，用于实现位置追踪服务器端组件与5[0003]本发明的主要目的在于提供一种结合3D显示技术与虚拟现实技术实现多人交互务器端发送的至少一个佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的[0006]所述虚拟环境同步服务器根据各个体验者的所述定位数据同步各个体验者在同[0007]所述3D主机和所述虚拟现实主机根据各个体验者在所述同一虚拟场景中对应的6[0012]所述虚拟环境同步服务器同时接收手柄和3D体验者在真实三维空间内的定位信[0014]所述3D主机还根据各个体验者在同一虚拟场景中对应的位置渲染出相应的3D模相对位置不变时，根据手柄在真实三维空间内的位置确定其在虚拟场景中对应的显示位[0024]在真实三维空间中所述多台动捕相机同时连续拍摄各个体验者佩戴设备上的刚[0027]所述定位服务器根据所述点云坐标及方向解算出各个刚体标记点在真实三维空3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内7[0030]所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同[0031]所述3D主机和所述虚拟现实主机用于根据各个体验者在同一虚拟场景中对应的[0032]所述3D主机和所述虚拟现实主机分别用于根据各个体验者对应视角下的显示内[0037]所述多台动捕相机用于在真实三维空间中同时连续拍摄各个体验者佩戴设备上[0039]所述定位服务器用于采用计算机多目视觉技术对标记点的二维坐标数据进行计[0040]所述定位服务器用于根据所述点云坐标及方向解算出各个刚体标记点在真实三[0043]所述虚拟环境同步服务器用于运行所述3D主机与所述虚拟现实主机的同一虚拟3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者在真实三维空间内[0045]所述虚拟环境同步服务器用于根据各个体验者的定位数据同步各个体验者在同[0046]所述3D主机与所述虚拟现实主机分别用于根据各个体验者在同一虚拟场景中对[0047]所述3D主机和所述虚拟现实主机用于分别根据各个体验者对应视角下的显示内8[0056]本发明将3D交互的虚拟场景运行与虚拟现实VR的虚拟场景运行均设置在同一虚佩戴3D眼镜设备的3D体验者和至少一个佩戴虚拟现实显示设备的VR体验者同时共享交互[0057]图1为本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互的系统[0058]图2为本发明实施例的另一种结合3D显示技术与虚拟现实技术实现多人交互的系[0059]图3为本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互方法流[0060]图4为本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互方法应[0063]参照图1，本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互的9及至少一个VR体验者，其中一个3D体验者手持有一用于交互控制的手柄027，下面具体说戴的3D眼镜设备021上设置有刚体标记点011，在VR体验者佩戴的虚拟现实显示设备024上[0066]所述多台动捕相机012设置在该真实三维空间内，用于在真实三维空间中同时连[0067]在本发明实施例中，所述多台动捕相机012用于采集在真实三维空间中各个体验者的二维图像数据，并采用红外窄带滤光技术过滤拍摄到的图像数据中的冗余背景信息，通过被动式光学跟踪方法进行定位，即动捕相机012获取体验者身体各部位所绑定的反光[0068]在本发明实施例中，所述定位服务器013运行动捕数据处理软件，以对动捕相机012传输的二维坐标数据进行运算处理，例如采用计算机多目视觉技术对标记点的二维坐[0069]所述三维云台015采用大力夹与斜口顶粒，用于固定动捕相机012于特定安装位[0070]所述标定杆016用于标定动捕相机012，以获得三维动捕空间中各动捕相机012之[0071]所述数据交换机014用于实现位置追踪服务器端01组件与客户端02组件之间、客[0074]所述虚拟环境同步服务器026同时运行所述3D主机023与所述虚拟现实主机025的3D主机023与虚拟现实主机025连接同一所述虚拟环境同步服务器026实现信息的同步，所述3D主机、所述虚拟现实主机025接收位置追踪服务器端01发送的至少一个佩戴3D眼镜设备021的3D体验者和至少一个佩戴虚拟现实显示设备024的VR体验者在真实三维空间内的者佩戴设备上的刚体标记点获取，用于确定各个佩戴设备在真实三维空间内的位置及朝向，然后虚拟环境同步服务器026根据各个体验者的定位数据同步各个体验者在同一虚拟场景中对应的位置及运动轨迹，其中，运动轨迹可包括肢体运动轨迹和/或视线运动轨迹[0075]在本发明实施例中，所述虚拟环境同步服务器026用于同步运行所述真实三维空间内不同平台的虚拟场景，即包括3D主机023和虚拟现实主机025等要进行渲染的虚拟场[0076]所述3D主机023和所述虚拟现实主机025用于分别根据各个体验者对应视角下的[0079]参照图3，本发明实施例的一种结合3D显示技术与虚拟现实技术实现多人交互的述虚拟环境同步服务器026同时运行所述3D主机023与所述虚拟现实主机025的同一虚拟场个真实三维空间内实施，所述真实三维空间内包括至少一个3D体验者及至少一个VR体验至少一个佩戴3D眼镜设备021的3D体验者和至少一个佩戴虚拟现实显示设备024的VR体验中所述多台动捕相机012同时连续拍摄各个体验者佩戴设备上的刚体标记点，获取同步的点的二维坐标数据，所述定位服务器013采用计算机多目视觉技术对标记点的二维坐标数[0082]具体的，通过真实三维空间中设置的多台动捕相机012同时连续拍摄空间中的手射动捕相机012发出的红外光，由此实现动捕相机012对各个体验者佩戴设备或手柄027的二维图像数据捕捉，所述动捕相机012获取得到标记点二维图像数据后进行预处理得到标相机012同时刻所采集到的图像关键点进行匹配从而确定各反光标记点，然后采用计算机轨迹或手柄027在三维动捕空间的运动轨迹，从而实现对动捕空间中训练者动作位置的定位，得到各个体验者佩戴设备的刚体动作对应的空间位置的定位数据或手柄027在空间位[0084]在本发明实施例中，所述虚拟环境同步服务器026将各个体验者在实际真实三维[0086]步骤S30，所述3D主机023和所述虚拟现实主机025根据各个体验者在同一虚拟场左移后，则根据步骤S30可以确定体验者A对应视角下的显示内容就切换成往右移的画面。息是根据所述手柄027和3D眼镜设备021上的刚体标记点获取，用于确定手柄027和3D眼镜[0089]进一步地，所述3D主机023还根据各个体验者在同一虚拟场景中对应的位置渲染过虚拟现实同步服务器026将各个体验者在实际真实三维空间内的位置对应至在同一虚拟示区域，在该人员显示区域中可以显示各个体验者的真实三维空间的位置以及相应状态，验者或手柄027在真实三维空间的相应位[0091]在本发明实施例中，在所述虚拟环境同步服务器026根据控制命令进行虚拟场景的更换时，则相应的所述虚拟环境同步服务器026根据各个体验者在真实三维空间位置及其运动轨迹重新切换其在新虚拟场景中的位置及确定至各个体验者在该新虚拟场景下对据不变化，所述虚拟环境同步服务器026根据各个体验者的定位数据确定各个体验者在虚同一虚拟场景中对应的位置；所述定位信息还包括手柄027与一基准点在真实三维空间内主机根据所述相对位置信息显示所述手柄027在虚拟场景中的位置，以在所述相对位置不[0093]示例性地，在所述虚拟环境同步服务器026根据控制命令将所述虚拟场景向后退器026根据手柄027与一基准点在真实三维空间内的相对位置显示所述手柄027在虚拟场景置不变时，所述3D主机023根据所述相对位置信息显示所述手柄027在虚拟场景中的位置，以在所述相对位置不变时，根据手柄027在真实三维空间内的位置确定其在虚拟场景中对位置，位置追踪服务器端01的定位服务器013在该远视角画面的情况下计算体验者的定位[0095]在其中一种可能实现方式中，所述虚拟环境同步服务器026输出的虚拟场景中包可以通过手柄027操控点亮，例如，在讲解员需要将虚拟场景中的某一虚拟元件进行展示[0098]如图4中所述，佩戴3D眼镜设备021的讲解员或者体验者可以站在3D显示屏022前实显示设备024以及手柄027上均设置有刚体标记点011。3D主机023可以设置在3D显示屏进行渲染的虚拟场景，各个VR体验者佩戴的虚拟现实显示设备024显示的内容是根据各个佩戴3D眼镜设备02