机械装备虚拟现实设计及实例分析 课件 第10章-人机交互关键技术

第十章人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造目录CONTENTS10.1基于VR的人机交互关键技术10.2基于

HoloLens2的人机交互关键技术10.3基于人体动作识别的交互关键技术第10章人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造1目录CONTENTS10.1基于VR的人机交互关键技术10.1.1硬件配置要求10.1.2开发环境配置10.1.3HTCVIVE手柄控制10.1.4UGUI设计10.2基于

HoloLens2的人机交互关键技术10.3基于人体动作识别的交互关键技术第10章人机交互关键技术10.1基于VR的人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造1HTCVive是由HTC与Valve联合开发的一款VR头显（虚拟现实头戴式显示器）产品。由以下三个部分构成：一个头戴式显示器、两个单手持控制器、一个能于空间内同时追踪显示器与控制器的定位系统（Lighthouse）。HTCVive

VR设备从最初可以给游戏带来沉浸式的体验，延伸到可以在更多领域施展想象力和应用开发潜力。一个最现实的例子是，可以通过虚拟现实搭建场景，实现在医疗、教学以及煤矿领域的应用。第10章人机交互关键技术10.1.1硬件配置要求战略性新兴领域教材建设团队-重型高端装备制造1

GPU：NVIDIA®

GeForce®

GTX970、AMD

Radeon™

R9290同等或更高配置

CPU：Intel®Core™i5-4590/AMD

FX™8350同等或更高配

RAM：4GB或以上

视频输出：HDMI1.4、DisplayPort1.2或以上

USB端口：1xUSB2.0或以上端口

操作系统：Windows®

7SP1、Windows®

8.1或更高版本、Windows®

10第10章人机交互关键技术10.1.2开发环境配置战略性新兴领域教材建设团队-重型高端装备制造1下载并安装Steam平台选择“库”选项选择“工具”选项搜索SteamVR并下载安装SteamVR就绪运行SteamVR第10章人机交互关键技术10.1.2开发环境配置战略性新兴领域教材建设团队-重型高端装备制造1插好VR头戴显示器运行房间设置新建一个Unity工程，在AssetStore窗口中搜索SteamVR并下载将“[CameraRig]”拖入场景并运行完成配置第10章人机交互关键技术10.1.3HTCVIVE手柄介绍战略性新兴领域教材建设团队-重型高端装备制造11-菜单按钮

2-触控板

3-系统按钮

4-状态指示灯5-Micro-USB端口

6-追踪感应器

7-扳机

8-手柄按钮状态指示灯绿色：表示HTCVive手柄目前状态正常，可以正常使用；蓝色：表示操控手柄已经成功和头戴式设备配对；闪烁蓝色：表示操控手柄正在和头戴式设备进行配对；橙色：表示手柄正在充电，当手柄变为绿色时，表示充电完毕；闪烁红色：手柄低电量，即将没电；第10章人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造110.1.3HTCVIVE手柄控制l

Controller(left):左侧手柄（相当于人的左手）。l

Controller(right):右侧手柄（相当于人的右手）。l

Camer(head):头盔。l

Camer(eye):相当于人的眼睛。l

Camer(eye):相当于人的耳朵。l

Model：主要是为了在虚拟环境下创建手柄模型。第10章人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造1我们在读取手柄的输出信息时，用到SteamVR_TrackedObj组件。步骤如下：1.

获取SteamVR_TranckedObj组件下的Index变量。例：GetCommpent<SteamVR_TrackedObj>().Index;2.

然后通过SteamVR_Controller类下的Input接口获取实现手柄按键输入类型。输入类型包括以下几种：l

GetPress:长按。l

GetPressDown:按下l

GetPressUp:抬起l

GetTouch:一直触摸l

GetTouchDown:触摸l

GetTouchUp:触摸抬起l

TriggerHapticPulse:震动10.1.3HTCVIVE手柄控制第10章人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造110.1.3HTCVIVE手柄控制3.

获取按键类型通过SteamVR_Controller.ButtonMask类获取。ButtonMask上述所说的所有按键。如：扳机键SteamVR_Controller.ButtonMask.Trigger。4.

手柄输入实例：扳机键按下：int

index=(int)GetCommpent<SteamVR_TrackedObj>().IndexSteamVR_Controller.Input(index).GetPressDown(SteamVR_Controller.ButtonMask.Trigger);手柄震动：SteamVR_Controller.Input(index).TriggerHapticPulse(200)。参数标示震动强度。第10章人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造1创建Canvas，将Canvas的RenderModel设为WorldSpace创建所需UI10.1.4UGUI设计目录CONTENTS10.1基于VR的人机交互关键技术10.2基于

HoloLens2的人机交互关键技术10.2.1基于HoloLens2的混合现实技术10.2.2基于HoloLens2的机械装备AR/MR巡检技术10.3基于人体动作识别的交互关键技术第10章人机交互关键技术10.2基于HoloLens2的人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造1混合现实（MixedReality，简称MR）技术是一种将虚拟世界和现实世界相结合的技术，它的主要价值在于将数字信息带入到个人对现实世界的感知中，而不是简单的数据显示，通过与被视为环境自然部分的沉浸式集成来实现对现实的增强。借助HoloLens2设备的优秀能力（例如本能手势操作、语音命令、眼动凝视交互)，用户周围的混合世界变得可交互和可操作。视频，带视频的PPT见视频资源视频，带视频的PPT见视频资源第10章人机交互关键技术10.2基于HoloLens2的人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造1负责真实场景种叠加全息影像负责感知外部环境信息负责虹膜识别，采集眼部数据第10章人机交互关键技术10.2.1基于HoloLens2的混合现实技术战略性新兴领域教材建设团队-重型高端装备制造1（1）开发环境准备Windows10VisualStudio2019/2022Unity2020/2021MRTK第10章人机交互关键技术10.2.1基于HoloLens2的人机交互关键技术战略性新兴领域教材建设团队-重型高端装备制造1构建Unity项目切换平台设置项目导入MRTK导出VS工程创建和设置场景配置MRTK导入TextMeshPro部署到真机设备发布MR应用（2）应用开发与部署流程第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1基于HoloLens的机械装备AR/MR巡检技术是一种利用混合现实技术来改进机械装备巡检过程的解决方案。通过将MR任务界面叠加到实际机械装备附近，任务面板可以实时获取设备状态信息、执行操作指导，并进行故障排查等工作。第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（1）MR用户界面设计第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（1）MR用户界面设计第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（1）MR用户界面设计—按钮（Button）介绍其中BoxCollider组件用于设置按钮碰撞器形状；PressableButtonHoloLens2组件用于实现按钮交互的形态改变及各交互状态事件；PhysicalPressEventRouter组件为路由组件，用于设置何时(Touch、Press、Click)将手势操作事件转发到Interactable组件，即控制什么操作触发OnClick事件；Interactable

组件负责处理各类交互输人和事件，包括设置语音命令、OnClick事件；AudioSource组件用于提供操作时的音效反馈；ButtonConfigHelper组件是一一个简化按钮使用的帮助类组件，它提供了最直接使用按钮的界面，利用它可以轻松设置按钮显示文字、图标、OnClick事件，实现按钮功能，但该组件设置的参数最终都被转发到各功能组件中，其本身并不负责处理。第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（1）MR用户界面设计—Slate面板介绍Slate面板用于创建可定制、交互性强的任务界面，它提供了灵活的布局选项、样式定制功能以及事件处理能力。通过Slate面板可以快速构建适应HoloLens应用程序需求的界面，提供了良好的交互体验，如图所示。第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（2）交互方式设计通过上面的学习，我们已经知道制作MR巡检系统界面的方法，接下来我们将学习如何通过Hololens2使用该系统。HoloLens2设备支持多种模态交互方式（手势、语音和凝视交互），这种多模态交互设计为使用者提供了丰富、自然和有效的操作体验。手势交互语音交互凝视交互第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（2）交互方式设计—手势交互HoloLens2手势交互方式，用于与附近的全息影像进行触摸操作。当人体的手部靠近全息影像时，食指尖上会出现一个白色圆圈，这是触摸光标，通过它来点击、滚动或抓取全息影像，实现自然手势交互。视频，带视频的PPT见视频资源第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（2）交互方式设计—语音交互Hololens2语音交互方式，能通过识别语音命令的关键词和对应的响应事件，实现输出语音指令的能力。其工作场景通常用于控制与选择，用于确定事件的执行。例如视频中通过语音控制机器人转动。视频，带视频的PPT见视频资源第10章人机交互关键技术10.2.2基于HoloLens2机械装备AR/MR巡检技术战略性新兴领域教材建设团队-重型高端装备制造1（2）交互方式设计—凝视交互Hololens2凝视交互的实现基于眼动跟踪功能，眼球跟踪系统可以根据眼睛数据来生成一个眼睛方向向量，表示正在看的方向。眼睛方向向量可以与全息图像或真实世界的物体相交，从而确定凝视目标。通过一种次要的确认输入，例如手势、按钮或语音命令，可以对凝视目标进行操作。视频，带视频的PPT见视频资源目录CONTENTS10.3基于人体动作识别的交互关键技术10.1基于VR的人机交互关键技术10.2基于

HoloLens2的人机交互关键技术10.3.1基于Kinect的人体跟踪技术概述10.3.2AzureKinect与Unity3d的配置第10章人机交互关键技术10.3.1基于Kinect的人体跟踪技术概述战略性新兴领域教材建设团队-重型高端装备制造1AzureKinect设备简介AzureKinect设备是实现体感交互方法最先进的硬件设备之一，搭载了100万像素TOF高级深度相机、1200万像素全高清摄像头以及方向传感器等，具有复杂的计算机视觉和语音模型、高级AI传感器以及提供了深度、视觉、声音、方向四大类传感器SDK，可以实现对人体的3D轮廓扫描，主要硬件结构及功能见表所示。第10章人机交互关键技术10.3.1基于Kinect的人体跟踪技术概述战略性新兴领域教材建设团队-重型高端装备制造1硬件名称功能麦克风阵列由4个麦克风组成，可以确定声源位置并实现自动去噪。红外投影机向外投射红外光谱，产生可以被红外摄像头读取的随机的斑点图样（散斑）。红外摄像头分析计算采集的散斑数据，建立出可视范围的深度图像。USB线缆USB3.0接口，传输Kinect采集到的数据流。且因为Kinect功率较大，需要配合独立电源使用。彩色摄像头采集

RGB数据流。Kinect主要硬件结构及功能第10章人机交互关键技术10.3.1基于Kinect的人体跟踪技术概述战略性新兴领域教材建设团队-重型高端装备制造1在运行基于AzureKinect的人体跟踪演示之前，需要确保计算机具有以下规格的配置：(1)

第7代Intel®CoreTMi5处理器及以上（四核2.4GHz或更快）(2)

4GB内存及以上(3)

显卡为NVIDIAGeForceGTX1070及更高版本(4)

具有专用的USB3端口(5)

Windows10要编写和执行代码、运行demo，你需要安装以下软件：(1)

VisualStudio2019及以上(2)

Unity3d(3)

AzureKinectBodyRrackingSDK(4)AzureKinectSensorSDK第10章人机交互关键技术10.3.1基于Kinect的人体跟踪技术概述战略性新兴领域教材建设团队-重型高端装备制造1

第10章人机交互关键技术10.3.2AzureKinect与Unity3d的配置战略性新兴领域教材建设团队-重型高端装备制造11.

AzureKinectSensorSDK的安装/en-us/previous-versions/azure/kinect-dk/sensor-sdk-download第10章人机交互关键技术10.3.2AzureKinect与Unity3d的配置战略性新兴领域教材建设团队-重型高端装备制造11.

AzureKinectSensorSDK的安装第10章人机交互关键技术10.3.2AzureKinect与Unity3d的配置战略性新兴领域教材建设团队-