《虚拟现实脚本与策划》教案-四-1-知识点5：手势绑定

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识手势追踪概览功能迭代事项SDK

v2.3.0

版本中，PICO

对手势追踪算法进行升级，并全面对标

OpenXR

标准。最新的手势追踪功能已不兼容旧版

SDK。若需使用手势追踪功能，请使用

2.3.0

及以上版本的

SDK，并搭配系统版本为

5.7.0

及以上的

PICO

设备进行应用开发。SDK

v2.1.5

同步发布手势编辑器（Hand

Pose

Editor），由

PXR_Hand

Pose

Generator

和

PXR_Hand

Pose

脚本组成，用于配置手势和手势事件。注意事项：目前，设备仅支持追踪手柄或手，无法同时追踪。相关文档：接入手势追踪|PICO开发者平台

使用XRInteractionToolkit实现手和3D物体交互|PICO开发者平台

人因体验和设备局限性|PICO开发者平台使用手势追踪手势追踪功能将用户的手部动作作为

PICO

设备的输入。开启后，PICO

系统会实时跟踪用户手部

26

个关节点的位置。将手部作为应用的主要输入源时，不同的手部姿态会触发不同的事件，例如：当大拇指指尖与食指指尖捏合时，会启用射线指针（即

Ray

Pointer，作用等同于手柄射线）。用户可使用射线指针进行点击、选中、拖放等操作。你可以使用手势生成器为应用创建不同的手势，例如：戳、捏、握等，并为手势配置不同的事件，丰富交互体验。本项目开发环境Pico设备型号：Pico4UltraPicoInteractionSDK：2.5.3PicoPreviewPlugin：1.0.5Pico系统版本：5.15开启手势追踪步骤1：导入PicoInteractionSDK（已完成）步骤2：完成项目配置（已完成）打开HandsDemoScene场景步骤3：为设备开启手势追踪启动Pico设备前往设置>实验室>手势识别打开手势识别开关步骤4：为应用开启手势追踪PicoSDK提供了官方标准左右手部预制体，可直接从指定资源路径调用；也能选用XRI体系的手部预制体，和项目既有交互框架兼容适配。将预制体拖拽到XROrigin下完成父子层级挂载，让手部追踪跟随XR坐标系同步运动，保障手势位姿匹配精准。选中XROrigin对象，在Inspector检视面板中为它添加PXR_Manager管理脚本在脚本参数栏勾选HandTracking，正式启用项目手势追踪功能手势追踪功能开启步骤5：使用HandsDemoScene打包该场景在项目制作的时候也可以直接使用该场景中的XRInteractionHandsSetup预制体来作为“火灾”主场景中的人物对象。手势绑定步骤1：打开配置文件文件中找到XRIDefaultInutActions输入配置文件点击Inspector中的Open打开配置文件进行后续手势绑定设置打开配置文件编辑面板，后续可在该界面完成手势对应的输入动作映射与参数配置。步骤2：添加绑定在打开的输入动作配置面板中编辑参数，为对应手势新增输入绑定关系，完成手势交互的映射设置。按照文档内容，对节点进行绑定按照文档内容，绑定手势动作：/document/unity/enable-interactions-between-hands-and-3d-objects-using-xr-interaction-toolkit/?v=2.5.0步骤3：打包测试流程演示File-BuildSettings进行项目打包参数设置点击AddOpenScene将当前场景添加到Build列表中，勾选该场景，点击Build选择打包路径，填写apk名称，点击保存，等待后续测试工作任务验收步骤1：修改配置文件，将手势交互动作绑定完成。步骤2：将手势功能预制体添加到XROrigin下，或者直接使用HandsDemoScene中的Setup预制体。步骤3：了解打包apk的流程。知识点1：版本管理一定要特别注意对齐版本，版本不同可能会导致手势无法识别，无法串流等情况的出现知识点2：手势无法识别的原因可能是未在设备上开启手势识别的开关知识点3：手部预制体可以使用PiocSDK自带的，也可以使用Han