《虚拟现实脚本与策划》教案-四-1-知识点78：手势交互制作与测试

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识手势交互制作调整HandsDemoScene步骤1：找到示例场景路径完成矿井火灾救援虚拟仿真场景手势交互参数导入设置后，开展各类交互手势功能，适配调优测试全面验证手势识别精度适配不同操作场景交互稳定性。复制场景，查看新场景步骤2：检查场景中指定物体的组件检查场景内是否配置有LeftHand和RightHand交互模型，确保左右手模型组件配置参数符合开发要求，并检查手势识别灵敏度与交互响应的准确定，保障实验操作体验稳定流畅。XROrigin是否添加了PXR_Manager，是否勾选了HandTracking检查对应场景手势识别配置与手部模型追踪参数设置。进入打包流程步骤1：打包设置进入BuildSettings面板设置交互模块配置，打包参数完成后，即可导出适配手势交互的实验包，导出后可在支持手势识别的设备上运行使用该实验。BuildSettings中的手势交互打包核心参数设置，需要正确配置参数，才能适配不同设备实现稳定交互，接下来具体讲解各个核心参数如何设置，保障手势交互功能正常运行。步骤2：输入KeyStore的Password设置PublishingSettings适配手势交互输出打包文件。完成手势与功能绑定后上传对应配置，随后即可完成适配手势交互的项目输出打包使用。如果有设置KeyStore这里正常填写即可，如果无设置则省略这步。选择打包路径和安装包名称设置完成后，开始打包生成输出包等待过程完成即可获得对应输出包等待打包完成获取输出包存放指定位置，方便后续打开使用安装打包好的apk步骤1：连接PDC数据线连接Pico与电脑打开PDC软件步骤2：通过PDC安装apk，步骤完成连接设备后，安装apk完成后即可使用手势交互控制实验。点击安装本地应用，找到刚才打包的路径选择PDC项目点击确认安装即可选中打包的apk，点击打开随后等待系统完成应用安装即可选中打包的apk，点击打开等待安装完成手柄与手势交互测试打开Pico头盔，点击安装好的软件，运行。手柄交互测试步骤1：使用手柄与UI进行交互手柄点击ScrollView中的Item，实现手柄精准选取目标实验交互条目手柄与UIPokeComponents下的物体进行交互实现手柄点选UI控件触发对应实验功能。手势交互测试伸出双手放置在眼前，切换手心手背面向眼镜，反复几次，直至手部动作被识别步骤1：使用手势与UI交互大拇指和食指指尖触碰，触犯扳机键输入效果，同时射线指向对应的UI元素可以交互。手势与UIScrollview交互，触碰大拇指食指之间状态下上下滑动，可以控制Scrollview上下滑动捏合大拇指和食指指尖，可以点击UIPokeComponents上的UI元素步骤2：使用手势与场景中的物体进行交互直接用手前伸触碰桌面的按钮，可以直接和桌面的按钮进行交互，后续我们完成手势识别功能开发与多轮效果测试。按下面前的小键盘，键盘对应的位置会产生高亮此时对应指令就完成识别并做出对应操作，整个手势交互制作流程完毕后即可进入测试环节验证效果捏着小方块，可以移动小方块的位置，调整方块姿态实现手势交互测试，交互流畅性优化手势识别精度，帮助开发者准确捕捉用户手势动作，提升实验操作沉浸体验。双手捏着小箭头，可朝两侧灵活拉伸，自由放大小箭头的体积，以此实现精准的自由缩放操作，交互逻辑清晰直观，操作便捷流畅，大幅提升矿井火灾应急救援虚拟仿真实验的操作体验。工作任务验收步骤1：将测试场景打包成功。步骤2：运行打包好的项目，使用不同的交互方式和场景中的物体进行交互。步骤3：查看运行起来之后的效果，体验抓握，戳按等交互。步骤4：查看交互效果是否正常、灵敏、精确度高。知识点1：XRI插件XRI全称为XRInteractionToolkit任务1学习成果自测知识自测（可以是习题或其他，含答案/自测标准）自测内容：新建空项目，导入项目中用到的各种SDK，搭建VR交互环境。自测标准：能完成本任务中相同所有的交互功能和交互方式，运行流畅bug。职业能力自测（可以是作业等，含自测标准）自测内容：能够制作完成手势，手柄交互功能及串流效果预览。自测标准：完成基础环境搭建，运行Unity项目在头显中进行预览，自动切换手势和手柄的输入。职业素质自测（职业素质自测标准）自测内容：能根据串流时PDC显示的状态，进行故障排查和性能分析。自测标准：遇到串流失败等状态可以及时找到报错原因