《虚拟现实脚本与策划》教案-项目4.1：手柄控制与手势交互

模块四开发阶段模块描述该模块的内容从交互功能、AI数字人功能、人物动画功能、UI相关功能和其他系统功能等五个模块展开。包含了VR项目必备的手柄手势交互原理及制作、在项目中接入AI功能、动画绑定和状态机、UI面板和逻辑制作、知识考核、音效系统等开发，这些功能的制作是本项目功能开发的核心阶段。模块要求要求该阶段中：对项目的不同功能模块及其组织方式、关键功能代码逻辑有深入的理解。了解常用接入AI功能的流程，了解接入LLM过程中的术语。对Unity动画组件、状态机、动画触发等使用有深入的理解。了解UGUI的使用，能独立完成不同面板的搭建和交互。能够对Pico设备的操作、连接等操作有简单了解。模块目标知识目标：熟练运用PDC对项目进行调试和预览。了解UGUI中RectTransform组件的使用、Button、Image等控件的面板参数、LayoutGroup等自动布局组件的使用。使用APIKey等内容，调整AI数字人接入的LLM代码。能够使用协程相关的代码实现实验流程控制。熟练使用动画系统播放人物动画控制人物状态。综合利用以上知识，结合其他VR项目中的开发技巧，实现其他功能面板的制作。能力目标：能够独立搭建VR项目基础的交互环境。能够熟练完成UGUI面板的创建和修改，并根据具体需求编写代码实现对应的功能。修改网络连接代码，利用不同LLM平台的接口实现相同的功能。素质目标：结合UGUI中控件和组件的使用经验，类比来了解FairyGUI和NGUI等其他Unity中界面制作功能。修改网络连接代码，利用不同LLM平台的接口，针对性地对代码进行修改，以此实现相同的功能。通过动画组件的学习，深入了解如：Mask、IK等概念。任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识基础概念开发者模式的作用PICO设备开启开发者模式后，允许电脑端Unity工程绕过应用商店，直接有线/无线安装、实时预览调试VR项目，无需打包APK再安装。开发PDC工具是什么PDC即PICODeveloperConsole，是官方开发者调试工具，负责设备识别、连接管理、应用安装、日志查看、屏幕投屏、真机预览。前期准备内容硬件准备Pico4Ultra头显（电量充足）本讲义中Pico系统版本为5.11，手柄（左右各一支），原装数据线*1，电脑一台。软件准备官网PICO虚拟现实|官方网站|PICO安装PicoPDC工具，Unity项目已配置好开发环境。整体流程电脑端设置步骤1：打开Unity工程的XRPlug-inManagement路径：Edit-ProjectSettings点击顶部Edit（编辑），选择ProjectSettings（项目设置），打开项目全局配置窗口，可设置打包、输入、图形等项目参数。路径：Edit-ProjectSettings-XRPluginManagement选中左侧电脑标签栏，确认勾选PICOLivePreview步骤2：数据线连接Pico与电脑连接后，电脑端会提示已检测到设备。步骤3：PDC识别设备自动识别已连接的Pico设备，此时可以查看设备型号，设备序列号，连接状态等。可以在左侧文件管理查看该设备的文件内容。打开PICO电脑工具，点击左侧文件管理，查看PICOVR设备中的所有文件。可以通过PDC安装本地应用，省去安装包传输花费时间。若无PDC工具，可使用ADB命令行向PICO设备安装应用安装包。Pico端设置步骤1：进入关于本机界面若不开启Pico开发者模式，则无法进行后续调试。调试VR项目的首要条件，就是打开PICO开发者模式开发者模式若不慎关闭，需要以同样的方式手动开启。开发者模式不会永久生效，关闭后要自行重新调出。步骤2：进入开发者界面预览运行步骤1：Unity点击Play若运行无响应，请检查VR设备与手柄连接，确认调试设置已开启，重启软件与设备后再次尝试。步骤2：头显自动进入VR场景佩戴VR头显自动加载VR场景，操控手柄进行基础交互操作，同时在Unity的Game窗口观察项目实时画面，检验交互与场景展示是否正常。工作任务验收步骤1：PDC下载安装完毕，登录个人账号。步骤2：Pico头显相关软硬件准备完毕。步骤3：Unity环境搭建完毕，勾选对应设置选项。步骤4：串流测试步骤正确，画面效果显示正常。知识点1：Pico头显系统版本系统版本需要保持在5.9.0以上。可以使用自动更新，或者手动升级系统版本。知识点2：串流插件需要提前安装PicoPreviewPlugin后，Settings窗口才会出现对应的勾选框。知识点3：开发者模式多次点击版本号后，会出现开发者选项，点击开发者选项，进入开发者面板。知识点4：串流失败的原因确定线材是Pico设备原装线材，有些TypeC线材只具备充电功能或者接触不稳定容易断触。

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识XRIDemoSceneDemoScene是UnityXRI官方提供的最简标准示范场景。提供一套开箱即用的XR交互标准模板。有手柄移动、传送、抓取、UI交互、射线交互等基础能力。所有交互完全基于XRI标准组件+OpenXR输入，不依赖任何第三方SDK硬编码Unity。位置：Assets/Samples/XRInteractionToolkit/[版本]/StarterAssets/DemoScene它是学习XRI的最小全集，也是PICO/VR项目最标准的起点场景。示例场景的使用导入示例场景步骤1：打开PackageManager中的XRI路径：Window-PackageManager选择UnityRegistry页签，下拉找到XRI步骤2：下载导入示例场景点击Sample，找到StartAssets，未下载则点击Install，若已下载则点击Import，若已导入，则忽略此步骤。步骤3：打开示例场景打开DemoScene场景在项目资源窗口找到DemoScene文件，双击打开该示例场景，即可查看XR交互示范工程。XRInteractionSetup步骤1：认识VR项目中的XROrigin关键组件：XROrigin负责管理VR空间定位和追踪。Camera是场景中的主相机，TrackedPoseDriver可以追踪头显的位置，ControllerLeft/Right是左右手控制器的引用。运行DemoScene体验点击运行DemoScene场景，通过串流功能将画面传输至VR设备，戴上头显即可实地体验场景交互效果。步骤2：认识VR项目中的交互器预制体点击Left/RightController展开预制体关键对象：RayInteractor负责射线交互（远距离选择），适用于菜单选择，远距离操作。DirectInteractor负责直接接触交互，适用于近距离抓取、触摸。PokeInteractor负责戳按交互，适用于按钮按下和UI点击。TeleportInteractor负责传送交互，可以移动到指定位置。工作任务验收步骤1：SDK中的示例场景下载完毕，导入工程中。步骤2：能明确XRInteractionSetup及其他组合预制体的功能。知识点1：XRI插件XRI全程为XRInteractionToolkit知识点2：传送系统预制体TeleportArea可将Plane添加可传送区域功能。TeleportAnchor可将某块区域设置为固定传送点。知识点3：组合预制体XRInteractionSetup包含XROrigin+控制器+交互器+管理组件。InteractableSample包含各种可交互对象的集合。TeleportationEnviroment是传送区域+指示器+锚点。

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识XRI镜头旋转的核心原理在VR项目中，“镜头旋转”分两类。头显物理旋转：自然转头由硬件（Pico头显）+OpenXR驱动，此时MainCamera是随着头部姿态转动而转动的，不受XRI代码控制对应组件：TrackedPoseDriver（自动绑定头显姿态）手柄控制虚拟旋转：转身/水平旋转旋转对象是XROrigin（整个用户节点），不是相机由XRI脚本控制实现平滑旋转综上：控制镜头旋转的方式有两种：物理转动头部控制直接转动相机。推动手柄摇杆控制人物本体进行旋转，同时带动镜头发生转动。连接头显对两种旋转镜头方式进行测试直接转动头部观察场景中物体的变化转动VR头显，观察场景内画面跟随头部朝向同步变化，检验头部追踪功能是否正常。步骤1：连接PDC运行项目通过PDC工具建立电脑与PICO设备的连接，串流运行项目，完整测试镜头旋转效果。步骤2：选中MainCamera查看坐标变化在Hierarchy面板选中XROrigin对象，实时检视Inspector面板内坐标与旋转数值。选中MainCamera，切换坐标观察方式为Local。转动头显，观察在Scene中的MainCamera的变化。同时对比头显中的画面和Game中的画面。步骤3：选中XROrigin查看坐标变化选中XROrigin，观察XROrigin的坐标变化。转动手柄实现虚拟转身，观察XROrigin的旋转角度发生改变，以此验证镜头旋转逻辑。使用手柄转动观察场景中物体的变化通过VR手柄摇杆控制视角旋转，观察虚拟场景内画面与物体朝向随之改变。步骤1：头显位置不动，推动右摇杆左右推动右手摇杆，观察镜头转动的段落感仅依靠程序控制实现玩家在场景中水平转身。选中MainCamera的坐标变换运行项目并选中MainCamera，在检视面板实时观察其坐标与旋转数值，验证镜头转动时相机角度同步发生变化。选中XROrigin观察它的坐标变换在层级窗口选中XROrigin，运行项目并操作手柄旋转视角，在检视面板实时查看XROrigin的坐标与旋转参数变化，验证视角旋转依靠根节点整体转动实现。工作任务验收能流畅使用Pico设备手柄输入，转动头显观察角度，实现流畅在场景中进行漫游即可。知识点1：XRI插件XRI全称为XRInteractionToolkit

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识运行DemoScene与UI交互连接PDC运行项目打开PDC软件，完成电脑与PICOVR设备的通信连接，保障画面串流与手柄信号传输。步骤1：连接PDC步骤2：运行项目在Unity中启动项目，戴上VR头显，使用手柄射线与场景内UI面板进行交互测试。在VR设备内观察UI交互是否可以正常响应。步骤3：与UISample交互使用VR手柄射线指向UISample面板，点击面板内按钮，测试VR场景下UI交互功能能否正常触发。调整UISample的位置到合适的高度在Unity编辑器中修改UISample的Transform参数，把界面调整至符合人眼舒适观察的高度，优化VR交互体验。与面板上的Button进行交互，参考PC项目中Button的制作方式，应用到项目面板中的UI上。右键创建UI→Button，Canvas设为WorldSpace，搭配XR射线组件，实现VR手柄点击交互。与面板上的Slider进行交互，参考PC项目中Slider的制作方式，应用到项目面板的UI上。右键创建UI→Slider，Canvas设置为WorldSpace，配置XR射线组件，实现VR手柄拖动调节。与面板上的下拉框进行交互，参考PC项目中的下拉框制作方式，应用到项目后续的面板UI上。右键创建UI→Dropdown，Canvas设置为WorldSpace，添加事件函数，实现鼠标点击选择下拉选项。与面板上的ScrollView进行交互，参考PC项目中制作方式，应用到项目后续的面板上。右键创建UI→ScrollView，Canvas改为WorldSpace，设置Content自适应布局，添加XR交互组件。UI元素组件Canvas组件参数Canvas参数需要调整为WorldSpace选中场景中的Canvas画布对象，将其渲染模式参数修改为WorldSpace世界空间模式，让UI界面作为三维物体放置在虚拟场景中，从而支持VR手柄射线完成空间UI交互。工作任务验收能流畅使用Pico设备手柄输入，输入手柄点击事件与UI交互即可。知识点1：PDC连接如果PDC连接处问题，可以参考知识点1进行排查知识点1：Canvas的RenderModeScreenSpace-overlay：UI直接画在屏幕最顶层，永远覆盖3D场景。ScreenSpace-Camera：将UI贴在相机前方，可以被物体遮挡。WorldSpace：将UI作为普通3D物体任意摆放。

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识手势追踪概览功能迭代事项SDK

v2.3.0

版本中，PICO

对手势追踪算法进行升级，并全面对标

OpenXR

标准。最新的手势追踪功能已不兼容旧版

SDK。若需使用手势追踪功能，请使用

2.3.0

及以上版本的

SDK，并搭配系统版本为

5.7.0

及以上的

PICO

设备进行应用开发。SDK

v2.1.5

同步发布手势编辑器（Hand

Pose

Editor），由

PXR_Hand

Pose

Generator

和

PXR_Hand

Pose

脚本组成，用于配置手势和手势事件。注意事项：目前，设备仅支持追踪手柄或手，无法同时追踪。相关文档：接入手势追踪|PICO开发者平台

使用XRInteractionToolkit实现手和3D物体交互|PICO开发者平台

人因体验和设备局限性|PICO开发者平台使用手势追踪手势追踪功能将用户的手部动作作为

PICO

设备的输入。开启后，PICO

系统会实时跟踪用户手部

26

个关节点的位置。将手部作为应用的主要输入源时，不同的手部姿态会触发不同的事件，例如：当大拇指指尖与食指指尖捏合时，会启用射线指针（即

Ray

Pointer，作用等同于手柄射线）。用户可使用射线指针进行点击、选中、拖放等操作。你可以使用手势生成器为应用创建不同的手势，例如：戳、捏、握等，并为手势配置不同的事件，丰富交互体验。本项目开发环境Pico设备型号：Pico4UltraPicoInteractionSDK：2.5.3PicoPreviewPlugin：1.0.5Pico系统版本：5.15开启手势追踪步骤1：导入PicoInteractionSDK（已完成）步骤2：完成项目配置（已完成）打开HandsDemoScene场景步骤3：为设备开启手势追踪启动Pico设备前往设置>实验室>手势识别打开手势识别开关步骤4：为应用开启手势追踪PicoSDK提供了官方标准左右手部预制体，可直接从指定资源路径调用；也能选用XRI体系的手部预制体，和项目既有交互框架兼容适配。将预制体拖拽到XROrigin下完成父子层级挂载，让手部追踪跟随XR坐标系同步运动，保障手势位姿匹配精准。选中XROrigin对象，在Inspector检视面板中为它添加PXR_Manager管理脚本在脚本参数栏勾选HandTracking，正式启用项目手势追踪功能手势追踪功能开启步骤5：使用HandsDemoScene打包该场景在项目制作的时候也可以直接使用该场景中的XRInteractionHandsSetup预制体来作为“火灾”主场景中的人物对象。手势绑定步骤1：打开配置文件文件中找到XRIDefaultInutActions输入配置文件点击Inspector中的Open打开配置文件进行后续手势绑定设置打开配置文件编辑面板，后续可在该界面完成手势对应的输入动作映射与参数配置。步骤2：添加绑定在打开的输入动作配置面板中编辑参数，为对应手势新增输入绑定关系，完成手势交互的映射设置。按照文档内容，对节点进行绑定按照文档内容，绑定手势动作：/document/unity/enable-interactions-between-hands-and-3d-objects-using-xr-interaction-toolkit/?v=2.5.0步骤3：打包测试流程演示File-BuildSettings进行项目打包参数设置点击AddOpenScene将当前场景添加到Build列表中，勾选该场景，点击Build选择打包路径，填写apk名称，点击保存，等待后续测试工作任务验收步骤1：修改配置文件，将手势交互动作绑定完成。步骤2：将手势功能预制体添加到XROrigin下，或者直接使用HandsDemoScene中的Setup预制体。步骤3：了解打包apk的流程。知识点1：版本管理一定要特别注意对齐版本，版本不同可能会导致手势无法识别，无法串流等情况的出现知识点2：手势无法识别的原因可能是未在设备上开启手势识别的开关知识点3：手部预制体可以使用PiocSDK自带的，也可以使用HandsDemoScene中自带的知识点4：添加PXR_Manager点击AddComponent搜索名称进行添加知识点5：手势绑定不绑定手势无法通过手势和UI交互知识点6：场景列表打包的场景只勾选HandsDemoScene，其他场景需要取消勾选

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识PicoVR手势交互的核心逻辑为：设备硬件完成图像采集与骨骼运算，Unity引擎仅负责接收标准化数据、渲染虚拟手部并执行交互逻辑。整套体系分为硬件层、SDK系统层、Unity交互层与核心技术要点四个部分。手势交互原理硬件层PicoVR设备前置搭载深度感知与可见光双目融合摄像头，是手势数据采集的核心硬件。设备通过摄像头实时采集手部二维图像，结合双目立体视觉与红外深度检测技术，重构出手部三维空间数据。

手势追踪的算力全部由设备内置芯片承担，无需Unity参与图像识别与底层运算。芯片运行官方骨骼追踪算法，实时解算双手26个标准骨骼关节的三维坐标、旋转角度与关节半径，以60至90Hz的高帧率输出稳定手部数据，为手势交互提供精准的硬件数据支撑。SDK系统层硬件输出的原始数据无法直接被Unity识别，需通过SDK完成标准化转换与传输。Pico设备基于通用行业标准实现手部数据封装，主要依托两大核心插件完成引擎适配。

一是Unity官方XR

Hands模块，作为标准化数据接口，负责接收、存储26组手部关节数据，实现虚拟手骨骼点位映射；二是Pico自研适配插件，用于将设备私有数据格式转换为通用标准格式，并输出捏合、握拳、戳击等手势的置信度数据。

完整数据链路为：硬件采集图像、运算骨骼数据、系统服务降噪预处理、XR协议标准化封装，最终通过XR

Hands模块传输至Unity引擎。该分层算力模式有效降低引擎负载，保障项目运行稳定。Unity交互层Unity交互层是手势交互的业务核心，主要实现虚拟手可视化渲染与场景交互逻辑触发两大功能。引擎接收标准化骨骼数据后，通过骨骼绑定与帧更新，驱动虚拟手与用户真实手部动作实时同步，部分高端设备可实现自适应手型匹配，提升交互真实度。

目前主流开发方案分为两种。第一种为Unity官方XR交互工具包方案，适配性更强，将交互分为远场与近场两类：远场通过拇指、食指间距判定捏合手势，发射射线实现远距离选中与点击；近场依托碰撞体物理检测，实现戳击、抓取、拖拽、释放等近距离交互。

第二种为Pico原生PXR

SDK方案，依托官方预制体与原生手势事件，可直接监听握拳、捏合、松手等操作，开发效率高、设备适配性强，但跨平台兼容性较弱，多用于Pico专属VR项目开发。总结综上，Pico

VR手势交互依托硬件采集、数据传输、引擎渲染、算法优化的完整架构，实现了高精度、低延迟的自然人机交互，是VR沉浸式体验的核心技术支撑。工作任务验收步骤1：复习模块1中有关Pico硬件的部分。步骤2：根据讲义的内容了解Pico头显手势识别的原理。知识点1：Pico硬件组成结合之前内容进行学习知识点2：方案选择结本项目中使用的是第一种

任务1交互功能开发任务描述适配岗位与职责使用XRI和PicoSDK，完成基础功能导入，利用DemoScene中的预制体完成基础交互环境搭建。对配置文件进行修改，实现手势识别和交互。制作以上内容并打包、测试。岗位：VR开发工程师职责：VR项目开发学习目标知识目标：了解什么是PDC，以及PDC在项目开发中所扮演的角色。了解手势交互的原理，了解手势数据采集和运算的过程。学会使用XRIDemoScene中的人物预制体，搭建VR交互环境。学会修改输入控制的配置文件，新增手势输入的按键映射，实现手势识别和手势交互。打包示例环境，在Pico中测试手势和手柄的交互和使用。能力目标：能够独立完成VR项目中人物交互的功能环境搭建。能够开启手势识别，修改配置文件绑定人物左右手势。连接PDC实现对以上功能的测试，能解决在使用PDC过程中出现的问题。素质目标：能熟练使用光照组件制作，使场景呈现真实效果。能够以点及面，发散思考，灵活利用各类灯光组件的特征，将其应用到典型的场景中去。保证场景光照合理，画面真实。学习重难点重点：使用PDC进行项目调试的步骤。人物获取手柄输入的方式，成功控制人物平移、转动等交互。对UI面板进行修改，实现手柄、手势两种方式和UI的交互。难点：手势识别和手势交互功能的实现。根据PDC显示的连接状态，对串流失败的原因进行故障分析，并实现串流功能。操作步骤职业知识手势交互制作调整HandsDemoScene步骤1：找到示例场景路径完成矿井火灾救援虚拟仿真场景手势交互参数导入设置后，开展各类交互手势功能，适配调优测试全面验证手势识别精度适配不同操作场景交互稳定性。复制场景，查看新场景步骤2：检查场景中指定物体的组件检查场景内是否配置有LeftHand和RightHand交互模型，确保左右手模型组件配置参数符合开发要求，并检查手势识别灵敏度与交互响应的准确定，保障实验操作体验稳定流畅。XROrigin是否添加了PXR_Manager，是否勾选了HandTracking检查对应场景手势识别配置与手部模型追踪参数设置。进入打包流程步骤1：打包设置进入BuildSettings面板设置交互模块配置，打包参数完成后，即可导出适配手势交互的实验包，导出后可在支持手势识别的设备上运行使用该实验。BuildSettings中的手势交互打包核心参数设置，需要正确配置参数，才能适配不同设备实现稳定交互，接下来具体讲解各个核心参数如何设置，保障手势交互功能正常运行。步骤2：输入KeyStore的Password设置PublishingSettings适配手势交互输出打包文件。完成手势与功能绑定后上传对应配置，随后即可完成