《物联网技术概论》课件 第7章 物联网交互技术

第七章物联网交互技术《物联网技术概论》语音交互二物联网交互技术基础一2课程提纲手势交互三虚拟现实与增强现实交互四机器人交互五本章小结六语音交互二物联网交互技术基础一3课程提纲手势交互三虚拟现实与增强现实交互四机器人交互五本章小结六一、物联网交互技术基础1.1人机交互的基本概念与发展1.2物联网环境下的人机交互技术1.3多模态交互技术的需求与挑战一、物联网交互技术基础1.1人机交互的基本概念与发展1.2物联网环境下的人机交互技术1.3多模态交互技术的需求与挑战1.1人机交互的基本概念与发展人机交互的基本定义与核心内涵人机交互的核心特征与关键构成人机交互技术的评价维度人机交互技术的发展历程与趋势一、物联网交互技术基础一、物联网交互技术基础人机交互的基本定义与核心内涵基本定义：融合计算机科学、心理学、设计学与人因工程学的交叉学科核心内涵：优化交互过程以匹配人类认知特征，全面提升交互效率、系统可用性与用户体验一、物联网交互技术基础构成要素核心定义与作用典型示例交互主体(用户)决定交互设计方向（基于生理/认知/习惯/目标）个体用户、群体用户交互媒介(接口)连接人与系统的软硬件载体，承担信息的输入/输出键盘、触摸屏、语音模块、眼动仪交互环境(语境)约束媒介的选择范围，塑造用户的期望与体验感知物理空间、任务上下文、社会文化背景人机交互的核心特征与关键构成以用户体验为导向的四大核心特征双向交互性：人与系统信息双向传递，打破单一的指令输出与接收实时响应性：操作后系统快速有效反馈，显著降低用户等待成本操作自然性：契合认知与生理特征，降低学习成本与认知负荷场景适配性：动态调整交互模式，灵活适配多样化环境与任务需求一、物联网交互技术基础经典基础现代进阶前沿延伸核心可用性指标决定交互系统的实用价值与核心质量物联网场景指标适配全域感知与多终端互联的现代场景用户体验与包容性强调主观情感体验与人文关怀有效性高效性易学性容错性用户体验度可访问性泛在性低功耗性多设备协同性人机交互技术的评价维度一、物联网交互技术基础阶段时间交互方式核心特征代表性系统/设备机械交互时代1940s–1960s打孔卡、开关、电报机效率低、专业性强、无反馈机制ENIAC、EDVAC命令行交互时代1960s–1970s命令行界面依赖文本指令，容错性差，学习成本高UNIX、PDP-1图形用户界面时代1980s–1990s图形界面可视化、直接操纵、所见即所得Macintosh、Windows自然与多模态交互时代2000年至今语音、手势、触控、眼动等自然化、多通道融合、智能感知iPhone、Android、VR/AR设备人机交互技术的评价维度的发展历程与趋势人机交互的发展历程：人机交互的三维度演进：意图理解智能化：大模型驱动，从被动响应转向主动预判用户需求交互方式自然化：多模态融合，语音视觉触觉协同降低操作门槛场景体验无缝化：跨设备协同，交互状态随场景切换平滑延续一、物联网交互技术基础1.1人机交互的基本概念与发展1.2物联网环境下的人机交互技术1.3多模态交互技术的需求与挑战1.2物联网环境下的人机交互技术物联网环境下人机交互技术的核心内涵物联网环境下人机交互技术的关键特征物联网环境下人机交互技术体系物联网环境下人机交互技术的典型应用场景一、物联网交互技术基础一、物联网交互技术基础物联网环境下人机交互技术的核心内涵从单一设备到“人–机–物–环境”的四元协同核心架构：通过传感器、边缘计算、无线通信与AI技术，实现信息的双向、实时与情境感知协同。传统交互对比物联网交互的三大突破“物”的角色蜕变：物理对象不再是被动的操作对象，而是具备感知、反馈与决策能力的交互节点“环境”的主动参与：光照、温湿度、位置、噪声等环境参数成为交互上下文的重要组成部分，驱动系统自适应调整交互边界的消融：交互不依赖固定界面，而是泛化至空间、时间与行为维度，形成无处不在、按需触发的交互体验一、物联网交互技术基础特征维度核心定义技术逻辑与目标泛在性交互不受时空限制支持语音、手势等自然方式，实现“万物互联”的本质要求。低功耗与轻量化极低资源占用适配终端微小体积与有限算力，确保交互不成为系统瓶颈。多设备协同性跨端一致性手机、智能面板、可穿戴设备间状态同步，提供连贯体验。场景感知自适应环境动态响应结合多源传感器，随环境变化（如噪音）自动调整交互策略。低侵入性无感交互体验通过行为识别等隐式感知，实现“按需响应”与操作减负。物联网环境下人机交互技术的关键特征一、物联网交互技术基础交互模态典型技术与核心应用物联网适配优势视觉交互人脸识别、二维码/RFID、手势识别非接触式：满足高卫生要求，适配移动/不便手动场景，无需额外携带终端听觉交互语音控制、声场感知交互、语音反馈远距离与并行：彻底解放双手，极大地满足移动场景与多任务处理需求触觉交互触控屏/按键、力反馈、生理信号采集贴身与隐蔽：依托可穿戴设备，干扰低，且能结合生理特征提供个性化服务环境感知位置感知、温湿度/光线状态感知、动作捕捉场景触发与无感：依托全域传感器自动响应，大幅降低主动操作负担多模态融合视觉+听觉+触觉+环境感知的综合协同互补与高可靠：弥补单一模态局限，适应复杂场景（如智能家居/工业远控）物联网环境下人机交互技术体系一、物联网交互技术基础应用领域核心交互形态与技术支撑带来的角色与范式重构🏭智能制造AR可视化+多源数据协同：设备叠加状态、手势语音远控、触觉反馈预警操作员从“执行者”升级为监督者与决策者🏙️智慧城市隐式服务+显式控制：环境感知照明、人脸导览、智能预判表单摆脱主动发起，构建“城市懂你”的无感服务范式🚗智慧交通多模态融合+V2X协同：舱内疲劳干预、车路云动态协同、MaaS平台统合打破应用壁垒，实现“一次交互、全程无忧”🏥智慧医疗连续监测+触觉感知：穿戴设备云端预警、手术机器人精准力反馈、非接触式看护具备共情能力，从“疾病治疗”转向预见性健康管理🌾智慧农业虚实融合+自主决策：AR一眼知田、无人机AI处方、牲畜穿戴设备监测农户从“体力劳动者”转型为数据分析师与指挥官物联网环境下人机交互的典型应用场景一、物联网交互技术基础1.1人机交互的基本概念与发展1.2物联网环境下的人机交互技术1.3多模态交互技术的需求与挑战1.3多模态交互技术的需求与挑战多模态交互技术的核心定义与核心特征多模态交互技术的核心需求多模态交互技术的核心挑战一、物联网交互技术基础一、物联网交互技术基础模态互补性交互自然性场景自适应性智能容错性技术内涵：利用多通道信息的冗余性与互相补偿机制突破环境限制。典型场景：在强噪声车间自动由语音切换为手势；在暗光环境由视觉识别切换为红外感知。技术内涵：系统基于环境上下文（光照、噪声、用户当前状态）进行动态评估。典型场景：具备强大的跨域泛化能力，为不同场景匹配当下最优的交互模态组合。技术内涵：支持用户以最接近人际沟通的方式下达指令。典型场景：融合自然语言、身体姿态进行操作，大幅降低认知负荷与学习成本。技术内涵：依靠多模态数据的交叉验证与上下文逻辑推理来修正偏差。典型场景：精准容忍单一通道的输入误差，自动还原并直达用户的真实意图。多模态交互技术的核心定义与关键特征多模态交互是融合视、听、触等两种及以上感知模态，构建多通道捕获解析+多通道协同呈现双向闭环的技术体系一、物联网交互技术基础自然交互人机适配全域泛在跨端流转高精融合规模生态回归本能的拟人化体验：支持“说、看、指、触”协同，告别生硬的编码指令。人机交互的核心特征与关键构成“技术适配人”的包容性：为老年群体（语音+大字）与视障/残障群体（触觉/肌电）提供模态的自由组合。零挫败感设计：以极低的学习成本和高容错机制，确保任务不因微小偏差而中断。全天候泛在响应：从静止居家、高速通勤到极端工业环境，交互能力始终在线。无缝跨端协同：打破硬件壁垒，在手机、车机、公共屏与穿戴设备间实现上下文状态无缝迁移。沉浸式“在场感”：在VR/AR与数字孪生场景中，深度融合视、听、触、温等多重感官体验。突破融合瓶颈：在特征层与决策层实现异构数据（语音/图像/触觉）的高精度语义对齐。边缘轻量化部署：克服终端算力与功耗限制，依托模型压缩与云边协同实现低延迟、低能耗的实时交互。打破协议孤岛：建立统一的模态描述规范与数据交换标准，推动技术从“样板工程”走向“规模复制”。多模态交互技术的核心需求一、物联网交互技术基础挑战维度核心痛点具体表现与技术瓶颈技术与算法层异构数据融合与理解语音、图像、触觉特征维度差异巨大，跨模态语义对齐精度不足，且在复杂干扰下鲁棒性较弱算力与实时的博弈深度模型的高计算开销与物联网边缘设备极低的功耗、延迟要求之间存在难以调和的矛盾场景与工程层泛化能力与场景成本实验室模型在真实工厂、医院等环境出现“水土不服”，跨场景应用需高昂的定制化调优成本协同标准与硬件瓶颈厂商协议孤岛导致跨设备同步困难，且高精度传感器成本过高，限制了消费级终端的体验上限安全与生态层隐私威胁与责任黑箱全息生理与行为数据的采集面临泄露风险，且AI决策的“不可解释性”导致误操作时的责任界定困难产业碎片化现状缺乏统一的技术架构、数据格式与评估标准，阻碍了行业形成规模效应，导致互操作性差多模态交互技术的核心挑战语音交互二物联网交互技术基础一22课程提纲手势交互三虚拟现实与增强现实交互四机器人交互五本章小结六二、语音交互2.1语音交互技术概述2.2基于音频信号的语音交互2.3基于视觉图像的无声语音交互2.4多模态融合语音交互二、语音交互2.1语音交互技术概述2.2基于音频信号的语音交互2.3基于视觉图像的无声语音交互2.4多模态融合语音交互2.1语音交互技术概述语音交互的基本定义与特征语音交互发展历程语音交互关键技术二、语音交互语音交互的基本定义与特征基本定义：语音交互技术概念：以人类语音为主要信息载体，实现人与计算机系统之间信息输入、处理与反馈的一类人机交互技术核心内涵：“理解”：从连续、变化且易受干扰的语音信号中准确提取有效信息“服务”：结合具体场景，把语音信息映射为可执行的控制指令或服务请求二、语音交互语音交互的基本定义与特征核心特征：自然性与直观性：允许用户以日常自然语言完成信息输入、指令下达与设备控制等操作实时性：能够在极短时间内完成语音采集、信号预处理、语音识别、语义理解等关键流程，并及时给出明确反馈环境适应性与鲁棒性：具备噪声抑制、回声消除以及声源定位与分离等关键能力场景依赖性：与具体应用场景深度绑定，结合场景特点进行针对性设计与优化二、语音交互二、语音交互语音按钮多设备协同终端化与多模态第一阶段第二阶段第三阶段第四阶段引入统计学习支持连续语音与自然指令交互语音处理向终端边缘侧下沉与视觉、触觉等方式融合形成多模态交互体系深度学习与云计算逐渐成熟，与语义理解、设备控制等深度融合支持多轮对话与跨设备联动灵活性与适应性较弱限于语义理解能力，难以实现跨场景的复杂协同以固定指令与规则匹配为主依赖人工预设具备初步的场景感知与智能服务能力从单一输入接口升级为系统感知、理解与决策的重要组成部分智能交互语音交互发展历程语音交互关键技术二、语音交互语音感知与信号获取模块：功能：采集语音信号，并转换为系统可处理的数字信号核心意义：语音感知质量直接决定了语音交互系统的性能上限语音识别与特征建模模块：功能：将连续变化的语音波形转换为离散的文本序列核心意义：为后续语义理解模块提供准确的基础输入。二、语音交互语音交互关键技术语义理解与意图解析模块：功能：判断用户的交互意图，并提取关键参数和上下文信息核心意义：语音交互由感知层向认知层过渡语音识别与特征建模模块：功能：维护交互上下文，协调多轮对话流程，并根据规则或学习策略选择合适的系统响应方式核心意义：维护交互上下文，协调多轮对话流程二、语音交互语音交互关键技术语音生成与交互反馈模块：功能：将系统生成的响应内容转换为自然语音输出，通过扬声器等设备反馈给用户核心意义：增强系统亲和力和可接受性二、语音交互2.1语音交互技术概述2.2基于音频信号的语音交互2.3基于视觉图像的无声语音交互2.4多模态融合语音交互2.2基于音频信号的语音交互音频语音交互基本定义与流程音频语音交互关键技术音频语音交互典型应用场景二、语音交互二、语音交互音频语音交互基本定义与流程定义：采集分析语音信号，理解语言内容并完成反馈处理流程：语音输入阶段：通过麦克风采集用户语音，并完成数字化表示语音转文字阶段：将连续变化的音频信号转换为文本形式文本处理阶段：完成语义分析和交互意图理解文字转语音阶段：依据文字生成语音响应音频输出阶段：将结果反馈给用户，形成完整的交互闭环二、语音交互音频语音交互关键技术语音信号的采集与数字化表示：语音采集：麦克风采集空气中的声波，采集到的模拟语音信号需要经过模数转换（A/D转换），才能被数字系统识别处理模数转换：采样：对连续模拟信号在时间维度上进行离散化量化：将采样值映射为有限数字量二、语音交互语音信号预处理技术：功能：原始音频往往包含环境噪声、回声以及大量非语音成分，通过语音预处理对信号质量进行优化主要操作：背景噪声抑制：降低环境噪声干扰，提升信噪比回声消除：针对扬声器与麦克风共存的物联网设备，消除播放音频产生的回声语音增强：进一步改善语音质量，使语音特征更加突出语音端点检测：定位有效语音片段，减少无效数据处理音频语音交互关键技术二、语音交互基于音频特征的语音理解技术：音频特征提取：将复杂冗余的原始波形转换为结构化、低冗余且具有判别力的特征形式，使其更适合计算机建模学习提取方法：短时分析法：将语音信号分割为多个短时间窗口，对每个窗口分别进行信号分析，从而获得语音的局部特征音频语音交互关键技术二、语音交互智能家居车载与智能座舱工业与生产环境用户可通过语音方式完成灯光开关、空调调节、家电控制及信息查询等操作，避免频繁的触控和界面切换对语音交互的实时性和易用性要求较高，需要在家庭噪声背景下保持稳定识别能力驾驶员驾驶过程中不宜进行复杂的手动操作，语音交互可用于导航设置、媒体控制等功能，实现免手操作对语音系统在噪声、回声和远场条件下的鲁棒性提出了较高要求用于设备控制、状态查询和作业辅助等环节。操作人员可通过语音方式完成设备启停、参数查询或流程确认需与工业物联网系统深度集成，同时具备较强的抗噪声能力和指令识别准确性音频语音交互典型应用场景二、语音交互2.1语音交互技术概述2.2基于音频信号的语音交互2.3基于视觉图像的无声语音交互2.4多模态融合语音交互2.3基于视觉图像的无声语音交互视觉语音交互基本定义与流程视觉语音交互关键技术视觉语音交互典型应用场景二、语音交互二、语音交互定义：以视觉信息作为主要感知来源，主要通过分析说话者面部，尤其是唇部及相关区域，推断语音内容或交互意图视觉语音交互基本定义与流程基本原理：语音形成依赖于嘴唇、下巴及面部肌肉等发声相关器官的协同运动，即使在完全不发声或仅进行耳语的情况下，唇部形态及其时序变化仍然与语音内容保持一定对应关系二、语音交互处理流程：采集：摄像头拍摄面部图像序列。预处理：去噪、灰度化等，消除环境干扰。定位：通过面部关键点定位唇部区域，提取能反映唇部运动状态的视觉特征理解：语音内容推断模型完成对用户表达内容的识别与理解反馈：生成相应文本输出，或向用户提供直观的语音反馈视觉语音交互基本定义与流程二、语音交互视觉信息采集：采用普通RGB摄像头以25~60帧每秒（fps）的帧率连续采集面部视频序列，分辨率一般不低于256×256像素以保证唇部细节可分辨原始图像序列首先经过人脸检测与定位模块。主流检测器包括RetinaFace以及YOLO-Face系列等，这些模型能在毫秒级时间内输出人脸边界框和初步姿态估计视觉语音交互关键技术二、语音交互唇部区域建模：面部关键点检测：对每帧图像逐帧运行检测算法，精准定位面部关键点坐标，为唇部区域提取奠定基础唇部区域初步定位：从面部关键点中筛选提取唇部关键点，结合唇部形态，计算其最小外接矩形或凸包，快速框定唇部范围、排除周边干扰视觉语音交互关键技术二、语音交互唇部区域建模：唇部区域姿态对齐：应用仿射变换技术，将唇部区域对齐至标准姿态，实现正面朝向与尺度归一化，修正姿态偏差唇部区域预处理与标准化：裁剪对齐后的唇部区域，调整至固定尺寸，同时执行灰度化、直方图均衡化、去噪等预处理提升图像质量视觉语音交互关键技术二、语音交互视觉特征表示：将唇部图像序列转换为视觉特征表示传统手工特征：通过人工设计的算法提取唇部相关特征几何特征：直接计算唇部关键参数获得，包括唇部高度h、宽度w、周长、面积、开口率等静态参数，以及上唇与下唇的相对位移向量等动态参数视觉语音交互关键技术二、语音交互视觉特征表示：将唇部图像序列转换为视觉特征表示传统手工特征：通过人工设计的算法提取唇部相关特征外观特征：对唇部区域通过离散余弦变换等算法进行特征提取，实现唇部外观信息的有效表征。形状参数特征：采用主动形状模型等经典模型，将唇部轮廓参数化为少量面部动画参数主成分系数，实现唇部形状特征的简洁表示视觉语音交互关键技术二、语音交互视觉特征表示：将唇部图像序列转换为视觉特征表示深度学习自动特征：采用端到端架构或前端-后端分离架构进行视觉特征自动提取三维卷积网络：对连续多帧唇部图像进行时空卷积操作，同时捕捉唇部的空间形态特征和时间运动特征视觉语音交互关键技术二、语音交互视觉特征表示：将唇部图像序列转换为视觉特征表示深度学习自动特征：采用端到端架构或前端-后端分离架构进行视觉特征自动提取Transformer系列模型：例如VALLR采用视频Transformer对16帧面部区域图像进行编码，可直接预测音素序列，简化了特征提取与解码流程混合特征提取：

将唇部关键点轨迹作为额外输入特征，与唇部图像像素特征进行融合视觉语音交互关键技术二、语音交互医疗诊疗工业车间智慧办公空间患者身份信息、病情描述及医疗决策等敏感内容无声语音交互无需语音信号的采集传输，能够实现私密、低暴露的人机交互工业生产现场存在机械运转、设备碰撞等强背景噪声无声语音交互依赖唇部视觉信息进行指令解析，不受环境噪声影响通过视觉方式完成信息输入，用户能在安静环境下实现设备控制与信息交互提升公共空间物联网系统的友好性与场景适配能力视觉语音交互典型应用场景二、语音交互2.1语音交互技术概述2.2基于音频信号的语音交互2.3基于视觉图像的无声语音交互2.4多模态融合语音交互2.4多模态融合语音交互多模态语音交互基本定义与流程多模态语音交互关键技术多模态语音交互典型应用场景二、语音交互二、语音交互定义：综合利用语音模态，并引入视觉、文本、手势等一种或多种辅助模态，对用户的输入信息进行联合建模与协同分析从而实现对语义内容、交互意图及上下文环境的全面理解多模态语音交互基本定义与流程二、语音交互处理流程：多模态信息采集：采集来自语音、视觉及其他感知模态数据特征提取：分别提取具有判别性的模态特征跨模态对齐与融合：通过时间对齐与语义关联建模，实现不同模态信息在特征层或语义层的融合决策与反馈：融合后的多模态表示被用于语音识别、意图理解与交互决策，从而生成相应的系统响应。多模态语音交互基本定义与流程二、语音交互模态类型：语音模态：提取语音信号的音素结构、语调变化及说话人相关特征，是语音识别与语义理解的主要依据。视觉模态：由摄像头采集，包括唇部运动、面部表情、头部姿态及手势等信息。文本与上下文模态：主要来源于历史对话记录、系统运行状态或外部文本输入多模态语音交互关键技术二、语音交互多模态对齐技术：时间对齐：解决不同模态采样速率不一致的问题，例如将连续的音频帧与离散的视频帧进行同步匹配空间对齐：主要应用于视觉相关模态，通过关键点检测或区域定位，将语音内容与唇部、面部或手势区域进行对应语义对齐：建立跨模态高层语义映射，使不同模态在语义表示空间中具备一致性多模态语音交互关键技术二、语音交互多模态融合技术：早期融合：对原始数据或低级特征进行直接拼接与联合建模中间融合：先对各模态进行独立特征提取，再通过注意力机制、动态门控或跨模态映射实现表示层融合晚期融合：在各模态完成独立识别后，对输出结果进行加权、投票或规则融合深度融合与混合融合：在网络多层中引入跨模态交互，或综合多种融合策略，实现端到端的统一建模多模态语音交互关键技术二、语音交互融合层次融合时机主要优点主要缺点典型适用场景与代表模型早期融合输入/低级特征层保留原始互补信息最完整对同步/噪声敏感、训练难度大实验室干净数据、早期音视频语音识别（AVSR）模型中间融合中间表示层（主流）平衡独立性与交互、鲁棒性最强需要设计复杂注意力/门控机制大多数SOTA模型（如MMS-LLaMA、MoME、通义CoGenAV）晚期融合输出/决策层模块化强、易并行、容错能力好丢失细粒度跨模态关联基线对比、实时边缘部署、集成模型（ensemble）深度/混合融合多层或端到端最强交互能力、整体性能最高模型复杂、计算资源需求大LLM驱动统一框架（如Index-MSR、AVERFormer）多模态融合技术：多模态语音交互关键技术二、语音交互会议与远程办公可穿戴设备情感陪伴与虚拟人充分结合语音信号与视觉信息（如说话人唇形、面部动作），实现高鲁棒性的语音实时转写、精准的说话人区分以及自动化会议摘要生成融合语音、唇动视觉信息及手势动作，可实现低干扰甚至无声的人机交互方式，用户仅通过唇动和手势即可完成指令下达综合分析用户的语音语调、面部表情等多源信息能够更精准地识别用户的情感状态，进而给出贴合用户情绪的互动反馈多模态语音交互典型应用场景语音交互二物联网交互技术基础一60课程提纲手势交互三虚拟现实与增强现实交互四机器人交互五本章小结六三、手势交互3.1手势交互基础概述3.2基于视觉传感器的手势交互3.3基于穿戴式传感器的手势交互3.4基于多模态传感器的手势交互三、手势交互3.1手势交互基础概述3.2基于视觉传感器的手势交互3.3基于穿戴式传感器的手势交互3.4基于多模态传感器的手势交互3.1手势交互基础概述静/动态手势交互手势交互流程与方法手势交互应用场景三、手势交互静/动态手势交互三、手势交互静态手势定义：在某一时刻保持相对稳定的手部姿态功能：类似于传统交互中的“独立按键”，用于简单、明确、瞬时的控制（如确认、停止、选中等）聚焦手部本身特征：手指弯曲度、手掌轮廓、关节拓扑等静/动态手势交互三、手势交互动态手势定义：在静态手势基础上引入时间和空间位移特征功能：类似于“鼠标拖拽”或“滑动操作”，用于表达复杂、连续的操作意图静/动态手势交互三、手势交互动静态手势交互结合在实际交互系统中，两类手势的无缝衔接与相互配合，可以支持完成语义连贯、自然流畅的复杂交互（如抓取并移动）手势交互流程与方法三、手势交互手势交互基本流程手势交互系统并非单向的输入过程，而是一个包含“感知、计算、控制与反馈”的闭环。遵循从物理世界到数字世界，再回馈至物理世界的基本运行逻辑。手势交互流程与方法三、手势交互手势识别方法手势识别技术路线主要经历从规则驱动到数据驱动的演进，当下主流的深度学习方法在复杂场景（如背景干扰、光照变化）下的识别精度与鲁棒性最高。早期方法计算量小泛化性差抗噪性弱2000-2010期间主流泛化较好依赖人工适合固定或小规模场景当下主流端到端识别鲁棒性强依赖大量数据手势交互应用场景三、手势交互手势交互将人类自然行为转化为精准的数字指令，实现了从智能家居、空间计算、具身智能到机器人控制等场景的应用，正全面重塑人与智能设备间的交互范式。物联网环境下的手势交互提升了人机协同的灵活性，也为构建泛在、感知的自然交互环境提供了关键技术支持。华为电脑手势隔空操作家电设备VR/AR特种控制具身智能Apple

vision

pro手势操作大疆Neo

2无人机手势遥控Cyberglove手套遥操机械臂三、手势交互3.1手势交互基础概述3.2基于视觉传感器的手势交互3.3基于穿戴式传感器的手势交互3.4基于多模态传感器的手势交互3.2基于视觉传感器的手势交互基于视觉传感器的手势交互基本流程视觉传感器分类基于视觉传感器的手势交互应用三、手势交互基于视觉传感器的手势交互基本流程三、手势交互基于视觉传感器的手势交互遵循以下基本流程图像采集：传感器采集手部图像或序列。预处理：去噪、增强、目标检测与定位。特征提取：提取形状、轮廓、关键点等特征。识别判断：特征匹配分类等方法，判断手势含义。用户交互：系统执行操作，完成交互闭环。视觉传感器分类三、手势交互二维图像传感器深度视觉传感器二维RGB图像深度图像二维图像传感器：通过普通摄像头获取RGB图像，结构简单、成本低，适用于光照稳定环境。深度视觉传感器：可感知距离信息，获取三维空间数据，能准确判断手部位置，适应复杂环境。二维图像传感器与深度视觉传感器视觉传感器分类三、手势交互对比维度二维图像传感器深度视觉传感器数据维度二维平面三维空间获取信息色彩、亮度、纹理色彩、距离、深度图、点云核心技术CMOS/CCD芯片成像飞行时间、结构光、双目视觉环境适应性较弱（依赖外部光照）较强（自带红外光源）交互应用基础静态、低精度动态识别复杂动态追踪、高精度骨架提取成本与算力成本低，算力要求低成本高，需较高算力基于视觉传感器的手势交互优势：非接触性：无需佩戴设备，适用于高要求场景。信息丰富：包含形状、位置与运动信息，可识别复杂手势。自然直观：符合人类认知习惯，提供沉浸式自然体验。二维图像传感器与深度视觉传感器基于视觉传感器的手势交互应用三、手势交互硬件部署与穿戴：高速摄像机环绕，穿戴动捕服，佩戴反光点数据采集与实时解算：捕获标记点反射光，解算三维坐标虚拟映射与交互：重构全身/手部模型，驱动虚拟化身交互专业光学动作捕捉整体流程基于视觉传感器的手势交互应用三、手势交互专业级动捕影棚动作捕捉驱动虚拟化身核心优势极致数据保真：亚毫米级定位，数百赫兹采样，精准捕捉细微高速动作。真实级支撑：提供接近真实世界的高精度数据。固有缺陷空间遮挡：标记点被挡即丢失轨迹。部署门槛：设备昂贵，需专属场地与繁琐标定。便捷性差：需穿戴动捕服。专业光学动作捕捉特点三、手势交互3.1手势交互基础概述3.2基于视觉传感器的手势交互3.3基于穿戴式传感器的手势交互3.4基于多模态传感器的手势交互3.3基于穿戴式传感器的手势交互穿戴式传感器分类穿戴式传感器手势交互基本流程穿戴式传感器应用三、手势交互穿戴式传感器分类三、手势交互穿戴式传感器常佩戴在手部、手腕或手臂等位置，实时采集手部动作的生理或运动信号，并转化为手势信息驱动交互。与基于视觉的方案相比，穿戴式方案不受光照与背景等环境因素影响，更适合在复杂、动态或视线受限的场景中使用。穿戴式传感器手势交互基本流程三、手势交互穿戴式传感器手势交互存在以下基本流程通过滤波等方法原始信号进行预处理，提高后续分析的稳定性。从预处理的信号中提取时域统计量、频域特征或时序模式等。采用基于规则、模板匹配等方法识别手势并输出响应控制指令。处理方法：滤波去噪、基线稳定性调整等提取内容：时域统计量、频域特征或时序模式等识别方法：规则判定、模板匹配、机器/深度学习等传感器信号预处理特征提取手势识别与指令输出穿戴式传感器应用三、手势交互Myo手势控制臂带，能够通过表面肌电信号和惯性传感器检测前臂肌肉活动与运动，可用于手势识别或无人机等设备控制小米手环10，内置加速度计、陀螺仪等传感器，可实现简单摇摆、翻转等手势识别。并支持通过手势实现智能家居的控制NEXLOOP柔性传感器手套，集成了柔性传感技术，用于运动检测和治疗辅助，曾获得红点设计奖三、手势交互3.1手势交互基础概述3.2基于视觉传感器的手势交互3.3基于穿戴式传感器的手势交互3.4基于多模态传感器的手势交互穿戴式传感器应用三、手势交互多模态手势交互，指通过融合视觉、惯性、形变及肌电等两种及以上不同类型的感知数据，利用各自的信息互补优势，实现对手势行为更精准、鲁棒的联合识别。多模态传感器手势交互系统基本层次结构穿戴式传感器应用三、手势交互加速度、角速度等形变向量降维信号融合表面肌电向量神经网络各层次结构功能与作用语音交互二物联网交互技术基础一85课程提纲手势交互三虚拟现实与增强现实交互四机器人交互五本章小结六四、虚拟现实与增强现实交互4.1头戴式显示设备4.2虚拟现实交互方法4.3增强现实交互方法四、虚拟现实与增强现实交互4.1头戴式显示设备4.2虚拟现实交互方法4.3增强现实交互方法4.1头戴式显示设备头戴式显示设备概述头戴式显示设备类型增强现实头戴式设备设备关键技术特性核心硬件组成88四、虚拟现实与增强现实交互四、虚拟现实与增强现实交互头戴式显示设备头戴式显示设备概述头戴式显示设备（HeadMountedDisplay，HMD）是虚拟现实与增强现实系统中的核心交互终端通过在用户视野中呈现计算机生成的虚拟信息，使用户能够以沉浸式或增强式方式观察数字世界，并与虚拟对象进行交互随着物联网与空间计算技术的发展，头戴式设备已经从传统的显示终端逐渐演变为集环境感知、空间计算和人机交互于一体的智能节点，成为连接物理空间与数字空间的重要接口89头戴式显示设备头戴式显示设备类型根据虚拟信息与真实环境的融合方式，头戴式设备可分为：虚拟现实设备：构建完全虚拟的环境，通过显示屏遮挡真实世界，为用户提供沉浸式体验增强显示设备：在用户可见真实环境的基础上，将虚拟信息叠加到现实场景中，实现虚实融合90四、虚拟现实与增强现实交互虚拟现实设备完全虚拟环境增强现实设备虚实幻境融合头戴式显示设备虚拟现实头戴式设备虚拟现实头显通过封闭用户视野构建完整的虚拟世界，使用户能够在数字环境中进行沉浸式交互，根据设备形态可分为三种类型91四、虚拟现实与增强现实交互类型主要特点优点典型设备移动端头显智能手机作为显示器、处理器和传感器，头显提供透镜结构，将手机放入即可使用结构简单、价格低、使用门槛低，适合体验型应用外接式头显利用PC的CPU和GPU进行图像渲染和计算，头显内置高分辨率显示屏和追踪系统图像质量高、交互能力强、沉浸感好，适合复杂VR应用一体式头显设备内部集成处理器、显示器和传感器，可独立运行，无需连接PC或手机集成度高、便携性强、使用方便，同时具备较好的计算能力Google

CardboardHTC

VivePICO

4发展阶段系统能力主要特点典型设备信息提示型在用户视野中显示文字、图标或简单图形信息虚拟信息随用户视角变化，不具备空间锚定能力，虚拟内容以浮动信息的形式出现空间感知型具备视觉定位与空间建模能力，可识别环境中平面、墙面或设备位置虚拟对象能够放置在真实环境中，与现实建立固定空间关系，将虚拟设备附着在设备表面智能感知型在空间定位基础上加入计算机视觉与人工智能能力可以识别设备、部件或仪表信息，结合语音交互提供说明与建议，实现智能辅助与实时指导头戴式显示设备增强现实头戴式设备增强现实设备允许用户在观察真实环境的同时获取虚拟信息。随着技术发展，其能力经历了三个阶段。92四、虚拟现实与增强现实交互雷鸟X3

proMicrosoftHoloLensGoogleGlassEnterprise头戴式显示设备设备关键技术特性显示方式，头戴式设备的显示方式分为视频透视和光学透视：视频透视：通过摄像头采集现实场景并与虚拟图像合成光学透视：用户直接观察真实世界，同时叠加虚拟信息93四、虚拟现实与增强现实交互头戴式显示设备设备关键技术特性视场角：视场角是指用户佩戴头显设备时，眼睛能看到的虚拟世界空间范围的夹角（单位：度°）。视场角决定了用户可见虚拟内容的范围视场角决定了用户可见虚拟内容的范围虚拟现实设备视场角通常大于90度增强现实设备视场角普遍小于50度94四、虚拟现实与增强现实交互头戴式显示设备设备关键技术特性分辨率，刷新率与角分辨率分辨率是指显示设备能够呈现的像素数量，用于描述图像的细节表现能力刷新率是指显示屏每秒更新画面的次数，单位为Hz；沉浸式设备通常要求90Hz以上角分辨率是更接近人眼感知的关键指标，通常用每度像素数表示，VR设备的PPD通常在20左右，AR设备可达到4095四、虚拟现实与增强现实交互头戴式显示设备核心硬件组成头戴式设备通常由多个模块构成：96核心模块主要功能典型技术示意图显示模块生成并呈现虚拟图像，将计算得到的图像信号转换为用户可感知的视觉内容Micro-OLED、硅基液晶、光学波导计算单元负责图形渲染、空间计算与数据处理，实时更新用户视角并计算虚拟场景CPU、GPU传感器系统采集用户运动状态和环境信息，实现空间定位、环境理解和交互输入IMU、RGB摄像头音频与触觉模块提供多模态反馈，使用户能够感知声音方向和操作触感，增强沉浸体验扬声器、振动马达四、虚拟现实与增强现实交互四、虚拟现实与增强现实交互4.1头戴式显示设备4.2虚拟现实交互方法4.3增强现实交互方法4.2虚拟现实交互方法虚拟现实交互概念虚拟现实交互方式虚拟现实交互技术沉浸式增强技术虚拟现实应用场景98四、虚拟现实与增强现实交互虚拟现实交互方法虚拟现实交互概念虚拟现实交互方法是指用户在计算机生成的三维虚拟环境中，通过头部、手部或身体动作与虚拟对象进行操作和反馈的技术虚拟现实交互具有三个典型特征：空间性：信息存在于三维空间中，用户通过转头、移动位置或伸手接近目标完成操作99四、虚拟现实与增强现实交互自然性：系统以人体自然动作为输入，如抓取、指向或旋转物体沉浸性：画面随用户运动实时更新，产生身处虚拟场景中的体验虚拟现实交互方法虚拟现实交互方式虚拟现实交互方式根据输入媒介和用户行为模式可划分为三类：基于控制器的交互：用户通过手持控制器输入操作指令基于手势的交互：系统识别用户手部动作完成操作基于身体运动的交互：通过头部转动或身体移动完成交互100四、虚拟现实与增强现实交互虚拟现实交互方法虚拟现实交互方式基于控制器的交互是目前应用最广泛的一种方式。用户通过手持控制器向系统输入操作指令，控制器能够实时获取其在三维空间中的位置与方向，常见交互方式包括：点击与确认操作拖拽与移动对象菜单选择在虚拟现实中，常使用射线选择方式进行目标选择。系统从控制器前端发出一条虚拟射线，当射线与虚拟物体相交时完成选择101四、虚拟现实与增强现实交互虚拟现实交互方法虚拟现实交互方式基于手势的交互是系统通过摄像头或深度传感器获取用户手部图像，识别手部关键点，从而判断手部姿态和动作。常见手势包括：捏合：选择目标张开手掌：释放物体手部移动：拖拽或翻页手势交互自然直观，但识别效果易受到光照变化和手部遮挡影响102四、虚拟现实与增强现实交互虚拟现实交互方法虚拟现实交互方式基于身体运动的交互是指用户通过头部、身体或视线运动参与虚拟环境中的操作。常见方式包括：头部运动：用户转头或低头时，虚拟画面随之变化视线选择：用户注视某个目标一段时间即可完成选择空间移动：用户通过真实行走或传送方式在虚拟空间中移动103四、虚拟现实与增强现实交互虚拟现实交互方法虚拟现实交互技术虚拟现实交互的实现依赖多种关键技术，包括：空间映射：在虚拟现实系统中，用户身处真实空间，但看到的是虚拟环境。系统需要建立稳定的空间关系，使用户的动作与虚拟环境保持一致虚拟对象交互：常见方式有指向选择、手部触碰和区域选择，为提高选择准确率，系统会对目标进行高亮提示或放大显示交互延迟控制：低延迟是保证虚拟现实沉浸体验的重要因素。通常采用预测渲染、异步渲染和注视点渲染来降低动显延迟104四、虚拟现实与增强现实交互虚拟现实交互方法沉浸式增强技术沉浸感是评价虚拟现实系统的重要指标，指用户在使用过程中是否产生身处在虚拟环境中的感觉，系统通过多感官反馈增强沉浸感105四、虚拟现实与增强现实交互触觉反馈控制器振动模拟触觉，使用户感觉到已接触到物体空间音频模拟声音从不同方向传播的效果视觉一致性保证画面中的光照和遮挡关系符合日常经验虚拟现实交互方法虚拟现实应用场景虚拟现实交互在物联网环境中适合用于设备复杂、信息量大且需要直观操作的场景，在物联网环境中具有广泛应用106技能培训文旅展示工业制造用于生产系统可视化监控和设备维护。模拟真实操作环境，提高学习效率。通过三维场景复原实现沉浸式参观体验。四、虚拟现实与增强现实交互四、虚拟现实与增强现实交互4.1头戴式显示设备4.2虚拟现实交互方法4.3增强现实交互方法1074.3增强现实交互方法增强现实交互概念增强现实交互特点增强现实交互方式增强现实交互技术增强现实应用场景108四、虚拟现实与增强现实交互增强现实交互方法增强现实交互概念增强现实交互是指在真实环境中叠加虚拟信息，并允许用户与虚实融合内容进行自然交互的技术与虚拟现实通过计算机构建完整的虚拟空间不同，增强现实始终以现实世界为基础，在真实场景中增加数字信息，其关键在于理解环境并将虚拟内容放置在正确的位置在物联网系统中，增强现实可作为一种直观的信息展示与控制界面，使用户能够在真实场景中直接查看设备状态并完成操作109四、虚拟现实与增强现实交互增强现实交互方法增强现实交互特点增强现实交互需要同时考虑真实环境与虚拟内容，有以下特点：与真实环境高度耦合：增强现实系统始终运行在真实世界之上，虚拟信息需依附于现实环境存在依赖环境理解能力：设备通过摄像头持续观察场景，判断哪里是地面、墙面或物体表面，并将其作为虚拟内容的固定位置实时响应要求高：虚拟信息必须与现实场景保持同步交互上下文敏感：增强现实交互往往随着用户所处环境和面对对象的变化而改变110四、虚拟现实与增强现实交互增强现实交互方法增强现实交互方式增强现实系统需要在真实环境中完成观察、定位与交互，用户要感知现实物体并控制虚拟内容。增强现实系统通过多种输入方式获取操作信息，方式包括：触控交互手势交互视线交互语音交互多模态融合交互111四、虚拟现实与增强现实交互增强现实交互方法增强现实交互技术增强现实交互的关键不只是显示虚拟物体，而是让虚拟内容稳定地出现在现实环境中，随用户移动并保持正确位置。关键技术包括：112四、虚拟现实与增强现实交互空间对齐与注册虚拟对象准确放置在现实环境中坐标系统转换建立坐标系间对应关系，将虚拟物体放置到现实场景遮挡与融合虚拟物体与真实环境具有正确的遮挡关系、光照和阴影关系增强现实交互方法增强现实应用场景增强现实能够将数据直接显示在现实环境对应的位置，实现“所见即信息”的交互方式四、虚拟现实与增强现实交互113智慧医疗智慧城市智慧工厂将传感器数据直接叠加显示在对应设备上展示医学影像与患者位置对应显示。在真实环境中显示交通、环境或设施信息。语音交互二物联网交互技术基础一114课程提纲手势交互三虚拟现实与增强现实交互四机器人交互五本章小结六五、机器人交互5.1机器人语音识别与交互5.2机器人视觉图像感知交互5.3机器人情感与社会化交互五、机器人交互5.1机器人语音识别与交互5.2机器人视觉图像感知交互5.3机器人情感与社会化交互5.1机器人语音识别与交互五、机器人交互基本特征与系统架构关键技术技术挑战与发展趋势典型应用场景五、机器人交互基本特征与系统架构机器人交互主要在服务、巡检、陪护等机器人场景中流程为：语音输入→语义解析→任务映射→动作执行→反馈输出五、机器人交互语音合成构建“指令-执行-反馈”闭环，增强交互可信度与操作安全性。语音识别结合麦克风阵列与端点检测应对远场噪声自然语言理解将自然语言映射为结构化控制参数对话管理作为任务状态机调度中枢，协调多模态行为关键技术五、机器人交互挑战问题解决方式噪声干扰自身轮噪、电机声+环境混响影响识别麦克风阵列+多传感器融合+容错机制语义→动作映射“拧开瓶盖”等指令需转为物理可行动作语义解析+动作基元库+物理仿真验证时序同步等指令完再动太慢，提前动又怕错即时语音反馈+后台执行+支持打断重规划安全与隐私误听高危指令或泄露语音数据二次确认+权限分级+本地处理+紧急停止技术挑战与发展趋势五、机器人交互家庭服务工业巡检老年陪护用户可通过自然语言指令（如“清扫客厅沙发下面”）替代复杂的App操作，系统通过NLU解析空间关系与任务目标，结合视觉导航执行精确清扫。巡检机器人搭载语音识别模块，支持工作人员通过免提语音指令查询设备运行状态（如“报告三号风机温度”），或接收异常情况的语音告警播报。针对老年用户群体，语音识别技术降低了数字鸿沟，使陪护机器人能够通过自然语言对话提供健康咨询、用药提醒和情感陪伴。典型应用场景五、机器人交互5.1机器人语音识别与交互5.2机器人视觉图像感知交互5.3机器人情感与社会化交互5.2机器人视觉图像感知交互五、机器人交互视觉交互的基本范式关键技术技术挑战与发展趋势典型应用场景五、机器人交互视觉交互的基本范式检测层：基于计算机视觉技术（YOLO算法定位识别目标）理解层：分析目标属性、状态及场景语义,赋予数据意义交互层：基于分析结果生成动作或反馈,实现人机互动五、机器人交互关键技术人体感知与交互:通过人脸检测、表情识别、视线追踪及手势/姿态估计,理解用户身份、情绪与意图,实现自然的人机协作导航与定位矫正:基于语义SLAM构建带语义的地图,结合多传感器融合与人机协作重定位,保障动态环境中的长期定位可靠性五、机器人交互关键技术物体与场景理解:识别物体"是什么",并通过语义/实例分割解析可通行区域与交互目标三维视觉与多模态融合:利用深度相机、LiDAR等获取空间结构,并融合语音(如唇读+波束成形)、触觉(力反馈)等模态,提升感知精度与交互鲁棒性五、机器人交互挑战问题解决方式动态环境干扰真实场景中物体和背景的动态变化对视觉感知造成干扰自适应图像处理、运动一致性检测与预测性跟踪（如卡尔曼滤波）复杂场景导航失效复杂、无结构环境中，单一视觉传感器易导致导航失效融合多传感器数据，采用拓扑-度量混合地图，兼顾连通性与精度终端算力受限终端设备算力有限，难以支撑复杂视觉算法实时运行模型轻量化（剪枝、量化）、神经架构搜索及云-边-端协同计算隐私与安全风险视觉交互涉及大量敏感数据（如人脸、家居布局），存在泄露风险端侧AI数据本地化处理，结合差分隐私与联邦学习技术保护隐私技术挑战