协作机器人-感知、交互、操作与控制技术 课件 6-人-机器人交互

人-机器人交互技术人-机器人交互概述可以将人机交互简单地理解为“人如何与机器或某个复杂系统的沟通和互动过程”。Schmidtler等人认为人-机器人交互是人类和机器人之间所有交互形式的总称。人机交互实现的过程中存在三个不可忽略的关键主题：意图检测、角色分配和信息反馈。面向接触式人机交互，研究者提出人与机器人共享控制的框架，包括三个关键思想：意图检测、意图识别与行为响应。协作机器人是下一代机器人的重要发展方向，其柔顺控制技术对于实现安全稳定的协作交互至关重要。人-机器人交互接口可以将人机交互简单地理解为“人如何与机器或某个复杂系统的沟通和互动过程”。Schmidtler等人认为人-机器人交互是人类和机器人之间所有交互形式的总称。人机交互实现的过程中存在三个不可忽略的关键主题：意图检测、角色分配和信息反馈。面向接触式人机交互，研究者提出人与机器人共享控制的框架，包括三个关键思想：意图检测、意图识别与行为响应。常用人机交互设备和方式相机深度相机比普通相机多出深度维度，提供更多信息。应用：微软Kinect（人体骨骼追踪）、英特尔RealSense、LeapMotion（手势识别）。VR眼镜HTCVivePro系列：六自由度交互、高刷新率与高分辨率。应用：游戏与娱乐领域，减少眩晕感，增强沉浸感。语音交互代表技术：Siri。肌电信号通过表面肌电信号反映肌肉运动状态，通过对手臂上的表面肌电信号进行放大滤波、提取特征值和模式识别等处理后，可用于判断手部的动作意图。常用人机交互设备和方式脑电信号脑电信号解读人体运动意图。脑机接口可以帮助用户与机器人之间实现更好更自然的交互。手控器交互通过位姿指令控制机器人，分为三自由度和六自由度手控器，机械结构上有串联和并联手控器。应用：医疗手术、空间遥操作等。缺点：交互不自然，易引起疲劳。脑电信号灵活、高效，适合精细操控机器人。主要设备：穿戴式数据手套、外骨骼等。脑电接口图数据手套ForceDimension手控器人机交互方式分类根据人机交互过程中人体动作控制信息的获取方式，可分为：1.外设附着方式：即附着在人肢体上的感应设备对人体动作信息进行采集。优点：响应速度快、识别精度高。缺点：需要额外设备，增加成本，交互不够自然，不易普及，主要应用于快速响应和精确控制的工业领域。2.计算机视觉方式：通过视频捕捉设备采集人体动作信息，分析RGB图像、红外图像等数据，提取动作信息。优点：无需佩戴设备，设备要求低，轻便且易于普及。缺点：对环境和光照要求较高，处理速度可能受到限制。人机交互方式分类按自然交互的方式分类，可分为：1.体态语言交互：通过肢体语言和姿势来与机器进行互动。手势识别：通过具有符号功能的手势来进行信息交流和控制机器人。肢体动作识别：多关节协同动作，通过全身动作与机器人交互。姿态行为理解：识别整体身体姿态及行为，理解用户意图。2.语音交互：通过语音指令与机器进行交流，实现控制与反馈。应用：如智能助手（Siri、Alexa）、智能家居控制等。优点：交互自然，不需要物理接触，适合远程操作。3.其他交互方式：如眼球、意念、表情、唇读等，针对不同的应用和人群，在特殊情况下更为有效。应用：面部识别、情感识别、增强现实（AR）互动等。人-机器人协作控制被动协作控制：机器人没有自己的运动意图或期望运动轨迹，只是强调对外部交互力的响应，以顺应其伙伴，如人类伙伴的运动意图。应用：人-机器人拖动示教。例子：Ficuciello等采用被动阻抗调制策略，在KUKALWR4机器人上进行试验，机器人顺应接触力，但仍表现出负载特性。共享协作控制：机器人和人类伙伴都有各自的运动意图或目标轨迹。机器人在外部干预下平衡自身运动意图与环境顺应之间的关系。例子：Li等使用博弈论实现自然交互，Kucukyilmaz研究动态角色交换机制，Wang等提出参考轨迹自适应方法。主动协作控制：机器人主动估计、预测或学习合作伙伴的运动意图、任务分配、协作角色、动力学参数和成本函数，增强协作的灵活性和自然性。人-机器人协作控制人类意图理解行为识别：指检测和分类给定输入信息中的人类活动，从而理解人的行为。在人机协作中，行为识别帮助判断人的意图，并影响机器人的反应。早期研究：主要聚焦于简单行为（如跑步、行走）在固定背景下的识别，重点在设计运动特征和描述符。当前挑战：人机协作的特殊需求：在协作中，不同行为之间差异小且无明显时间间隔，需要识别相似度高的行为。实时处理问题：现有算法仍主要处理整段数据，无法实时处理片段数据，限制了其在人机交互中的应用。未来方向：需要开发适应动态场景的实时行为检测与识别算法。人-机器人协作控制人类意图理解基于运动预测的意图理解：通过识别人类当前的动作意图，预测未来运动，帮助机器人动态理解人的意图，完成互适应的协作任务。在动态、不确定的情境下，机器人通过预测人的运动，实现更准确的协作。知识网络与意图理解：建立层次化的知识网络，机器人利用结构化知识“读取”人的意图。手臂轨迹分析：通过神经网络建模动态运动信息，分析手臂轨迹，推理目标位置。使用Kinect数据，在3D空间建模目标位置，并通过近似EM算法进行在线学习。建立意图导向动态模型：利用贝叶斯理论推断运动生成过程，并结合意图理解，支持机器人的学习与协作。人-机器人协作控制人机交互安全性随着老龄化社会和人力资源短缺，机器人从工厂扩展到家庭和办公室等有人环境。安全性和可靠性是机器人成功融入有人环境的关键。机器人应减少人类疲劳、提高力量、速度和精度，同时提供经验和理解力。然而，机器人在非结构化环境中的自主行为可能带来安全风险，特别是物理人机交互（pHRI）中的潜在伤害。目前，机器人安全标准尚不明确，尤其在实际应用中仍需解决安全性问题。人-机器人协作控制1.安全框架拟人感知：人们期望机器人具备类似人类的品质和能力，尤其在物理交互中，机器人设计类似人类机械臂更易理解。认知与任务执行：机器人服务员侧重任务执行，而机器人同伴更注重认知交互。交互方式因人而异，机器人反应也有所不同。交互界面设计：有效的沟通依赖共同理解领域，界面设计确保机器人始终处于控制之下。pHRI安全性：关注机器人与用户的碰撞风险，评估机器人传递的能量和功率对用户的潜在伤害。人-机器人协作控制2.安全pHRI中的力学和控制问题被动安全性限制：简单添加被动顺应性覆盖物不足以解决高冲击载荷问题。大惯性机械臂难以根本解决此问题。控制策略：适当控制律和复杂的软件架构能改善安全性，尽管无法完全弥补机械设计缺陷。力/阻抗控制：可以使用外部感知设备，用于监控任务执行，降低意外风险，但依然存在系统故障和不可预测行为的威胁。运动控制的局限：当前工业机器人多为位置控制，单一运动控制无法应对非结构化环境中的交互任务。力/阻抗控制的优势：提供柔顺性，减少意外接触力，实现更自然的物理交互。机器人动态行为控制阻抗控制：广泛应用于机器人与环境的物理交互，阻抗参数描述交互力与运动之间的关系。能够调节交互点的动态行为，但仅为动态行为控制的一种方法。多点交互控制：在多点交互中，接触点的行为与其他点的状态相关，传统的阻抗模型无法完全描述，需要用更为一般的动态行为模型来描述。主动人-机器人协作人机协作在个性化制造中具有重要应用，结合人的灵活性与机器人的精度优势。为了实现更好的协作，机器人需要实时感知、分析工作场景，并主动做出决策。当前的人机协作研究主要集中在人类认知上，但缺乏对工作场景中其他元素的全面考虑，尤其是当向主动协作发展时。随着深度学习和计算机视觉技术的发展，人机协作系统正向多模态通信和上下文感知发展，从反应式机器人辅助向更智能的协同任务执行转变。主动式人机协作的目标是实现人类操作员和机器人之间的自组织、双向协作，以应对复杂的工业任务。主动人-机器人协作主动场景理解：实现人机主动协作，全面理解人机协作场景，提取环境信息并转化为决策与规划知识。三个层次的视觉理解：对象层次：识别任务相关物体。人类层次：识别人类动作、意图。环境层次：分析环境的影响因素。环境智能感知：获取场景中物体属性（如位置、状态），并筛选与任务相关的信息（例如水杯的位置，排除无关数据如背景墙壁）。视觉注意力选择性机制：模仿人类选择性注意力，聚焦与任务相关的视觉信息，滤除干扰，提升场景理解效率。通过选择性注意机制与语义分割技术，精准提取关键物体，增强任务执行成功率。主动人-机器人协作主动对象感知对象识别1）简单地将物体分类为不同的类别，如扳手、螺钉、齿轮等；使用激光扫描、KNN、SVM等方法进行物体分类。2）根据利用率或属性（如抓握位置、工具功能等）精心识别物体的功能可用性。以表示物体的交互特性，例如抓握点在哪里以及可以对物体执行什么动作。对象定位1）检测，它用对象周围的边界框表示对象位置；2）分割，基于对象的几何信息定位对象并输出像素级分割结果；3）其他，其主要依赖于先验知识或几何信息来定位对象。主动人-机器人协作主动对象感知目标姿态估计物体姿态估计是自主机器人操作的一块缺失的拼图，因为它可以以3D物体模型和感官观察之间映射的形式提供精确的物体姿态，根据主要输入或特征源将其进一步分为两类。1）2D特征：仅使用2D图像作为输入源来解决6自由度姿态估计。2）点云：尽管只使用2DRGB相机有好处，但深度信息在精确的6D姿态估计过程中仍然很重要。利用深度信息的常用方法是将深度或RGB-D图像转换为点云。主动人-机器人协作主动人员识别1.人员定位：为了实现有效的人-机器人协作，应首先定位人类在人机协作场景中的位置，以便机器人能够在不与人体碰撞的情况下主动规划其协作动作。1）人体检测：安全性是人机协作系统设计中的关键，防撞方法通过图像处理技术（如边缘检测、形状滤波）在RGB-D图像中分割并检测人体，从而计算危险指数，但此方法在非受控环境中存在局限性。2）人脸检测：人机协作利用人脸检测来检索人体位置信息，并获得识别操作员的机会。2.人类活动1）识别：机器人应该通过摄像机或其他传感器了解一个人过去和现在的状态，从而了解人类从事的活动。2）预测：一些研究人员倾向于预测人类操作员的预期行为。主动人-机器人协作主动人员识别3.人体姿势1）身体姿势：人体姿势通常被表述为从传感器数据推断出的骨骼或关节图，以支持人机协作中的细粒度机器人规划。Kinect相机和CNN模型广泛用于静态姿势估计，如PoseNet和OpenPose用于关节位置估计和人体工程学分析。过融合传感器数据和分类器（如CNN、KNN、SVM），可以识别工人的站立姿势。2）手势识别：早期方法依赖手工特征（如HOG、Hu矩）和分类器（如随机森林、SVM）进行手势分类，用于机器人控制和遥操作。近年来，基于深度学习的手势识别逐渐取代传统方法，提升了鲁棒性。此外，还使用肌电图（EMG）和脑电图（EEG）等非视觉手段用于手势识别和机器人控制。主动人-机器人协作主动环境分析为了处理更复杂的任务，例如导航到看不见的地方以获取人机协作组装过程中所需的特定工具，机器人应具备更全面地感知和建模整个工作环境的技能。1.场景图：将环境的感知结果转换为拓扑图结构。2.2D地图：为了能够表示场景元素的详细几何关系，2D地图是遵循人类实践经验的自然选择，通常采用俯视图的形式。3.3D表示：精细的3D信息（如点云和体素图）被用来表示环境，支持更复杂的操作并避免碰撞。主动人-机器人协作主动视觉推理对物体、人和环境的感知可以提供对人机协作工作场景的整体理解。为了弥合场景理解和主动决策之间的差距，机器人在与人类操作员协作时需要一种推理机制。视觉推理是指通过对人机协作场景的视觉观察，对视觉线索的潜在含义或未来机器人动作的指示进行推理。1.视觉提示基于视觉线索的推理是协作机器人更高层次认知智能的基本要求。早期工作包括使用贝叶斯决策方法推理装配零件检测的传感模式和利用卷积变分自编码（ConvVAE）与LSTM模型进行目标图像推理，帮助机器人自动选择零件。2.视觉和语言提示结合视觉和语言线索进行推理能提供更准确的信息。早期工作通过数学模型和知识库模型结合视觉和语言信息，增强推理能力，例如集成对象定位、人类活动识别与语音识别进行推理。挑战和未来方向1.基于功能可用性的智能物体认知机器人应具备智能的认知能力，不仅识别物体类别，还能理解与后续动作相关的物体固有价值。在复杂的人机协作任务中，机器人可能面对未知对象，但依然需要根据已识别对象的功能进行拆卸规划。2