机器人感知与智能 课件汇 第2-12章 视觉感知技术-大模型技术及其应用

机器人感知与智能第二章视觉感知技术概述

OUTLINE机器人视觉感知技术以相机为核心传感器，模拟人类视觉，通过图像获取与算法处理实现对环境的识别、跟踪与理解。视觉感知依托于彩色与深度图像两大感知体系，能够捕捉颜色、纹理、形状等丰富特征，为复杂场景下的决策提供直观支持。本章重点阐述了彩色及针孔相机成像原理、相机标定、深度相机技术，并结合零件质检与车道线检测实验，展示了该技术从理论模型到工业实践的完整闭环。01彩色相机原理目录

CATALOGUE02深度相机原理03应用举例04实验01彩色相机原理CCD彩色成像原理1.CCD的成像基础与光电转换机制数字图像的产生始于物体表面反射的光线。当光线穿过镜头光圈照射在CCD（电荷耦合器件）芯片上时，感应元件会根据光线强度产生相应大小的电流。曝光完成后，这些电荷被读出并由内部微处理器进行初步处理和存储，最终将物理光信号转化为数字图像信号。2.CCD感知颜色的局限性与技术瓶颈虽然CCD能高效地将光子转换为电子，但由于它仅能响应光强，无法将光子的波长（即颜色信息）转换为电信号，因此原生CCD只能记录灰度信息。为了获取彩色图像，必须在光线到达感应元件前进行物理分光，或在芯片表面引入特殊的色彩过滤机制。3.彩色图像实现的两种主流方案对比实现彩色成像主要有两种途径：一是采用“分光棱镜+三CCD”方案，将光线分解为红、绿、蓝三基色并由三个芯片分别感光，该方案精度极高但结构复杂且昂贵；二是采用“拜尔滤镜”方案，通过在单个CCD表面覆盖彩色马赛克滤镜并配合算法解析颜色。由于拜尔滤镜方案显著降低了硬件成本，它已成为现代彩色数码相机最广泛应用的技术。CMOS彩色成像原理

BayerCFA双线性插值CMOS彩色成像原理

BayerCFA双线性插值针孔相机模型

针孔相机模型

针孔相机模型

针孔相机模型

张正友相机标定张正友标定法属于传统相机标定法，操作简单、精度较高，可以满足大部分场合。该标定法是利用棋盘格标定板进行标定，并将世界坐标系固定在棋盘格上。该棋盘格的每个格子大小都是已知的，即棋盘格每一个角点在世界坐标系下的坐标都可以计算得到。当相机拍摄标定板的图像时，通过相应的图像检测算法，可以获得每一个角点在像素坐标系下的坐标，进而通过计算获得相机的内外参矩阵和畸变参数。

张正友相机标定

张正友相机标定

张正友相机标定

张正友相机标定颜色空间在图像处理中使用较多的是HSV（色调Hue，饱和度Saturation，明度Value）颜色空间。它比RGB更接近人们对彩色的感知经验，非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。在HSV颜色空间下，比RGB更容易跟踪某种颜色的物体，常用于分割指定颜色的物体。用下面这个圆柱体来表示HSV颜色空间，圆柱体的横截面可以看做是一个极坐标系，H用极坐标的极角表示，S用极坐标的极轴长度表示，V用圆柱中轴的高度表示。02深度相机原理结构光深度相机结构光技术通过预先设计的特殊图案（如离散光斑、条纹光、编码图案等）投射到三维物体表面，再由另一台相机观察图案在物体表面的变形情况。通过分析这些变形，可以获取物体表面的三维形状信息。当结构光投射到平面物体上时，接收到的图案基本保持原状，仅会因距离变化产生缩放效果；而当物体表面存在凹凸或曲面时，图案会发生不同程度的扭曲。系统根据已知投影图案与实际变形图案之间的差异，计算出物体各点的深度信息。其主要硬件包括红外发射模组和红外接收模组。发射端主动向目标投射人眼不可见的红外结构光，接收端采集物体反射回来的红外信号，并将数据传输至计算单元，最终依据三角测量原理生成深度数据。结构光深度相机

结构光深度相机

TOF相机TOF深度相机是给目标发射连续的光脉冲，经过目标反射，通过传感器接收反射的光，记录飞行的时间，计算出到目标的距离。因其主动发射脉冲光，也属于主动测量方式。TOF相机测距原理：照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关可以把电流导入不同的可以储存电荷的电容里。因为单个光脉冲的持续时间非常短，此过程会重复几千次。TOF相机

03应用举例自动化生产线的实时监测与预警表面缺陷检测与实时反馈通过高速相机与运动跟踪算法，系统能实时监测零件的移动路径、位置和速度，防止生产堆叠或堵塞。同时，结合对温度、压力等环境参数的综合分析，视觉系统能够预警设备故障，在保障生产效率的同时降低运营成本，实现工厂的智能化管理。利用高分辨率相机捕获图像，并通过特征提取算法定位划痕、凹坑及锈迹等微小缺陷。一旦识别异常，实时反馈机制会立即向生产线发出信号，确保缺陷件在进入下一道工序前得到处理，从而有效降低次品率并维持生产连续性。应用举例：零件质检尺寸精密测量与三维重建算法通过提取零件的边缘、线条等特征点，精确计算其距离与角度，以判定实际尺寸是否符合设计规格。对于结构复杂的零件，视觉系统还可从多角度拍摄并进行三维重建，这种非接触式的测量方式显著提升了产品的质量可靠性。装配完整性检测与模式匹配针对复杂的组装工序，视觉感知技术用于检测零件的装配完整性。系统利用图像处理算法识别特定结构，并将其与标准的装配模式进行匹配。若检测到漏装或错装现象，系统会迅速预警，确保每一个下线产品都符合工艺一致性。04实验感谢您的观看与收听机器人感知与智能第三章激光雷达感知技术概述

OUTLINE激光雷达（LiDAR）是一种利用激光进行探测与测距的传感器，能够精确获取目标的距离、位置和三维空间信息，广泛应用于自动驾驶、机器人、无人机和测绘等领域。其基本原理是向目标发射激光束，并接收反射回波，通过测量激光往返传播时间计算距离，再结合扫描获得环境的三维点云信息。激光雷达具有测量精度高、分辨率高、抗电磁干扰能力强和信息丰富等优点，但也容易受到雨雾尘等环境因素影响，对颜色和文字信息识别能力较弱，且成本较高。按照测距方法不同，激光雷达主要可分为时间差测距、相位测距、调频连续波和三角测距四类。01激光雷达原理目录

CATALOGUE02应用举例03实验01激光雷达原理时间差测距原理(ToF)

时间差测距激光雷达工作原理时间差测距原理(ToF)

时间差测距激光雷达工作原理相位测距技术原理

相位测距激光雷达工作原理调频连续波测距技术调频连续波激光雷达测距原理图

调频连续波测距技术

调频连续波激光雷达测距原理图三角测距法工作原理激光三角法斜射式示意图激光三角法直射式示意图三角测距激光雷达的基本原理是通过激光发射器释放一束激光，该激光在一定的入射角度下照射到物体表面，发生反射和散射。通过透镜在另一角度将反射激光聚焦成像，线性感光耦合组件接收反射光。光斑的移动位移与被测物体的运动距离成比例。通过算法计算光斑的位移，即可得到被测物体与基线的距离。三角形法则用于计算被测物体的距离，由于入射光和反射光形成一个三角形。根据入射光束与被测物体表面法线的夹角关系，可将测距方式分为斜射式和直射式两种，其中斜射式是指激光入射光束与被测物体表面法线夹角小于90°的方式，直射式是激光光束垂直入射到被测物体表面的一种情况，即入射光线与被测物体表面法线共线。如图所示。三角测距法工作原理

激光三角法斜射式示意图激光三角法直射式示意图02应用举例：无人驾驶应用举例：无人驾驶应用价值典型案例：Waymo的自动驾驶技术无人驾驶汽车的技术背景Waymo通过深度学习算法来实现对环境的全方位感知，这些算法可以实时处理大量的传感器数据，从而使车辆能够安全地导航和做出决策。这种技术集成不仅允许Waymo在复杂的城市环境中导航，而且还通过持续的机器学习不断提升自身的安全记录和可靠性。激光雷达为Waymo无人驾驶汽车提供了三维的深度感知能力。它能够在各种光照和天气条件下工作，捕获高分辨率的深度信息，并覆盖车辆周围的大范围。其主要在以下任务中使用激光雷达：障碍物检测与识别、车道线和路标识别、环境地图构建‘车辆自主定位无人驾驶汽车的目标是通过自动化的方式，实现汽车的自主导航和驾驶，这一愿景将彻底改变我们对交通运输和出行的理解。为了达到这一目标，车辆必须具备高度的智能和技术，能够感知周围的环境、理解这些数据，并做出正确的决策。03实验感谢您的观看与收听机器人感知与智能第四章惯性感知技术概述

OUTLINE惯性感知技术是现代机器人实现自主导航与运动控制的核心能力，它使机器人能够实时感知自身在空间中的位置、姿态及运动状态，从而在复杂多变的环境中稳定运行并高效完成任务。相比人类依赖视觉与平衡系统，机器人主要依靠高精度传感器与算法实现惯性感知，在精度、响应速度和可靠性方面具有显著优势，广泛应用于无人机、深海探测及服务机器人等领域。本章主要介绍机器人的惯性信息及其获取方式，包括线性加速度、角速度与姿态。其中，加速度由加速度计测量，角速度由陀螺仪获取，姿态则通过多传感器融合计算得到。同时，还将介绍惯性测量单元的组成及其在机器人系统中的集成与应用。01加速度计原理目录

CATALOGUE02陀螺仪原理03惯性测量单元原理04应用举例：轮腿机器人05实验01加速度计原理压电加速度传感器

压电式加速度传感器示意图压电加速度传感器

电容式加速度传感器示意图02陀螺仪原理机械陀螺仪

机械陀螺仪示意图光学陀螺仪

光学陀螺仪示意图微机电陀螺仪

科里奥利效应示意图微机电陀螺仪

科里奥利效应示意图03惯性测量单元原理姿态初始化

IMU任务框图姿态初始化

姿态求解

姿态求解

04应用举例：轮腿机器人应用举例：轮腿机器人运动控制和步态规划姿态估计加速度计和陀螺仪的作用基于加速度计与陀螺仪融合得到的姿态信息，可实现实时反馈控制，通过调节轮速维持机器人平衡与稳定。该姿态信息同时用于步态规划，动态调整步态参数以适应复杂地形，实现自主导航与越障。通过融合加速度计的重力方向信息与陀螺仪的角速度信息，可实现轮腿机器人的姿态估计，得到俯仰角、横滚角和偏航角。该姿态信息用于实时平衡控制与运动调节，并为后续运动控制与步态规划提供基础。加速度计用于测量机器人在各轴上的线性加速度，并通过积分获得速度与位置信息，同时可辅助估计俯仰角和横滚角。陀螺仪用于测量各轴角速度，通过积分得到姿态角变化。05实验感谢您的观看与收听机器人感知与智能第五章声学感知技术概述

OUTLINE声音，不仅是一种传播信息的媒介，也是一种连接人类与世界的纽带。声学感知技术涉及物理学的核心原理、精细的电子设备以及复杂的信号处理技术等等。本章将深入探讨机器人的声学感知技术。通过学习声学的基础原理，了解声波的基本知识、声波在物理环境中产生的反射和折射现象，理解声音是如何被捕捉并被转化为可以解析的信号。之后，本章将详细介绍声学传感器技术，探索如何通过微机电麦克风、超声波传感器和声呐等技术。其次，深入了解声学信号的采集与处理，具体分析脉冲编码调制、信号滤波和信号增强等信号处理技术。01基础声学原理目录

CATALOGUE02声学传感器技术03声学信号采集与处理04应用举例05实验01基础声学原理TITLEHERE声波

声波示意声波的波长与振幅

声波的波长与振幅声波的反射与折射

声波的反射与折射02声学传感器技术声学传感器是一种机器感知设备，通过接收和分析声波，将其转化为可用的电信号，并提取出有价值的信息。它们依赖于声波特性，如频率、振幅和相位，以探索、测量和解析周围环境。主要应用在测量距离、物体识别、导航和环境监测等方面。微机电麦克风是一种在微米级别上进行工作的麦克风，将声波转换为电信号。其具有小型、集成度高、功能丰富和低功耗的特点，被广泛应用于各种电子设备中。微机电麦克风的工作原理基于电容变化。其主要由一个固定的背板和一个与之平行的可振动的薄膜（或称为振动板）组成，振动板与背板之间形成一个微小电容。当声波撞到振动板上时，振动板会按照声波的强度和频率进行振动，从而改变振动板与背板之间的距离，进而改变电容值。这种电容的变化随着一个预设的偏置电压和相关电路变为电信号，进一步被放大、滤波后成为相应的声音信号。微机电麦克风的应用场景十分广泛，例如在智能手机中，微机电麦克风用于电话通话、音频录制，以及语音输入等方面；在智能耳戴式设备如耳机和助听器中，微机电麦克风具有环境噪声降低、语音增强等功能。总的来说，微机电麦克风小巧、低功耗和高信噪比的优势尤其适用于智能手机这类便携式设备。声学传感器技术超声波传感器是一种能够检测物体距离的设备，主要通过发出超声波并测量其反射波的时间来评估物体距离。超声波是频率高于人耳可以听到的声音（一般在20kHz以上）。超声波传感器主要由超声发射器和接收器（有些设备两者合而为一）组成，其工作流程可以概括为发射-反射-接收。在发射阶段，传感器首先发射一组超声波（这些波的频率通常超过人能听到的范围，以免产生噪音污染）。在反射阶段，这些超声波在遇到障碍物时会被反弹回来。在接收阶段，由传感器接收这些反射的超声波。超声波传感器在许多领域都有广泛应用，尤其在机器人技术中。例如，超声波传感器在机器人导航中扮演至关重要的角色。机器人通过使用超声波传感器检测周围的物体和障碍物以规划其路径。当机器人在环境中移动并需要避免碰撞时，超声波传感器可以提供关于物体距离和位置的关键信息。除了在机器人中用于规划和避障，超声波传感器也可用于对环境进行更广泛的感知，比如测量液体深度、停车协助、工业测距等。声学传感器技术声呐技术是一种通过声波在水中传播来进行探测和测量的技术[1]。它基于声波在水中传播的特性来实现的。声波在水中的传播速度受到温度、盐度和压力的影响。一般来说，在标准条件下，声速约为1500米每秒。根据声波在水中的传播规律，声呐系统可以计算出声波的传播时间、强度和相位，从而推算出目标的距离、速度和方位。声呐系统包括主动声呐和被动声呐两种。主动声呐通过发射声波并监听其回声来检测和定位对象；被动声呐则主要监听和分析环境中的声音，用于识别与定位。声呐的应用场景非常广泛，主要集中于对深海探索、导航、物体探测、海洋生态学、水下机器人等等。在水下机器人应用中，以上两种声呐都有其用武之地。水下机器人通常装备主动声呐进行定向探测和环境扫描，搜索海底地形，障碍物，或可能的目标。由于水中阻尼较小，声音可以传播很远，这使得声呐成为水下机器人理想的感知装置。声学传感器技术03声学信号采集与处理模拟信号是指随时间连续变化的物理量，数字信号则是离散变化的物理量，而计算机中的数据都是以数字方式存储的。声音是一种模拟信号，因此如果想要用于计算机，就必须将其转化为数字信号。这样，就可以在用户需要播放的时候，再将储存的数字信号转化为模拟信号。通常使用脉冲编码调制（PulseCodeModulation，PCM）方法进行声音模拟信号的数字化。该方法是最常用、最简单的波形编码方式。PCM方法的具体过程主要包括采样、量化、编码三个部分。采样是把时间上连续的模拟信号在时间轴上离散化的过程。这里有采样频率和采样周期的概念：采样周期即相邻两个采样点的时间间隔，采样频率是采样周期的倒数，理论上来说采样频率越高，声音的还原度就越高，声音就越真实。而根据奈奎斯特-香农采样定理，只有采样频率高于原始模拟信号中最高频率的两倍时，才能把数字信号表示的模拟信号准确还原回去。因此为了不失真，采样频率需要大于声音最高频率的两倍。声学信号采集与处理如图所示，原本连续的声波信号在时序上被等间隔的采样，变成一个长度为11的离散序列：量化的主要工作就是将幅度上连续取值的每一个样本转换为离散值表示。其量化过后的样本是用一系列离散的数字值表示的。量化中有精度的概念，是指的是每个样本占的二进制位数，反之二进制的位数反映了度量声音波形幅度的精度。精度越大，声音的质量就越好。如图所示，实数型的离散序列值通过四舍五入，成为整数型的离散序列“[6,8,10,6,4,10,16,14,10,12,14]”。编码是整个声音数字化的最后一步，将量化后的数字信号转化为可存储或传输的二进制形式以减少需要储存的数据量。例如，若使用八位二进制表示上述序列，该声音信号将最终成为计算机可存储、处理的编码“[0000011000001000000010100000011000000100000010100001000000001110000010100000110000001110]”声学信号采集与处理声音信号的量化当声波在自然界中传播时，不可避免地存在大量的干扰，也称为噪声。噪声的存在给声音信号引入无用成分，减少信号中的有用成分。为了降低噪声对声音信号的影响，需要使用频率滤波对声音信号进行处理。频率滤波是通过增加或减少特定频率范围内的声音能量来改变声音的频谱特性。常见的频率滤波器包括低通滤波器、高通滤波器、带通滤波器和带阻滤波器。如图所示，浅色锯齿状的信号为包含噪声的信号，已经很难看出原始的声波波形。深色的信号为经过低通滤波器后的声音信号，正弦波形被非常完美的还原。声学信号采集与处理滤波器的应用

声学信号采集与处理

声学信号采集与处理声音信号增强是指采用一系列技术和方法来改善音频信号的质量，使其更清晰、更自然。声音信号增强主要解决三个问题，分别是声音降噪、声音分离和声音解混响（可能包含回声消除）问题。根据接收信号的通道个数不同又分为单通道和多通道等不同情况。在声音降噪中一种比较常用的方法是谱减法[3]，谱减法是一种发展较早且应用较为成熟的声音降噪算法，该算法利用加性噪声与声音不相关的特点，在假设噪声是统计平稳的前提下（即在给定的时间范围内，噪声信号的均值和方差基本保持不变），用无声音间隙测算到的噪声频谱估计值取代有声音期间噪声的频谱，之后用含噪声音频谱与估计得到的噪声频谱相减，从而获得无噪声音频谱的估计值。谱减法具有算法简单、运算量小的特点，便于实现快速信号处理，且往往能够获得较高的输出信噪比，所以被广泛采用。声学信号采集与处理

声学信号采集与处理

声学信号采集与处理声音分离算法用于将混合声音信号中的不同声音源分离出来，使得每个声音源都能够被单独分析和处理。一种比较常用的声音分离方法是基于波束成形的算法：该算法通过控制麦克风阵列的接收信号，实现声音信号的定向采集和增强，从而将不同声音源分离出来。通过使用波束成形技术，可以将不同声音源的信号进行空间滤波，从而实现声音的分离。声音解混响算法用于消除声音信号中的混响，从而提高声音的清晰度。其中比较常用的方法是基于统计的方法：该方法利用声音信号的统计特性，通过建立一个模型来估计混响信号并进行去除。常见的基于统计的方法包括最小均方误差（MeanSquareError，MSE）估计器和最大信噪比（Signal-to-NoiseRatio，SNR）估计器等。声学信号采集与处理04应用举例情感识别语音识别情感分析技术的原理在于分析声音特征、语速、音调和语音情感模型。这种技术使用机器学习模型来识别和分类人类的情感状态，如愉快、沮丧或愤怒。居家服务机器人可通过情感识别技术分析用户的情感状态，以提供更具亲和力和人性化的互动。语音识别技术的原理在于将声音信号转化为文本数据。首先，声音信号被分析成频谱图，然后模型根据已知的语音样本来识别声音特征并转录文本。这使得居家服务机器人能够及时识别出使用者的有效指令，并在此基础上进行进一步的指令理解与执行。应用举例指令理解指令理解需要深度自然语言处理技术的支持，这一技术领域涉及到自然语言处理、语法分析、语义分析和对话管理等多个方面。语音指令首先被转录成文本，然后机器学习算法和自然语言处理模型被用来理解文本中的意义和执行任务。通过指令理解，居家服务机器人可以解读用户的指令并执行各种任务。05实验感谢您的观看与收听机器人感知与智能第六章力学感知技术概述

OUTLINE力学感知技术广泛应用于机器人技术和航天航空工业等领域，其主要目的是为了能够准确地测量和感知物体所受的力。本章将详细介绍力的获取方式和信号转换原理。首先，探讨如何通过物理测量来获取力的信息，包括使用的设备和技术，以及如何根据这些信息来计算物体所受的力。其次，讲解信号转换的原理，即如何将物理测量转换为可以被电子设备读取和处理的电信号。01力的获取方式目录

CATALOGUE02信号转换原理03噪声的处理04应用举例01力的获取方式直接获取是一种常见的方式，它通过在机器人的关键部位安装力传感器，直接测量力的大小。这些传感器可以安装在机器人的末端执行器、机械臂关节或其他重要部位，以感知机器人与外部环境的力交互。例如，应变片传感器、压电传感器和力敏电阻传感器等，都是常用的直接获取力的传感器。应变片传感器利用应变片材料的电阻值随外部施加的力而产生变化的原理进行测量，具有高灵敏度和线性度。压电传感器则利用压电材料的特性，在压力作用下产生电荷信号。它们广泛应用于机器人末端工具的力控制和物体抓取操作，以及对精确力测量要求不高的场景。而力敏电阻传感器的电阻值会随外部施加的力而发生变化，通常用于对粗略力信号的测量，例如机器人碰撞检测和物体触碰检测[1][2]。直接获取间接获取，是利用机器人的运动特性和动力学模型等信息，通过分析机器人运动过程中的力学特征来推断力的大小。间接获取力不需要额外的传感器，只需利用机器人自身的运动数据和动力学模型即可实现力的估计。一种常见的间接获取力的方法是基于力矩的方式。通过分析机器人关节力矩与位置的关系，并结合机器人的动力学模型和控制算法，可以估计末端执行器所受力的大小。另一种间接获取力的方法是基于位移和刚度。该方法利用机器人末端的位移数据和工具的刚度来推断外部力的大小。通过分析末端执行器的位移变化以及工具的刚度参数，可以推断出作用在工具上的力[3][4]。此外，基于接触力感知的方法也是一种间接获取力的方式。对于机器人的末端执行器来说，接触力感知是获取力信息的重要来源。通过检测接触物体的变形或变化，可以推断机器人所受到的力。然而，间接获取力的精确性和准确性取决于机器人的动力学模型和观测数据的质量。间接获取02信号转换原理在工程和科研领域中，力和力矩等力学信号的精确检测和转换至关重要。这些信号是物体在外力作用下的物理响应，表现为力和力矩等物理量，但它们通常无法被计算机系统直接识别。因此，它们必须通过传感器来检测并转换。力传感器的基本工作原理是利用传感元件（如力敏电阻器）对施加的力进行感应。这些元件在受力时会发生物理变化（如变形），该变化进而转换为模拟电信号[5]。这些模拟信号之后通过信号处理系统被进一步处理，转换成数字信号，以便计算机系统能够进行准确的力测量和监测。不同类型的力传感器，无论是基于应变片、压电材料、电容变化还是其他机制，都遵循这一基本原则，但在传感膜的材料、电极的设计和信号处理的具体技术上各有差异。力学信号的本质在力传感器的材料选择方面，常见的材料包括金属、陶瓷和聚合物。金属材料：金属材料的力传感器通常具有较高的刚度和耐久性，适用于一些需要高频响应和长期使用的场景。常见的金属材料有钢、铝和合金等。陶瓷材料：陶瓷材料的力传感器具有优异的耐温性能和高线性度，适用于一些高温环境下的应用。陶瓷材料常用的有氧化铝和氮化硅等。聚合物材料：聚合物材料的力传感器相对较轻、成本较低，并且可以提供较大的测量范围。聚合物材料的常见选择有聚酰亚胺、聚四氟乙烯和聚苯乙烯等。力传感器常用材料应变片传感器应变式力传感器依据材料的应变效应工作，特别是当其内部的应变片在受到外力作用时，会发生微小的物理形变。这种形变导致应变片的电阻值按照一定的比例变化，这一变化通过精密的电路测量转化为电信号输出。为了确保这些信号能够被准确读取，通常会通过专门的放大和滤波电路进行处理，然后这些模拟信号经过模数转换器（Analog-to-DigitalConverter，ADC）转换为数字信号，并通过数据接口输出到计算机或其他智能设备进行深入分析和处理。在实际应用中，应变片通常由高弹性模量的材料制成，并精确地固定在力的作用点上。当受力物体形变时，应变片产生微小的几何尺寸变化，导致其电阻值随之变化。这种电阻变化通过惠斯通电桥这样的精密电路来测量，并转换成一个与力变化成正比的电压信号。进一步的信号处理，包括放大、滤波和可能的温度补偿，确保输出信号的稳定性和准确性。应变片传感器应变片传感器

应变片传感器

压电传感器电容式传感器

电容式传感器电容式传感器

电容式传感器磁电式传感器

霍尔效应原理图磁电式传感器

霍尔效应原理图在将力转换为电信号后，通常所获得的原始电信号较微弱，不足以直接进行后续的数据处理。因此，信号需要经过放大器来提高其电平。然而，放大过程可能引入不希望的变化，比如温度变化引起的漂移或传感器的非线性响应。为了解决这些问题，需要对信号进行进一步的调理，包括滤波去除高频噪声，线性化处理以纠正传感器的非线性特性，温度补偿以校正温度变化的影响，以及最后的数字化步骤，将模拟信号转换为数字信号，方便计算机处理和分析。这些步骤共同确保了信号的质量和可用性，为最终的力量测量提供了准确的数据基础。信号的放大和调理03噪声的处理在力学信号转换与处理的过程中，噪声的存在不仅普遍而且在很大程度上不可避免。噪声可能来源于多种内部和外部因素，对数据的准确性和信号质量构成潜在的威胁。为了深入理解和有效应对这些噪声，本节将详细区分和识别噪声的各种类型，并对其来源进行全面分析。外部噪声：主要由传感器电路外部的干扰源产生，包括但不限于电磁干扰、温度波动和声学振动。1、电磁干扰：这种干扰是由外部电磁辐射源（如马达、变压器和其他电子设备）产生的电子噪音。这些干扰可以通过电缆传导，降低信号的完整性和可读性。2、温度波动：温度波动可能源自设备自身工作产生的热量或环境温度的变化。这些波动会影响传感器电路中的元器件参数，进而影响电路的正常运作。3、声学振动：环境中的声音振动能够通过物理介质影响传感器，可能导致信号的偏差或噪声。噪声的来源分析内部噪声：主要源自传感器件和电路元件。1、热噪声：导体中的电子由于热能而进行无规则运动，产生的高频热噪声随温度升高而增强。这种无规则电子运动在导体内部形成微小的电流波动，且温度变化可加剧这种波动。尤其当电子元件与放大电路相连时，这些波动可能被放大，成为显著的噪声源。2、散粒噪声：这是一种实验观测中的读出噪声。在电路中的电子或光学仪器中的光子数量较少时，这些粒子可能产生可观测到的统计涨落，形成散粒噪声。3、1/f噪声：又称为闪烁噪声，这种噪声在传感器内部较为常见，尽管其具体产生机理仍存在一定争议。普遍认为，它是一种源于晶体内部的体噪声，而非表面效应，可能与晶格散射相关。在晶体管的P-N结附近，电子与空穴的不规则再复合过程产生噪声，其功率分布与频率成反比，因此得名1/f噪声。噪声的来源分析噪声处理在信号分析中非常重要，其核心目标是提高信噪比（SNR），让信号尽可能真实地反映实际物理量，减少噪声干扰。1、滤波器的作用滤波器通过允许特定频率范围的信号通过，同时抑制其他频率的噪声来实现降噪。不同滤波器根据目标信号的频谱特性进行设计，以获得更好的信噪比和信号质量。2、差分放大器的抗干扰作用差分放大器通过比较两路信号的差值来工作，可以有效抑制共模噪声（同时作用于两路信号的干扰），特别适合抑制电磁干扰等外部噪声，提高信号稳定性。3、软件算法降噪在信号处理后端，还可以使用算法进一步降噪，例如卡尔曼滤波。它通过结合历史数据和系统模型，对信号状态进行预测和修正，从而减少噪声影响，常用于导航、跟踪等实时动态系统。噪声处理的目的与原理噪声处理技术是信号处理中非常重要的一部分，其中最常用的方法是使用滤波器。滤波器是一种能够保留所需信号、抑制干扰信号的选频装置，主要分为模拟滤波器和数字滤波器两类。模拟滤波器直接处理模拟信号，一般由电阻、电容、电感和运算放大器等电子元件组成，通常放置在模数转换器（ADC）之前。它的主要作用是提前滤除不需要的噪声和高频干扰。模拟滤波器具有两个明显优点：1、不会产生混叠现象由于模拟滤波器在信号数字化之前工作，不涉及采样过程，因此能够避免数字信号处理中可能出现的混叠问题，从而提高信号质量。2、对计算资源需求低模拟滤波器依靠硬件电路实现信号处理，不需要复杂的软件计算和数字处理，因此实现简单、实时性较好，也不会占用额外计算资源。因此，模拟滤波器在电子测量、传感器信号处理以及通信系统中具有重要应用。噪声处理技术数字滤波器是对数字信号进行处理的滤波方法，一般位于模数转换器（ADC）之后，通过计算机程序或数字算法实现。例如均值滤波器可以通过对多个采样值求平均，来抑制信号中的尖峰噪声。数字滤波器的主要优点包括：1、可编程性强可以通过修改算法或参数灵活调整滤波效果，适应不同应用需求。2、稳定性和一致性好由于由程序控制，其性能不会受到温度、时间等外界因素影响，结果更加稳定可靠。数字滤波器主要分为FIR（有限脉冲响应）和IIR（无限脉冲响应）两类。其中FIR滤波器具有重要特点：不同频率的信号具有相同延迟，因此不会产生相位失真，在对信号完整性要求较高的场合非常常用。相比之下，FIR滤波器虽然计算量可能较大，但在保持信号波形和相位一致性方面具有明显优势，因此在许多高精度信号处理系统中被广泛使用。噪声处理技术1）静电屏蔽静电屏蔽是利用导电性能良好的金属材料（如铜、铝）制成封闭结构，并接地来防止外部电场干扰内部电路，同时减少内部电场对外界的影响。虽然很多现代仪器外壳采用ABS工程塑料，但内部通常会加一层接地金属薄膜，以实现屏蔽作用。2）低频磁屏蔽低频磁屏蔽主要用于减弱低频磁场对电路的干扰。通常采用高导磁材料作为屏蔽层，使磁场优先沿磁阻较小的材料传播，从而减少磁场进入内部电路。例如，金属外壳既能起到磁屏蔽作用，接地后还能增强静电屏蔽效果。3）电磁屏蔽电磁屏蔽主要用于抵御高频电磁干扰。它利用导电金属材料制作屏蔽罩，当高频磁场作用于金属表面时，会产生电涡流来消耗和抵消干扰能量。如果屏蔽层接地，还能同时实现静电屏蔽和电磁屏蔽。常见的屏蔽电缆就是这种原理。屏蔽和接地接地技术是电子系统中保证设备安全和提高抗干扰能力的重要措施，包括安全接地、信号接地和负载接地等方式。合理接地可以减少电容、电感和电阻耦合带来的干扰，提高电路工作的稳定性。在传感器和仪表组成的检测系统中，接地设计尤其重要。由于传感器与仪表之间距离较远，信号线较长，容易受到电磁和静电等干扰，从而影响测量精度。为减小干扰，通常采用“一点接地”原则，即整个系统只选择一个接地点。这样可以避免多点接地形成电位差，减少干扰电流对电路的影响。如果无法做到完全一点接地，可以通过加宽接地线等方法降低电位差。此外，合理的屏蔽与接地设计能够有效保护传感器性能，保证控制系统稳定运行。在实际设计中，还需要结合现场环境和相关安全规范进行综合考虑。屏蔽和接地隔离措施是一种关键的技术手段，用于切断干扰途径和耦合通道，以此达到抑制电气干扰的目的。这种措施包括变压器隔离和光电耦合器隔离等方法，它们在不同的应用领域和场合中发挥着重要作用。变压器隔离：变压器隔离通常用于处理交流信号的传输通道。它利用变压器的原理，在传输过程中对信号进行电气隔离，从而有效地防止高电压或电流冲击及电气噪声从一个电路部分传到另一部分。这种隔离方法不仅提高了信号的安全性，还能改善信号的质量。光电耦合器隔离：在数字接口电路中，光电耦合器隔离的应用日益普遍，以提高系统的抗共模干扰能力。其是一种电光电转换器件，它能够将输入的电流信号转换为光信号，然后再将光信号转换回电流信号。这种转换过程实现了输入和输出之间的电气隔离。光电耦合器的主要优点包括高绝缘电阻、高耐压（通常超过1千伏）和单向光传输的特性，这意味着输出信号不会反馈到输入端，确保了输入和输出之间的绝对电气隔离。屏蔽和接地差分信号技术是一种抗干扰能力很强的信号传输方式。与传统单端信号（1根信号线+1根地线）不同，差分信号使用两根线同时传输大小相同、方向相反的信号。接收端通过比较两根线的电压差来恢复信号，因此能够有效抵消外部噪声，提高传输稳定性和信号质量。差分放大电路设计时需要注意以下几点：走线长度一致两根差分线长度应尽量相同，保证信号同时到达接收端，避免时序偏差。两线尽量靠近差分线之间应紧密布线，增强耦合，提高抗干扰能力。保持间距恒定整条走线中，两线之间的距离应保持一致，以保证阻抗稳定，减少信号反射。不同差分对保持距离不同差分信号之间应留出足够间距，减少串扰，保证信号完整性。屏蔽和接地卡尔曼滤波卡尔曼滤波是一个高效的递归算法，用于估计动态系统的状态，即使在测量数据中含有噪声，如图所示。该算法依赖于系统噪声和观测噪声的统计特性，通过结合时间更新（预测系统下一状态）和观测更新（根据实际测量调整估计），卡尔曼滤波器能够提供对系统状态的最佳估计。最初应用于航空航天领域，卡尔曼滤波现广泛应用于多个领域，包括经济学、控制理论、机器人技术等。其多种变体，如扩展卡尔曼滤波和无迹卡尔曼滤波等，使其适用于处理非线性和非高斯问题。霍尔效应原理图小波去噪是基于小波变换的多分辨率分析的算法。它利用信号和噪声在不同频带上的小波分解系数的不同强度分布特性，通过移除每个频带上噪声相关的小波系数，保留原始信号的分解系数。随后，通过小波重构处理后的系数以恢复纯净信号。小波去噪在低信噪比环境下尤其有效，对于时变信号和突变信号的去噪效果更是明显，相比其他传统去噪方法，在信号识别率和保真度方面表现更优。这些算法在信号处理中的应用不仅提高了噪声抑制的效果，还增强了系统对复杂信号的处理能力。卡尔曼滤波和小波去噪方法通过各自独特的处理机制，有效地解决了各种噪声问题，进而提升了信号处理系统的整体性能和可靠性。小波去噪04应用举例机械臂的运动控制夹持力传感器在机械臂需要执行精确翻转或旋转操作时，扭矩传感器能够实时监测并调整旋转部件的扭矩，确保每一个动作都精确无误。在自动化装配线上，扭矩传感器的这一功能尤为重要，它可以预防因扭矩过大或不均而导致的装配质量问题，从而保障产品的整体质量。夹持力传感器为机械臂赋予极高的操作精度，使其能够精确控制夹爪的力度。这使得机械臂能够轻柔地处理轻如羽毛的电子元件，同时也能稳妥地搬运重达数十公斤的金属零件。在半导体制造或药品包装等领域，任何微小的力度误差都可能造成昂贵物品的损毁。应用举例扭矩传感器扭矩传感器在机械臂的精确操作中扮演着不可或缺的角色。它能够精确测量并控制机械臂关节或旋转部件上的扭矩，从而保障精确旋转角度和力度的控制。特别是在执行高精度的装配任务时，适当的扭矩控制对于保护机械臂的结构部件免受过度应力造成的损害至关重要。感谢您的观看与收听机器人感知与智能第七章决策技术概述

OUTLINE决策技术使机器人在无需人类干预下，能基于算法和数据自主制定最优方案。它通过评估不同决策的潜在收益（如最大化效益、最小化成本），选择最佳路径。与人类不同，机器人的决策完全基于逻辑、一致性和可重复性，这是其智能化的重要标志。该技术应用广泛，从家用扫地机器人到工业制造和物流配送机器人。本章将重点介绍四种算法：有限状态机、决策树、马尔科夫决策过程和旅行商问题，并通过物流机器人案例和实验来展示其效果。目录

CATALOGUE01决策技术原理02应用举例03实验01决策技术原理有限状态机(FSM)

有限状态机系统有限状态机(FSM)基于系统输出，有限状态机主要可以被分为两种子类：摩尔型有限状态机（MooreMachine）和米利型有限状态机（MealyMachine）。若输出只和状态有关而与输入无关，则称为摩尔型状态机；若输出不仅和状态有关而且和输入有关系，则称为米利型状态机。如图所示，分别表示摩尔型有限状态机和米利型有限状态机的系统接收0和1的数据流，并在接收到输入序列011时输出1。应用于复杂场景时，存在以下问题，（1）需要人工设计大量状态和逻辑，容易遗漏；（2）输入集合可能无法涵盖所有现实情况，扩展性差；（3）可能因缺乏有效的死锁保护，导致机器人陷入死锁状态。摩尔型有限状态机系统米利型有限状态机系统决策树算法决策树算法是一种监督学习算法，通过根据输入特征的值将数据逐步分割为子集，生成树状决策模型。模型由根结点、内部节点（特征/属性）和叶节点（类别）组成，可解释性强。常见的决策树算法按照划分依据可以分为以下三种：ID3决策树，C4.5决策树和CART决策树。ID3决策树基于信息熵和信息增益划分属性。C4.5算法则是在ID3算法的基础上进行了改进和优化，它主要使用信息增益率来进行数据划分。CART算法主要使用基尼系数进行分类和回归。决策树结构决策树算法

决策树算法该算法的伪代码如表所示。算法缺陷：（1）过拟合:容易生成过于复杂的树结构，导致在未见过的数据上表现不佳；（2）不稳定性:小的数据变动可能导致生成完全不同的树结构；（3）局部最优:贪婪算法每次选择当前最佳分裂点，可能导致最终结果陷入局部最优而非全局最优；（4）特征关联弱:无法直接有效捕捉多个特征之间的复杂关系。解决方案：（1）过拟合:采用剪枝操作，限制树的深度或节点数；（2）不稳定性:引入随机性，例如随机选择分裂特征或样本子集；（3）局部最优:构建多棵决策树（如随机森林）；（4）特征问题:进行特征工程，如特征选择、提取和变换，或对原始数据进行预处理。决策树构建伪代码马尔科夫决策过程

马尔科夫决策过程

马尔科夫决策过程初始化第一次迭代

马尔科夫决策过程初始化第一次迭代

马尔科夫决策过程第一次迭代第二次迭代

马尔科夫决策过程继续执行迭代，直到结果收敛，如图7-7所示，为迭代133次后收敛的结果。第133次迭代马尔科夫决策过程

马尔科夫决策过程策略迭代计算示例：依旧考虑与值迭代示例相同的规则设置，首先随机初始化动作，如图所示。之后与值迭代步骤相同，计算每个格子的值函数，直至收敛，如图所示，为迭代111次后收敛的结果。之后根据公式进行策略更新，更新后的策略如图所示。循环策略评估和策略更新，直至最终收敛，如图所示。策略随机初始化策略评估策略更新最终策略旅行商问题旅行商问题是著名的组合优化NP难问题。问题是：旅行商从任意城市出发，拜访n个城市各一次并最终返回，目标是找到总路径长度最短的回路。其三个基本特点是：对称性、完全性和回路性。除了基本旅行商问题外，很多类似问题也可纳入旅行商问题的范畴，并可以根据其不同的特点和约束进行分类。以下是一些常见的分类：（1）非对称旅行商问题、（2）多旅行商问题、（3）车辆路径问题、（4）时间相关旅行商问题、（5）多目标旅行商问题。目前，求解旅行商问题的方法主要分为两类：传统方法和启发式方法。传统方法包括

线性规划（切割平面法）和分支边界算法。启发式方法:例如r-opt算法（如2-opt,3-opt）、蚁群算法、遗传算法、粒子群算法等。启发式算法可在较短时间内得到次优解。基本旅行商问题02应用举例：物流机器人配送方案应用举例：物流机器人配送方案配送路线优化仓库布局优化物流机器人的配送效率很大程度上取决于其选择的路线，因此需要使用合适的决策算法计算得到一条经过所有配送位置的配送路线，从而提高配送效率，降低物流成本。仓库布局对于物流企业的运营效率有很大的影响，因此需要进行布局优化。算法优化可以通过对仓库内部物品的存储位置进行优化，来达到最优的仓库布局。智能调度系统物流机器人装载优化物流企业需要进行运输调度，根据不同的订单和货物情况来确定物流机器人和人员的调度方案。算法优化可以用于智能调度系统中，通过对运输需求进行预测和规划，来实现最优的运输调度方案。物流机器人的装载问题也是物流行业中的一个重要问题，它关系到物流机器人的容量利用率和运输效率。通过算法优化可以确定最优的货物装载方案，使得机器人容量得到充分利用，从而减少运输次数和成本。03实验感谢您的观看与收听机器人感知与智能第八章路径规划技术概述

OUTLINE路径规划是自动化系统和机器人技术中的核心内容，也是机器人应对复杂环境和任务的基本能力。该技术主要解决的是机器人从一个地点移动到另一个地点的问题。具体来说，路径规划技术可以分为全局路径规划和局部路径规划。路径规划技术在机器人导航、无人驾驶、物流运输等许多领域中都起着至关重要的作用。该技术是机器人能够自主运动并完成给定任务的关键。研究路径规划算法可以使机器人更好地按照人们的需求安全、高效地移动和运行。本章主要介绍的路径规划算法有：基于图搜索和基于采样的算法，还给出了路径规划算法在机器人导航中的实际应用及其具体实现过程。01基于搜索的路径规划算法目录

CATALOGUE02基于采样的路径规划算法04实验03应用举例01基于搜索的路径规划算法A*算法

A*算法伪代码A*算法

A*算法搜索过程D*算法

D*算法伪代码D*算法

D*算法在初始地图中进行搜索D*算法在发现新障碍物后进行重规划人工势场法

人工势场法

人工势场算法举例人工势场法

人工势场算法陷入局部最小值02基于采样的路径规划算法RRT算法

RRT算法伪代码RRT算法

RRT算法基本原理RRT算法中搜索树扩展的不同阶段：(a)500个节点；(b)1000个节点；(c)搜索完毕；(d)显示搜索到的最终路径。RRT*算法

RRT*算法伪代码RRT*算法与RRT不同的是，RRT*提供的解随样本节点数量的增加而接近最优解；与RRT一样的是，RRT*算法也是概率完备的。图中展示了RRT与RRT*的对比。RRT*算法基本原理RRT与RRT*对比。(a)5000个节点后由RRT算法生成的树；(b)5000个节点后由RRT*算法生成的树。起始点为图中左下角黑色圆圈，目标集为图中右上角灰色圆圈。03应用举例：机器人导航应用举例：机器人导航路径生成环境建模路径生成是路径规划中的关键步骤，它需要在环境模型的基础上找到一条从起点到终点的路径。A*算法通过启发式方法高效寻找最短路径，适用于静态环境。而RRT系列算法则通过随机树的方式探索空间，适合处理动态环境和复杂约束下的路径规划问题。环境建模是路径规划的第一步，它涉及到对机器人所处环境的理解和表示。机器人通过搭载的传感器，收集周围环境的数据。这些数据通过处理后转换为地图，地图不仅记录了障碍物的位置，还包含了地形、纹理等信息，为路径规划提供了基础。动态规划避障处理在动态和不确定的环境中，路径规划需要能够应对环境的变化和不确定性。动态规划算法能够在运行时对路径进行调整，以适应环境的变化。例如，机器人在机场导航时，动态规划算法可以根据实时情况调整路径，确保机器人能够安全高效地到达目的地。避障处理则是在路径规划的基础上进一步确保机器人在移动过程中能够实时识别并规避障碍物。机器人利用传感器数据，如激光雷达或视觉信息，实时更新环境模型，并对即将到来的障碍物做出反应。常见的避障算法包括人工势场法、动态窗口方法等。感谢您的观看与收听机器人感知与智能第九章任务规划技术概述

OUTLINE任务规划是机器人技术的核心能力，决定了机器人在复杂环境中的行动效率与安全性。它不仅要为机器人安排合理的任务执行顺序，还需统筹资源分配、时间管理与环境约束，在工业和服务机器人领域尤为关键。例如，“去厨房拿一杯水”这类任务，机器人需理解路径、动作与物体含义，并具备多步骤、带限制条件的规划能力。本章将介绍任务规划的核心要素及其建模与求解方法，重点讲解规划领域定义语言及相关算法，并通过机器人自动化装配与双臂搬运实验，展示其实际应用效果。01任务规划技术原理目录

CATALOGUE02应用举例：机器人自动化装配03实验01任务规划技术原理任务规划技术原理机器人任务规划是指通过制定一系列动作，使机器人从初始状态高效、安全地到达目标状态。例如，“将苹果从桌子𝐴移动到桌子𝐵”这一任务，机器人需要依次完成移动、抓取和放置等步骤。虽然任务看似简单，但其背后涉及精确的动作决策与执行。

在更复杂的场景中，机器人还需要面对多目标、动态障碍物以及复杂环境交互等问题，此时仅依靠直观判断难以获得最优方案，需要借助启发式搜索、图规划和基于模型的规划等方法，对庞大的状态空间和不确定因素进行处理。

因此，机器人任务规划不仅是机器人完成任务的核心技术，也是实现智能决策的重要基础。本节将从任务规划的基本组件、建模方法以及常用算法三个方面进行介绍。将苹果从桌子A移动到桌子B任务规划的基本组件目标动作状态目标是任务规划需要达到的最终条件，要求明确且可实现。目标决定了规划方向，并影响动作选择与规划策略。动作是机器人执行状态转换的操作，由前提条件和执行效果组成。通过精确定义动作，机器人能够从当前状态逐步转移到目标状态。状态是对规划环境的完整描述，包含机器人和环境中的所有关键信息，并且每个状态都对应环境的一种唯一配置。所有可能状态构成状态空间，任务规划的本质是在状态空间中寻找从初始状态到目标状态的路径。计划计划是为实现目标而制定的有序动作序列，指导机器人从初始状态到达目标状态。一个优秀的计划不仅能完成任务，还需要兼顾效率、资源利用和环境适应性。任务规划的建模方法任务规划的建模方法PDDL是任务规划中最常用的标准化建模语言，旨在解决此前缺乏统一描述规范、导致不同规划系统难以比较与交流的问题。它通过提供通用的规划问题描述框架，使研究者能够在统一标准下进行建模与评估，其核心由领域定义和问题定义两部分组成。领域定义领域定义用于描述规划问题的操作环境，以“(define(domain<name>))”开始，主要包括要求、类型、谓语和动作四部分。其中，要求用于指定PDDL特性，类型定义对象类别，谓语描述世界状态，而动作则通过前提条件和效果定义状态之间的转换方式。问题定义问题定义用于对具体规划实例进行描述，以“(define(problem<name>))”开始，并指定所属领域。其主要包括对象、初始状态、目标状态和规划任务，用于定义问题中的对象、任务起点、目标条件以及需要解决的具体规划问题。任务规划算法任务规划算法对于使用PDDL建模的任务规划问题，FF（FastForward）算法是目前最常用的求解方法之一。FF算法结合图规划与启发式搜索，通过“忽略删除列表”估计目标代价，并利用强制爬山与回溯机制提高搜索效率。启发式评估FF算法通过“忽略删除列表启发式”估计当前状态到目标状态的代价，即忽略动作的删除效果以简化问题并提升搜索效率。虽然这种方法可能导致过于乐观的评估，但FF算法结合强制爬山与回溯机制来弥补其不足。有序解空间搜索FF算法采用前向搜索策略，从初始状态开始逐步扩展状态空间，并依据启发式评估选择和应用动作。搜索过程中，算法通过优先队列对状态进行排序，直到找到满足目标条件的状态。任务规划算法任务规划算法强制爬山策略强制爬山策略是FF算法中用于弥补忽略删除效应问题的重要方法。该策略在每一步选择能够显著降低启发式评估值的动作；若当前没有可直接推进到目标的动作，则从所有可行动作中选择使评估值下降最多的一个，从而保证搜索过程持续向目标状态推进。回溯当算法进入死胡同时，即所有动作都无法降低启发式评估值或会回到已访问状态，FF算法通过回溯机制返回上一状态，并尝试其他动作序列。该策略使算法能够从不利状态中恢复并继续探索新的路径。任务规划算法右图所示的伪代码解释了FF算法的执行流程。

通过这种方式，FF算法能够有效地搜索解空间，并生成一个有效的动作序列来解决规划问题。它的效率和准确性使得FF算法成为解决PDDL规划问题的一种流行方法。但是FF算法旨在快速找到一个可行的动作序列，而对于动作序列的最优性无法保证，因此FF算法规划的结果往往并不是最优的。如果要找到最优的动作序列，则需要使用更高级的算法，例如top-kplanner。本章的实验部分将通过一个例子展示了不同的规划算法对于最终动作序列的规划结果的影响。FF算法伪代码02应用举例：机器人自动化装配应用举例：机器人自动化装配增强环境适应性保障操作安全提升生产效率任务规划通过多传感器信息融合，使机器人能够准确感知复杂环境，并在光照变化、遮挡或任务变化等情况下动态调整策略，提高适应能力与鲁棒性。在人机共存的环境中，任务规划能够精确规划运动路径并结合传感器实时监测环境变化，避免碰撞风险，在异常情况下及时调整或暂停动作，确保人员与设备安全。任务规划通过优化机器人动作序列，减少不必要的移动与等待时间，提高装配效率，并可在动态环境中根据实时信息调整策略，从而适应不同生产需求。推动智能化发展结合机器学习与人工智能技术，任务规划使机器人具备学习与自我优化能力，并支持多机器人协作与信息共享，从而实现更高水平的智能化与协同作业能力。03实验感谢您的观看与收听机器人感知与智能第十章同步定位与地图构建技术概述

OUTLINE移动机器人已广泛应用于航天航空、医疗卫生、家庭服务及工业制造等领域。其自主导航主要解决三个核心问题：“我在哪？”“我要到哪里去？”以及“我怎么到那里去？”。其中，“我在哪？”对应定位问题，用于确定机器人在环境地图中的位置信息；“我要到哪里去？”涉及环境地图构建，通过传感器数据获取并表示环境信息；“我怎么到那里去？”则是路径规划问题，用于实现机器人从起点到目标位置的轨迹规划。

定位与环境地图构建相互依赖、密不可分。同步定位与地图构建技术（SimultaneousLocalizationandMapping，SLAM）是一种典型方法，指运动主体在未知环境中依靠传感器在构建环境地图的同时确定自身在地图中的位置，实现定位与建图的统一过程。01同步定位与地图构建技术的种类目录

CATALOGUE02同步定位与地图构建技术的原理及常见算法03应用举例：机器人地图构建04实验01同步定位与地图构建技术的种类激光SLAM激光SLAM起源于早期基于测距的定位方法。随着激光雷达的发展，机器人能够获取更加快速、准确且丰富的环境信息，这些信息以包含距离和角度数据的点云形式表示。激光SLAM通常通过匹配不同时刻的点云，计算机器人位姿变化，实现定位与建图。常用的点云配准算法包括ICP和NDT，典型算法有Gmapping和Cartographer。激光SLAM具有测距精度高、误差模型简单、环境适应性强以及点云几何信息直观等优点，便于实现路径规划与导航。同时，其理论研究较成熟，相关应用和产品也较为丰富。Gmapping算法Cartographer算法视觉SLAM随着计算机视觉技术的迅速发展，视觉SLAM因具有信息量丰富、成本较低、适用范围广等优点而受到广泛关注。相比激光SLAM，视觉SLAM不仅能够获取环境的几何结构信息，还能够提取纹理、颜色等特征，因此在机器人导航、自动驾驶、增强现实等领域具有重要应用价值。

按照传感器配置的不同，视觉SLAM通常可分为单目视觉SLAM、双目视觉SLAM、RGB-D视觉SLAM以及融合惯性运动单元（InertialMotionUnit，IMU）的视觉SLAM。单目、双目、RGB-D相机以及惯性测量单元LSD-SLAM算法单目视觉SLAM单目视觉SLAM是一种利用单个摄像头实现定位与地图构建的技术，具有结构简单、成本低等优点。它通过连续图像序列提取环境特征，并推断相机运动和场景结构，从而完成机器人定位与建图。

由于单目摄像头只能获取二维图像信息，缺乏直接的深度测量，因此单目视觉SLAM通常构建的是稀疏地图，并存在尺度不确定问题。为解决这一问题，常采用尺度恢复技术或融合其他传感器信息进行深度估计。

常见的单目视觉SLAM算法包括ORB-SLAM、LSD-SLAM和DSO等。双目和RGB-D视觉SLAM双目与RGB-D视觉SLAM是两种常见的基于深度信息的SLAM技术，分别利用双目相机和RGB-D相机获取图像与深度数据，实现同时定位与地图构建。双目相机由两个单目相机构成，通过两相机的基线差异进行视差计算，从而推断物体深度，并建立像素与三维空间的对应关系，实现三维重建与定位。但其标定较复杂，深度精度与量程受基线和分辨率限制，且计算开销较大。RGB-D相机则通过红外结构光或ToF（Time-of-Flight）技术主动测距，直接获取深度信息，相比双目计算更高效。但其通常存在测距范围有限、噪声较大、易受光照干扰以及对透明/反光材质测量困难等问题，因此多用于室内环境。常见算法包括ORB-SLAM2和RTAB-MAP等。ORB-SLAM2算法VINS-Mono算法融合IMU视觉SLAM融合IMU视觉SLAM是一种结合惯性传感器与视觉传感器的同时定位与地图构建技术。IMU通常由加速度计和陀螺仪组成，用于测量机器人在三维空间中的加速度和角速度。通过融合IMU的惯性信息与视觉SLAM的图像数据，可以提升定位精度，减小漂移，并增强系统在快速运动、弱光或纹理缺失环境下的鲁棒性。

该方法能够有效利用IMU的高频运动信息抑制视觉误差，从而实现更稳定、准确的定位与建图，适用于室内外及无GPS环境，并广泛应用于自主导航、无人机和自动驾驶等领域。

常见算法包括VINS-Mono和MSCKF等，在视觉与惯性数据融合策略上各有特点。02同步定位与地图构建技术的原理及常见算法同步定位与地图构建技术的原理及常见算法SLAM通过融合多源感知数据实现同时定位与建图。系统利用激光雷达、摄像头等传感器获取环境信息，并结合里程计等运动数据估计机器人位姿，同时提取特征点或描述子表示环境结构。

典型SLAM系统包括传感器预处理、前端里程计、后端优化、回环检测和建图五个模块。前端负责特征匹配与相对位姿估计；后端融合多源信息优化轨迹与地图；回环检测用于消除累积误差并提升全局一致性；建图则生成栅格图、拓扑图或点云地图等环境表示。

总体而言，SLAM通过不断融合感知与运动信息，实现机器人位姿估计与环境地图构建。经过长期发展，已形成较为成熟的框架，并涌现出GMapping、Cartographer、ORB-SLAM等开源系统，同时语义SLAM与深度学习SLAM也成为重要研究方向。SLAM系统框架图GMapping算法Gmapping是一种基于2D激光雷达的SLAM算法，用于构建二维栅格地图。其核心方法是采用粒子滤波器，通过粒子集合结合激光雷达观测与运动模型进行更新与重采样，实现机器人位姿估计与地图构建的联合优化。

算法利用激光数据提取环境障碍信息并不断更新栅格地图，从而逐步重建环境。Gmapping具有精度较高、鲁棒性强、适用于室内小场景等优点，但在大场景下计算与内存开销较大，不适用于大范围SLAM任务。使用GMapping算法建立的室内二维栅格地图Cartographer算法Cartographer是Google提出的一种基于图优化的激光SLAM算法，主要由局部建图和全局优化两部分组成。

局部建图通过扫描匹配对连续激光数据进行对齐，估计机器人位姿并构建局部子地图，同时结合回环检测减少累计误差。

全局优化采用位姿图优化方法，将多个子地图进行统一调整与融合，生成全局一致地图。

此外，该算法融合IMU与里程计信息提升定位精度，并采用自适应体素滤波提高大规模环境下的建图效率。Cartographer算法框架图ORB-SLAM算法ORB-SLAM是一类基于ORB特征的视觉SLAM算法，通过特征匹配实现相机定位与地图构建。其核心是利用连续图像中的ORB特征点（由FAST角点与BRIEF描述子组成）进行跟踪与匹配，估计相机运动并恢复三维结构。该方法具有计算效率高、实时性强及一定旋转不变性的特点，并通过图优化提升定位与建图精度。

在此基础上，ORB-SLAM2支持双目与RGB-D输入，扩展了深度信息的应用并提升系统性能；ORB-SLAM3进一步融合IMU并支持多相机模型，使系统在复杂环境中具有更强的鲁棒性与适用性。从单目图像中提取到的ORB特征点连续帧间的ORB特征点关联匹配效果基于语义的SLAM算法基于语义的SLAM是在传统SLAM基础上引入语义信息的扩展方法。传统SLAM主要关注环境的几何结构，而语义SLAM则结合深度学习技术，从图像或传感器数据中识别物体类别、位置与姿态等语义信息，并与几何地图进行融合。

通过融合语义与几何信息，语义SLAM能够提升定位与建图的准确性与鲁棒性，使机器人不仅“知道在哪里”，还能“理解周围是什么”，从而更好地进行物体识别、障碍规避与智能决策。该方法在自动驾驶、机器人导航和增强现实等领域具有重要应用价值。使用语义分割算法对图像进行语义分割03应用举例：机器人地图构建应用举例：机器人地图构建语义SLAM技术视觉SLAM技术激光SLAM技术传统激光SLAM与视觉SLAM难以满足复杂场景下的智能建图与导航需求，语义SLAM因此得到发展。它在构建三维地图的同时识别环境中“是什么”，并区分与处理动态与静态目标，从而提升建图质量与导航智能性。激光SLAM依赖专用激光雷达，成本较高且仅能构建几何轮廓地图，缺乏纹理与语义信息；相比之下，视觉SLAM设备成本低、易集成，并可利用丰富的图像数据，但在精度、速度及环境鲁棒性方面仍存在一定不足。激光SLAM具有高精度、实时性好和环境适应性强等特点，可通过激光雷达获取距离信息并结合里程计或GPS实现建图。其受光照和天气影响较小，适用于户外场景，并广泛用于自动驾驶三维建图。感谢您的观看与收听机器人感知与智能第十一章深度学习技术概述

OUTLINE深度学习技术深度学习作为机器学习的分支，通过模拟人类神经系统构建多层神经网络，利用海量标记数据自动提取特征，实现对未标记数据的精准预测与分类；相较于传统机器学习，它具备多层次表示、端到端学习、大规模并行计算加速以及强大泛化能力等显著优势，并在计算机视觉、自然语言处理等领域广泛应用，成为解决复杂实际问题的人工智能核心力量。本章将从深度学习技术种类（监督学习、半监督学习和无监督学习）出发，详细介绍深度学习的基本原理，包括神经元与激活函数、常见网络结构、神经网络的训练以及过拟合现象。最后，本章设计了一个基于MNIST手写数据集的分类实验，更深入理解深度学习技术的实际应用。01深度学习技术种类目录

CATALOGUE02深度学习原理03应用举例：机械臂抓取04实验01深度学习技术种类监督学习

回归任务示意图分类任务示意图无监督学习无监督学习旨在从未标记的数据中发现内在结构和模式，无需外部标签。相比监督学习，它更侧重探索数据的潜在特征与关系。在此过程中，模型仅依靠输入数据（无输出标签），通过学习数据的统计特性、相似性或潜在分布进行建模与推断。这能帮助我们发现未知模式、完成数据聚类及降维等任务。常见的任务包括聚类和关联规则挖掘，其中聚类最为典型。聚类是指将彼此相似的数据自动分为不同的组或簇。如图所示，原始数据为相对分离的随机点，聚类任务即在没有预先标注类别的情况下仅依照数据点间的距离关系将数据点分为右图中的3类。无监督学习广泛应用于数据分析、图像和自然语言处理等领域。它能提供对数据的全面认知，揭示隐藏的结构与规律，从而为后续的分析与决策提供高价值的信息。聚类任务示意图半监督学习半监督学习介于监督与无监督学习之间，它同时利用标记和未标记的数据来进行模型训练，如图所示。与依赖大量标记数据的传统监督学习不同，半监督学习结合少量标记数据，并充分利用大量未标记数据的特征分布，从而有效改善模型的泛化能力。其核心思想是假设相似样本具有相似标签。通过对比未标记数据的预测结果与真实标签，模型能自适应地调整参数，进一步提升性能。由于现实中获取标记数据往往昂贵且耗时，半监督学习通过利用未标记数据，能在标记数据有限的情况下显著提升模型的实际表现。常见的相关算法包括图半监督学习、生成模型和半监督支持向量机等。这些方法结合了两类数据，扩展了传统框架，为模型训练提供了更丰富的信息。半监督学习任务示意图02深度学习原理神经元与激活函数神经网络的设计灵感源于生物神经系统。右图显示了一个基本的生物神经元结构示意图。就像人类大脑中的神经元通过树突接收信号、再通过轴突传递给下一个神经元一样，深度学习中的人工神经元也会接收来自原始数据或上一层的输入。每个输入都会被赋予一个代表重要性的权重，神经元会将这些输入进行加权求和，最后通过激活函数来计算并生成最终的输出。激活函数在深度学习中起着决定性的作用，因为它为模型引入了关键的非线性。由于神经网络层与层之间的基础传递仅仅是线性的求和过程，如果没有激活函数，无论你把网络搭建得多么复杂、嵌套多少层，最后的输出依然只是一堆枯燥的线性组合，完全无法处理复杂的现实问题。常用的激活函数包括Sigmoid、Tanh以及ReLU等。人工神经元示意图神经元与激活函数

Sigmoid函数图像Tanh函数图像ReLU函数图像网络结构神经网络以模拟人脑的神经元为基本单位，通过接收输入、加权处理并产生输出。网络通常由多层相连的结构组成，最核心的结构分为输入层、隐藏层和输出层。（1）输入层：负责接收原始数据（如图像的像素值）供网络处理，其神经元数量通常与输入数据的特征数量一致。（2）隐藏层：位于输入与输出之间，是学习数据特征与模式的核心模块。它通过加权、加偏置并引入激活函数来实现非线性转换。深度学习的“深度”即指隐藏层的层数；网络越深，能学习的模式越复杂，但也更难训练。（3）输出层：作为网络的最后一层，其架构由具体的任务决定（例如在分类任务中输出各个类别的概率值），负责汇总并生成网络最终的预测结果。两层神经网络示意图网络结构随着深度学习的飞速发展，神经网络结构不断进化，以下是三种最常见的模型：（1）卷积神经网络（CNN）：专长于处理图像等网格数据。它通过卷积层和池化层（结合局部感受野与权重共享）高效提取特征并大幅减少参数量，在视觉任务中表现卓越（代表作如VGG、ResNet）。（2）循环神经网络（RNN）：专精于自然语言等时间序列数据。它通过循环隐藏层保留历史信息的内部状态；为解决长序列训练时的梯度消失或