《机器人环境感知》课件

机器人环境感知概述智能制造的意义1、推动国民经济持续发展的重要支撑技术，我国迈向制造强国行列的重要抓手发展智能制造是中国制造由大到强的必由之路，机器人作为智能制造的重要技术载体，成为实施智能制造战略的重要抓手机器人是推动国民经济高质量发展的重要动力之一根据中国电子学会的预测，2023年全球机器人市场规模预计将接近336亿美元。目前，我国工业机器人已在47个行业大类129个行业中类中得到广泛应用。推动传统产业升级原因：国家发展改革委表示，将组织实施升级工程，运用互联网、大数据、人工智能等新技术改造传统产业，促进传统产业安全、绿色、集聚、高效发展。推动高危业向智能化发展原因：我国高危行业存在较大风险，在国家大力倡导扶持工业机器人发展的大环境下，发展“机器换人”可以从本质上提高企业的安全生产水平，使我国的安全生产健康发展。推动高端产业制造原因：“制造业兴国”一直是各国倚重的战略要点之一。目前，美国等发达国家的制造业比重呈现下降趋势，但高端制造业仍然是这些国家保持世界领先水平的关键。机器人的重要性2、作为当今世界科技领域前沿和竞争焦点，是产生原创性颠覆性成果的重要源泉世界强国均将发展机器人作为国家战略机器人成为世界科技竞争的重要领域之一美国：《国家机器人计划2.0》美国将机器人技术视为改变制造业的关键转换技术，助力美国制造业回归趋势：借助AI增强的机器人技术和其他技术进步，有望在未来十年内显著提高性能和价格竞争力。日本：《机器人新战略》继续保持世界工业机器人大国地位，打造全球服务机器人大国地位趋势：将机器人与IT、大数据、网络、人工智能等深度融合，展开机器人技术开发、标准化、示范考核、人才培养等具体行动。

中国：《机器人产业发展规划》大力发展机器人产业，打造中国制造新优势，推动工业转型升级，加快制造强国建设趋势：实现机器人关键零部件和高端产品的重大突破，实现机器人质量可靠性、市场占有率的提升，打造机器人全产业链竞争能力。机器人环境感知的重要性zz智能机器人智能多传感融合感知视觉、力触觉、距离觉多传感器融合自然人机交互语音、手势、表情多模态自然交互灵巧作业执行多轴高精高速、多指手多任务小批量人工智能的决策和推理判断、分析、总结、推理智能与自主决策zz智能制造、智能交通、智能医疗、国防工业、智慧海洋、智慧矿山、智能家居、深空作业、......

智能机器人的显著特征包括智能多传感融合感知、自然人机交互、人工智能的决策和推理、灵巧作业执行等机器人的智能化智能等级智能程度智能化功能典型代表L1基础型依赖人为操纵或执行人为编制的指令完成任务，无环境感知功能，依靠人类在系统或机器人行为定义中的核心作用。遥控机械手、主从机械手L2半交互型通过示教再现或远程操控等手段接收控制指令，具备基本的环境识别功能一定程度上与人类进行交互。缺乏自主决策能力，需要依赖外部指令来进行操作。融合感知的工业机器人、移动机器人L3交互型拥有丰富的环境感知与自身状态监测能力，能够结合内部状态和外部环境的感知数据，自然地与人类进行交互，理解并回应人类的指令和需求，依照预设程序自主运行。然而，在关键时刻或特殊情况下，仍需人工进行必要的干预以确保系统的稳定性和安全性。移动协作机器人、移动型复合机器人、智能手术机器人L4自主型拥有丰富的感知能力和出色的决策机制，使其能够在复杂多变的环境中独立完成任务。无法进行持续自我学习，在某些特殊情况下，仍然需要人工的辅助以确保任务的可靠完成。波士顿动力的Altas和特斯拉的Optimus为代表的人形机器人L5自学习型具备多模态信息融合的智能感知技术，同时拥有根据环境和任务的变化进行自主学习与优化决策的能力。能够在极端复杂的环境中独立完成高度复杂的任务，全程无需任何人工干预。自适应型技能学习机器人，具身智能特斯拉人形机器人「擎天柱」Optimus国内人形机器人2023年11月，工信部印发《人形机器人创新发展指导意见》。2025年，人形机器人创新体系初步建立，“大脑、小脑、肢体”等一批关键技术取得突破，整机产品达到国际先进水平。北京人形机器人创新中心

“天工”“天工”对复杂环境更强的适应性，在行走及奔跑时更快速、更拟人，已实现6km/h的稳定奔跑。在盲视情况下“天工”能够平稳通过斜坡和楼梯，对磕绊、踏空等情况也可以做到步态的敏捷调整。北京人形机器人创新中心

“天工”国内人形机器人环境感知是机器人实现自主化和智能化的关键技术基础，其环境感知的水平很大程度上决定了机器人能应对的环境复杂程度。总结

感谢大家的参与。机器人感知绪论机器人环境感知技术-第1章第1讲

智能机器人概述

制造业皇冠的明珠集多学科于一体，是衡量国家科技与制造业水平的核心标志，更是推动经济高质量发展的战略引擎。多学科交叉机电、传感、控制、AI、材料、仿生四大智能特征感知、交互、决策、执行国家战略《中国制造2025》核心装备二十大报告推动制造业高端化、智能化市场数据与增长预期全球机器人产业迎来爆发式增长，环境感知技术是核心驱动力336亿2023年全球市场规模(中国电子学会预测)145亿工业机器人125亿服务机器人66亿特种机器人1600-2600亿2030年市场预期(波士顿咨询)

人形机器人热潮环境感知技术决定其能力上限特斯拉Optimus全身200+自由度，端到端神经网络控制，已在工厂执行分拣任务。国内“天工”平台身高163cm，体重43kg，奔跑速度达6km/h，展现开源感知硬件与大模型训练潜力。核心驱动力AI大模型与先进感知技术的深度融合，是实现通用化、智能化的关键。

第2讲

机器人环境感知与现状

通过专用传感器与信号处理，使机器人获取外界信息并据此调整自身行为，以保障任务顺利完成。传感器获取原始数据信号处理提取有效信息行为调整保障任务完成核心任务：状态估计(自身位姿、速度)+环境建模(障碍物、语义、拓扑)

政策驱动《“十四五”规划》将信息感知列为核心技术攻关方向，强调三维视觉、激光雷达等关键器件。>技术演进从二维视觉到三维视觉，从单一传感到多传感融合，深度学习成为主流。>产业应用自动驾驶、人形机器人等场景推动SLAM、语义分割、端到端控制技术快速迭代。第3讲

机器人环境感知传感器

机器人的“眼睛”模拟人类视觉，是机器人获取环境信息最重要的感知手段，由硬件、算法、控制三大环节构成。硬件:单目/多目,2D/3D,RGB-D,ToF算法:分割、检测、识别、重建、估计控制:位姿调整、路径规划、视觉伺服

几何感知的支柱通过发射激光束并接收回波，精确测量目标距离、速度、形状等信息，构建高精度三维环境地图。精度:厘米级(mm级)视场角:水平360°，垂直数十度线束:16线、32线、64线等波长:905nm/1550nm

交互感知的桥梁获取机器人与外界交互时的接触力、形状、硬度、纹理等物理信息，是实现柔顺抓取、人机协作安全的关键。多维力/力矩传感器配置于腕部、底座，感知三维空间中的力与力矩。触觉传感器分布于指尖、皮肤，感知接触状态与物体属性。

感知自身运动状态，是机器人实现稳定控制与精确导航的基础位置/位移编码器、电位器速度/加速度陀螺仪、加速度计距离激光、超声、红外惯性测量单元IMU(3轴+陀螺仪)

根据特定任务需求，拓展机器人的感知维度，以适应更复杂、更专业的应用场景。温湿度传感器监测环境，用于农业、仓储机器人。气体传感器检测有害气体，用于救援、巡检机器人。辐射传感器监控核辐射水平，用于核电应急机器人。谢谢！机器人环境感知绪论机器人环境感知-第1章智能机器人环境感知传感器技术智能机器人感知技术基础探索环境感知的核心概念、技术手段与发展趋势CONTENTS本章知识导航01智能机器人概述探索智能机器人的定义、核心特征、智能等级体系以及人形机器人的最新发展动态多学科交叉L1-L5等级人形机器人02环境感知定义与现状深入理解环境感知的核心概念、四大感知手段以及三维环境感知技术的发展现状视觉感知力触觉感知深度学习03环境感知传感器认识实现环境感知的核心硬件设备,包括视觉、激光雷达、力触觉、运动传感器等CCD/CMOSLiDARIMU系统学习深入理解掌握技术INTELLIGENTROBOT智能机器人:制造业皇冠顶端的明珠多学科交叉融合智能机器人集机电一体化、检测与传感、材料与仿生学、控制科学与工程、信息技术、人工智能等多学科于一体。市场规模与预测2023年全球市场规模336亿美元2030年预测规模1600-2600亿美元预计7年内增长5-8倍国家战略支持《中国制造2025》《机器人产业发展规划》《新一代人工智能发展规划》等国家战略均聚焦于机器人技术与AI的深度融合,推动制造业高端化、智能化、绿色化发展。智能机器人的四大核心特征智能多传感融合感知通过视觉、力觉、距离等多种传感器获取环境信息,实现对周围世界的全面感知自然人机交互支持语音、手势、力触觉等多种交互方式,实现人与机器人的自然沟通与协作AI决策与推理基于人工智能算法进行数据分析、场景理解,实现自主决策和智能规划灵巧作业执行具备高精度、高灵活性的操作能力,能够完成复杂精细的作业任务智能机器人的智能属性在很大程度上都依靠其信息获取源头——环境感知的"智能化"。智能环境感知将使得机器人作业时与操作对象和作业环境之间的交互和控制更加顺畅和拟人。——本章核心观点ROBOTINTELLIGENCELEVELS机器人智能等级:L1-L5五级体系2022年八家行业组织联合发布的机器人智能等级标准发展趋势从被动执行

向主动感知演进从

单一功能

向

多模态融合

发展从

人工编程

向

自主学习

跃升从

结构化环境

向非结构化环境

拓展当前主流目前工业界主流机器人处于

L2-L3级,头部企业正在向

L4级迈进。HUMANOIDROBOT人形机器人:2024人形机器人元年在特斯拉等领军企业的推动下,全球投资基金纷纷涌入人形机器人领域特斯拉OptimusTeslaHumanoidRobot身高172cm体重73kg自由度200+手部自由度27通用型定位:

胜任家务、清洁、取物等多种体力劳动AI驱动:

搭载特斯拉自动驾驶AI技术,端到端神经网络控制感知系统:

配备摄像头感知系统,理解并响应自然语言命令最新突破:

2024年5月实现工厂4680电池分拣作业技术演进时间线2022.10首次展示Optimus原型机2023.05实现流畅行走与精准抓取2023.09端到端神经网络自主分类物体2023.12Optimus-Gen2

发布,速度提升30%2024.05工厂部署,执行电池分拣工作天工北京人形机器人创新中心身高163cm体重43kg奔跑速度6km/h灵巧手五指开源开放:

采用开源开放的构型设计,灵活扩展软硬件功能模块丰富感知:

配备视觉传感器、3D视觉传感器、IMU、六维力传感器AI大模型:

引入人工智能大模型技术,具备理解、认知和智能决策能力虚拟训练:

训练、测试和矫正主要在虚拟场景完成,效率高国内人形机器人布局宇树科技优必选小米科技智元机器人多家企业先后推出全尺寸人形机器人产品ENVIRONMENTPERCEPTION机器人环境感知:智能化的基础环境感知的核心定义通过配备丰富的专用传感器,结合特殊的信号获取和处理方法,机器人的感知为智能机器人系统提供感知环境的能力,使得机器人能根据感知环境的结果适当调整自身行为,保证作业任务的顺利完成。四大环境感知手段视觉环境感知人类视觉系统捕获了高达83%的信息。机器人视觉感知系统作为其"眼睛",能够自主捕捉丰富的视觉信息,执行检测、定位、跟踪、识别、分割、测量等任务。RGB图像深度图三维重建力触觉环境感知捕捉机器人在作业过程中与外界环境交互产生的各种作用力,实现力觉、触觉以及滑觉等复杂感知。接触力形状纹理激光雷达环境感知利用激光雷达传感器精准捕捉环境数据,提供高精度距离和方向感知能力,实现精确定位、三维建图和障碍物检测。点云数据2D/3D扫描多传感融合感知利用多种感知手段,通过多源信息融合算法,将多传感器信息进行联合、组合和相关,获取更加全面、准确的环境信息。数据层融合特征层融合感知的重要性1智能机器人必须实时、有效、可靠地获取外界环境信息2智能化操控和作业建立在对环境

充分的认识和理解

基础之上3缺乏环境感知能力,智能化和自主化将无从谈起感知系统组成传感器层视觉、力觉、距离、姿态等传感器信号处理层滤波、增强、特征提取信息融合层多传感器数据融合算法决策控制层环境理解、路径规划、任务执行感知是机器人智能化的

基石

和

前提3DPERCEPTIONTECHNOLOGIES三维环境感知技术对比与深度学习应用四种三维环境感知方案对比感知手段优点缺点典型应用立体视觉探测范围大、分辨率高、成本低、技术成熟、精度可达mm级易受环境影响;图像特征少的环境难以匹配；三维恢复误差大、复杂耗时分辨物体的远近形态,包括距离、前后、高低等相对位置激光雷达抗环境干扰能力强、性能稳定、准确性高、精度可达mm级设备和维护成本高;受环境因素影响衰减大；缺乏纹理特征;体积大获得极高的角度、距离和速度分辨率,能够分辨相距较近的目标3D相机环境三维信息获取效率高、集成度高像素分辨率不高、可成像距离不远、需要复杂的后期处理、精度一般感知目标尺寸、位置和形状,获取几何形状和体积等细节毫米波雷达全天候感知、位移探测范围大、分辨率高、探测位移能力强、抗环境干扰能力更强能耗大、角分辨率不高、物体分类能力较弱、设备和维护成本较高确定目标的位置和速度,实现精准细致人体感知典型应用案例Fruh等研究者通过二维激光扫描仪实现三维地貌精准重构,构建详细且准确的三维地图Ren等研究者提出主动神经环境感知方法,自动为机器人手眼系统生成系列的视点序列深度学习在环境感知中的突破YOLO检测器发展历程2015年YOLOV1→2017年V2→2018年V3→2023年V8,检测精度、速度和鲁棒性持续提升端到端训练方式通过直接输入视频,即可输出相应的控制指令,实现完全端到端的运行目标检测与跟踪自动学习和提取图像中的关键特征,提高视觉环境感知的准确性和效率传统视觉方法难以解决的动态目标识别跟踪等问题,在基于深度学习的感知方法中变得简单和准确RobotsandForce-TactileSensors协作机器人与力触觉传感器人机协作机器人是智能机器人的一个典型代表，其能够与操作人员在生产线上协同作也，充分发挥机器人精准高效及人类的灵巧和智能。协作机器人有以下主要特点：（1）灵活性操控：充分利用机器人和人在精准性和灵活性方面的优势（2）友好性和安全性：设计时充分考虑到硬件的环境友好性，外形平整无锐角，同时具有敏感的力触觉反馈特性（3）丰富的感知功能：通常配备有多种不同类型的环境感知手段，获取多模态信号并进行信息融合（4）自然人机交互和自主认知：通过语音识别、手势识别、力触觉交互等实现更加自然的人机交互，结合自身的环境感知和理解，根据特殊的人机协作控制方法和异常事件处理能力，实现复杂环境的自主认知智能机器人多维力/力矩传感器的各种类型及其优缺点比较表SENSORTECHNOLOGIES核心传感器类型与工作原理视觉传感器二维图像传感器感光元件:CCD

和

CMOS

。CMOS具有成本更低、功耗更小、集成性更好等优点RGB-D深度相机结合RGB图像和深度信息,基于ToF(飞行时间)

测量原理,常用于三维重建、室内导航双目立体视觉通过视差方法计算多摄像头拍摄图像的相关性获取深度图二值图像灰度图像RGB图像激光雷达基于激光测距原理

，通过测量发射激光束和接受回波信号获取目标的距离、速度、形状、姿态等参数主要参数•探测距离•激光波长•测量精度•角分辨率优点:

分辨率高、精度高、隐蔽性好缺点:

受浓雾、浓烟等恶劣环境影响力触觉传感器获取与环境交互过程的

交互力信息

,实现按压、抓握、推动和轻触等动作六维力/力矩传感器配置在机器人腕部,实时检测三维力和三维力矩信息光纤光栅式传感器精度高、体积小、抗电磁干扰电阻应变片式目前应用最广泛的力触觉传感器类型柔性抓取零力示教轮廓跟踪多维力传感器性能对比型号Fxy(N)Fz(N)精度K6D402005000.5%FSOmega854759501/14NFT300-S3003001N运动传感器位置(位移)传感器直线位移传感器、角位移传感器、电位器式、光电编码器等速度/加速度传感器光电编码器、测速发电机、加速度传感器、陀螺仪等距离传感器激光测距、超声波传感器、电磁波测距、红外测距等惯性测量单元(IMU)由

三轴加速度计、陀螺仪

和

磁力计

构成,实现精确的定位和姿态获取其他传感器温湿度传感器数字式、模拟式、MEMS式气体传感器检测有毒有害或可燃气体声音传感器语音识别、声源定位辐射传感器核电应急机器人专用CHAPTERSUMMARY本章小结与思考智能机器人多学科交叉融合的高新技术产品四大核心特征:感知、交互、决策、执行L1-L5五级智能等级体系人形机器人成为研究焦点环境感知智能化的基础和前提四大感知手段:视觉、力触觉、激光雷达、多传感融合从二维视觉向三维视觉发展深度学习带来突破性进展传感器技术视觉传感器:CCD/CMOS、RGB-D激光雷达:高精度距离感知力触觉传感器:六维力/力矩运动传感器:IMU等核心观点环境感知是智能机器人系统实现自主化和智能化的关键技术基础,其环境感知的水平很大程度上决定了机器人能应对的环境复杂程度。通过本章学习,我们对环境感知的重要性和主要的感知手段有了系统的认识。思考题1.简述智能机器人主要的相关技术2.简述常见的机器人环境感知手段有哪些?3.简述智能机器人视觉环境感知系统的组成4.试分析常见的机器人三维环境感知方案的优缺点后续章节将深入探讨具体的环境感知技术继续学习,探索机器人感知的奥秘基于视觉的机器人环境感知

技术机器人环境感知技术-第2章第一讲视觉传感器概述及工作原理

视觉传感器是机器人环境感知的主要传感器之一，可以提供丰富的环境信息。机器人通过视觉传感器(如摄像头)捕捉环境中的光线信息，将其转换为电子信号，实现环境数据采集。通过对采集的图像数据进行预处理,如去噪、校正等，提高图像质量。利用图像处理和机器视觉算法从图像中提取有意义的边缘、纹理和颜色等特征信息。结合特征信息，构建环境的三维模型或语义地图，描述环境的几何和语义信息。利用物体检测和识别算法，识别图像中的障碍物、路径、标志等目标物体。最终实现机器人自主环境感知识别理解等。

在单目相机的成像模型中，可以通过对三维空间中任意一点𝑃与相机成像的二维图像中像素点𝑝之间的空间位置转换关系进行建模，来建立世界坐标系、摄像机坐标系、图像坐标系和像素坐标系四个坐标系之间的转换关系

将坐标原点定义为图像左上角像素，构建像素直角坐标系U-O-V，以像素为单位，坐标(𝑢,𝑣)描述着该像素在图像中的列号与行号。设(𝑢,𝑣)为图像坐标系原点O1在像素坐标系中的坐标，𝑑𝑥、𝑑𝑦表示像素坐标系中的像素在图像坐标系中的物理尺寸，可以将图像与像素之间关系表示为:转换坐标系的齐次化矩阵形式定义如下：

通过建立图像坐标系与摄像机坐标系之间的几何转换关系，摄像机空间中的任意一点(𝑋,𝑌,𝑍)可以投影到图像平面图像坐标系中的一点𝒑(𝑥,𝑦)。如图2-3所示，𝑓为焦距，光轴中心和像机坐标系的原点为O，像机坐标系的X和Y轴分别与图像坐标系的x轴和y轴平行，Z轴（光轴）与图像平面垂直。图像坐标系的原点o为光轴与图像平面的交点。两个坐标之间的转换可以表示为：

在实际机器人系统中，摄像机可以安放在世界坐标系𝑋𝑌𝑍-O中任意位置。同样，世界坐标系中某点𝑃(𝑋,𝑌,𝑍)可以通过世界坐标系与摄像机坐标系之间的旋转和平移矩阵（𝑅和𝑇）转换至摄像机坐标系中点𝑃(𝑋,𝑌,𝑍)。世界坐标系与摄像机坐标系的齐次坐标转换公式定义如下：式中，𝑹（3×3）为单位旋转矩阵；𝑻（4×4）为平移向量(𝟎=(0,0,0))；𝑴为4×4矩阵。摄像机的针孔成像模型（线性摄像机模型）是指空间世界坐标系任何点𝑷(𝑋,𝑌,𝑍)可21以转换找到在图像中的投影位置𝒑(𝑢,𝑣)：式中，M(3×3)为投影矩阵；𝑠为比例因子，𝑎=𝑓𝑑𝑥⁄为𝑢轴上归一化焦距（尺度因子）；𝑎=𝑓𝑑𝑥⁄为𝑣轴上的尺度因子（归一化焦距）；𝑴由𝑎、𝑎、𝑢、𝑣(内部参数系数)决定；𝑴为摄像机外部参数（取决于摄像机相对于世界坐标系的方位）。像机标定是指确定机器人环境感知系统的摄像机内外参数的过程。

摄像机标定的目的是建立摄像机图像像素位置与物体空间位置之间的关系，即建立机器人环境感知系统摄像机的世界坐标系与图像坐标系之间的关系。摄像机外部参数包括旋转矩阵以及平移向量，它们构成了物体的位置和方向。而摄像机内部参数与畸变系数表示图像像素转变为实际的物理距离的关系。无畸变枕形畸变桶形畸变目前，摄像机标定通常使用“张氏标定”法，根据摄像机模型，由已知特征点的坐标求解摄像机的模型参数，即求解相机的参数包括相机内参数和畸变参数，以及外部参数旋转矩阵和平移矩阵。

单应性矩阵计算：设三维世界坐标系中一点𝑸=[𝑋,𝑌,𝑍,1]，相机的像素平面中一点𝑷的坐标为𝑷=[𝑢,𝑣,1]，则世界坐标系与相机图像坐标系之间的转换关系如下：式中，𝑲为摄像机内参数，𝑹为旋转矩阵，𝑻为平移向量，相机内参定义如下：通过利用张氏标定法，将世界坐标系放置于标定棋盘平面上，即令棋盘平面为𝑍=0。则：第二讲基于视觉的机器人障碍物三维识别方法

在本节中主要提出一种基于置信度传播的、端到端的双目深度估计与障碍物三维识别定位神经网络模型。该网络模型通过利用可微分的置信度传播代价聚合方法来提高双目深度估计性能。此外，该模型还采用多模态特征信息融合技术，通过提取障碍物的图像颜色特征信息与其深度信息相融合，可以准确地实现障碍物识别与定位。

在传统的双目立体匹配算法中，置信度度量通常用来最大程度地减少歧义匹配区域，提高匹配成本量的质量，以帮助每个像素选择正确的视差，但是在复杂的成像环境下，这些基于置信度度量的传统双目立体匹配算法难以到达期望的性能。本节介绍了一种可微分置信度传播网络模型并将其融合到端到端的双目立体匹配深度估计神经网络结构中，以指导匹配代价聚合。本小节将从特征提取，代价构建，代价聚合，视差预测四个部分详细介绍置信度传播深度立体匹配神经网络。

特征提取：双目图像特征提取与注意力机制：卷积与下采样易造成特征损失，缺少特征对齐与增强环节注意力机制可提升关键特征提取，广泛应用于分类、分割、检测等任务现有方法往往引入复杂模块，导致计算与内存开销大本章引入高效通道注意力机制：在不增加复杂度的前提下提升特征表征能力高效注意力卷：式中，𝐸(;)表示第𝑛个高效注意力卷积模块中第𝑙个级联注意力卷积子模块。注意力卷积子模块𝐸(∙)定义如下：式中，𝜎(∙)为激活函数，通常选用𝑅𝑒𝐿𝑢函数，函数A()表示高效注意力卷积层，其定义如下：式中，Sigmoid(∙)表示归一化激活函数；𝐴𝑉𝑃(∙)表示自适应均值池化层。

代价构建：本节中所介绍双目立体匹配网络最终使用了一种混合的代价构建方法来构建匹配代价，它结合基于拼接的代价构建方法𝐶与分组相关的代价构建方法𝐶的优势，最大限度地保持匹配代价的特征多样性，能够为代价聚合网络提供高质量的匹配代价。

代价聚合：双目立体匹配中存在遮挡、重复纹理、低纹理等导致错误匹配，传统置信度度量难以端到端集成。引入可微分置信度传播模型(DCP)，在代价聚合过程中传播高置信度像素，引导代价更新。基于高斯权重传播置信度，利用3D卷积与PConv3D模块实现多尺度特征聚合

视差预测：采用SmoothL1损失函数训练网络视差回归结果通过计算预测结果与真实数据的误差，并反向传播更新网络权重损失函数定义为：

𝑆𝑚𝑜𝑜𝑡ℎ(𝑥)损失函数定义如下：

本小节介绍一种基于双目深度估计的障碍物识别定位网络模型。该模型首先利用双目深度估计网络获取场景的深度信息，然后通过对称编码卷积神经网络对场景中的障碍物进行识别。网络输入为左图像与其高效注意力特征以及视差特征，编码与解码阶段分别通过卷积和特征融合实现障碍物特征的提取与恢复，并采用多尺度输出监督方式进行训练，最终使用交叉熵损失函数作为训练目标。

节构建了一个面向移动机器人避障的双目深度估计与目标识别数据集。通过在移动机器人作业场景中，移动机器人的行进路径中放置一些简易的障碍物，利用移动机器人三维成像平台中搭载的Zed2双目相机采取相应数据，构建了相应的数据集ZedStereoObstacle，并对相应的障碍物进行了标注。该数据集由500组数据组成，按8:2的比例划分训练集与测试集。

SceneFlow数据集是一个大型合成数据集，包含足够的训练样本数据，在SceneFlow数据集上的可视化视差估计结果如上所示。

在SceneFlow数据集上不同方法性能对比，在SceneFlow数据集上提供了一些立体匹配方法的>1%，>2%和>3%像素误差百分比和平均像素误差EPE的结果对比结果，本节双目深度估计网络模型性能达到了最优。

在ZedStereoObstacle数据集上不同方法性能对比对基于置信度传播的双目深度估计与障碍物三维识别定位神经网络模型的性能在ZedStereoObstacle数据集上进行了评估，得到了5.06%的>1%像素误差，2.93%的>2%像素误差，1.71%的>3%的像素误差，EPE像素误差为0.39px。

移动机器人行进路径上的障碍物精准识别与定位是移动机器人安全导航的关键。输入双目图像后，利用置信度传播双目深度估计与障碍物三维识别网络模型得到左图像对应的深度图与障碍物识别分割图。接着根据左图像的ROB特征、深度图与双目相机参数在全局地图中找到相机的相对位置。然后根据相机的相对位置与障碍物的三维空间信息来调整移动机器人的行进路径。第三讲基于视觉的机器人抓取工件三维识别方法

双目视觉三维场景重建与抓取目标识别定位网络：双目立体匹配深度估计网络可微分归一化匹配代价构建联合引导代价聚合（双边滤波器）提升三维重建精度，减少边缘膨化三维目标识别定位网络融合RGB、双目特征、深度特征提高目标识别与定位精度基于ResNet-50，引入弹性动态卷积模块提取上下文特征

在双目立体匹配中，传统的归一化互相关方法难以在端到端网络中优化，提出可微分归一化互相关（DNCC）及其分组构建策略（GroupedDNCC），在降低内存与参数开销的同时，提升了复杂场景下的特征相似性表达与匹配精度。设计了可微分联合引导代价聚合模型（DJGCA），基于双边滤波的边缘/轮廓特征保持能力，有效缓解了视差不连续区域的误差。结合堆叠沙漏结构的多尺度上下文学习，最终实现从粗到精的高精度深度估计与三维重建。双目深度估计与抓取目标识别网络框架：

双目深度估计与抓取目标识别网络：

通过利用移动复合机器人机械臂上搭载的Zed2双目相机采取相应数据，构建了相应的数据集ZedStereoObject，对相应的障碍物进行了标注。该数据集由500组数据组成，按8:2的比例划分训练集与测试集。

在SceneFlow数据集上不同方法性能对比在SceneFlow数据集上提供了与其他立体匹配网络方法的>1%，>2%和>3%像素误差百分比和平均像素误差EPE的结果对比结果，本节所提出的基于可微分归一化代价计算与联合引导代价聚合的双目立体匹配深度估计网络模型性能达到了最优。

在ZedStereoObject数据集上不同方法性能对比能在ZedStereoObject数据集上进行了49测试。对比PSMNet和GwcNet网络模型，得到了5.06%的>1%像素误差，2.93%的>2%像素误差，1.71%的>3%的像素误差，EPE像素误差为0.39px。

在SceneFlow数据集上的可视化视差估计结果

在ZedStereoObject数据集上的可视化结果基于激光雷达的机器人环境感知技术机器人环境感知技术-第3章第一讲激光雷达传感器原理与预处理定义：主动式光学传感技术，通过发射激光脉冲、接收反射信号，计算目标的距离、速度、形状等参数，生成二维/三维点云。核心优势：1.高精度（厘米级测距）、高角分辨率。2.全天候工作（不受光照影响，夜间性能稳定）3.快速三维数据采集，支持实时环境建模。局限性：激光无法穿透浓雾、浓烟，恶劣天气下性能下降。

机械式激光雷达机械式激光雷达发展历史最为悠久，这类激光雷达通过电机带动光机结构整体360°旋转，多束激光束沿垂直方向排列，发射模块以一定频率发射激光线，通过连续旋转发射头实现动态扫描，形成点云，在性能上达到最优，如图3-1所示为美国Velodyne公式生产的HDL_64E型号的机械式64线激光雷达，测量距离可达120米。

多面旋转镜型激光雷达MEMS微振子型激光雷达RS-LiDAR-M1双楔形棱镜激光雷达Livox觅道Mid-40

Flash固态激光雷达OPA固态激光雷达全固态激光雷达主要分为Flash固态激光雷达，OPA固态激光雷达。Flash固态激光雷达无需机械运动，能够实现更快速的数据采集，适用于高速移动的自动驾驶场景，具体的产品有北醒光子的AD2-S-X3高性能3D激光雷达、ibeo的ibeoNEXT纯固态激光雷达和Xenomatix的XenoLidar-X。OPA固态激光雷达具体产品有力策科技的LT-X、Quanergy的S3-2，如下图所示

第二讲激光点云配准

在点云配准方法中，ICP（IterativeClosestPoint，最近点迭代算法）是一种广泛使用的点云配准算法，用于估计两个三维点云之间的刚体变换（旋转和平移），以便将它们对齐。ICP算法的基本思想是通过迭代的方式，不断地寻找两个点云之间的对应点，并基于这些对应点来优化变换参数，直到达到某种收敛条件。是一种常用的点云配准技术，其基本思想是通过迭代优化的方式，寻找目标点云与参考点云之间的最佳变换矩阵，从而实现两者的对齐。下图介绍了ICP算法的基本原理及步骤。

正态分布变换算法（NormalDistributionsTransform，简称NDT）是一种在点云配准和机器人视觉等领域中广泛使用的算法。其核心思想是通过将点云数据划分为多个小区域，并在每个小区域内计算点云数据的概率分布（通常为正态分布），从而构建出一个基于概率密度的表示形式。后续，本文通过优化计算，找到了最佳的变换参数，旨在使源云至目标云的概率密度分布最大化，确保两者之间达到最佳的匹配。计算NDT过程帧间匹配牛顿算法优化第三讲基于激光雷达的环境建图算法

二维栅格地图构建算法中最具代表性的谷歌开源的Cartographer，在实现二维SLAM中，它可以生成精度为5cm的二维栅格实时地图，采用回环检测来优化子图的位姿，消除建图过程中的累积误差，同时实现了计算量和实时性之间的平衡。其系统框架结构如图。SLAM框架结构图

湖南大学机器人学院建图结果本实验使用ROS中的Cartographer功能包进行建图实验，结果如图所示。实验使用的教育机器人搭载了单线激光雷达、IMU以及光电编码器，可以看出实验结果存在一定地图漂移，原因是建图效果受到激光雷达与里程计精度的影响。

三维激光雷达获得的点云数据完成特征提取后进行运动估计并构建遍历环境地图的主要流程，包括回环检测与后端优化部分。其核心流程可总结如下。1.特征提取与运动估计：提取激光点云特征（如边缘、平面），估计帧间运动。2.回环检测：粗查找：用Scan-context/IRIS快速筛选潜在回环帧；精配准：用ICP/NDT优化回环帧位姿，计算约束。3.后端优化：图优化（节点=位姿，边=帧间约束/回环约束），非线性最小二乘最小化全局误差。4.地图拼接：将优化后的位姿应用于原始点云，生成全局三维点云地图。点云输入运动估计回环检测后端优化地图输出第四讲基于激光雷达的环境语义分析

VoxelNet方法是一个端到端（EndtoEnd）的利用激光点云进行三维目标检测的神经网络架构，它的主要特征是将点云转换成体素（voxel）形式后在进行特征提取，VoxelNet方法的整体架构如图所示。Voxel整体结构图

整体网络从下到上被分为三层：1）特征提取层（FeatureLearningNetwork）：主要的任务是将点云划分为体素，然后提取特征。2）中间卷积层（ConvolutionalMiddleLayers）：完成特征提取后，进入中间卷积层。由于点云数据是四维张量描述的，所以这里使用三维卷积来构建中间层，每一个卷积中间层包含一个三维卷积，一个BN层进行批标准化以及一个非线性层ReLU，增大感受野，获取全局信息。

3)RPN层:RPN层早在2D物体检测的Faster-RCNN就已经被提出了。RPN层主要用来根据学习到的特征结合Anchor来在原始图像中找到物体所在的检测框和对应的类别。总结：该网络以中间卷积层输出的特征图作为输入，依次经过三次下采样，然后将这三个维度的特征图进行拼接，然后进行检测输出一个物体类别的概率分布和一个输出Anchor到真实框的变化两个特征图。

PointNet++网络结构图PointNet++是斯坦福大学的CharlesR.Q等人在他们原来提出的PointNet方法上的一个改进、迭代更新的版本。原有的PonitNet方法使用具有置换不变性的对称函数解决了由于点云无序性带来的操作问题，是将深度学习运用到点云领域的一个开创性的方法，而PointNet++核心的想法在局部区域重复性的迭代使用PointNet,网络结构如图所示。

在VoxelNet和PointNet++这两个方法被提出后，基于激光雷达的物体检测进入到了一个快速发展期，许多的算法被提出用于改进这两个方法，如SECOND、PIXOR以及Point_x0002_RCNN等，目前最新的研究方向是将基于视图的方法以及基于原始点云的方法进行融合，基本的融合思路是：利用较低分辨率的Voxel来提取上下文特征或生成候选的物体框，然后再与原始的点云集进行结合，目前较为成熟的融合方法是SIENet与VoxelR-CNN。

定义：激光雷达语义分割是为点云中每个点分配语义标签（如“车辆”“行人”“道路”“建筑物”“树木”），实现对环境的结构化理解，为机器人导航、避障、场景交互提供语义信息支撑。核心价值：解决“激光雷达点云仅含几何信息，缺乏语义属性”问题，让机器人“看懂”环境而非仅“感知”环境。基于点的方法——直接处理原始点云:PointNet：通过“对称函数（最大池化）”解决点云无序性问题，提取全局特征后与点特征拼接，实现逐点分类。PointNet++：改进PointNet的“局部特征缺失”问题，通过分层特征学习（“采样→分组→特征提取”循环）构建多尺度特征。其他改进算法PointCNN：通过“χ算子”对K近邻点按空间距离排序，构建有序特征序列，实现点云卷积；KPConv（核心点卷积）：在局部区域定义“核心点”（类比卷积核），计算点与核心点的相对位置特征，提升几何表征能力；PointAtrousNet：引入空洞卷积（PAC），在不增加参数的情况下扩大感受野，提取多尺度几何特征。

基于图像的方法——投影为2D图像处理核心思路：将三维激光雷达点云投影为二维图像（如球面映射的Range图像、多视角合成图像），复用成熟的2D图像语义分割算法（如FCN），再将2D分割结果反投影回原始3D点云，实现逐点语义标注。详细流程如下。点云到Range图像转换2D全卷积分割2D到3D反投影3D后处理优化全卷积分割网络结构图

基于体素的方法——量化为3D体素网格核心思路：将三维点云量化为均匀的体素网格（VoxelGrid），通过3D卷积神经网络提取体素级特征，为每个体素分配类别标签，网格内所有点共享该标签，平衡精度与效率。代表算法VoxelNet扩展（语义分割方向）原理：沿用“体素划分→随机采样→特征编码→3D卷积”流程，将原用于目标检测的RPN层替换为语义分割头（如U型3DCNN），输出体素语义标签；FCPN（全卷积点云网络）差异：与VoxelNet“固定体素大小、点数量不固定”不同，FCPN在每个体素内采集固定数量的点，构建稠密3D张量，通过3D卷积提取多尺度特征，提升分割精度。优劣势分析优势：3D卷积能捕捉空间邻域关系、适配大规模点云；不足：体素分辨率难平衡（高分辨率→算力爆炸，低分辨率→细节丢失）、空体素（无点）造成计算资源浪费。

基于图的方法——建模为图结构学习核心思路：将激光雷达点云建模为图结构（节点=单个点/超点（Superpoint），边=节点间的邻接关系，如欧氏距离相近），通过图卷积网络（GCN）学习节点特征，实现语义分类。代表算法SPG（超点图）原理：第一步：将点云聚类为“超点”（如基于欧氏距离聚类），每个超点作为图的节点，提取超点的几何特征（如体积、中心坐标）；第二步：用PointNet编码节点特征，通过图卷积学习节点间的关联特征（如超点间的距离、角度）；第三步：输出每个超点的类别标签，再分配给超点内所有点。GACNet（图注意力卷积网络）改进：引入“图注意力机制”，动态为不同邻接节点分配权重，解决“标准图卷积忽略同一物体内点结构关系”的问题，提升语义一致性。3.4.3优劣势分析优势：能捕捉全局上下文关系（如“车辆”与“道路”的关联）、对稀疏点云鲁棒；不足：图构建复杂（节点/边定义依赖人工设计）、推理速度慢（图卷积计算复杂度高）。

方法类型核心思路代表算法/模型优势不足传统方法手工提取特征（如法向量、曲率），结合SVM/RF分类，CRF优化平滑性-轻量、易解释手工特征鲁棒性差，泛化能力弱基于点的方法直接处理点云，学习局部/全局特征PointNet++、KPConv保留精细空间信息计算量大，对大规模点云不友好基于图像的方法将点云投影为Range图像（球面映射），用2DFCN分割后反投影回3DRangeNet++速度快、复用2D成熟算法投影易丢失深度信息基于体素的方法点云→体素量化，用3D卷积提取特征VoxelNet扩展兼顾精度与效率体素分辨率影响结果，内存消耗大基于图的方法将点云建模为图（节点=点/超点，边=邻接关系），图卷积学习特征SPG（超点图）捕捉全局上下文关系图构建复杂，推理速度慢不同方法对比

激光雷达传感器具有探测范围广、数据精度高等优点，能够实时感知周围环境的变化，为机器人提供全面的环境信息，被广泛配置于各种机器人完成环境感知。本章重点介绍机器人激光雷达传感器概述及工作原理，重点介绍激光点云配准与环境建图等方法等，具体介绍了激光雷达传感器概述及工作原理、激光点云配准、基于激光雷达的环境建图算法、基于激光雷达的环境语义分析等方法。谢谢！机器人力触觉环境感知技术机器人环境感知技术-第4章目录01机器人力触觉传感器概述力触觉感知的重要性、应用场景与系统功能02力触觉传感器分类及原理按位置与工作原理分类,详解各类传感器机制03力传感器性能指标静态特性与动态特性全面评估体系04机器人力/力矩感知方法力建模、测量方法与多维力解耦技术05机器人触觉感知方法基于触觉的目标感知流程、识别方法与应用案例CHAPTER01机器人力触觉传感器概述ForceandTactileSensorOverview空间站协作机器人军用协作机器人农业协作机器人深海协作机器人工业协作机器人康复协作机器人视觉听觉力觉接近觉味觉。。。腕部关节力测量电磁干扰体积大耦合严重温变零漂严重价格昂贵力感知技术重要性力感知技术重要性

机器人感知学习能力远未达到人类基本水平触觉传感器卡脖子技术--《科技日报》力触觉感知明显落后CourtesyofOptoForce机器人感知和智能是核心瓶颈视觉和力觉是系统智能行为的最重要条件新型弹性体设计与优化目标：高灵敏

高刚度低迟滞低耦合高可靠(a)Structureofthesix-axisF/Msensor.(b)EEstructureofthesix-axisF/Msensor.(c)FEAresultsofstraindistribution.(d)Arrangementstrategyofthestraingauges.(e)Sixfull-bridgecircuits.(f)Photographofthesix-axisF/Msensorprototype@ATI检测方法的选择typeProsConscapacitivehighsensitivityandresolution,largebandwidth,robustness,long-timestability,drift-free,durability,AdaptabilitytoEnvironmentcomplexwiththecompulsoryelectroniccircuits,straycapacitance,EdgeeffectPiezoresistivesimpleconstruction,compatibilitywithVLSI,highandadjustableresolution,highreliability,maintenance-freehigherpowerconsumption,rigidandfragile,scarcereproducibilityinductivehighsensitivityandresolution,linearoutput,highpoweroutputlowerfrequencyresponse,poorreliabilityoptoelectronicgoodreliability,widemeasurementrange,noncontactnon-conformable,hardtoconstructdensearraysPiezoelectrichighfrequencyresponse,rangeability,higheraccuracyandfinerresolution,highsensitivity,highdynamicrange,smallsize,highstiffnesschargeleakages,poorspatialresolution,deteriorationsofvoltagesordriftsinthepresenceofstaticforces解耦方法的设计基于海量标定数据的NN、ELM、SVM、DL非线性静/动态解耦方法最小二乘法解耦方法速度快，但是精度不高，系统误差较大封装简单绝缘体积小可复用无零漂。。。1、腕部力觉测量方法研究匮乏局限2、传感器超薄设计策略少3、解耦方法研究不足4、缺乏高效感知系统光纤光栅力觉感知技术折射率方程耦合波方程波长间距布拉格波长有效折射率周期光纤光栅传感理论应变-波长温度-波长（应变+温度）-波长应变灵敏度系数温度灵敏度系数光纤光栅传感理论自差分补偿光纤光栅传感理论应用场景--精密制造中元器件力控贴装动态测量高可靠高精准恰当力控制产线融合动态测试对比力触觉传感器的重要性与应用场景ForceandTactileSensors:ImportanceandApplications核心作用力触觉传感器是机器人环境感知系统的关键组成部分,能够将物理力转换为电信号,使机器人能够感知外部环境和目标物体,实现精确的力信号反馈和控制。工作原理1物理力作用→传感器产生形变2能量转换→机械能转为电信号3信号处理→控制系统实时响应典型应用场景物体抓取控制根据物体特性施加适当力度,防止滑动或损伤碰撞检测感知接触并触发紧急停止,保障人机安全姿态估计在视野受限时估计物体在空间中的姿态物体识别仅靠触觉接触识别被抓物体的类别为什么需要力触觉感知?仅依靠视觉模态存在感知不完全可靠、受环境光强度和视野限制等问题,力触觉感知提供三维力与三维力矩信息,是实现机器人智能自主操作的关键基础。CHAPTER02力触觉传感器分类及原理SensorClassificationandPrinciples按位置分布的传感器分类ClassificationbyPositionDistribution关节力触觉传感器安装位置:机器人每个关节执行器上实时测量关节执行器输出的力或力矩,实现力反馈控制,提高控制精度和柔顺性。当机械臂与人或物体发生碰撞时,可实现紧急停止功能。功能专一精确测量腕部力触觉传感器安装位置:最后一个关节与末端执行器连接处测量末端执行器与外部环境交互的多维力和力矩,实现柔顺性作业。通常测量三维力或六维力,通用化程度高,应用场景广泛。多维测量通用性强指尖力触觉传感器安装位置:末端执行器的夹爪或手指上直接测量夹持器与物体接触时的力信号,实现精细操作和精确控制。用于控制夹持力范围、估计物体姿态、识别目标物体等任务。高灵敏度精细操作底座力触觉传感器安装位置:机器人底座上感应机器人与地面或工作台之间的整体力相互作用,具有稳定性高、测量范围宽的特点,适用于重载搬运和精确定位等场景。稳定性高抗干扰强新兴技术:仿人皮肤式力触觉传感器通过阵列形式获取大面积触觉信息,数据量丰富、感知范围广,目前多处于实验室阶段。按工作原理的传感器分类ClassificationbyWorkingPrinciple电阻式通过压阻效应或应变效应,将力引起的电阻变化转换为电信号压阻式材料电阻率随应力变化应变式形变引起几何尺寸变化高分辨率易集成电容式利用平行电极板结构,检测力引起的极板间距、面积或介电常数变化法向力改变极板间距d切向力改变极板面积A高灵敏度低功耗压电式利用压电材料的压电效应,将机械力转换为电荷信号压电效应应力→极化状态变化→电荷常用材料石英、PZT压电陶瓷高频率高稳定性光学式利用光学原理,将力变化转换为光信号的变化FBG传感器光纤布拉格光栅测量原理应变→光栅周期变化→波长漂移无电磁干扰耐腐蚀摩擦电式利用摩擦电效应,将接触分离时的机械能转换为电能TENG摩擦电纳米发电机工作模式垂直接触-分离模式自驱动结构简单基于视觉利用视觉技术捕捉弹性体表面变形,间接推断接触力信息GelSight高分辨率触觉传感器测量原理标记点位移→力分布高分辨率3D重建技术趋势:现代力传感系统中,超过30%基于电容测量技术,各类传感器各有优势,需根据具体应用需求选择合适类型。力/力矩传感器核心原理CorePrinciplesofForce/TorqueSensors1电阻式力传感器电阻定律:R=ρL/A当导体受外力作用时,电阻率ρ、长度L和横截面积A发生变化,导致电阻R变化压阻式ΔR/R≈π·σ材料:多晶硅、碳纳米管、石墨烯应变式ΔR/R=k·ε材料:镍铬合金、铂钨合金2电容式力传感器电容公式:C=εA/d通过检测极板间距d、面积A或介电常数ε的变化来测量力法向力d变化切向力A变化特殊设计ε变化3压电式力传感器压电效应:Q=dᵢⱼ·σ·A压电材料在机械应力作用下产生电荷,电荷量与施加的力成正比常用压电材料性能对比石英d₁₁=2.31pC/N钛酸钡d₁₅=560pC/NPZT-5d₁₅=670pC/N4光学式(FBG)传感器布拉格波长:λB=2nₑff·Λ当光栅受外力变形时,反射光波长发生变化,通过测量波长漂移感知力波长变化:Δλ/λB=Kε·ε+KT·ΔT需温度补偿消除温度影响设计要点:各类传感器利用不同的物理效应实现力-电转换,选择时需综合考虑灵敏度、量程、频率响应、环境适应性等因素。触觉传感器原理与性能指标TactileSensorPrinciplesandPerformanceIndicators阵列式触觉传感器工作原理:将接触区域划分为若干测量点阵列(如3×3、5×5、8×8),绘制接触压力的二维图像,生成被操纵物体的局部三维视图数据处理方式:•触觉图像形式:将数据转为图像,分辨率较低•时间序列形式:多通道数据整合,便于后续处理基于视觉的触觉传感器系统组成:高分辨率相机+光源+带标记的弹性体表面测量原理:通过捕捉弹性体表面的触觉图像,追踪标记点的形变和位移,间接推断接触力的大小和分布GelSightGelSlimDigit静态性能指标线性度实际曲线与理想直线的偏差灵敏度输出变化量/输入变化量迟滞性正反行程曲线不重合程度重复性同向行程多次测试的一致性分辨力能检测的最小力变化量稳定性长时间保持精度的能力动态性能指标时间常数τ上升到63.2%稳态值所需时间上升时间tr从10%上升到90%所需时间响应时间ts进入±5%误差范围所需时间超调量δ超出稳态值的最大量与稳态值之比选型建议:传感器量程通常按最大测量值的1.2-2倍选择,量程过大虽不易损坏,但会降低分辨力和测量精度。力/触觉传感器原理展示Force/TactileSensorPrincipleDemonstration电阻应变片结构示意电容式力传感器检测方法示意图光在光纤光栅中的传输原理基于视觉的触觉图像CHAPTER03机器人力/力矩感知方法ForceandTorquePerceptionMethods力建模与测量方法ForceModelingandMeasurementMethods力建模核心任务:了解和预测机器人与环境交互时所受力的过程,建立精确的力模型以预测机器人行为,设计更有效的控制策略主要力类型:•牵引力/压缩力:沿轴向的拉伸或压缩•弯曲力:使梁发生弯曲变形•扭转力:使轴发生扭转变形弹性梁理论Euler-Bernoulli梁理论假设变形前后梁中心始终与截面垂直,不考虑横向剪切变形,适用于细长梁分析M(x)=-EI·d²w/dx²Timoshenko梁理论引入横向剪切变形修正,适用于短粗梁,是传感器弹性元件设计的常用理论考虑剪切角ψ=dw/dx-θ力测量实现电阻式传感器测量采用惠斯通电桥电路读取电阻变化,实现温度补偿Ux=(ΔRx₁/Rx₁)·U/4电容式传感器测量采用差分电容结构,通过电容-频率转换器或电容交流桥获取输出Vox=Vs·(Cx₁-Cx₂)/(Cx₁+Cx₂)光学式(FBG)测量通过解调仪测量反射光波长变化,计算应变和温度Δλ/λB=Kε·ε+KT·ΔT设计准则弹性元件设计需权衡灵敏度与刚度、测量各向同性、低耦合效应、简单体积小等多个相互矛盾的设计准则力建模与测量方法ForceModelingandMeasurementMethods惠斯通电桥两轴电容式力触觉传感器示意图光纤光栅受均匀轴向力示意图多维力/力矩传感器解耦技术Multi-dimensionalForce/TorqueSensorDecoupling维间耦合问题问题描述:当力或力矩加载到某一方向时,本应在对应方向产生输出,但实际上其他方向也会有不同程度的输出,这就是维间耦合现象耦合来源:使用单一单片结构测量所有元件时,任何其他测量元件造成的非预期输出(串扰),一般为满量程的1%-5%解耦目标:找到各维输出电压信号与所加载载荷之间的对应关系,实现准确测量解耦方法对比BP神经网络误差≤0.5%反向传播算法,非线性逼近能力强SVR支持向量回归总体误差<1%核函数映射,适合小样本极限学习机ELM训练速度快单隐层前馈网络,学习速度快静态线性解耦基本模型:F=C·U假设输入输出为线性关系,F为力/力矩向量,U为输出电压向量,C为标定矩阵直接求逆法(n=6)选取6组线性无关的力向量进行标定C=F·U⁻¹缺点:

精度差,易受随机误差影响最小二乘法(n>6)增加标定次数,获得冗余数据C=F·Uᵀ·(U·Uᵀ)⁻¹优点:

精度稍好,最小误差逼近静态非线性解耦BP神经网络:采用tansig隐含层函数和purelin输出层,通过误差反向传播算法修正权值SVR支持向量回归:通过非线性映射φ(x)将低维空间映射到高维,转化为线性回归问题极限学习机ELM:单隐层前馈网络,输入权值和偏置随机给定,输出权值通过最小二乘求解多维力/力矩传感器解耦技术Multi-dimensionalForce/TorqueSensorDecoupling常见多维力/力矩传感器的静态解耦方法极限学习机解耦BP网络解耦SVR解耦CHAPTER04机器人触觉感知方法TactilePerceptionandRecognition基于触觉的目标感知流程Tactile-basedObjectPerceptionProcess1与目标物体交互探索性程序(EPs):按压-感知硬度滑动-感知纹理轻触-感知温度抓握-感知形状举-感知重量轮廓跟踪-感知体积交互模式:被动模式:夹持器静止,手动放置物体半主动模式:

视觉引导,按轨迹靠近物体主动模式:

机械手自主寻找并探索物体2数据采集传感器类型:指尖力触觉传感器或腕部力触觉传感器数据形式:连续监测力触觉信号的时间序列数据,获取丰富的动态信息关键性能指标:灵敏度分辨力稳定性采样频率3数据预处理时间序列信号预处理去噪频域滤波、小波变换等方法消除噪声降采样间隔采样或均值处理,减少数据量归一化/标准化消除单位差异,使数据服从统一分布窗口划分使用滑动窗口获取子序列样本图像形式信号预处理上采样插值方法扩展图像分辨率数据增强旋转、缩放、翻转等几何变换图像增强突出接触边缘、轮廓等区域预处理目的消除干扰、降低维度、统一格式,为后续特征提取和识别提供高质量数据图像预处理基于触觉的目标识别方法Tactile-basedObjectRecognitionMethods监督学习方法统计学习方法SVM支持向量机:在高维空间寻找最优分离超平面KNNk近邻:根据距离最近的k个样本投票决策随机森林:多棵决策树集成学习LDA线性判别分析:最大化类间方差,最小化类内方差神经网络与深度学习CNN卷积神经网络:提取空间特征,适合触觉图像LSTM长短时记忆:提取时间维度特征,适合时序信号CNN-LSTM:同时提取空间和时间特征无监督学习方法聚类K-means、GMM等,按相似度分组降维PCA、字典学习、自动编码器特征提取方法时域统计特征RMS均方根:

信号均值的平方根MAV平均绝对值:

信号绝对值的均值方差/标准差:

反映信号波动程度频域统计特征MPF平均功率频率:

功率频率分布均值MF中值频率:

将功率谱密度均分小波变换特征EWC:

小波系数能量机器学习三要素1模型数据之间的关系,如力触觉数据与物体的对应关系2策略目标函数,如类内方差最小、类间方差最大3算法优化方法,如最小二乘法、梯度下降法MWC/VWC:小波系数均值/方差网络模型触觉感知应用案例TactilePerceptionApplicationCase实验平台传感器配置:柔性抓手每根手指安装FBG传感器和IMU,获取力信息和运动信息目标物体(9类):青椒橙子香蕉纸箱玩具鸭玉米纸杯海绵塑料瓶数据采集:1694个样本,每样本12通道,时间步长130技术流程1特征提取(BOSS算法)窗口划分→SFA变换→直方图统计2特征融合高维信息融合→相关系数矩阵→关联融合→RBF映射3特征分类(I-ELM)增量式极限学习机,迭代增加隐藏层节点挑战与解决方案:触觉感知采集的是物体局部信息,不同部位交互数据存在差异。解决方案:①扩充训练数据集;②融合视觉信息进行多模态识别触觉感知应用案例TactilePerceptionApplicationCase分类结果98.76%准确率98.83%精确率98.61%召回率0.9867F1分数方法对比MLP使用最后时间步数据LSTM处理时间序列CNN提取空间特征CNN-LSTM时空特征结合DCNN多层卷积网络关键发现:随着数据量减少,所有模型性能下降,相比于深度学习方法(例如DCNN)对样本量依赖性强,本案例方法在少样本情况下表现更优，且对数据的抗干扰能力更强CHAPTERSUMMARY本章小结力触觉是感觉之母。机器人力触觉传感器精细地测量机器人与环境之间的物理交互,是最复杂的感觉系统,在机器人灵巧作业中扮演着至关重要的角色。传感器分类与原理按位置和工作原理分类,详解电阻式、电容式、压电式、光学式等核心原理力/力矩感知方法力建模、测量方法与多维力解耦技术,实现精确力感知触觉目标识别感知流程、机器学习方法与应用案例,支持智能操作本章系统介绍了机器人力触觉感知技术,为机器人智能自主操作奠定了感知基础机器人力触觉环境感知技术机器人环境感知技术-第4章4.1机器人力触觉传感器分类及原理介绍传感器分类方法按位置分类&按原理分类机器人力触觉传感器是智能操作的关键，它们能够帮助机器人在与环境交互时获取力与触觉信息。力触觉传感器在机器人与环境交互中发挥核心作用，它们不仅能检测作用在机器人上的力，还能提供触觉信息，弥补视觉感知在复杂环境中的不足。4.1.1力触觉传感器分类位置：关节、腕部、指尖、底座、仿人皮肤原理：电阻、电容、压电、光学、摩擦电、视觉关节力触觉传感器安装在关节执行器作用：实时检测力矩，提升控制精度安装在关节处，实时检测力矩，用于碰撞检测和精细控制。安装在关节处，可实时检测关节的力矩，用于实现精确控制和碰撞检测，确保机器人动作的安全与稳定。腕部力触觉传感器位于末端与执行器连接处测量多维力，提高安全性与柔顺性位于末端执行器前，能感知多维力和力矩，是协作机器人常用配置。腕部传感器位于末端执行器和手臂之间，能够测量多维度的交互力，是协作机器人和精密装配中不可或缺的组件。指尖力触觉传感器安装于夹爪手指直接测量夹持力，物体识别与控制安装在机械手指端，直接测量夹持力，帮助机器人稳定抓取和识别物体。指尖传感器直接感知物体表面的力与摩擦特性，用于物体识别、抓取稳定性控制以及滑移检测等应用场景。底座&仿人皮肤传感器底座：整体作用力，稳定可靠仿人皮肤：阵列式，大面积触觉底座传感器测整体作用力；仿人皮肤传感器模仿人类皮肤，实现大面积触觉感知。底座传感器通常用于整体受力监测，适合重载任务；仿人皮肤传感器通过阵列式设计模拟人类皮肤触觉，未来有望在柔性机器人和服务机器人中广泛应用。4.1.2力/力矩传感器原理电阻式：压阻&应变效应电容式：板间距变化压电式：压电效应不同类型的传感器基于不同的物理效应：电阻式基于应变效应，电容式通过极板间距变化检测力，压电式适合动态力测量。光学&摩擦电传感器光纤光栅FBG传感摩擦电效应，能量收集与检测光学传感器通常使用光纤光栅检测应变，抗干扰能力强；摩擦电传感器利用材料接触分离时的电荷变化进行检测，具有能量自供给的潜力。视觉式力触觉传感器摄像头捕捉触觉图像高分辨率形变检测视觉触觉传感器结合相机与柔性材料，通过图像分析获得接触面高分辨率信息，如GelSight，能够实现微小形变的可视化检测。4.1.3触觉传感器原理阵列布置，生成触觉图像可形成局部三维视图触觉传感器通常采用阵列式布局，生成触觉图像，可在局部形成二维或三维