智能机器人与具身智能 课件 第1-7章 机器人构成-具身智能概论

第1章机器人构成本章系统介绍机器人的基础知识，包括机器人的起源、定义、分类以及各类机器人的构型特征，为后续深入学习机器人运动学、动力学和控制奠定基础本章概述第1章机器人构成本章系统介绍机器人的基础知识，包括机器人的起源、定义、分类以及各类机器人的构型特征，为后续深入学习机器人运动学、动力学和控制奠定基础学习目标1了解机器人的发展历史与基本定义2掌握机器人系统的三大组成部分及其功能3理解工业机器人、服务机器人和特种机器人的分类体系4掌握串联机器人、并联机器人和移动机器人的构型特征与适用场景1.1.1机器人起源和定义中国古代机器人本节我们从机器人的历史起源讲起，看看人类对自动化装置的探索是如何一步步发展到今天的。中国古代的"机器人"雏形三国时期诸葛亮的"木牛流马"：将自动化概念应用于军事后勤的早期尝试明清时期自动化装置更加精巧，如清代康熙年间能自动写字的机器人"机关术"的广泛应用中国古代能人志士集机械、水力和气压原理于一体发明创造的"机关术"广泛应用于宫廷娱乐、军事防御和宗教仪式代表作：北宋苏颂、韩公廉等人于元祐年间创制的"水运仪象台"，被认为是中国古代机械自动化的巅峰之作历史意义：这些早期尝试虽然与现代机器人差距很大，但展示了中国古人在机械学和自动化领域的非凡创造力，为后世机器人技术的发展奠定了思想和技术基础1.1.1机器人起源和定义现代机器人的诞生1"robot"一词的诞生1920年，捷克作家卡雷尔·恰佩克在戏剧《罗素姆的万能机器人》中首次使用"robot"一词，源自捷克语"robota"，意为强制劳动。标志着人类正式开始探讨人造智能体的概念2阿西莫夫与"机器人三定律"1950年，艾萨克·阿西莫夫在小说《我，机器人》中提出著名的"机器人三定律"，为机器人伦理提供了重要的思考框架，影响深远3其他重要科幻作品的贡献菲利普·迪克《仿生人会梦见电子羊吗?》（1968）：探讨机器人与人类的界限库布里克电影《2001太空漫游》中的HAL9000：展现具有自我意识的计算机可能带来的影响🔑重点：科幻作品不仅丰富了大众对机器人的认知，也为科学家和工程师提供了灵感和远景，推动了机器人学和人工智能领域的发展方向1.1.1机器人起源和定义机器人的定义机器人是一种可编程的、具备一定自主能力的机械电子装置，其设计目的在于通过受控的、有目的的运动和执行，代替或辅助人类完成特定作业任务本质特征一个完整的机器人系统并非简单的机械结构集成了感知、控制与执行三大功能模块并形成闭环的综合性系统这是有别于一般自动化机器的本质特征发展趋势朝着更智能、更灵活和更安全的方向发展人工智能、物联网和5G等新兴技术的融合，带来更广泛的应用场景🔑重点：机器人区别于一般自动化机器的本质在于"感知-控制-执行"闭环系统1.1.2机器人系统构成机器人系统的三大子系统了解了机器人的定义之后，接下来我们具体看看一个完整的机器人系统由哪些部分构成。机器人技术的多学科交叉特征：机器人系统主要由三大子系统组成执行子系统机构本体：构成机器人的物理结构，包括连杆、关节、末端执行器或移动机构，其形态决定了机器人的工作空间和运动方式驱动模块：为机构本体提供动力的装置，通常包括伺服电机、步进电机、液压或气动驱动器，其性能直接影响机器人的输出力、速度和精度传感器子系统（机器人的"感官"）本体传感器：用于测量关节位置、速度等内部状态参数环境传感器：用于获取工作环境的几何、物理信息控制子系统（机器人的"中枢神经系统"）核心是基于计算机的控制器接收传感信息→实时计算与决策→向驱动系统发出指令🔑重点：三大组成部分共同构成"感知-控制-执行"闭环，为机器人在多变环境中执行任务提供可靠保障1.1.3机器人的分类分类概述与工业机器人掌握了机器人的系统构成后，我们来了解机器人的分类方法。分类方法多样按应用场景分类、按机构形态分类、按控制方式分类等IFR分类标准国际机器人联合会（InternationalFederationofRobotics,IFR）将机器人分为三大类：工业机器人：用于工业生产领域服务机器人：用于非制造业领域特种机器人：用于极端环境或特定任务工业机器人——负责自动化生产和加工等任务搬运机器人：通过导航、精准定位和负载操作实现物料的转移、装卸和摆放，应用于仓储物流、生产车间、港口码头数控加工机器人：自动完成上料、装夹、换刀等操作，具有极高的重复定位精度与绝对定位精度，体现柔性加工与敏捷制造理念焊接机器人：配备先进传感器和控制系统，实时调整焊接参数，在汽车制造和重型设备生产中表现出色抛磨机器人：承担较大载荷，具有良好的重复定位精度，应用于水暖卫浴等各种工件的自动抛磨1.1.3机器人的分类服务机器人服务机器人——主要用于非制造业领域，为人类提供各种服务：家庭机器人自动完成家务事，以扫地机器人为代表，通过内置传感器和路径规划算法实现导航、避障和地面清洁医疗机器人辅助医护人员工作，以手术机器人为代表，具有较高定位精度的机械臂和图像系统，帮助外科医生进行微创手术，减少创伤并加快康复娱乐机器人提供互动娱乐、情感陪伴或艺术表演，如玩具机器人和机器人宠物，具备语音识别、动作捕捉等技术教育机器人辅助知识传授、技能培养和思维训练，通过交互式、个性化方式支持学生，推动STEAM教育的发展1.1.3机器人的分类特种机器人特种机器人——为适应极端环境或执行特定任务而设计的机器人系统：空间机器人面向太空环境中的探索、实验、操作等活动，需满足抗辐射、极端温度耐受要求，分为空间舱内/舱外机器人、星球探测机器人、空间飞行机器人核工业机器人用于核设施的检查、维护、应急处置和退役任务，需具备抗辐射、耐高温高压、耐腐蚀、良好密封性以及易去污性水下机器人在高压水下环境中探索、作业，分为自主水下机器人（AUV，自主导航、长航时）和遥控水下机器人（ROV，远程控制、强操作能力）安防机器人配备高分辨率摄像头、热成像传感器和AI算法，自主巡逻、识别可疑活动军事机器人应用于战斗和侦察任务，需极强自主性和灵活运动能力，如战斗人形机器人和无人战车1.2.1串联机器人基本概念前面介绍了机器人的分类，接下来我们从构型的角度来认识机器人。尽管机器人种类繁多，从运动关节的连接关系角度，可以将机器人归纳为串联、并联和移动三种基本构型。串联机器人的基本结构由一系列刚性连杆通过关节依次连接而成，形成开链机构。设计理念源于对生物运动系统的模仿，经过工程优化以满足工业应用需求。旋转关节（R）RevoluteJoint，允许相邻连杆之间进行相对旋转运动移动关节（P）PrismaticJoint，实现相邻连杆之间的相对直线运动每个关节提供一个自由度，串联机器人的总自由度与其关节数相等六自由度实现空间任意操作三维空间中的任意位置和姿态操作需要六个自由度（三个平移+三个旋转）定位机构前三个关节，负责改变末端执行器参考点的位置定向机构后三个关节，用于调整末端执行器的姿态🔑重点：串联机器人的总自由度等于关节数；功能上分为定位机构和定向机构，简化了运动学分析1.2.1串联机器人四种常见构型串联机器人的工作空间由关节类型和排列顺序决定，常见构型如下：机器人关节1关节2关节3旋转关节数直角坐标（PPP）PPP0圆柱坐标（RPP）RPP1球（极）坐标（RRP）RRP2关节式（RRR）RRR3构型选择需综合考虑：工作空间要求、任务特性、精度需求和动力学性能基本规律：旋转关节数越多，灵活性越高，但运动学模型越复杂、精度控制难度越大💡思考：为什么工业中关节式机器人（RRR）应用最广泛？1.2.1串联机器人直角坐标式机器人（PPP）也称笛卡儿机器人或龙门式机器人：机械结构由三个相互垂直的线性运动轴（x,y,z）组合而成，整体形态常表现为门式框架功能完成高精度、高重复性的直线运动任务，通过安装不同末端执行器（夹爪、吸盘、焊枪、视觉相机），实现物料搬运、精确定位、产品装配、质量检测、涂胶喷涂、码垛等操作技术特征所有运动均为线性移动，运动学模型简单直接，无须复杂坐标变换极高的刚性和稳定性→高重复定位精度和负载高度模块化设计，可灵活扩展各轴行程✅优点结构简单、成本低、刚性好、精度极高、负载能力强❌缺点灵活性不足，末端姿态无法自由改变；工作空间大则本体庞大，占地面积大典型应用：数控机床上下料、物料搬运与码垛、半导体精密装配与检测、大型工件的激光切割或焊接1.2.1串联机器人圆柱坐标式机器人（RPP）圆柱坐标式机器人（RPP）——基于圆柱坐标系的较早期工业机器人构型由可垂直升降的基座、可绕中心轴旋转的手臂、可径向伸缩的臂构成。图中x,z,\theta分别表示沿轴向的直线运动和绕轴的旋转。末端执行器可在近似圆柱体的空间范围内运动技术特征融合了一个旋转关节和两个线性关节较大的水平工作范围，同时保留线性运动的高精度和可承载性径向伸展时具有较好刚性，但完全伸展时可能因悬臂结构产生挠度✅优点比直角坐标机器人有更大的水平工作范围，结构比关节机器人更简单，成本较低❌缺点工作空间受圆柱形限制，基座后方存在运动盲区；径向伸展时末端精度和负载受影响典型应用：注塑机取件、简单装配作业、金属压铸件取放、生产线点位搬运1.2.1串联机器人球坐标式机器人（RRP）球坐标式机器人（RRP），也称极坐标式机器人由可水平旋转的机身、可俯仰运动的手臂、可径向伸缩的手臂构成。\theta_1表示绕轴旋转，\theta_2表示绕轴心旋转，x表示沿轴直线运动。末端位置由旋转角度、俯仰角度和径向距离确定，运动轨迹覆盖球体空间的一部分技术特征融合了旋转和俯仰的角运动与直线的径向运动具有类似圆柱坐标机器人的较大水平工作范围，同时垂直方向更灵活运动学模型较前两种构型更复杂✅优点结构紧凑，基座占地面积小，工作空间大，空间利用率高，运动灵活性优于圆柱坐标机器人❌缺点刚性、重复精度和负载能力通常低于直角坐标机器人，控制算法更复杂典型应用：点焊、喷涂、铸造取件和玻璃器皿制造1.2.1串联机器人关节式机器人（RRR）关节式机器人（RRR）——现代工业自动化中最常见、最富代表性的机器人类型设计灵感源于人类手臂，由一系列通过旋转关节连接的刚性连杆组成。通常包括旋转基座（腰转）、肩关节、肘关节以及腕部关节。\theta_1表示绕轴旋转，\theta_2,\theta_3分别表示绕轴心的旋转。最常见为六轴机器人，通过六个旋转关节实现空间内几乎任意位置和姿态核心优势较强的运动灵活性和巨大的可达工作空间可让末端工具绕过障碍物，以复杂轨迹到达目标点并保持所需工作姿态技术特征高度灵活性和仿人化运动，多自由度串联结构运动学与动力学模型复杂，需解决正逆运动学解算问题精度和刚性因关节误差累积受影响，需高精度减速器和伺服系统✅优点卓越的灵活性、巨大的工作空间与占地面积比、强大的任务适应性❌缺点结构复杂、成本较高、精度和刚性低于直角坐标机器人、负载运动时可能振动🔑重点：关节式机器人是实现柔性制造和高度自动化生产的绝对核心，几乎能应用到所有现代制造业1.2.2并联机器人基本概念前面介绍了串联机器人的各种构型，下面我们来看另一种重要的机器人构型——并联机器人。并联机器人定义：通过至少两条独立的、并行的运动链将动平台与静平台相连接的机器人核心特征：末端执行器上任何一点的运动，都由所有运动链上的驱动器协同运动共同决定显著优点刚度高，能承受更大的负载高精度，所有驱动器的误差均摊特别适合高速、高精度操作主要挑战工作空间较小构型及自由度分析复杂关节活动范围受限分类方式：按自由度（DOF）数量划分，从2-DOF到6-DOF典型应用领域：高速拾取和放置操作、飞行模拟器、精密加工和定位系统1.2.2并联机器人2-DOF与3-DOF并联机器人两自由度（2-DOFs）并联机器人最常见形式为"蜘蛛手"，利用平行臂结构，驱动动平台在平面内进行两个独立平移运动驱动电机安装在基座上→运动部件惯量极低→极高的加速度和速度缺点：工作空间扁平，动平台通常只能平面移动而无法旋转应用：食品/药品/电子产品高速包装线分拣，物流分拣中心三自由度（3-DOFs）——Delta机器人最经典、商业化最成功的并联机器人类型核心结构：静平台+动平台+三条相同的臂链（空间平行四边形结构）所有电机安装在顶部静止基座上，运动部件仅轻质碳纤维杆件和动平台实现三个独立平移运动，极高加速度和微米级重复定位精度缺点：工作空间扁平（圆锥体或球冠形），缺乏末端姿态调整能力应用：食品/药品/电子产品行业的高速分拣包装1.2.2并联机器人4-DOF与5-DOF并联机器人四自由度（4-DOFs）并联机器人在Delta机器人基础上，在动平台集成第四轴旋转单元实现三维空间高速移动+绕中心轴自转可完成：抓取后旋转摆放、对位插入、旋拧瓶盖、跟随调整抓取角度缺点：新增旋转轴增加系统惯量和控制难度，姿态调整能力仍远逊于六轴关节机器人应用：食品旋转摆放、药瓶旋盖贴标、芯片旋转90°后精准插入卡槽五自由度（5-DOFs）并联机器人核心结构：五边形动平台+固定基座+五条约束支链+直线电机模组驱动实现三个方向平移+两个方向旋转完全并联闭环结构→极高刚性、承载能力和动态响应性能所有驱动器安装在固定基座上→低运动惯量→高速运动缺点：运动学模型极为复杂，正运动学求解困难，工作空间有限，成本高昂应用：飞行模拟器运动平台、驾驶辅助系统测试振动台、并联机床高精度铣削1.2.2并联机器人6-DOFStewart并联机器人六自由度（6-DOFs）并联机器人——Stewart并联机器人：能够实现空间完全定位与定向的并联机构核心结构：动平台+静平台+六条独立驱动的运动支链（通过虎克铰或球铰连接）。精确控制六个驱动器的伸缩运动→三个方向平移+三个方向旋转=任意位姿核心功能空间六个自由度的全自由度精密运动，末端执行器能以任何需要的姿态抵达工作空间内任意一点技术特征完全并联闭环结构→极高刚性、承载能力和精度所有驱动器误差均摊效应→性能优于串联机构所有电机安装在固定基座上→高加速度和动态响应✅优点极致刚度、极高精度、高速度与高负载自重比、出色的动态性能❌缺点工作空间有限、结构复杂成本高昂、存在奇异位形导致控制失稳、控制算法极复杂🔑重点：Stewart并联机器人是最经典的六自由度并联机器人，在飞行模拟器、并联机床、精密光学抛光、外科手术机器人等尖端领域有重要应用1.2.3移动机器人概述与轮式移动机器人前面介绍了固定基座的串联和并联机器人，接下来我们来看突破空间束缚的移动机器人。移动机器人的革命性意义：与传统固定式工业机器人不同，移动机器人能在不同场景中灵活移动并完成各种复杂任务系统架构：通过"感知-规划-执行"闭环系统架构，适应动态变化的环境轮式移动机器人——最成熟、应用最广泛的移动机器人类型核心构成：机器人本体、轮系、驱动电机、感知系统、运动控制器移动能力取决于轮系构型（全向轮、变径轮等）优点：高效平面移动、稳定持续运行、良好能源利用效率缺点：严重依赖平坦地面、定位误差随距离累积全向轮的三种典型代表GrabowieckiⅡ轮毂外周安装垂直于主轮轴线的横向小滚轮，实现侧向滑动和纵向驱动解耦麦克纳姆轮（MecanumWheel）小滚轮轴线与主轮轴线呈45°夹角，四轮速度合成可产生任意方向合力矢量，承载力较强但成本高Omni-ball采用球面滚子，降低多方向移动摩擦阻力，结构精度要求高1.2.3移动机器人变径轮与轮式机器人应用变径轮——通过改变车轮直径提高越障能力充气轮通过调节内部气压软性改变轮胎接地面积和形变，在松软地面提供更好牵引力，但动态变径范围有限缩放变径轮机械式主动变径机构，轮缘由多个可径向滑动的滑块构成，通过连杆机构实现轮径主动、快速、精确缩放LRP缩放轮在缩放轮基础上集成锁定装置，提升变径过程中的稳定性和负载能力三种变径轮从被动气压调节到主动机械缩放，技术复杂度和地形征服能力依次增强轮式移动机器人的广泛应用工业领域自主移动机器人（AMR）和自动导引车（AGV），智能工厂和仓储物流物料搬运主力商业服务餐厅送餐、酒店配送、楼宇消毒、安防巡检科研与特种星球探测车、反恐排爆机器人1.2.3移动机器人履带移动机器人履带移动机器人——卓越越障能力和非结构化环境高通过性：通过环绕在驱动轮和诱导轮上的闭合履带与地面接触产生运动，借鉴坦克或工程车辆的履带系统核心优势：优异的接地比压（单位面积压力小），不易在松软路面下陷技术特征巨大的接触面积和牵引力结构形式多样：双履带、四履带、可变形履带转向和差速控制比轮式更复杂✅优点无与伦比的地形适应性和越障能力，强大的牵引力和稳定性❌缺点速度低于轮式平台，重量大、能耗高，平坦路面效率低且损坏地面发展方向小型化便于单兵携带与快速部署全向履带结构原地零半径转向自适应支架提高对环境的适应能力铰接式机身增强越障能力应用：军事侦察/排爆、灾后废墟搜救、特殊地形农业监测、行星探测备选方案1.2.3移动机器人足式移动机器人足式移动机器人——模仿动物或人类腿部运动方式：每条腿由多个关节构成，通过伺服电机或液压驱动器驱动。通过腿足的抬起、摆动、落地和蹬踏协调动作实现移动核心功能：通过轮式和履带式无法通行的极端复杂地形，如沟壑、楼梯、崎岖岩石地带技术特征高度的动态平衡性和环境适应性依赖力/力矩传感器、惯性测量单元、深度相机等实时感知实时步态规划和动态平衡调整，每一步都是多体动力学问题的实时求解✅优点较强的地形通过性和灵活性，"脚"可踩在离散的不规则支持点上❌缺点结构极复杂、成本高昂、能量效率低、控制算法复杂、速度和负载待提升代表性成果LS3（BigDog进化版）自重590\text{kg}，可负重180\text{kg}，视觉系统实现目标人员自动追踪RHex六足机器人模仿爬虫方式移动，结构简单、自由度少足式步行机器人平台张伟涛等研发，降低控制复杂度、提高承载能力1.2.3移动机器人球形机器人与飞行机器人球形机器人——由内部装置驱动实现滚动采用欠驱动方式，以较少驱动数目实现全方位移动优点：转向灵活、结构简单、质量小、成本低、全姿态无倾覆风险、单点接触摩擦阻力小缺点：单点接触稳定性不足，易受外界扰动改变位姿代表性驱动方式：August球形机器人（配重块控制方向）、"球形运动器"（双电机分别控制驱动和转向）飞行机器人——在空中持续飞行并完成特定任务的智能机器人固定翼飞行机器人高速、长航时，不可悬停，需跑道或发射设备，适合广域侦察、测绘、巡检旋翼飞行机器人（多旋翼无人机）垂直起降、空中悬停，机动灵活，但续航时间短（数十分钟），应用于航拍、巡检、精准农业、应急救援扑翼飞行机器人模仿鸟类/昆虫翅膀拍动，极高隐蔽性和仿生度，但负载低、续航短、可靠性差1.2.3移动机器人飞行机器人详解固定翼飞行机器人核心气动布局与传统飞机类似，通过机翼剖面形状产生升力。飞行姿态通过副翼、升降舵、方向舵等舵面偏转调节。代表：翼龙-1E固定翼飞行机器人。应用：国土测绘、农业监测、电力线路巡检、森林防火、军事侦察旋翼飞行机器人通过独立控制每个旋翼转速，实现六自由度全向飞行。硬件核心：高能量密度电池、高转速无刷电机、轻量化碳纤维结构。代表：大疆DJIAIR3扑翼飞行机器人——仿生技术前沿"信鸽"Dove：质量245\text{g}，翼展60\text{cm}，巡航速度10\text{m/s}，最大续航20\text{min}，4km内720p30fps图传NanoHummingbird总质量19\text{g}，扑动频率30\text{Hz}，翼展16.5\text{cm}，飞行速度6.7\text{m/s}，续航4\text{min}⚠️易错：旋翼飞行机器人的最大限制是续航时间短（通常仅数十分钟），而非负载或灵活性本章总结本章主要内容回顾：机器人的起源与定义从古代机关术到现代"robot"概念的诞生，机器人的本质是集成"感知-控制-执行"闭环的综合性系统机器人系统构成执行子系统（机构本体+驱动模块）、传感器子系统（本体传感器+环境传感器）、控制子系统（计算机控制器）机器人分类（IFR标准）工业机器人（搬运、数控加工、焊接、抛磨）、服务机器人（家庭、医疗、娱乐、教育）、特种机器人（空间、核工业、水下、安防、军事）三种基本构型的核心特征对比串联机器人开链机构，灵活性高、工作空间大，按关节排列分为直角坐标（PPP）、圆柱坐标（RPP）、球坐标（RRP）、关节式（RRR）并联机器人闭链机构，高刚度、高精度、高速度，按自由度分为2-DOF至6-DOF（Stewart）移动机器人突破空间束缚，包括轮式、履带、足式、球形和飞行机器人关键公式与参数串联机器人总自由度=关节数三维空间任意操作需要6个自由度（3平移+3旋转）🔑重点：选择机器人构型需综合考虑工作空间、精度、速度、负载、灵活性和成本等多方面因素第2章机器人学基础机器人学基础涵盖刚体运动描述、运动学与动力学三个核心内容，为机器人建模与控制提供理论支撑。01刚体运动描述旋转矩阵、欧拉角、轴角、齐次变换02运动学D-H法、旋量法、解析解、数值解03动力学逆动力学与正动力学算法核心概念预览：位置矢量、旋转矩阵、运动旋量、齐次变换、运动学方程、雅可比矩阵、动力学方程2.1.1数学基础空间与位置从刚体运动描述出发，首先理解空间中的基本概念。工作空间(WorkSpace)机器人末端执行器能到达的所有位姿的集合关节空间(JointSpace)所有关节构成的矢量的集合笛卡儿空间(CartesianSpace)三维空间中的位置和姿态集合位置矢量表示选定坐标系{A}，空间任意一点p的位置用3×1列矢量表示：其中p_{A,x},p_{A,y},p_{A,z}是点p在坐标系{A}中的三个坐标分量。2.1.1数学基础旋转矩阵继续理解刚体的姿态表示。旋转矩阵的定义R的3个列矢量分别与物体坐标系{b}的3个单位坐标轴对应。特殊正交群所有3×3旋转矩阵的集合记为SO(3)，满足正则条件和正交条件。约束条件2D旋转矩阵示例🔑重点：旋转矩阵满足群论中的四个特性：封闭性、结合律、幺元律、可逆性2.1.1数学基础角速度与斜对称矩阵刚体旋转时的速度描述。角速度定义设物体坐标轴x,y,z随时间变化，当\Deltat\to0时：角速度与线速度关系斜对称矩阵形式旋转矩阵的速率方程定义：\omega_s为基于固定坐标系的角速度，\omega_b为基于物体坐标系的角速度。2.1.2欧拉角与RPY角ZYZ型欧拉角姿态可用3个角度\varphi,\vartheta,\psi表示，任意旋转矩阵可分解为三个基本旋转的组合。绕z轴旋转φ\mathrm{Rot}(z,\varphi)绕y'轴旋转ϑ\mathrm{Rot}(y',\vartheta)绕z''轴旋转ψ\mathrm{Rot}(z'',\psi)组合公式逆解算法2.1.2欧拉角与RPY角RPY角继续讨论另一种重要的姿态表示法。RPY角源自航海和航空领域，代表相对于质心坐标系的旋转。Roll（滚动）绕x轴旋转角度\psiPitch（俯仰）绕y轴旋转角度\varthetaYaw（偏航）绕z轴旋转角度\varphi组合公式（相对初始坐标系的左乘）逆解算法（当\vartheta\in(-\pi/2,\pi/2)时）⚠️易错：欧拉角和RPY角的旋转顺序不同，导出的旋转矩阵形式也不同2.1.3轴角表示法学习绕任意轴旋转的表示方法。基本思想：用旋转轴r和旋转角\vartheta表示任意旋转。旋转矩阵推导策略1将轴r旋转至与z轴对齐（两步）2绕z轴旋转ϑ角度3旋转回原方向（两步）旋转矩阵闭型解逆解：从旋转矩阵提取等效轴和角2.1.4齐次变换矩阵统一描述刚体的位置与姿态。特殊欧式群SE(3)包含所有4×4齐次变换矩阵：定义\mathbf{R}\inSO(3)表示旋转，\mathbf{p}\in\mathbb{R}^3为位置矢量。性质齐次变换矩阵乘法满足结合律但不满足交换律。2D情形SE(2)逆矩阵💡思考：齐次变换矩阵如何用于坐标系之间的转换？2.1.5运动旋量定义与矩阵形式引入六维运动旋量概念，统一描述刚体瞬时运动。运动旋量定义将线速度与角速度组合为六维矢量：物体坐标系下的运动旋量给定\mathbf{T}_{sb}(t)表示物体坐标系相对固定坐标系的位姿：空间坐标系下的运动旋量两者关系（伴随变换）定义：[\mathbf{V}]为运动旋量的矩阵形式，属于李代数se(3)。2.1.5运动旋量伴随变换与螺旋轴继续深化运动旋量的理论。伴随变换矩阵用于运动旋量与力旋量的坐标变换：伴随映射性质螺旋轴定义纯旋转|\mathbf{S}_\omega|=1，则\mathbf{S}_v=-\mathbf{S}_\omega\times\mathbf{q}+h\mathbf{S}_\omega（h为节距）纯移动\mathbf{S}_\omega=0，|\mathbf{S}_v|=1，节距为无穷大坐标变换🔑重点：螺旋轴是后续正运动学指数积公式的基础2.1.5运动旋量指数坐标与矩阵指数介绍指数坐标表示法。指数坐标定义六维指数坐标\mathbf{S}\theta\in\mathbb{R}^6，其中\mathbf{S}为螺旋轴，\theta为沿螺旋轴的距离。矩阵指数与矩阵对数矩阵指数闭型解（|\mathbf{S}_\omega|=1）G(θ)的计算纯移动情形（\mathbf{S}_\omega=0,|\mathbf{S}_v|=1）2.1.5运动旋量力旋量与功率平衡介绍力旋量概念及其坐标变换。力旋量定义力矩与力合成为六维空间力：单点力产生的力矩功率平衡原理力与速度的点积为功率，坐标系无关：力旋量坐标变换（由功率平衡推导）简化记号：空间力旋量\mathbf{F}_s和物体力旋量\mathbf{F}_b。💡思考：为什么力旋量的坐标变换采用伴随变换的转置？2.2.1D-H参数法连杆描述进入运动学部分，首先介绍D-H参数法的基础概念。a_{i-1}：连杆长度连杆i-1的长度（两关节轴线的公垂线长度）\alpha_{i-1}：连杆扭角连杆i-1的扭角（两关节轴线间的夹角）d_i：关节偏距关节i的偏距（两关节轴线之间沿第i轴的距离）\theta_i：关节角度关节i的角度（两连杆长度方向间的夹角）旋转关节\theta_i为关节变量，d_i,a_{i-1},\alpha_{i-1}为常数平移关节d_i为关节变量，\theta_i,a_{i-1},\alpha_{i-1}为常数连杆坐标系规定：在每个连杆上建立坐标系，共需3n个参数（D-H参数）加n个关节变量。坐标系建立步骤：确定每个关节的轴线→确定相邻轴线的公垂线→规定z_i与关节轴线对齐→规定x_i与公垂线对齐→按右手法则确定y_i轴。2.2.1D-H参数法连杆变换继续讨论连杆之间的齐次变换。连杆坐标系间的变换分解坐标系{i}相对于{i-1}的变换分为四个基本变换：绕x_{i-1}轴旋转\alpha_{i-1}角沿x_{i-1}轴平移a_{i-1}绕z_i轴旋转\theta_i角沿z_i轴平移d_i连杆变换矩阵标准D-H变换矩阵机器人运动学方程🔑重点：只有一个参数是变动的，其余参数由机器人结构决定2.2.1D-H参数法SCARA机器人实例通过实例加深对D-H参数法的理解。3个旋转关节轴线相互平行，用于平面内定位和定向1个平移关节用于垂直平面运动结构特点结构紧凑、响应快、精度高各连杆变换矩阵末端位姿2.2.2旋量法正运动学基本思想介绍相比D-H法更简洁的旋量法。旋量法优势只需基座坐标系和末端坐标系两个坐标系，无需在每个连杆上建立坐标系。核心概念M：机器人初始位置时末端坐标系的位姿Si：第i个关节螺旋轴在基坐标系下的表示θi：第i个关节的变量指数积公式（空间坐标表示）物理意义每个关节的螺旋运动依次传递给后续连杆。确定Si的方法旋转关节\mathbf{S}_i=[\mathbf{S}_{\omegai};\mathbf{S}_{vi}]，其中\mathbf{S}_{\omegai}为轴方向，\mathbf{S}_{vi}=-\mathbf{S}_{\omegai}\times\mathbf{q}_i平移关节\mathbf{S}_i=[\mathbf{0};\mathbf{S}_{vi}]，其中\mathbf{S}_{vi}为移动方向2.2.2旋量法正运动学末端坐标表示继续讨论旋量法的另一种表示形式。物体坐标表示的指数积公式利用矩阵等式e^{M^{-1}PM}=M^{-1}e^PM：物体坐标表示的螺旋轴两种表示的比较空间坐标表示\mathbf{S}_i相对基坐标系，较近端关节运动不影响较远端螺旋轴若需要基坐标系下的规划，使用此表示物体坐标表示\mathbf{B}_i相对末端坐标系，较远端关节运动不影响较近端螺旋轴若需要末端坐标系下的规划，使用此表示🔑重点：两种表示本质等价，只是参考坐标系不同2.2.3逆运动学平面2R机械手通过简单例子理解逆运动学问题。已知末端位置(x,y)，求关节角(\theta_1,\theta_2)。正向运动学工作空间：内外半径分别为|L_1-L_2|和L_1+L_2的圆环。解的数量工作空间外无解工作空间边界单一解工作空间内两组解（对应肘部向上和向下）解析求解方法（利用余弦定理）第一组解第二组解2.2.3逆运动学PUMA型机械臂讨论空间6自由度机械臂的逆运动学。前3个关节（肩关节）确定末端位置，腕部中心为末端位置的关键点后3个关节（腕关节）确定末端姿态，利用ZYX欧拉角反解逆位置求解（无肩部偏距）第二组解（肩部有偏距d_1）肘部角度求解（化为平面2R问题）肩部第二关节角2.2.4逆运动学雅可比矩阵与空间雅可比介绍数值解方法的基础——雅可比矩阵。末端执行器速度与关节速度之间的线性关系：\mathbf{V}_{\mathrm{tip}}=\mathbf{J}(\theta)\dot{\theta}空间雅可比矩阵满足\mathbf{V}_s=\mathbf{J}_s(\theta)\dot{\theta}：第i列的计算物理意义：\mathbf{J}_{si}(\theta)表示第i个关节轴在当前配置下相对固定坐标系的螺旋轴坐标。矩阵表示2.2.4逆运动学物体雅可比与关系继续讨论物体坐标系下的雅可比矩阵。满足\mathbf{V}_b=\mathbf{J}_b(\theta)\dot{\theta}。物体雅可比矩阵第i列的计算两雅可比间的关系重要性质：两雅可比同维，本质上都是速度旋量。💡思考：在什么情况下选择使用空间雅可比或物体雅可比？2.2.4逆运动学牛顿-拉夫森数值迭代介绍通用的数值求解方法。给定末端位姿\mathbf{T}_d\inSE(3)，求关节值\theta使得\mathbf{T}(\theta)=\mathbf{T}_d。泰勒展开近似设初始估计值\theta^0接近真实解\theta_d：一阶近似与求解增量（方阵且可逆）迭代更新：\theta^{i+1}=\theta^i+\Delta\theta非方阵情况：Moore-Penrose伪逆\mathbf{J}^+冗余（n>m）\mathbf{J}^+=\mathbf{J}^{\mathrm{T}}(\mathbf{J}\mathbf{J}^{\mathrm{T}})^{-1}不足定（n<m）\mathbf{J}^+=(\mathbf{J}^{\mathrm{T}}\mathbf{J})^{-1}\mathbf{J}^{\mathrm{T}}2.2.4逆运动学迭代算法与齐次变换求解完整的逆运动学迭代算法。基于坐标矢量的迭代过程初始化：已知\mathbf{x}_d\in\mathbb{R}^m，初始估计值\theta^0\in\mathbb{R}^n，设i=0计算误差：\mathbf{e}=\mathbf{x}_d-\mathbf{f}(\theta^i)当|\mathbf{e}|>\varepsilon时继续迭代更新：\theta^{i+1}=\theta^i+\mathbf{J}^+(\theta^i)\mathbf{e}增加迭代计数i基于末端位姿的迭代过程计算相对末端坐标系的预期位姿：计算物体速度旋量：当|\boldsymbol{\omega}_b|>\varepsilon_\omega或|\mathbf{v}_b|>\varepsilon_v时继续，更新：\theta^{i+1}=\theta^i+\mathbf{J}_b^+(\theta^i)\mathbf{e}初始值选择：应从零位开始操作，上一计算周期的结果作为新的初始值，确保快速收敛。⚠️易错：初始值选择不当可能导致迭代不收敛或收敛到不同解2.3.1刚体动力学空间惯量矩阵进入动力学部分，从单刚体的动力学方程开始。单刚体动力学方程空间惯量矩阵定义其中\mathcal{I}_b是转动惯量矩阵，m是刚体质量。空间动量定义紧凑形式的动力学方程定义：\operatorname{ad}_{\mathbf{V}}为李括号算子，用于表示速度的非线性项。2.3.1刚体动力学李括号与伴随映射继续介绍动力学方程中的关键概念。李括号定义两个运动旋量\mathbf{V}_1和\mathbf{V}_2的运算：伴随映射矩阵力旋量的伴随映射逆动力学方程已知\mathbf{V}_b和\dot{\mathbf{V}}_b求\mathbf{F}_b：正动力学方程已知\mathbf{F}_b和\mathbf{V}_b求\dot{\mathbf{V}}_b：🔑重点：李括号项表示由于刚体旋转而产生的速度和加速度的耦合效应2.3.2逆动力学递归算法原理介绍高效的递归逆动力学算法。已知关节位置\theta、速度\dot{\theta}、加速度\ddot{\theta}，求关节力/力矩\tau。动力学方程标准形式正向迭代从基座到末端计算每个连杆的运动旋量和加速度逆向迭代从末端到基座计算作用在每个连杆上的力旋量坐标系定义与关键参数{0}基座坐标系{i}连杆i的质心处的坐标系，i=1,2,…,n{n+1}末端执行器坐标系Gi连杆i在坐标系{i}下的空间惯量矩阵Vi坐标系{i}的运动旋量V̇i坐标系{i}的加速度（加速度旋量）Fi通过关节i传递到连杆的力旋量Ai关节i的螺旋轴（在坐标系{i}下表示）2.3.2逆动力学正向迭代与加速度计算详细讨论正向迭代过程。连杆间的运动旋量关系加速度递推关系初始条件基座速度\mathbf{V}_0=\mathbf{0}（通常基座不动）基座加速度\dot{\mathbf{V}}_0=[\mathbf{0},-\mathbf{g}]^{\mathrm{T}}（重力作为基座的反向加速度）正向迭代步骤（i=1到n）1计算连杆变换2计算运动旋量3计算加速度2.3.2逆动力学逆向迭代与力矩计算继续讨论逆向迭代过程和力矩计算。力旋量平衡方程作用在连杆i上的总力旋量等于通过关节i传递的力与通过关节i+1传递的力之和：逆向迭代步骤（i=n到1）1计算力旋量2计算关节力/力矩末端条件：\mathbf{F}_{n+1}=\mathbf{F}_{\mathrm{tip}}=[\boldsymbol{\tau}_{\mathrm{tip}},\mathbf{f}_{\mathrm{tip}}]^{\mathrm{T}}（环境施加在末端的力旋量）无需求微分计算效率高时间复杂度O(n)线性复杂度适合实时控制可用于在线计算💡思考：为什么力旋量采用伴随变换的转置来变换？2.3.3正动力学动力学矩阵与欧拉积分讨论从力/力矩求解运动的正动力学问题。已知关节力/力矩\tau(t)、末端力旋量\mathbf{F}_{\mathrm{tip}}，求关节位置\theta(t)和速度\dot{\theta}(t)。正动力学方程动力学矩阵M(θ)的构造令\ddot{\theta}=e_i（第i列为1，其余为0），\mathbf{h}=0，\mathbf{F}_{\mathrm{tip}}=0，调用逆动力学算法得到\tau，即为\mathbf{M}(\theta)的第i列，执行n次以构建完整矩阵。转化为一阶微分方程令q_1=\theta，q_2=\dot{\theta}：欧拉积分法（最简单的数值积分方法）定义：\deltat为时间步长，应选择足够小的值以保证积分精度。2.3.3正动力学仿真算法介绍正动力学的完整仿真算法。输入初始条件\theta(0)和\dot{\theta}(0)，输入力矩\tau(t)和末端力旋量\mathbf{F}_{\mathrm{tip}}(t)，其中t\in(0,t_f)，以及积分步数N初始化设时间步长\deltat=t_f/N，设\theta[0]=\theta(0)，\dot{\theta}[0]=\dot{\theta}(0)迭代（k=0到N-1）计算加速度：更新位置：更新速度：输出关节轨迹\theta(k\deltat)=\theta[k]，\dot{\theta}(k\deltat)=\dot{\theta}[k]，k=0,1,\dots,N精度改进与应用场景精度改进当积分步数N\to\infty时，欧拉法收敛到理论值可使用高阶方法（如RK4）提高精度应用场景机器人运动仿真控制器设计验证动力学参数辨识⚠️易错：时间步长\deltat过大会导致积分精度下降或不稳定第2章总结刚体运动描述的多种方法旋转矩阵（9个参数，6个约束）欧拉角与RPY角（3个参数，但存在奇异）轴角表示法（4个参数，1个约束）齐次变换矩阵（统一描述位置与姿态）运动旋量与力旋量（6维表示）运动学的两种建模方法D-H参数法：需在每个连杆建立坐标系，参数多但标准化旋量法（指数积公式）：只需基座和末端坐标系，更简洁，无奇异性问题逆运动学求解解析解：适用于结构简单的机器人，需分析每个机构的几何特性数值解：通用方法，基于牛顿-拉夫森迭代，需好的初值动力学分析逆动力学：给定期望运动求所需力/力矩，用于控制正动力学：给定力/力矩求运动，用于仿真递归算法：计算高效，适合实时应用🔑重点：掌握六维旋量表示和伴随变换对理解后续的控制和学习至关重要第3章机器人感知与传感本章系统介绍机器人感知系统的概念、传感器分类、视觉感知技术、传感器标定、特征提取、目标识别、多传感器融合以及其他常用传感器等内容。感知系统内外传感器视觉感知标定技术特征提取目标检测多传感器融合协同感知3.1.1机器人感知概念及系统组成「感」——信息获取机器人感知系统能够检测到外部环境和内部状态变化及对应的物理量，通过传感器检测和捕捉环境中各种物理、化学和生物信号转换的可测量电信号。「知」——信息理解机器人需要通过检测到的物理量正确构建环境及状态模型、理解自身状态和周围环境。感知系统功能模块硬件部分（传感器）信号处理部分特征提取部分决策与规划部分🔑重点：机器人感知系统包含"感"（信息获取）和"知"（信息理解）两个环节，是机器人与环境交互的基础。传感器的作用是通过检测和捕捉环境信息，将观测的环境信息变化映射为电路信号。3.1.2机器人传感器分类内部传感器用于检测机器人自身的状态参数，如位置、姿态、运动等。在机器人控制系统中定义为反馈元器件，用于提升操作稳定性。惯性测量单元（IMU，包含加速度计和陀螺仪）位置传感器（编码器、光电传感器）温度传感器检测：速度、姿态、方位等外部传感器安装在机器人本体外部，用于感知外部环境信息，与机器人目标识别、人机交互等需求有关。视觉传感器（摄像机、激光雷达）触觉传感器（导电橡胶、压电薄膜）听觉传感器（传声器、超声波传感器）检测：位置、声音、气味、距离等💡思考：视觉传感器既可用作外部传感器进行环境感知，又可作为内部传感器预测机械臂位姿，体现了传感器分类的灵活性。3.1.3机器人感知技术发展趋势多传感器融合与集成技术单一传感器通常只在特定场景下表现良好，在复杂环境中会受到限制。将不同时间、多种传感器采集的同构和异构信息进行综合处理，丰富了机器人内部状态和外部环境特征，是未来增强机器人适应能力和提高工作效率的发展趋势。人工智能驱动的智能感知技术深度学习算法（卷积神经网络、循环神经网络、生成对抗网络）用于目标检测、语义分割；根据环境信息结合智能算法预测环境变化或人的行为；在线学习、自主学习等技术处理实时数据，增强任务泛化能力。"云—边—端"协同感知技术云端感知系统助力机器人实时获取处理多源海量数据；机器人或设备间共享感知数据，实现复杂任务协作；本地快速响应与云端深度处理的感知优化组合。🔑重点：多传感器融合、AI智能感知和云边端协同是机器人感知技术的三大主要发展趋势。3.2.1传感器的定义与基本组成传感器定义：能感受规定的被测量并按照一定的规则将其转换为可用信号的器件或装置。传感器具有检测被测量信息的功能，能将测得信息按一定规律转换成电信号等所需形式输出。敏感元件传感器中直接感受或响应被测量信息的元件（如光纤或热敏器件）转换元件将敏感元件的输出响应或被测量转换为电信号的元件（如电阻应变片或电容应变片）信号调理/转换电路将输出信号转换为易处理的电信号（如电荷放大器）🔑重点：传感器由敏感元件、转换元件和信号调理电路三部分组成，是获取原始信息的基础。多种传感器的集成能够提高系统性能，例如融合惯性导航和激光雷达的机器人导航系统，可以实现更高精度的三维场景重建。3.2.2传感器的基本分类按测量物理量位移传感器速度传感器加速度传感器温度传感器湿度传感器按工作原理电阻式传感器电容式传感器电感式传感器压电式传感器按输出信号模拟传感器：输出连续的模拟信号（如电压、电流）数字传感器：输出离散的数字信号，通常通过A/D转换器进行处理按敏感材料金属传感器：如铂电阻温度传感器半导体传感器：如硅压阻传感器、霍尔效应传感器陶瓷传感器：如氧化锆氧传感器💡思考：根据应用场景选择合适的分类标准，有助于快速找到满足需求的传感器类型。3.2.3传感器特性与指标静态特性稳态或静态信号输入下传感器中输入和输出的关系线性度

\gamma_{\mathrm{L}}=\pm\frac{|Y_{\text{实际}}-Y_{\text{理想}}|}{Y_{\text{满量程}}}\times100\%灵敏度

S=\frac{\DeltaY}{\DeltaX}（如应变式压力传感器灵敏度为0.1\mathrm{mV/Pa}）迟滞

\gamma_{\mathrm{H}}=\pm\frac{\DeltaH_{\mathrm{max}}}{Y_{\text{满量程}}}\times100\%其他：分辨率、重复率、漂移、阈值等动态特性动态信号输入时传感器中输入和输出的关系时间域指标：时间常数\tau（从0～63%所需时间）、上升时间t_{\mathrm{r}}、峰值时间t_{\mathrm{p}}、响应时间t_{\mathrm{s}}、超调量\sigma=\frac{Y_{t_{\mathrm{p}}}-Y_{\infty}}{Y_{\infty}}\times100\%频率域指标：工作频带（幅值误差为\pm5\%或\pm10\%所对应的频带宽度）、系统固有频率\omega_0🔑重点：静态特性反映传感器在稳态下的性能，动态特性反映传感器对时变信号的响应能力。3.3.1摄像机模型摄像机模型概念：将图像二维坐标与现实空间中三维坐标联系起来的模型，是视觉感知的基础。四种坐标系世界坐标系：真实场景中的坐标系摄像机坐标系：以摄像机为中心的坐标系图像物理坐标系：成像平面上的物理坐标图像像素坐标系：数字图像的离散像素坐标内外部参数内部参数：f_x=f/dx、f_y=f/dy（焦距）、(u_0,v_0)（主点）外部参数：旋转矩阵\pmb{R}和平移向量\pmb{T}线性小孔成像模型（针孔模型）物点、摄像机光心、像点三点共线，是透视投影中最常用的成像模型，未考虑镜头畸变影响。映射关系为：其中M_1为内参矩阵，M_2为外参矩阵（旋转矩阵\pmb{R}和平移向量\pmb{T}），M=M_1M_2为3\times4投影矩阵。🔑重点：针孔模型通过投影矩阵建立了世界坐标与像素坐标的映射关系，是后续视觉系统标定的基础。3.3.2双目立体视觉技术基本原理：基于两个摄像机之间的视差推断物体的深度和距离，可根据摄像机光轴是否平行分为平行式和汇聚式两种模型。立体矫正步骤将右摄像机与左摄像机保持方向一致确保右图像平面平行于左图像平面将右摄像机旋转，使左极点在无穷远处缩放左右图像，确保等效内参数矩阵相同立体匹配：矫正后两个图像平面共面，寻找对应像素对的过程进一步简化为一维水平搜索问题，需生成密集视差图。立体匹配算法分类基于显式编程：局部匹配（WTA策略）、全局匹配（MRF算法）、半全局匹配（SGM）4个步骤：成本计算、成本聚合、视差优化、视差细化基于机器学习：有监督方法：利用视差真值引导训练无监督方法：使用立体图像之间的几何约束作为监督💡思考：CNN的有监督和无监督方法各有优缺点，有监督精度高但需要真值数据，无监督避免了真值依赖但收敛较慢。3.3.3结构光三维视觉技术特点：量程大、视场大、精度高、光条图像信息易于提取、实时性强、主动受控。基本原理：光学三角法测量，光学投射器投射出一定的结构光模式于物体表面，形成由被测物体表面形状所调制的光条三维图像。点结构光激光器投射光点，信息量少但检测快速线结构光激光器通过柱面镜形成激光平面，信息量大，复杂性不增加多线结构光多道光条同时投射，增强效率和范围但引入复杂化标定网格结构光高对比度方形网格照明，可提取多面体平面区域的位姿透视投影模型同时满足光平面方程ax_L+by_L+cz_L+d=0精度评估光平面方程：\cot(\alpha+\beta)\cdotx_L+z_L-\frac{\sin\alpha}{\sin(\alpha+\beta)}L=0定位误差引起的视觉误差随放大倍率M=z_L/f增加而增加基线距L越大，测量误差越小；放大倍率M越大，测量误差越大🔑重点：结构光通过光平面约束消除多义性，实现三维测量；精度与系统参数、环境因素密切相关。3.4.1视觉标定的基本概念传感器标定的定义：利用某种标准仪器对新生产的传感器进行检验和标度，确定不同使用条件下误差关系、测量精度等参数的过程。视觉标定的目标：确定摄像头的内部参数和外部参数，使摄像机二维图像信息能够转换为三维空间中的精确几何信息。通过标定可以校正由摄像头畸变引起的图像失真，建立摄像头与现实世界的数学模型。内部参数（IntrinsicParameters）描述摄像头的内在特性f_x,f_y：u轴和v轴的尺度因子（有效焦距）(u_0,v_0)：光学中心\gamma：u轴和v轴不垂直因子（通常为0）径向畸变参数k_1,k_2和切向畸变参数p_1,p_2外部参数（ExtrinsicParameters）描述摄像头相对于世界坐标系的姿态🔑重点：标定的目标是通过算法确定内外参数，校正摄像头的图像失真，建立图像与三维空间的映射关系。3.4.2常见的视觉标定算法直接线性变换标定法（DLT）原理简单，计算工作量小，适合初步摄像头参数估计。关键公式：u_i=\frac{L_1x_{wi}+L_2y_{wi}+L_3z_{wi}+L_4}{L_9x_{wi}+L_{10}y_{wi}+L_{11}z_{wi}+1}。多台相机需逐台标定，单台相机移动需每次重新标定。张正友标定法仅需使用平面棋盘格标定板（制作简单、精度可控）。步骤：①棋盘格图像采集②特征点提取③参数估计（最小二乘法）④畸变校正。核心公式：单应性矩阵s\widetilde{\boldsymbol{m}}=A[r_1\quadr_2\quadt]\widetilde{\boldsymbol{M}}=\boldsymbol{H}\widetilde{\boldsymbol{M}}，内参矩阵B=A^{-T}A^{-1}。精度高、使用方便，促进了计算机视觉从实验室走向实地应用。机器人手眼标定法确定相机坐标系和机械手坐标系之间的转换关系。核心方程：AX=XB，其中A为正运动学矩阵，B为相机标定矩阵，X为待求手眼标定矩阵。求解：通过对数映射\log(A)=X\log(B)X^T，平移向量求解(I-R)t=p_A-Rp_B。摄像机自标定技术将射影重建转换为度量重建，求解未标定的内参矩阵\mathbf{A}。畸变模型（Brown模型）：x_{corrected}=x(1+k_1r^2+k_2r^4+k_3r^6)+2p_1xy+p_2(r^2+2x^2)。基于绝对二次曲线（AC）的方法：Q_{IAC}=K^{-T}K^{-1}，利用Kruppa方程建立约束。应用极大似然估计法，使用Levenberg-Marquardt算法求解。🔑重点：张正友标定法以其便捷性被广泛应用；手眼标定是机器人视觉系统的关键；摄像机自标定避免了专门标定板的需求。3.4.3视觉标定技术总结和展望基于深度学习的标定技术更自动化地识别和提取标定板的特征点，甚至无须专门标定板。基于多传感器融合的标定技术如摄像头与激光雷达的联合标定，实现更全面的空间感知。视觉标定的应用价值作为视觉系统中的基础步骤，推动机器人、自动驾驶、增强现实等多个领域快速发展为更加智能化、精确化的视觉感知系统奠定坚实基础💡思考：视觉标定技术的不断进步为机器人感知系统的高精度应用提供了支撑。3.5.1特征提取的概念特征提取的定义：对传感器数据的学习和理解，是智能机器人感知必须经历的一个过程。其本质是为完成某一任务从传感器数据中获取某些信息，并利用这些信息获得必要的解释。特征提取方法的分类根据是否使用数据的类信息：监督方法半监督方法无监督方法根据传感器采集数据的类型：音频数据图像数据时序数据等深度学习在特征提取中的应用在自然语言处理、计算机视觉和智能机器人等领域取得了极大的进展。本节内容覆盖各类型传感器数据的经典特征提取算法，以及基于深度学习的特征信息提取算法。3.5.2经典特征提取算法（第一部分：声信号）声音的物理特征音色：声音的基本特征音调：高低，取决于频率响度：强弱，取决于幅度音长：长短，取决于持续时间声音的语义特性：表达一定意义和思想内容，存在语气、情感等因素。基本单位：音节（最小响亮单位）、音素（最基本组成单位）。特征向量和特征矩阵：取样周期20\mathrm{ms}的每小段有一组特征向量；一个字音有一组特征向量矩阵。主要声信号特征信号幅度特征短时间段的平均声音强度，用平均电压幅值或能量表示，可区别不同的词和语句。过零率特征短时间段内语音信号的过零次数，反映信号平均频率。有阵音：20\sim30；无阵音：80\sim120。应用：区别有阵音与无阵音，确定语音的起点和终点。音调周期特性语音信号的基波周期，由声带振动产生浊音（有阵音）和空气摩擦产生清音（无阵音）。每个人的音调周期互不相同，同一个人变化不大；只有"有阵音"才具有音调周期特性。线性预测系数特征基于声道为时变滤波器的模型，从波形中提取表征滤波器特性的特征值。声道共振峰特征声道模型（多个等长不同截面积管道串联系统）和共振峰模型（谐振腔）两种数学模型。3.5.2经典特征提取算法（第二部分：图像数据）图像特征提取的重要性：是标定机器人视觉系统模型参数和进一步理解图像的前提和基础。颜色特征方法：颜色直方图、颜色矩、颜色聚合向量等。表示法：RGB彩色图像表示法、HSV表示法（H为色相、S为饱和度、V为明度）。纹理特征（LBP）将图像检测窗口划分为16\times16小区域；对每个小区域，将中心像素与环形邻域内的8个点进行顺时针比较；若中心像素值比邻点大则赋值为1，否则为0，形成二进制序列；计算每个小区域的直方图并归一化；连接所有小区域统计直方图得到整幅图的LBP纹理特征。关键点检测（SIFT/SURF）SIFT（尺度不变特征转换）：尺度空间极值检测→关键点定位→方向确定→关键点描述。SURF：加速鲁棒特征算子，改进的关键点检测算法。图像边缘检测像素灰度有阶跃变化或屋顶状变化的像素集合。一阶微分算子：Roberts、Sobel、Prewitt、Kirsch、Canny等。二阶微分算子：拉普拉斯算子、LoG算子。角点检测具有高曲率的点，由曲率较大的边缘或多条边缘交点形成。分类方法：①提取边缘寻找最大曲率点；②直接对灰度图操作计算曲率。霍夫变换利用图像全局特性对目标进行检测。已知轮廓曲线方程，通过霍夫变换检测目标形状。直线方程y=ux+v的点(u,v)对应平面O-uv的一个点，这种线到点的变换即为霍夫变换。3.5.2经典特征提取算法（第三部分：时序数据与深度学习）动态时间规整（DTW）算法用于比较两个时间序列相似性的方法。将两个待比较的序列展开为二维平面，根据匹配程度赋予权值（通常用欧几里得距离填充代价矩阵）。约束条件：单调条件（路径只能向右、向上或斜向右上方延伸）、边界条件（路径起点在左下角，终点在右上角）、连续性条件（路径的每一步在8-连通相邻格中）。应用：语音识别、模式识别、手写分析、动作分类。深度学习特征提取算法01CNN（卷积神经网络）核心结构：卷积层→激活函数（ReLU）→池化层→全连接层。应用：图像分类、目标检测（YOLO、FasterR-CNN）、医学影像处理、语音识别。02RNN（循环神经网络）用于处理序列数据，通过循环连接保留先前时刻信息。隐藏状态更新：h_t=f(W_hh_{t-1}+W_xx_t+b_h)。主要变形：LSTM、GRU。03VAE（变分自编码器）无监督生成模型，损失函数：\mathcal{L}(\theta,\phi;x_i)=\mathcal{L}_{RC}+\mathcal{L}_{KL}（重构损失+KL散度）。通过重参数技巧从标准正态分布采样。04GAN（生成对抗网络）包含生成模型和判别模型，两者互相博弈学习。优化目标：\min_G\max_DV(D,G)=E_{x\simp_{data}(x)}[\logD(x)]+E_{z\simp_z(z)}[\log(1-D(G(z)))]。05Transformer模型基于注意力机制，克服RNN的并行计算和长距离依赖问题。自注意力计算：\mathrm{Attention}(\boldsymbol{Q},\boldsymbol{K},\boldsymbol{V})=\mathrm{Softmax}\left(\frac{\boldsymbol{Q}\boldsymbol{K}^T}{\sqrt{d}}\right)\boldsymbol{V}。3.6.1二维目标检测二维目标检测概述：目标检测领域中最早发展的部分，目标是在二维图像中定位并识别目标物体的类别。依靠CNN和Transformer等深度学习方法提取图像中的边缘、纹理等特征，帮助模型识别物体类别和位置。基于CNN的方法两阶段方法（精度高但速度较慢）：R-CNN：开创性方法，利用CNN从RoI中提取特征，用SVM分类FastR-CNN：通过特征池化共享重叠区域计算，效率显著提高FasterR-CNN：引入区域提议网络（RPN）直接生成RoI，成为代表性方法单阶段方法（计算效率高）：YOLO系列：YOLOv1基于无锚框的直接回归；YOLOv2引入锚框提升精度；YOLOv3、YOLOv8等进一步改善性能SSD：单次多框检测器，实时性能优异CenterNet：将目标表示为边界框中心的单点，提升泛化能力RetinaNet：处理类别不平衡问题基于Transformer模型的方法DETR：利用编码器-解码器Transformer架构和基于集合的全局损失DeformableDETR：引入可变形卷积进行稀疏空间采样，解决训练收敛缓慢问题二维目标检测的局限性缺乏深度信息，模型难以准确估计物体在三维空间中的距离和大小，限制了在需要空间信息的应用中的使用。分类方式基于锚框（需设计锚框）无锚框（直接预测边界框）🔑重点：CNN的两阶段方法精度高，单阶段方法速度快；Transformer方法处理全局关系优势明显。3.6.2三维目标检测特点与挑战：需处理更大搜索空间（包括z轴）、更多估计变量（高度、位置、旋转角度）；相机的视角缩短、闪烁、过曝；激光雷达和雷达分辨率低、数据稀疏；光照和天气条件变化。基于相机的方法结果提升方法：先在图像平面使用二维特征进行预测，估计深度信息，将二维检测结果提升到三维空间。代表方法：MonoPair（利用成对空间约束）、StereoR-CNN（基于两幅图像的空间提示）。特征提升方法：将中间特征转换为世界坐标系，在鸟瞰视图（BEV）或三维体积中产生最终预测。基于伪激光雷达的方法：从图像生成点云并应用基于激光雷达的三维检测方法。基于激光雷达的方法量化方法：将点云转换为卷积友好的表示形式：投影到鸟瞰图（BEV）；体素化为网格（手工设计特征的量化）。VoxelNet：端到端网络，体素级特征直接从原始点云学习（而非手工设计）。直接学习方法：避免量化伪影，设计专门网络结构。PointNet：直接从点云中学习表示，应用对称函数赋予顺序不变性。集抽象模块：改进PointNet以捕捉点云局部特征。💡思考：基于相机方法精度受限于深度估计，基于激光雷达方法需要处理稀疏数据，多传感器融合是发展方向。3.6.3语义场景理解语义场景解析概念：计算机视觉中的关键任务，目标是将图像划分为视觉上显著的区域，进行深入视觉理解和分析。在自动驾驶中的应用尤为重要，可应用于二维图像、视频及三维体积数据。单模态网络单模态卷积神经网络：FCN（全卷积网络）：端到端语义场景解析的重大进展，处理任意尺寸输入，使用反卷积层上采样金字塔池化模块（PPM）：结合四个不同金字塔尺度的特征，捕获不同尺度上下文信息UNet：U形架构，融合高分辨率特征与上采样特征，增强场景解析结果单模态Transformer网络：Segmenter模型：将CNN与自注意力机制结合解决语义场景解析SwinTransformer：分层Transformer模型，具有移动窗口计算表示，在不同尺度建模数据融合网络原理：将结构化视觉信息与RGB信息融合，创造更丰富的图像表示。结构信息来源：深度信息、视差信息、热信息、表面法线信息等。FuseNet：典型融合示例，使用两个编码器（VGG-16主干）分别处理RGB和深度图像。热RGB融合：利用热成像表示不同照明环境，与RGB相辅相成。MFNet：编码器-解码器结构，两个编码器分别提取RGB和热特征，通过迷你Inception模块融合应用：夜间自动驾驶场景，最大化热成像和RGB信息互补性🔑重点：语义分割通过多模态融合可以获得更完整的场景理解；融合结构信息显著提升精度和鲁棒性。3.7.1多传感器融合的目标单一传感器的局限性：只能检测被测对象的部分信息，且存在不确定性的输出偏差。冗余性与互补性消除信息之间的冗余或矛盾，降低检测不确定性；通过不同传感器的信息融合，给出对被测对象相对完整、准确的信息表述。降低测量噪声有助于减少噪声引起的不确定性，减少单一传感器的误差，提高测量精度。扩大检测范围通过不同类型传感器的信息融合，扩大检测或感知的空间和时间范围。降低成本与容错通过较低成本获得更高质量、更丰富的对象和环境信息；多传感器的冗余信息可以提高系统容错能力和可靠性。🔑重点：多传感器融合通过信息冗余和互补性，显著提高系统的精度、可靠性和容错能力。利用多个传感器对环境或目标进行检测，将多个传感器获得的信息按一定方法进行综合处理，进而更