机器人设计 课件 第4章 机器人视觉系统设计

第4章机器人视觉系统设计

学习目标学习导图大国重器知识讲解本章小结拓展阅读知识测评章节内容4.1机器人感知传感器概述4.2机器人视觉系统组成4.3机器人视觉系统坐标系标定设计案例4.4机器人视觉导引原理4.5机器人视觉识别算法本章小结学习目标学习目标学习导图大国重器知识讲解拓展阅读知识测评知识学习能够了解机器人常用传感器。能够了解机器人视觉系统的结构组成。能力培养能够自主选用硬件设备并搭建基本的机器人视觉系统。能够灵活运用计算机视觉库中的函数完成目标识别等任务。素养提升学习颠覆性技术，了解“机器人机”应用新发展格局，领悟学科交叉渗透的引领性、先导性作用。采用机器视觉技术赋予机器人环境感知能力，理性评价智能机器人视觉系统解决方案的适用性、经济性、可靠性，培养解决复杂工程问题的能力。设计案例能够自主选用硬件设备并搭建基本的机器人视觉系统。能够了解机器人视觉系统的坐标系标定原理。能够了解机器人视觉系统的常用算法。3学习导图本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例机器人控制系统设计机器人视觉导引原理机器人视觉系统坐标系标定机器人视觉系统组成机器人视觉识别算法机器人感知传感器概述设计案例大国重器“智”农时代，视觉感知给农业机器人配上“火眼金睛”当下，机器视觉主导的作业信息感知是农业机器人智能化研究热点，其作为核心信息源，具有感知丰富、采集完整、识别直接的特点，但农田复杂环境（光照多变、空间不可控、目标分散等）给技术研发应用带来挑战。​某年度，“非结构环境下农业机器人机器视觉关键技术与应用”项目获吴文俊人工智能技术发明奖。项目通过构建光照波动控制模型突破光照局限，融合多技术研发作物信息获取技术，创新视觉伺服控制，提升信息获取精准度，破解机器人精度与速度等协同控制难题。​该技术已应用于果蔬采摘、精准喷药等农业智能装备，相关产品推广至多省市，覆盖多种农业场景，节省大量劳动力；未来将拓展至设施农业及大田全生产环节机器人。​视觉感知为农业机器人提供“火眼金睛”，支撑农业可持续发展，机器视觉已是机器人核心部分，全面认知机器人需学习其组成、原理与使用方式。​本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例知识讲解4.1机器人感知传感器概述机械与电控不足使机器人达较高智能，需机器人视觉等补充。受生物启发，视觉用于机器人，助其获取信息、完成运动。本章围绕硬件设备及算法，帮学生认识机器人视觉系统组成、原理、应用，详述设计案例以整合知识。机器人传感器——用于获取机器人控制所需内部、外部信息的传感器（RobotSensor）。核心作用：如同人类感官，支撑机器人“感知-决策-行为-反馈”闭环工作流程，提升对自身状态、外部环境的感知能力。功能特点：可模拟人体视觉、听觉、触觉等感官功能；具备“超人”本领：能在高温、高压、辐射等恶劣环境工作，检测人类无法感知的微弱磁、电、离子、射线等信息。分类：内部状态传感器、外部状态传感器。本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例1.内部状态传感器用于测量机器人内部状态的机器人传感器，如旋转编码器、力觉传感器和防碰撞传感器等，应满足机器人末端执行器的运动要求及防碰撞安全要求，安装在机器人本体上。64.1感知传感器概述本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例j常见的内部状态传感器传感器类别工作原理应用场合结构图示旋转编码器又称码盘,按照码盘的刻孔方式不同,可将其分为增量式和绝对式两类。增量式编码器是将角位移转换成周期性的电信号,再把这个电信号转变成计数脉冲,用脉冲的个数表示位移的大小;绝对式编码器的每一个位置对应一个确定的数字编码,因此它的示值只与测量的起始和终止位置有关,而与测量的中间过程无关主要用来测量机器人操作机各运动关节(轴)的角位置和角位移力觉传感器通过检测弹性体变形来间接测量所受力,目前常见的六维力觉传感器可实现全力信息的测量,一般装于机器人关节处主要用来测量机器人自身力与外部环境力之间的相互作用力防碰撞传感器在机器人操作机和末端执行器发生碰撞时提前或同步检测到这一碰撞,防碰撞传感器发送一个信号给机器人控制器,机器人会立即停止或者避免碰撞发生主要用来检测机器人操作机和末端执行器与工件、夹具以及周边设备之间发生的碰撞,是一种机器人过载保护装置4.1感知传感器概述本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例2.外部状态传感器用于测量机器人所处环境状态或机器人与环境交互状态的机器人传感器，如视觉传感器、超声波传感器和接触/接近觉传感器等。j常见的外部状态传感器类别工作原理应用场合结构图示视觉传感器利用光学元件和成像装置获取外部环境图像信息的仪器,是整个机器人视觉系统信息的直接来源,通常用图像分辨率来描述视觉传感器的性能主要的工业应用包括机器人定位和引导(纠偏、实时反馈)、检测(防错、计数、分类、表面探伤)、测量(距离、角度、平面度、全跳动、表面轮廓等)和识别超声波传感器超声波传感器是将超声波信号(振动频率高于20kHz的机械波)转换成其他能量信号(通常是电信号)的传感器。常用的超声波传感器主要由压电晶片组成,既可以发射超声波,也可以接收超声波。其主要性能指标包括工作频率、工作温度、灵敏度、指向性等在工业方面,超声波的典型应用是对金属的无损探伤和超声波测厚两种。此外,还可用于包装、制瓶、塑料加工等行业的液位监测、透明物体和材料探测、距离测量等8视觉传感器按类型可分为单个成像传感器、条带传感器和阵列传感器三种。在生成图像时，单个成像传感器需要按照行和列移动，每次得到一个像素；而条带传感器仅按列移动，每次得到一行像素；阵列传感器无需移动就能得到全部像素。以图像左上角像素中心为坐标原点，一幅尺寸为m×n的数字图像F可以用矩阵表示为：4.1感知传感器概述本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例j常见的外部状态传感器(续表)传感器类别工作原理应用场合结构图示接触/接近觉传感器接触/接近觉传感器是指采用机械接触式或非接触式(光电式、光纤式、电容式、电磁感应式、红外式、微波式等)原理,感知相距几毫米至几十厘米内对象物或障碍物距离、相对倾角、表面性质的一种传感器主要用来感知机器人与周围对象物或障碍物的接近程度,判断机器人是否接触物体,避免碰撞,实现无冲击接近和抓取操作4.1感知传感器概述本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例3.传感器融合人在复杂任务（如打乒乓球）中，多感官结合效率更高；机器人面对复杂场景时，单个传感器信息有限，多传感器融合是稳妥策略。定义与学科交叉传感器融合（多传感器融合，MSF）最早源于国防领域，是通过计算机技术，对多传感器/多源信息按准则自动分析、综合，以完成决策/估计的信息处理过程。它是多学科交叉技术，涉及信号处理、概率统计、信息论、模式识别、人工智能、模糊数学等理论。核心优点提高系统感知能力：突破单一传感器局限性，利用信息冗余提升感知的可靠性、鲁棒性；减少噪声，提升数据质量。增强环境适应能力：覆盖更广泛的时间、空间范围，弥补单一传感器对空间分辨率、环境语义的不确定性；某一传感器故障时，系统可通过其余传感器继续工作。降低成本：多个廉价传感器融合，可达到昂贵传感器的作用，保证系统性能的同时减少预算。技术难点需保证多传感器“时空同步”：时间同步：统一同步时钟，保证传感器信息的时间一致性与正确性；空间同步：统一坐标系，保证同一时刻不同传感器信息的空间一致性，确保数据结果准确可靠。104.1感知传感器概述本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例融合类型分为低级融合、高级融合、混合融合三类：低级融合：采用集中式（右图a），包含数据级（像素级）融合、特征级融合；高级融合：支持集中式/分布式（右图b）；混合融合：由多个低级融合与高级融合组合而成。研究现状

虽未形成完整理论体系，但各应用领域已基于场景提出大量成熟有效的融合方法。常用算法

主要概括为随机类和人工智能类两大类（算法详情见下表）。传感器融合的分类与发展融合方式4.1感知传感器概述本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例j常见的外部状态传感器大类具体算法方法说明优缺点随机类加权平均法一种直接对数据源进行操作的方法，将一组传感器提供的冗余信息进行加权平均，结果作为融合值信号级融合最简单、直观的方法多贝叶斯估计法各传感器数据作为贝叶斯估计，各单独物体的关联概率分布合成一个联合且后验的概率分布函数。使似然函数最小，提供多传感器信息的最终融合值，融合信息与环境的先验模型提供整个环境的特征描述当传感器组的观测坐标一致时，可以直接对传感器的数据进行融合D-S证据推理方法它是贝叶斯推理的扩充，推理结构自上而下分三级，分别是目标合成、推断和更新具有直接表达"不确定"和"不知道"的能力。但所需的证据必须是独立的，计算上存在"指数爆炸"问题产生式规则采用符号表示目标特征和相应传感器信息之间的联系，与每一个规则相联系的置信因子表示它的不确定性程度每个规则的置信因子的定义与系统中其他规则的置信因子相关，如果系统中引入新的传感器，需要加入相应的附加规则124.1感知传感器概述本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例j常见的外部状态传感器(续表)大类具体算法方法说明优缺点人工智能类模糊逻辑推理基于多值逻辑，打破以二值逻辑为基础的传统思想，模仿人脑的不确定性概念判断、推理思维方式。其实质是将一个给定输入空间通过模糊逻辑的方法映射到一个特定输出空间的计算过程，比较适合高层次上的融合一定程度上克服了概率论所面临的问题，它对信息的表示和处理更加接近人类的思维方式，但是本身还不够成熟和系统化人工神经网络法根据当前系统所接受的样本相似性确定分类标准，这种确定方法主要表现在网络的权值分布上。同时，可以采用特定的学习算法来获取知识，得到不确定性推理机制有很强的容错性以及自学习、自组织及自适应能力，能够模拟复杂的非线性映射传感器融合技术广泛用于复杂工业过程控制、惯性导航、农业、遥感、医疗诊断，以及机器人、自动驾驶等领域（右图展示常见车载传感器位置及种类）。还包含速度、胎压、碰撞、气囊检测等传感器。该技术发展获多国重视。车载传感器134.2视觉系统组成本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2机器人视觉系统组成系统定义视觉系统（视觉单元）是采集目标环境图像，分析处理以获取目标物几何参数、位置姿态等信息的软硬件系统，图像信息源于视觉传感器。车载传感器一般由光源（照明系统）、相机、镜头、视觉控制器、软件算法五大部分组成，还可添加显示器、辅助传感器等（如右图）。1相机：将光信号转换为有序电信号，是视觉系统设计的重要环节，直接决定图像分辨率、色彩等指标，还影响系统运行模式（如工业相机常用于机器人视觉系统）。相机可按传感器芯片、曝光模式等分类。1.机器人视觉系统的主要组成部分14本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成车载传感器相机传感器芯片类型CMOS芯片（左图）：制造技术与普通计算机芯片类似，由硅、锗制成；N型（负电）与P型（正电）半导体互补形成的电流，可被处理芯片解译为图像。CMOS分被动式、主动式，处理快速变化图像时易因电流频繁变化过热，产生杂点。

二者对比详见下表。相机传感器芯片主要有

CCD（电荷耦合器件）和

CMOS（互补型金属氧化物半导体）两类：CCD芯片：以高感光度半导体材料制成，将光线转化为电荷，经模数转换为数字信号，压缩后存储并便捷传输至计算机。15本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成j对比内容对比结果CCDCMOS数据采集方式被动式采集主动式采集制造工艺感光元件和信号处理器分离感光元件和信号处理器集成感光元件感光二极管感光二极管放大器配备单一放大器每个像素配备独立放大器数据采集方式被动式采集主动式采集传感器芯片对比本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成随着技术进步，CCD与CMOS的差异逐渐缩小曝光方式分类（成像效果见图4-6）

曝光是使感光体感光面受光形成影像的过程，分为两类：CCD：改进功耗，拓展至移动通信领域；CMOS：提升分辨率、灵敏度，应用于更高端图像产品。全局曝光（CCD相机常用）：光圈打开后，整个图像芯片同时曝光；曝光时间与机械开关速度相关，存在理论最小值。优点：可实现更短曝光时间；缺点：取像时间不同步，拍摄快速运动物体时图像有明显拖影，不适合高速运动物体。卷帘曝光（CMOS相机涉及）：光圈打开后，由“卷帘（从左到右）”控制曝光时间，时长取决于卷帘开口大小和运动速度（卷帘越快、间距越小，曝光时间越少）。车载传感器a)全局曝光b)卷帘曝光17本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成相机镜头2镜头：视觉系统的“眼睛”核心作用：负责光束调制，将目标物体图像聚焦在相机图像传感器的光敏器件上；镜头质量直接影响视觉系统整体性能。按焦距：定焦/变焦/增倍镜；短焦/中焦/长焦镜头；按视场大小：广角、标准、远摄镜头；按结构：固定光圈定焦、手动光圈定焦、自动光圈定焦、自动变焦、自动光圈电动变焦等；按接口类型：C接口、CS接口、U接口、特殊接口镜头等（相机镜头如左图

所示）。分类方式（多维度适配不同场景）：18本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成不同成像颜色a)物体颜色b)蓝光照射下的图像c)红光照射下的图像核心价值：通过合理照明设计，可强化特征、弱化背景，提升图像信息质量，简化软件算法，降低系统设计复杂度，同时提高检测精度与速度。选型特点：无通用机器视觉光源，需针对特定应用实例选择，以达最佳效果。常用类型与应用：可见光：含暖色光（红色调）、冷色光（蓝色调）。被测物体特征与光源色温不同时，特征呈黑色；相同时呈白色（如下图）。红外光：对塑料穿透性好，可显示封装金属电路等内部元件，效果堪比X射线且对人体无害。紫外光：波长短、穿透力强，用于证件检测、金属表面划痕检测等。

3光源：视觉系统的关键部分19本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成常见视觉光源类型：LED光源、卤素灯（白炽灯变种）、高频荧光灯等，其中

LED光源最常用。LED光源优点：由多个单个LED组成，可针对应用场景定制颜色、亮度、形状、尺寸、照射角度；响应时间短、使用寿命长，长时间连续工作后亮度衰减少，综合运营成本低。LED形状分类：按形状分多种类型，功能与用途不同（部分类型见下表）。j种类图例特点应用场景环形光源提供不同照射角度、不同颜色组合,更能突出物体的三维信息,有效解决对角照射阴影问题PCB基板检测、IC元件检测、显微镜照明、液晶校正、塑胶容器检测、集成电路印字检查等背光源高密度LED阵列提供高强度背光照明,能突出物体的外形轮廓特征;免受表面反光影响机械零件尺寸的测量,电子元件、IC的外型检测,胶片污点检测,透明物体划痕检测等LED光源介绍20本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成jLED光源介绍（续表）种类图例特点应用场景条形光源可以消除表面反光影响；性价比高，是大面积打光、较大方形结构被测物的首选光源金属表面检查，图像扫描，表面裂缝检测，LCD面板检测等同轴光源可以消除物体表面不平整引起的阴影，减少干扰最适用于反射度极高的物体，如金属、玻璃、胶片、晶片等表面的划伤检测，芯片和硅晶片的破损检测，Mark点定位等AOI光源不同角度的三色光照明，照射凸显焊锡三维信息；外加漫射板导光，减少反光专用于电路板焊锡检测；多层次物体检测等点光源大功率LED，体积小，发光强度高；尤其适合作为镜头的同轴光源；高效散热，寿命长适合远心镜头使用，用于芯片检测，Mark点定位，晶片及液晶玻璃底基板正等21本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成视觉控制器核心模块与性能：内部集成图像采集卡、图像处理器等模块，具备快传输速度、大存储容量、强计算处理能力。

4

视觉控制器系统决策与控制：在机器人视觉系统中起决策管理作用，可控制相机工作状态、采集并处理数据，将结果发送至机器人控制器或调整视觉系统状态；部分具备光源供电接口，能控制光源照明（如实现光源频闪，延长光源寿命、节约能源）。对比优势（左图）：外设接口更丰富，性能强、调整灵活、功耗低、坚固耐用，可承受严苛工作环境；便于配置3D和多相机二维应用，减少开发时间与精力。22本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成2.设备选型技术指标（1）相机的技术指标商家通常提供接口类型、传感器类型、靶面尺寸、分辨率、帧率、环境规格、机械规格、色彩类型、功率等信息，以下介绍部分指标：1）靶面尺寸：相机标注的靶面尺寸，通常指相机传感器的对角线尺寸，单位为in（1in=16mm），如1/3in（也可写成1/3"）等。传感器规格：传感器宽高比为

4:3（遵循“勾三股四弦五”的尺寸逻辑）。常见CCD靶面尺寸见下表。靶面尺寸与成像质量的关系靶面尺寸涉及传感器中像素的尺寸和数量，直接关系成像质量，规律如下：靶面尺寸相同时：相机分辨率越高→靶面内像素数量越少→成像质量越差；分辨率相同时：靶面尺寸越大→像素尺寸越大→成像质量越好。

一般情况下，靶面尺寸相同时，工业相机分辨率低于民用相机，因此成像质量更好。23本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成j常见CCD靶面尺寸（单位：mm）规格传感器宽传感器高对角线长度规格传感器宽传感器高对角线长度1/6"2.41.831/2.5"5.764.297.1821/4"3.22.441/2.3"6.164.627.73.62.74.51/2"6.44.881/3.6"4351/1.8"7.25.491/3.2"4.5363.4165.6781/1.7"7.65.79.51/3"4.83.661/1.6"8.086.0110.071/2.8"4.593.425.712/3"8.86.6111/2.7"5.273.966.5921"12.89.6165.3714.0356.71824本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成2）帧率显示帧率：单位为fps（FramesperSecond）或Hz（赫兹），表示每秒显示的帧数。高帧率使动画更流畅逼真：30fps的流畅感人类可接受；提升至60fps能明显增强交互感与逼真感；超过75fps后，流畅度提升难被察觉；若帧率超过屏幕刷新率，超出部分的图像帧会被浪费。相机采集帧率（最大帧率/行频）：是相机采集传输图像的速率。面阵相机：通常为“每秒采集的帧数”；线阵相机：为“每秒采集的行数”。25本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成3）分辨率分辨率是成像系统重现图像最小细节的能力，常通过像素数表示（如

代表每行640像素、共480行，总像素307200，即30万像素，像素总数也可体现分辨率）。计算方法方法1：由相机视野大小和最小测量精度求解，公式为示例：视野12mm×9mm、测量精度

0.01mm时，分辨率为1200×900。方法2：用相机传感器尺寸除以像元尺寸（单个像素大小）得到分辨率。4）镜头接口工业相机常为“裸机”（不含镜头），需根据场景更换镜头，因此要建立相机与镜头连接的通用标准，确保匹配安装。接口分类：相机接口分螺纹接口和卡口接口两大类，螺纹接口常用的有

C、CS、M12、M42、M58

五种。26本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成C与CS接口的核心差异（法兰距）法兰距（像场定位距离）：机身上镜头卡口平面与机身曝光窗平面的距离（即镜头卡口到感光元件的距离）。C接口法兰距：17.5mmCS接口法兰距：12.5mm→CS接口相机接C接口镜头时，需加CS-C转接环（厚度5mm，如下左图）。不同成像颜色a)C接口b)CS接口c)CS-C转接环M12接口：直径12mm，因尺寸小，多用于微型工业相机（如无人机搭载相机）；M42接口：直径42mm；M58接口：直径58mm。27本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成5）数据接口是工业相机向主机（工控计算机）传输图像数据的电气接口（需配套传输协议），直接决定相机性能与适用范围。主流类型：CameraLink、IEEE1394、USB、网络接口、CoaXPress。6）机械规格包含相机重量、外形尺寸，影响安装与结构设计：安装空间有限时，需关注长宽高，确保相机可安装；若安装在运动部件上，计算结构强度、重心、电机功率等需纳入相机重量。（2）镜头的技术指标核心参数：供应商提供名称、品牌、产地、分辨率、对比度、焦距、光圈值、视野、工作距离、景深、接口等；产品说明书标注结构形式及精度规格。其中分辨率、焦距、景深基础且关键。1）分辨率（镜头）包含表示方式：常用每毫米线对数（LP/mm），即1mm间距内可分辨的黑白相间线条对数。28本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成匹配逻辑：若1mm内有N条黑白线对（总线条数为2N），需相机像元密度为2N/mm；此时镜头每毫米线对数为N，可避免镜头或相机能力浪费。命名习惯：常以相机分辨率命名镜头（如90LP/mm的镜头也称为“100万像素镜头”）。注意点：同一分辨率下，相机靶面尺寸不同，像元密度不同。示例：200万像素相机，靶面为1/3"（传感器水平4.8mm)、竖直3.6mm）时，像元密度约靶面为1/2"时，像元密度为255LP/mm。2）焦距定义（GB/T13964—2008）：光学系统像方主点到像方焦点的距离；也指平行光入射时，从透镜光心（几何中心）到光汇聚点的距离。单位常用毫米（mm）。选择依据：需结合实际场景，涉及视野（观察范围）、物距（镜头到目标物体的距离，单位mm）等。29本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成计算公式（相似三角形原理，下图辅助理解）：不同成像颜色像方焦点：无限远点所发出的光线通过光学系统后所汇聚在图像一侧的点。像方主点：入射光线与出射光线的反射延长线必交于一点，过该交点做垂直于光轴的平面，平面与光轴交点即为像方主点（如右图）。像方主点30本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成3）景深景深a)前后景深b)光圈与景深在相机镜头或其他成像器能够取得清晰图像的成像所测定的被摄物体的前后距离范围。对应的前后景深如下图a所示。工业镜头景深越长，那么能清晰呈现的范围就越大。此外，焦距越短，景深越大；光圈越小，景深越大，如下图b所示。31本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成3.机器人视觉系统集成方式j安装方式特点图示外置式视觉传感器安装在机器人本体上，可随机器人运动。视觉传感器安装应牢固，能抵抗振动，工作时不与机器人发生干涉，且线缆采用JB/T10696.3的试验方法后应满足下表的抗折弯要求固定式视觉传感器固定安装在机器人运动空间内。视觉传感器安装应牢固，不随机器人进行运动，不与机器人干涉视觉系统的集成机器人视觉系统的集成方式主要有外置式、固定式和运动式三种，其中外置式系统通常也称为手眼式系统。不同的集成方式各有优劣，适用于不同的场合，具体见下表。32本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成j安装方式特点图示运动式视觉传感器安装在可移动部件上，如云台或滑轨等。视觉传感器安装应牢固，能抵抗振动，工作时与机器人及其他周围环境应不发生干涉视觉系统的集成(续表)j相机传输数据接口电缆类型最小折弯半径抗折弯次数线缆最大长度USB2.0/3.0接口多芯双绞线<6倍电缆外径≥1000万次5mGigE千兆网接口多芯双绞线<6倍电缆外径≥1000万次100m1394FireWire接口多芯双绞线<6倍电缆外径≥1000万次100mCameraLink接口CameraLink线缆<6倍电缆外径≥1000万次10m抗折弯要求33本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成4.机器人视觉应用机器视觉历经了几十年的发展，在技术上有了长足的进步。相较于人体的视觉系统，机器视觉具有实时性强、定位精度高、重复性好等诸多优点，见下表。将机器视觉应用于机器人，可以使机器人具有和生物视觉类似的场景感知能力，让机器人具备更强大的实时的自主决策能力。j项目人类视觉机器视觉精确性差，64灰度级，不能分辨小于100μm的目标强，256灰度级，可观测微米级目标速度慢，无法看清间隔小于40ms的运动目标快，快门时间可达10μs适应性弱，很多环境对人体有损害强，对环境适应性强客观性低，数据无法量化强，数据可量化重复性弱，易疲劳强，可持续工作可靠性易受主观情绪影响客观，检测效果稳定可靠效率低高人类视觉与机器视觉对比34本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成机器人视觉系统已进入电子、汽车、电池、半导体、包装、食品、药品等诸多行业。多元应用环节：以汽车制造为例，从原材料质量检测，到零部件尺寸精密测量、装配定位，再到焊接、涂胶、冲孔等工艺把控，以及整车质量检查等十余个环节均有应用。视觉传感器功能分类核心功能归为四类：定位和导引、检测、测量、识别，简称“GIGI”。（1）定位和导引景深AGV核心技术：是自动导引小车的核心技术之一。SLAM技术价值：同步定位与建图（SLAM）技术迅猛发展，可让AGV实现自主避障、自主规划路径；因无需预设参照物，能大幅降低成本。AGV引导方式：主流有电磁感应引导式、激光引导式、机器视觉引导式（如右图所示为AGV）。其中机器视觉引导式误差达5cm级别，被誉为“视觉GPS”，发展前景广阔。35本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成（2）检测主要用于物体表面检测。传统视觉方法：依据形状（直线、圆）、颜色、灰度值等特征，通过模板匹配、图像滤波、斑点分析等算法，检测目标“有无”、表面缺陷等；但对复杂、高难度检测目标适应性差。深度学习的价值：突破传统方法局限，有效提升检测质量。智能检测系统：将2D视觉模块、机器人、AGV有机结合，融入5G技术，打造高精度视觉检测协作机器人（如下图）。该系统具备路径规划、避障能力，可自主运动至多个工位完成检测、抓取工作，并收集分析产品质量数据，为工业现场“人机协同柔性制造”提供技术支撑。视觉检测协作机器人36本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.2视觉系统组成利用计算机处理、分析、理解图像，识别不同模式的目标与对象。常见技术：光学字符识别（OCR）、指纹识别、人脸识别、二维码识别、唇语识别等。应用场景：指纹/人脸识别：用于身份识别，涵盖考勤打卡、门禁解锁、支付、交通等领域；OCR技术：广泛应用于标签、票据、仪表读数等识别；示例：下棋机器人（右图）可识别棋子位置变化、计算胜率，借助机械手完成棋子码放、与人对弈。（3）测量测温机器人下棋机器人视觉系统能提取图像边缘、轮廓等信息，开展非接触式的尺寸、位置度、高度测量。特点：精度高、速度快，且因不接触目标物，可避免人工测量对目标的影响。示例：测温机器人在5m范围内测量人体温度，精度达±0.3℃（如左图）。（4）识别37本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定4.3机器人视觉系统坐标系标定标定必要性：视觉系统安装到机器人后，因执行机构与视觉系统处于不同坐标系，无法直接有效数据交流（如目标在视觉左侧、执行机构右侧时，视觉指令易出错）。因此，机器人调用视觉系统前，需建立两者（坐标系）的关联，即坐标系标定。常用坐标系：世界坐标系、工具坐标系、工件坐标系、相机坐标系等（部分坐标系位姿如下图所示）。各坐标系关系图标定步骤：分三步依次开展：①机器人工具坐标系标定→②工件坐标系标定→③视觉单元坐标系标定。坐标转换关系：标定时以世界坐标系为基准，将工业机器人的工件坐标系、图像坐标系（以图像为参照

），通过相机坐标系（以相机为参照

）

建立转换关系。38本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定世界坐标系（WorldCoordinateSystem）是机器人视觉系统中作为基准的参照坐标系；坐标系机座坐标系（BaseCoordinateSystem）又称基坐标系，位于机器人基座，一般单台机器人的世界坐标系和基坐标系是重合的。工件坐标系（WorkpieceCoordinateSystem）是以目标工件为参照的坐标系（如右图）。视觉单元坐标系（VisionUnitCoordinateSystem）是相机坐标系和图像坐标系的总称。本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定工具坐标系位姿1.机器人工具坐标系标定不同任务、环境下，机器人末端会固定特定工具（执行器），因此需对工具坐标系

进行标定。标定内容：分为两部分——工具中心点（TCP）的位置标定、工具坐标系姿态（TCF）标定。1）TCP标定的算法模型：控制机器人多次定位并记录角度值，建立通用运动学模型：符号说明：b：机座坐标系；e：机械接口坐标系；t：工具坐标系；

：工具坐标系相对机座坐标系

的坐标变换矩阵；

：机械接口坐标系

相对机座坐标系的变换矩阵；

：机械接口坐标系到工具坐标系

的变换矩阵（如右图辅助理解）。40本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定2）参考点选取：TCP标定需控制机器人以多个姿态，约束工具中心点（TCP）处于同一空间参考点。3）标定点数选取：依据标定装置差异，通常选择

3点～7点标定。4）姿态标定：TCP标定完成后，对工具坐标系的

X/Y、X/Z

或

Y/Z方向进行标定。2.机器人工件坐标系标定工具坐标系位姿前置要求：需先完成工具坐标系标定（因工件坐标系标定要用到机器人末端工具的TCP）。算法模型：控制机器人多次定位并记录角度值，建立通用运动学模型b：机座坐标系；e：机械接口坐标系；t：工具坐标系；

：工件坐标系相对机座坐标系

的坐标变换矩阵；

：工具坐标系

相对机座坐标系的变换矩阵；

：工件坐标系到工具坐标系的变换矩阵（如右图)更便于描述工件位置变化；机器人处理多工件时，为每个工件定义坐标系，可简化程序调整。41本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定3.视觉单元坐标系标定世界是三维的，而成像平面（像面）是二维的；视觉单元可看作“三维场景→二维图像”的不可逆函数。标定目标：找到合适数学模型，求解参数以近似“三维→二维”的过程，并为该函数找到反函数（实现“二维图像→三维场景”的逆向映射）。核心作用：求取相机内参、外参及镜头畸变参数，实现图像坐标与工件坐标间的变换：内参：相机坐标系下，真实物体投射到成像平面的坐标变换矩阵；外参：相机坐标系相对工件坐标系的变换矩阵（由旋转矩阵R、平移矩阵t

组成）。算法模型：建立工件坐标系

到图像坐标系

（相机内像素空间）的映射（工件坐标系经旋转、平移后与图像坐标系重合），通用模型为符号说明：s为常数；

为图像空间坐标；

为内参矩阵；

为旋转矩阵；

为平移矩阵；

为工件空间坐标。测量参数：测量工业机器人在世界坐标系下的多点位置坐标，以精确计算内参矩阵、旋转矩阵

、平移矩阵

的值。标定通用步骤42本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定物体投射到像面a)投射模型b)相似三角形3.视觉单元标定原理投射过程：相机坐标系下，目标物上的点

经相机光心（镜头中心

投射到像面，对应像面点

（如图a）。简化模型：依据小孔成像原理，可简化为相似三角形问题（如图b）。相机坐标系约定：

轴指向相机前方，

轴向右，

轴向下；

为光心（小孔成像的“小孔”）。坐标与参数：设

坐标为

，像面投射点

坐标为

；成像平面与光心的距离（像距

v）用焦距

f

代替。43本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定焦距f、像距v和物距u(光心到物体的距离)之间最基本的关系可以用高斯成像公式表达：可知，当物距u很大时，像距v的大小近似于焦距f。成像根据三角形相似性，有负号因成像倒立，物与像处于坐标系不同象限为便于表示，将像面从相机后面对称到前面（如右图），去除负号后关系为44本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定推导图像坐标与相机坐标的关系：写成矩阵形式并整理得：把写到等式左边去，变成其中，

（尺度因子），

为相机内参矩阵，描述相机坐标系到图像坐标系的转换关系（相机出厂后内参固定）。45本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定物体投射到像面a)畸变b)安装偏差展示畸变定义：镜头非理想透视成像，因透镜制造/组装偏差，横向放大率随像高或视场大小变化，引发失去物像相似的像差（不影响像的清晰度）。镜头畸变：成因与分类畸变分类：分为径向畸变和切向畸变两类。径向畸变：由镜头凸透镜固有特性导致（光线远离透镜中心时更弯曲），包含两种类型：①

枕形畸变：正畸变，横向放大率随视场增大而增大，使光轴对称的正方形物体像呈“枕形”。46本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定切向畸变：因透镜与相机传感器平面（成像平面）不平行产生，多由透镜安装偏差导致。②

桶形畸变：负畸变，横向放大率随视场增大而减小，使光轴对称的正方形物体像呈“桶形”。机器人视觉中相机质量较好，一般无切向畸变，仅引入径向畸变参数s，此时内参矩阵为（f为焦距）外参物理意义：工件坐标系可通过旋转变换（由(3×3)单位正交旋转矩阵

R

描述）和平移变换（由(3×1)向量

t

描述），与相机坐标系重合。外参数学表达式：工件坐标系下的点

，转换为相机坐标系下的点

的公式为内参+外参联合映射：将含径向畸变的内参矩阵

K

与外参(

R

,

t

）结合，得到图像坐标与工件坐标的映射关系：（s为尺度因子，

为图像空间坐标，

为工件空间坐标）47本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定5.常用相机标定方法分类：三维标定物（图a）：单幅图像完成，标定精度高，但制作与维护困难平面型标定物（图b）：需多幅图像，制作简单，精度可接受1.传统相机标定法标定物a)三维标定物b)平面型标定物特点：需要标定物，标定精度受限于标定物质量2.主动视觉相机标定法原理：主动控制相机做特定运动（拍摄多组图像），结合图像信息与已知位移变化，求解相机内外参数。典型运动：两种——①三维空间内稳定平移；②参数固定的旋转运动。优缺点：算法简单，易获线性解，鲁棒性高；但系统成本高、实验设备昂贵、条件要求高，且不适合“运动参数未知/无法控制”的场景。使用已知尺寸的标定物，建立图像点与物体点之间的对应关系48本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定分类：分为基于场景约束的自标定方法、基于几何约束的自标定方法两类。基于场景约束：利用场景中平行/正交的线条信息（如“消失点”：空间平行线在相机图像平面的交点，是射影几何的重要特征，多学者研究基于消失点的标定法）。基于几何约束：无需外在场景约束，仅依靠多视图自身的内在几何限制完成标定。3.相机自标定法标定方法还可以分为在线标定和离线标定。在线标定是指在系统运行之初或者系统运行过程中完成标定；离线标定是指在采集传感器的数据后离线处理，求出待标定参数。传统相机标定法属于离线标定，而相机自标定法属于在线标定。三种相机标定方法各有优劣，它们的常用方法及适用场合见下表。本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定j标定方法优点缺点常用方法适用场合传统相机标定法精度高、适用于任意相机模型需要标定物且算法复杂直接线性变换法、Tsai两步法、张氏标定法精度要求较高且相机参数基本不变主动视觉相机标定法无需标定物、算法简单、鲁棒性强成本高、设备昂贵主动系统控制相机做特定运动相机运动信息已知相机自标定法灵活性强、可在线标定精度低、鲁棒性差分层逐步法、利用绝对二次曲线（如基于Kruppa方程）法、利用对偶二次曲线法需要经常调整相机或者无法设置已知参照物标定方法比较提出与优势：1998年张正友教授提出，介于传统相机标定法与相机自标定法之间。①克服传统法对“高精度标定物”的依赖，仅需打印棋盘格（如下图）作为标定板；②相比自标定法，精度更高、操作更便捷，因此被广泛使用。（1）张氏标定法（张正友标定法）50本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定棋盘格特性：角点明显、间隔固定。已知分辨率的标定板打印后，角点的二维空间坐标可通过像素换算为实际尺寸；标定时将棋盘格置于平面，角点三维世界坐标的

Z=0

（若精度要求高，可采用专业厂家制作的高精平板，如陶瓷板）。棋盘格标定流程：移动相机，拍摄多个（≥3个）不同位姿下的标定板图像；检测提取图像中角点（如右图），解算标定参数。棋盘格角点检测工具支持：Matlab计算机视觉工具箱：导入图像、选择畸变参数个数，点击“标定”即可生成结果（含内参矩阵、焦距、径向/切向畸变、旋转矩阵、平移向量、重投影误差等）；还可通过重投影误差、可视化外参评估结果（如下图），并能通过“删除高误差图像、添加更多图像”等优化标定。51本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定OpenCV：利用算法库优化相机内参和畸变系数，计算重投影误差评估标定效果；还可对图像做畸变矫正，直观体现标定准确性。评估标定结果a)可视化相机外参b)重投影误差条形图使用OpenCV标定相机后，可优化内参和畸变系数、计算重投影误差评估，还能对图像畸变矫正，体现标定准确性。52本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定（2）直接线性变换法（DLT）适用场景当测量距离大，张氏标定法的高精度标定平面难以实现时，需借助大型三维标定场，通过DLT进行标定。算法归属属于多点透视成像方法的一种：PNP算法通过“世界坐标系下n个3D点坐标+相机像素平面对应2D像素坐标”，估计相机位姿（求解世界坐标系到相机坐标系的旋转矩阵

、平移向量

。PNP算法还包括P3P、EPNP、光束法平差（BA）等。算法原理与推导DLT将n个世界坐标系空间点投影到相机归一化平面，通过消去深度得到约束方程，再用奇异值分解（SVD）求解超定方程，估计位姿矩阵。核心数学关系（透视模型）已知空间点 =（齐次坐标

、像素坐标

)（齐次坐标

）、相机内参矩阵

)、外参（旋转矩阵

)、平移向量

）。53本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.3视觉系统坐标系标定透视模型为：展开并消去深度

后，转化为含12个未知数的方程组至少需要6个空间点提供约束（每个点提供2个方程）。

方程求解关键构建奇异方程

通过奇异值分解

求解；当

时，可得

约束下的最小二乘解，

矩阵最后一列即为未知参数解，进而得到相机位姿矩阵。54本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.4机器人视觉导引原理给机器人配置机器视觉单元，使其借助视觉等传感器定位自身、定位目标，完成底盘移动轨迹规划，最终实现目标取放、搬运、焊接等操作，这就是视觉导引技术。核心：视觉单元通过图像获取、处理等步骤实现“GIGI”功能，将处理后结果传达给机器人。4.4机器人视觉导引原理1.数字图像获取（1）图像采样在水平、垂直方向对二维连续图像等间距分割，形成矩形网状结构（网格微小方格为像素点）。采样参数与影响：采样间距：间距越大→像素数越少→空间分辨率越低（可辨别场景的最小细节越粗）→图像质量越差（如下图）；图像是一种客观世界视觉信息的静态可视化表示，可以分为数字图像与模拟图像。图像数字化的过程包括了图像采样和量化两个操作。55本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例采样参数b)采样孔径a)采样间距采样孔径：形态有圆形、椭圆形、方形等（如左图b）。采样方式：有缝、无缝、重叠三种（如左图a为采样间距示意）。（2）图像量化​​图像量化是将像素灰度转换成离散整数值的过程。​​关键点​​：灰度级越高（灰度值个数越多），图像的灰度分辨率越高，层次越丰富、质量越好。灰度级数通常为2的整数次幂，即​​G=2^g​​（g为量化位数）。​​如​​：G=256时，灰度值范围0~255，称为​​8位量化​​。4.4机器人视觉导引原理56本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例相机触发模式​​•​​内触发​​：相机通过设备内部信号采集图像，包括手动触发和自动触发。•​​外触发​​：通过外部信号采集图像，分为软触发和硬触发（见下表）。三类图像b)灰度图像a)二值图像c)彩色图像根据灰度级数差异，数字图像分为三类​​（如下图）：二值图像​​：单通道二值分量表示，用数字0和1表示，也称黑白图像。灰度图像​​：像素信息由量化的灰度值描述。彩色图像​​：多通道（如红、绿、蓝）分量表示可见光波段光谱信息，各通道用一个灰度级描述。4.4机器人视觉导引原理57本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例j触发方式图像采集形式应用场景备注内触发手动触发连续采集、单帧采集前期视觉分析和实验用户手动完成触发自动触发类似智能视频分析或安防等系统可以指定自动触发周期外触发软触发单帧、多帧触发采集,长曝光触发采集等半自动或全自动视觉系统,一键式测量设备等由上位机程序调用相机触发函数硬触发相机硬件触发接口收到外部触发信号相机的触发方式又称计算机图像处理，是通过计算机或硬件对图像进行去噪、增强、分割、特征提取等的技术。主要包括：图像变换、增强与复原；编码压缩、形态学处理；分割、表示与描述；分类（目标识别）、重建起源于20世纪20年代，最早用于报纸行业的海底图像传输现广泛应用于：​视觉效果提升​（游戏、电影特效、文物修复、美颜）​特征信息提取​（身份认证、气象预报、资源调查）2.数字图像处理4.4机器人视觉导引原理58本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例图像预处理​目的​：消除无关信息，突出有用信息，简化数据并增强可检测性，提高后续处理的可靠性。方法包括​：几何变换、平滑、归一化、复原、增强等。​操作​：平移、转置、镜像、旋转、缩放（见下表）

​应用​：纠正图像采集系统的系统误差修正仪器位置随机误差（成像角度、透视关系、镜头原因）

​关键挑战​：输出图像像素可能映射到输入图像的非整数坐标，需使用灰度插值算法​，包括：最近邻插值、双线性插值、双三次插值几何变换几何变换在图像处理中的应用平移改正系统误差转置图像采集改正随机误差几何变换旋转镜像缩放定义​：改变像素空间位置的图像变换方法，又称空间变换。4.4机器人视觉导引原理59本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例j类型变换示意图变换矩阵备注平移

是原点，为平移,是变换后的点旋转X、Y的数值是相对于旋转中心而言的，是旋转角度缩放、为缩放因子基础几何变换4.4机器人视觉导引原理本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例仿射变换与透视变换b)仿射变换a)原图c)透视变换仿射变换​定义​：一个向量空间进行线性变换​（包括旋转、错切和缩放）并接上一个平移，变换为另一向量空间。​关键特性​：需三组映射点（x,y）数据​（因三点可确定一个平面）保持直线的"平直性"和"平行性"几何变换的延伸：仿射变换与透视变换透视变换​定义​：又称透视投影，本质是将图像投影到一个新的视平面，模拟物体在视觉上近大远小的特点。​关键特性​：需四组映射点数据​广泛应用于图像校正​（例如将图c畸变图像校正为图a正常图像）4.4机器人视觉导引原理61本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例图像平滑图像平滑也称图像去噪，是通过抑制图像噪声改善图像质量的图像复原方法。噪声分类按噪声与信号关系按产生原因乘性噪声、加性噪声、量化噪声外部噪声、内部噪声按概率密度函数高斯噪声、瑞利噪声、伽马噪声、脉冲噪声、指数分布噪声、均匀分布噪声脉冲噪声在图像上就像随机撒上的一些盐粒和黑胡椒粒，因而也被称作椒盐噪声。4.4机器人视觉导引原理62j噪声类型噪声图像噪声灰度直方图概率密度曲线高斯噪声瑞利噪声伽马噪声噪声类型噪声图像噪声灰度直方图概率密度曲线脉冲噪声均匀分布噪声指数分布噪声噪声类型及概率密度函数本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例4.4机器人视觉导引原理本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例为抑制噪声，改善图像质量，应对图像去噪。去噪算法包括了滤波、稀疏表达、聚类低秩、统计模型和深度学习等算法。其中，滤波算法可以归纳为三类，见下表。j类别算法原理具体算法备注空间域直接在原图像上进行数据运算,对像素的灰度值进行处理高斯、均值、中值、双边滤波,偏微分方程,变分法,加权最小二乘法,NLM(非局部平均)算法基于随机信号的零和特点为理论出发点变换域将图像从空间域转换到变换域,分离出噪声后再反变换到空间域傅里叶变换、小波变换、K-L变换变换域也称为频域,根据信号的频率来分离噪声混合域结合空间域和变换域的算法BM3D算法、PID、形态学滤波与小波变换结合去噪效果最好,保留更多细节的同时噪声更少,但算法复杂度高,欠缺效率滤波算法图像增强不考虑图像质量降低的原因，也不拘泥于逼近原始图像。图像增强4.4机器人视觉导引原理本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例目的：使有利于识别的信息得到增强，而不利于识别的信息被抑制，从而提升图像的整体或局部特征，为信息提取及识别奠定基础；或提升图像清晰度和视觉效果。技术分类​按照实现方法分为(见下表)：​空间域方法​：直接在原图像上进行数据运算，对像素的灰度值进行处理。​变换域方法​：将图像从空间域转换到变换域（频域），处理后再反变换回空间域。j方法概念说明空间域图像增强点运算增强点运算增强是一种通过灰度映射来改变图像灰度值的图像增强方法,包括指数变换(基于指数函数曲线形成灰度映射函数)、对数变换、幂指数变换和分段线性变换等方法一般是对数字图像局部增强邻域、模板运算邻域运算可归纳为图像锐化和平滑两类。锐化是一种能突出边缘或轮廓的图像增强方法,包括梯度运算、拉普拉斯运算等算法,大量应用于医学图像分析、遥感和人脸比对查询等,在清晰图像的同时也会增强噪声。平滑的性质恰与锐化相反,能降低图像噪声,却会使图像变模糊。两种技术有时需要先后使用,也出现了结合两者同步进行的方法不同的图像增强方法4.4机器人视觉导引原理​图像频率概念​​低频​：表示灰度变化缓慢的图像内容（如渐变色和背景），对应大范围、高能量信息，在图像频谱中表现得较亮。​高频​：表示灰度变化较快的图像内容（如边缘和噪点），对应小范围细节、低能量信息，在图像频谱中表现得较暗。本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例​频域处理流程​图像数据变换到频域后，低频中心初始分散在四个角落（图a）。为方便处理，将低频中心移动到图像中心（图b）。应用滤波（如高通滤波）滤除低频部分（图c）。j方法概念说明频域图像增强频域图像增强是一种将图像从空域变换到频域并借助滤波器改变图像中的频率分量的图像增强方法。常用的算法有低频滤波、高频滤波、带通-带阻滤波和同态滤波等对数字图像全局增强不同的图像增强方法（续表）图像频谱b)频移a)FFT变换得到频谱c)高通滤波4.4机器人视觉导引原理本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例形态学处理是图像增强技术的重要补充，主要用于处理二值化图像中的形状特征。其核心操作包括：​腐蚀操作​：黑色背景区域扩大，白色前景区域缩小（边界被侵蚀），当运算核覆盖区域全为白色时中心点颜色不变，否则变为黑色​膨胀操作​：白色前景区域扩大（边界膨胀），只要运算核中心覆盖白色，整个覆盖区域变为白色运算核（结构元素）​​：决定腐蚀/膨胀效果的关键参数；可自定义大小和形状（常用矩形/十字形/椭圆形）；图像频谱b)原图a)运算核c)腐蚀d)膨胀采用滑动窗口方式遍历整幅图像4.4机器人视觉导引原理67本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例开闭运算b)闭运算a)开运算形态学处理算法基于腐蚀和膨胀操作，衍生出多种形态学处理算法，包括开运算、闭运算、顶帽运算、底帽运算、形态学梯度等。​目的​：增强图像特征，去除噪声或填补空隙，改善图像质量。​关键点​：所有操作均依赖于结构元素（运算核）的滑动窗口处理。​开运算​​：先腐蚀再膨胀。​作用​：去除暗背景下较亮的细小区域（如白色噪点和毛刺）。​​例​：图a所示去除了“i”字外部的白点。​闭运算​：先膨胀再腐蚀。​作用​：删除亮背景下较暗的细小区域（如黑色空隙）。​先用膨胀来连通区域、或者填补区域内部的黑色空隙，再通过腐蚀将目标特征的体积回缩，几乎不会使图像边缘轮廓加粗。​​​例​：图b所示去除了“i”字内部的黑点。4.4机器人视觉导引原理68本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例顶帽、底帽、梯度运算c)底帽运算a)原图b)顶帽运算d)梯度顶帽运算​​：原图像与开运算结果之差。​作用​：提取亮细小区域，校正不均匀光照。可得到原图中灰度较亮的细小区域，所以又称白顶帽变换。​例​：图所示得到了“i”字外表的白色细毛边。​底帽运算​​：原图像与闭运算结果之差。​作用​：提取暗细小区域。​可得到原图中灰度较暗的细小区域，所以又称黑底帽变换。例​：图c所示得到了“i”字内部的小黑点。形态学梯度​：根据膨胀、腐蚀与原图的不同布尔运算组合，突出高亮目标区域外围。​基本梯度​：膨胀图像减去腐蚀图像。​内部梯度​：原图像减腐蚀图像。​外部梯度​：膨胀图像减原图像。​方向梯度​：用X方向与Y方向的直线作为结构元素，分别计算X方向梯度和Y方向梯度。4.4机器人视觉导引原理69本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例“形态学梯度是根据膨胀、腐蚀与原图三者用不同的布尔运算组合来实现突出高亮目标区域外围的处理算法。”​​例​：上图d所示得到了白色细毛边、黑点以及“i”字本身的轮廓边缘。图像学分割图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同，即使得图像划分为“背景”和不同类的“目标”，这是进一步实现图像识别、分析和理解的基础。​现有方法​：阈值分割、区域分割、基于边缘的分割、基于特定理论的分割1）阈值分割​​：利用给定（或自适应获得）的阈值将图像的背景和目标分离出来的图像分割方法。​分类​：全局阈值、局部阈值、最优阈值全局阈值分割255

为像素灰度的最大值（对应白色）f(i,j)

为输入点

(i,j)

的灰度值threshold

为分割阈值g(i,j)

为输出点的灰度值（二值化结果）阈值选取方法​：灰度直方图的峰谷法、最小误差法、最大类间方差法、最大熵自动阈值法等。4.4机器人视觉导引原理70本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例局部阈值分割常用局部阈值算法包括Sauvola算法、Bersen算法等。threshold(i,j)

为局部阈值，随位置变化最优阈值最优阈值的选取一般要通过实验或者分析直方图来确定。​直方图分析​：直方图可以用两个或更多个正态分布的概率密度函数的加权和进行构建，在这些正态分布最大值间的最小概率处，取其最近的灰度值，即可作为最优阈值。最优阈值和常规阈值a)最优阈值点b)常规阈值点4.4机器人视觉导引原理71本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例在生产条件固定且目标与背景对比较强的情况下，使用全局阈值能够使目标与背景形成显著对比并分割。但当环境条件（如光照）变化较大时，目标与背景的灰度值及对比情况可能随时间、图像区域而不同，此时全局阈值效果大减，选择局部阈值更为适合，如下图所示。最优阈值和常规阈值a)原图b)全局阈值为170c)全局阈值为215d)局部阈值2）区域分割：基于区域的分割方法是以直接寻找区域为基础的分割技术。​两种基本方式​：区域生长（从单个像素出发，逐步合并形成分割区域）；区域分裂合并（从全局出发，逐步切割至所需的分割区域）4.4机器人视觉导引原理72本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例①区域生长：根据同一物体区域内像素的相似性质来聚集像素点以实现图像分割。​步骤​：选择种子像素作为生长起点。根据生长/相似性准则，合并周围相似像素。重复直到没有满足条件的像素可被包括。​关键点​：需要预先选择种子点。基于像素相似性（如灰度、纹理）。②分水岭算法​：基于区域生长方式的改进算法。​优点​：直观、易于理解。计算速度快。分割精度较高。​缺点​：对噪声敏感。容易产生分割偏差或过分割。分水岭算法效果a)原图b)区域分割结果4.4机器人视觉导引原理73本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例③区域分裂合并​：一种将分裂和合并操作结合的区域分割方法，无需选取种子点。​步骤​：将整个图像划分成互不重叠的子区域。按照准则对子区域进行分裂或合并。直到不再满足分裂与合并条件时，分割完成。​代表算法​：

四叉树分解法。​优势​：

克服了区域生长方法需要种子点的缺点。3）基于边缘的分割：通过搜索图像中的边缘像素点进行图像分割的方法。边缘表明一个特征区域的终结和另一个特征区域的开始，如灰度、颜色的突变和不连续。基于边缘的图像分割与另外两种方法的对比见下表。j方法优点缺点基于阈值计算简单、运算效率高、速度快对噪声敏感，需要目标与背景的灰度差异大，要根据具体问题确定阈值基于区域在没有先验知识可用时能取得最佳性能，可以用来分割较为复杂的图像，有较好的区域特征是迭代算法，占用资源多、速度慢，容易造成过度分割基于边缘搜索检测的速度快，对边缘的检测较好对噪声较敏感，不适合复杂图像，不能得到较好的区域结构方法对比4.4机器人视觉导引原理本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例分水岭算法效果a)主控单元与机器人分离b)机器人包含主控单元3.视觉导引数据视觉单元与机器人执行系统的联系一般要通过主控单元。主控单元是指通过执行用户编写的程序对与之相连接的工业设备进行控制的软硬件系统。​主控单元分布形式​（右图）：​分离式分布​（主控单元与机器人独立）适用于复杂应用场景。视觉单元数据经由主控单元传给机器人执行系统。主控单元、机器人和视觉单元相对独立，条理清晰。​集成式分布​（机器人包含主控单元功能）适用于简单应用场景。机器人直接与视觉单元通信，无需独立主控单元。节省资源，但处理能力有限。4.4机器人视觉导引原理75本章小结学习目标学习导图大国重器知识讲解拓展阅读知识测评设计案例机器人视觉系统的任务目标因应用场景不同而存在显著差异（如末端执行器的类型和体积不同），这对导引数