机器人感知与智能 课件 第二章 视觉感知技术

机器人感知与智能第二章视觉感知技术概述

OUTLINE机器人视觉感知技术以相机为核心传感器，模拟人类视觉，通过图像获取与算法处理实现对环境的识别、跟踪与理解。视觉感知依托于彩色与深度图像两大感知体系，能够捕捉颜色、纹理、形状等丰富特征，为复杂场景下的决策提供直观支持。本章重点阐述了彩色及针孔相机成像原理、相机标定、深度相机技术，并结合零件质检与车道线检测实验，展示了该技术从理论模型到工业实践的完整闭环。01彩色相机原理目录

CATALOGUE02深度相机原理03应用举例04实验01彩色相机原理CCD彩色成像原理1.CCD的成像基础与光电转换机制数字图像的产生始于物体表面反射的光线。当光线穿过镜头光圈照射在CCD（电荷耦合器件）芯片上时，感应元件会根据光线强度产生相应大小的电流。曝光完成后，这些电荷被读出并由内部微处理器进行初步处理和存储，最终将物理光信号转化为数字图像信号。2.CCD感知颜色的局限性与技术瓶颈虽然CCD能高效地将光子转换为电子，但由于它仅能响应光强，无法将光子的波长（即颜色信息）转换为电信号，因此原生CCD只能记录灰度信息。为了获取彩色图像，必须在光线到达感应元件前进行物理分光，或在芯片表面引入特殊的色彩过滤机制。3.彩色图像实现的两种主流方案对比实现彩色成像主要有两种途径：一是采用“分光棱镜+三CCD”方案，将光线分解为红、绿、蓝三基色并由三个芯片分别感光，该方案精度极高但结构复杂且昂贵；二是采用“拜尔滤镜”方案，通过在单个CCD表面覆盖彩色马赛克滤镜并配合算法解析颜色。由于拜尔滤镜方案显著降低了硬件成本，它已成为现代彩色数码相机最广泛应用的技术。CMOS彩色成像原理

BayerCFA双线性插值CMOS彩色成像原理

BayerCFA双线性插值针孔相机模型

针孔相机模型

针孔相机模型

针孔相机模型

张正友相机标定张正友标定法属于传统相机标定法，操作简单、精度较高，可以满足大部分场合。该标定法是利用棋盘格标定板进行标定，并将世界坐标系固定在棋盘格上。该棋盘格的每个格子大小都是已知的，即棋盘格每一个角点在世界坐标系下的坐标都可以计算得到。当相机拍摄标定板的图像时，通过相应的图像检测算法，可以获得每一个角点在像素坐标系下的坐标，进而通过计算获得相机的内外参矩阵和畸变参数。

张正友相机标定

张正友相机标定

张正友相机标定

张正友相机标定颜色空间在图像处理中使用较多的是HSV（色调Hue，饱和度Saturation，明度Value）颜色空间。它比RGB更接近人们对彩色的感知经验，非常直观地表达颜色的色调、鲜艳程度和明暗程度，方便进行颜色的对比。在HSV颜色空间下，比RGB更容易跟踪某种颜色的物体，常用于分割指定颜色的物体。用下面这个圆柱体来表示HSV颜色空间，圆柱体的横截面可以看做是一个极坐标系，H用极坐标的极角表示，S用极坐标的极轴长度表示，V用圆柱中轴的高度表示。02深度相机原理结构光深度相机结构光技术通过预先设计的特殊图案（如离散光斑、条纹光、编码图案等）投射到三维物体表面，再由另一台相机观察图案在物体表面的变形情况。通过分析这些变形，可以获取物体表面的三维形状信息。当结构光投射到平面物体上时，接收到的图案基本保持原状，仅会因距离变化产生缩放效果；而当物体表面存在凹凸或曲面时，图案会发生不同程度的扭曲。系统根据已知投影图案与实际变形图案之间的差异，计算出物体各点的深度信息。其主要硬件包括红外发射模组和红外接收模组。发射端主动向目标投射人眼不可见的红外结构光，接收端采集物体反射回来的红外信号，并将数据传输至计算单元，最终依据三角测量原理生成深度数据。结构光深度相机

结构光深度相机

TOF相机TOF深度相机是给目标发射连续的光脉冲，经过目标反射，通过传感器接收反射的光，记录飞行的时间，计算出到目标的距离。因其主动发射脉冲光，也属于主动测量方式。TOF相机测距原理：照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易。深度相机的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流，感光单元连接着多个高频转换开关可以把电流导入不同的可以储存电荷的电容里。因为单个光脉冲的持续时间非常短，此过程会重复几千次。TOF相机

03应用举例自动化生产线的实时监测与预警表面缺陷检测与实时反馈通过高速相机与运动跟踪算法，系统能实时监测零件的移动路径、位置和速度，防止生产堆叠或堵塞。同时，结合对温度、压力等环境参数的综合分析，视觉系统能够预警设备故障，在保障生产效率的同时降低运营成本，实现工厂的智能化管理。利用高分辨率相机捕获图像，并通过特征提取算法定位划痕、凹坑及锈迹等微小缺陷。一旦识别异常，实时反馈机制会立即向生产线发出信号，确保缺陷件在进入下一道工序前得到处理，从而有效降低次品率并维持生产连续性。应用举例：零件质检尺寸精密测量与三维重建算法通过提取零件的边缘、线条等特征点，精确计算其距离与角度，以判定实际尺寸是否符合设计规格。对于结构复杂的零件，视觉系统还可从多角度拍摄并进行三维重建，这种非接触式的测量方式显著提升了产品的质量可靠性。装配完整性检测与模式匹配