智能网联汽车传感器技术基础：第4章 视觉传感器

第4章视觉传感器教学目标1熟悉车载视觉传感器的特性及类型2熟悉车载视觉传感器的结构及工作原理3熟悉车载视觉传感器的标定及图像处理流程视觉传感器概述视觉传感器是整个视觉系统信息的直接来源，主要由一个或者两个图形传感器组成，有时还要配以光投射器及其他辅助设备。视觉传感器的主要功能是获取足够的机器视觉系统要处理的最原始图像。车载视觉传感器又称为摄像头，可利用图像匹配，实现车辆定位以及对周围环境的3D建模。车载视觉传感器的特性4.1车载视觉传感器车载视觉传感器的特性图像直观：提供图像和视频输出，能够直观地捕捉到环境的细节，包括路标、交通信号和行人表情。颜色和纹理识别：能识别颜色和纹理，这对于理解场景和物体非常有用。成本效益：相比于激光雷达和毫米波雷达，通常成本较低。光线依赖：在夜间或光线不足的环境中性能会大幅下降。视角限制：视野有限，可能无法捕捉到车辆四周的全貌。天气敏感：在雾、雨等恶劣天气条件下视线可能会受阻。车载视觉传感器的结构及工作原理4.2车载视觉传感器的结构车载视觉传感器的核心硬件主要包括镜头组、图像传感器、图像信号处理器（ISP）、串行器、连接器等。车载视觉传感器的结构由光学镜片、滤光片和保护膜等组成。光学镜片的制造原材料主要包括光学玻璃和石英玻璃。滤光片是用于选取所需辐射波段的光学器件，应用于车载摄像头的滤光片主要为红外截止滤光片。保护膜是利用真空沉积技术在镜头上布置的一层极薄透明的膜，主要作用是抗污、防水、增加光线的穿透量、减少眩光及鬼影、得到最佳的颜色平衡。镜头组车载视觉传感器的结构图像传感器是摄像头模组中最关键的组成部分，作为摄像系统视频数据的采集端，图像传感器质量的好坏决定了最终图像输出的效果。图像传感器CCD（电荷耦合）图像传感器CMOS（互补金属氧化物导体）图像传感器图像传感器车载视觉传感器的结构由一个类似马赛克的网格、聚光镜片以及垫于最底下的电子线路矩阵所组成。CCD图像传感器CCD上植入的微小光敏物质称作像素，一块CCD上包含的像素数越多，它提供的画面分辨率也就越高。CCD上有许多排列整齐的光电二极管，能感应光线，并将光信号转变成电信号，经外部采样放大及模数转换电路转换成数字图像信号。车载视觉传感器的结构利用CMOS工艺制造，主要利用了半导体的光电效应，和CCD的原理相同。CMOS图像传感器CMOS图像传感器与CCD图像传感器一样，可用于自动控制、自动测量、摄影摄像、视觉识别等各个领域。车载视觉传感器的结构ISP的作用是对前端图像传感器输出的信号做后期处理。ISP的主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制、自动增益控制等。在不同的光学条件下，运用ISP能较好地还原现场细节。ISP技术在很大程度上决定了摄像机的成像质量，是拍照过程中的运算处理单元。ISP（图像信号处理芯片）车载视觉传感器的工作原理外部光线穿过镜头后，经过红外滤光片照射到传感器平面上。图像传感器将光信号转换为电信号，并经过内部的A/D转换电路转换为数字信号。图像信号经过图像信号处理器（ISP）处理后，将最后的视频信号输出。对于车载摄像系统，由于要适应车内有限的安装空间，需要把摄像头生成的并行信号转换成串行信号，经同轴电缆传输到主控端，再由解串器转化成MIPI信号输出。工作流程图车载视觉传感器的类型4.3车载视觉传感器的类型按摄像头的安装位置分类安装部位类型功能描述前视单目/双目车道偏离预警、前向碰撞预警、车道保持辅助、行人碰撞预警、交通标志识别主要安装在前挡风玻璃上，用于实现行车的视觉感知及识别功能。侧视广角盲点监测一般安装在左右后视镜处或下方车身处，将后视镜盲区内的影像显示在驾驶舱内。后视广角泊车辅助一般安装在尾箱或后挡风玻璃上，将车尾影像显示在驾驶舱内，预测并标记倒车轨迹。内置广角驾驶员注意力监测无固定位置，方向盘中、内后视镜上方、A柱或集成于仪表显示屏处均有，监测驾驶员状态。环视（前/侧/后）广角360°全景环视在车辆前后车标（或附近）、以及集成于左右后视镜上的一组摄像头，进行图像拼接，输出车辆周边全景图。单目摄像头双目摄像头多目摄像头按摄像头数目分类使用单个镜头捕捉图像，是最基本的车载摄像头系统。由于只有一个视角，无法直接提供深度信息，对距离的估计依赖于算法处理。通过两个分开的镜头模拟人类的双眼视觉，可以捕捉到景深信息，从而计算出物体的距离，但其对校准和同步的要求较高。使用三个或更多的摄像头，覆盖车辆的前、后、侧面等多个方向，提供全方位的视觉信息。但系统的成本、安装复杂度和数据处理需求相比单目和双目摄像头大幅增加。车载视觉传感器的类型单目摄像头单目摄像头工作原理采用针孔相机成像原理，利用光沿直线传播原理将三维世界中的物体投影到一个二维成像平面上。根据相似原理：通过对称映射：单目摄像头工作原理采用针孔相机成像原理，利用光沿直线传播原理将三维世界中的物体投影到一个二维成像平面上。像素坐标系和成像平面坐标系之间相差一个缩放平移：

单目摄像头工作原理采用针孔相机成像原理，利用光沿直线传播原理将三维世界中的物体投影到一个二维成像平面上。用矩阵的形式表示：矩阵K被称为相机的内参矩阵，通常认为相机的内参在出厂之后即已固定，不会在使用过程中发生变化。单目摄像头单目摄像头先识别后测距。首先通过图像匹配对图像进行识别，然后根据图像的大小和高度进一步估计障碍物和车辆移动时间等信息。单目摄像头结构简单、成本低、便于标定和识别，目前很多图像算法都是基于单目摄像头开发的，算法更为成熟。但单目摄像头的视野完全取决于镜头，对于远距离的被测对象，其测距精度较低。摄像头的测距精度远低于激光雷达和毫米波雷达，因此在实际应用中需要结合激光雷达和毫米波雷达等其他传感器进行探测，以发挥各自最优的性能。目前，辅助驾驶领域的单目摄像头可识别40~120m的范围，未来将达到200m或更远。双目摄像头双目摄像头工作原理使用两个摄像头，从不同的角度采集目标图像，通过计算和建模来恢复目标三维空间信息。

双目摄像头工作原理使用两个摄像头，从不同的角度采集目标图像，通过计算和建模来恢复目标三维空间信息。根据相似原理：d为视差，视差与深度距离成负相关关系，利用视差可估计一个像素离摄像头的距离。双目摄像头利用视差精准测距近处的物体在左右眼之间的位置变化比较剧烈，而远处的物体在左右眼中的位置差异较小，这种视觉差异也就是所谓的视差，在世界坐标系中的每一点离立体相机的距离都可以通过视差来转化。双目摄像头双目摄像头先测距后识别。在距离测量阶段，利用视差直接测量物体与汽车之间的距离，原理与人眼相似。在目标识别阶段，双目摄像头仍然使用与单目摄像头相同的特征提取和机器学习算法来进一步识别目标。双目摄像头的工作温度要求在40～85℃之间，此外，传统器材必然存在热胀冷缩等问题，这些都会影响到两个摄像头透镜之间的距离。因此，双目摄像头本身的安装要求很高，例如摄像头之间的距离在10～20cm之间，这个距离需要非常精确，以达到测距精度的要求。多目摄像头以特斯拉Autopilot系统搭载的8个摄像头为例，其中前方摄像头安装于挡风玻璃后，由宽视野摄像头、主视野摄像头、窄视野摄像头组成。宽视野摄像头：视角可以达到150°左右，负责识别近处大范围物体，能够拍摄到交通信号灯、行驶路径上的障碍物和距离较近的物体，非常适用于城市街道、低速缓行的交通场景。由于识别距离近，并不需要高分辨率摄像头。最大监测距离为60米。多目摄像头主视野摄像头：覆盖大部分交通场景，视角为50°左右，负责识别车道线、车辆、行人、红绿灯、交通标志等信息。最大监测距离为150米。窄视野摄像头：能够清晰地拍摄到远距离物体，适用于高速行驶的交通场景。视角只有35°左右，但识别距离却能达到200~250m，用来识别距离较远的行人、车辆、交通标志等信息。车载视觉传感器的标定4.4车载视觉传感器的标定坐标转换P点在世界坐标系下的坐标与其投影点在像素坐标系下的坐标之间的关系。四种坐标系及其相互转换关系：

传统相机标定方法相机自标定方法相机标定常用方法依赖于已知几何特性的物理标定物，如标定板，来进行。适用于所有的相机模型且精度较高，能较好满足后续图像处理等工作。不依赖于任何已知几何特性的物理标定物，而是通过分析图像本身来估计相机参数。其准确性和可靠性不如传统标定方法。车载视觉传感器的标定相机标定车载视觉传感器的标定车载视觉传感器的标定张正友标定法张正友标定法属于传统相机标定方法。张正友标定法算法灵活，容易实现，对实验条件要求低且操作简单，仅需要一个棋盘格即可完成相机标定。张正友标定法标定精度高，可以满足大部分场合需求。张正友标定法工作流程数字图像处理流程4.5数字图像处理流程图像灰度化处理一般彩色图像都由R、G、B三个通道组成，不同通道所占的比例不同，导致最后的彩色图像也不相同，每个通道的取值范围为0~255，数值越大，亮度越大。图像的灰度化是图像预处理的一个重要步骤，其有很多种灰度化方法，如分量法、加权平均值法等。数字图像处理流程图像高斯平滑处理图像处理中，通常采用高斯平滑处理来降低图像的噪声，使图像尽量保持原有的轮廓，减少失真对图像的影响。目前OpenCV提供多种不同的平滑操作处理，这些不同的操作都是基于cvSmooth()函数设置不同的参数实现的，可以通过调整函数的平滑类型值和相关参数来得到不同的平滑处理效果。数字图像处理流程边缘检测算法Sobel算子Laplacian算子Canny算子边缘检测算法用于边缘检测的离散微分算子，它结合了高斯平滑和微分求导的思想，通过计算图像亮度的空间梯度来突出边缘。基于二阶导数的边缘检测算子，用于检测图像中的灰度突变区域，即边缘，对图像的亮度变化非常敏感。是一种非常流行的边缘检测技术，其考虑了边缘检测的多个准则，旨在提供良好的检测、定位和最小响应的边缘，对噪声具有较好的抵抗能力。数字图像处理流程Canny算子处理流程Canny边缘检测算子实现过程简单、检测结果可靠性较强，成为边缘检测最流行的算法之一。应用案例一车道线检测通过车载摄像头捕捉图像，获取车道线信息。在图像预处理过程中，通过提取车道线检测的感兴趣区域，提高检测效率，再通过灰度处理得到灰度图像来加快图像处理速度，并对图像进行降噪和增强处理。在车道线检测阶段，通过基于特征、基于模型、基于深度学习等三种方法对提取的信息进行检测。最后进行车道线拟合。拟合的方法包括：霍夫变换