汽车智能传感器技术与应用 课件 项目四任务1：认识视觉传感器（课件）

认识视觉传感器汽车智能传感器技术与应用一、课程导入你的领导安排你给客户科普一下视觉传感器，你作为一名技术员，需要向客户讲解视觉传感器的基本概念和工作原理，帮助客户理解不同类型的视觉传感器的特点，并讲解视觉传感器的选用标准及性能要求。视觉传感器课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结二、学习目标课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结知识目标1.能描述视觉传感器的发展历史。2.能描述视觉传感器的类型。3.能阐述视觉传感器的特点、应用及技术参数。4.能阐述视觉传感器的选用标准及性能要求。素养目标1.培养解决问题和创造新知识的科学素养。2.弘扬工匠精神,培养高素质技术技能人才。技能目标1.能说出视觉传感器的工作原理。2.能根据视觉传感器的选用标准及性能要求,完成产品的选型。三、视觉传感器的发展历史视觉传感器课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型目前讨论的视觉传感器，主要是指通过对相机拍摄的图像进行图像处理，计算物体的特征量(面积、重心、长度、位置等)，并输出数据和判断结果的图像传感器。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结三、视觉传感器的发展历史照相暗盒与针孔照相机的结构课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型图像传感器的历史可以追溯到“小孔成像”现象：在明亮的物体和屏幕之间放置挡板，在挡板上打开一个小孔，就会在屏幕上形成物体的倒置图像。“小孔成像”现象的发现是早期光学研究揭示光直线传播的最重要证据之一，也是摄影、幻灯片等技术诞生的物理基础。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结三、视觉传感器的发展历史早期图像传感器组成课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型图像传感器的出现始于1873年。早期的图像传感器主要是真空电子设备，如摄像机中的主要元件——摄像管。摄像管主要由光电转换(光电转换和存储部分)和电子束扫描系统(读取部分)组成。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结三、视觉传感器的发展历史CCD传感器课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型自20世纪60年代以来，各种固态图像传感器解决方案被引入。贝尔实验室于1969年发明并于次年向公众公布CCD(电荷耦合器件)图像传感器。它是数码相机的核心组件,将曝光引起的电信号变化转换为数字电信号，使其高效存储、编辑和传输成为可能。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结四、车载视觉传感器CCD传感器结构4.1CCD图像传感器课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型CCD（ChargeCoupledDevice）：电荷耦合器件。CCD图像传感器主要由马赛克状栅格、聚光透镜和放置在底部的电子电路矩阵组成。大多数数码相机都使用CCD作为视觉传感器。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结四、车载视觉传感器CMOS传感器结构4.2CMOS图像传感器课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型CMOS（ComplementaryMetal-OxideSemiconductor，互补金属氧化物半导体）是一种用于数字集成电路的标准CMOS工艺技术。车载视觉传感器的主要应用是CMOS传感器。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结四、车载视觉传感器4.3CCD和CMOS图像传感器的差异课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结对比项目CCDCMOS像素信号电子包电压芯片信号模拟电压比特敏感度高较高速度慢快噪声好差灵敏度好差功耗毫安级微安级系统复杂性高低传感器复杂性低高成本高低五、车载视觉传感器的结构车载视觉传感器构成示意图课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的工作原理是：首先，目标物体通过镜头生成光学图像，并将其投影到图像传感器上，将光信号转换为电信号；然后，通过模数转换器将电信号转换为数字图像信号；最后，通过数字信号处理芯片进行处理，并将其处理成特定格式的图像输出给下游需求方。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结五、车载视觉传感器的结构车载视觉传感器实物结构示意图课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型从车载视觉传感器的组成来看，它主要包括光学镜头(光学镜片、滤光片、保护膜等)、图像传感器(主要基于CMOS)、图像信号处理器(ImageSignalProcessor，ISP)、串行器、连接器和算法等。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结五、车载视觉传感器的结构课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结5.1镜头光学镜片由光学镜片、滤光片和保护膜组成。透镜的主要功能是将被摄体反射的光折射并聚焦到图像传感器上。五、车载视觉传感器的结构课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结5.2图像传感器图像传感器是视觉传感器最核心的器件。视觉传感器捕捉目标物体图像的能力不仅取决于镜头，而且还取决于视觉传感器内的图像传感器。图像传感器技术分为电荷耦合器件（CCD）和互补金属氧化物半导体（CMOS）两种。CMOS传感器CCD传感器五、车载视觉传感器的结构课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结5.3图像处理器图像处理器（ISP）主要利用硬件结构对图像传感器输入的图像和视频源的RAW格式数据进行预处理，可以转换为YCbCr（YCbCr是常用的色彩编码方案）等格式。它还可以执行各种任务，如图像缩放、自动曝光、自动白平衡和自动对焦等。图像处理器图像处理器工作流程五、车载视觉传感器的结构课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结六、车载视觉传感器类型车载单目视觉传感器6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（1）单目视觉传感器单目视觉传感器模组仅包含一个相机和一个镜头。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结单目视觉传感器模组六、车载视觉传感器类型6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（1）单目视觉传感器车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结优势系统结构相对简单，成本较低算法成熟度高劣势无法对非标准障碍物进行判断识别，需要不断更新和维护一个庞大的样本数据库，才能保证系统达到较高的识别率视野完全取决于镜头测距的精度低六、车载视觉传感器类型双目视觉传感器测距原理6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（2）双目视觉传感器双目视觉传感器的测距原理类似于人眼，通过计算图像的视差来直接测量前方场景的距离；物体的距离是从视差的大小推算出来的，视差越大，距离越近。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结六、车载视觉传感器类型6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（2）双目视觉传感器车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结优势没有识别率的限制，因为从原理上无须先进行识别再进行测算直接利用视差计算距离，精度比单目高无须维护样本数据库，因为对于双目没有样本的概念劣势计算量非常大，对计算单元的性能要求非常高，这使得双目系统的产品化、小型化的难度较大双目视觉系统通过估计视差来测距，而视差是通过立体匹配算法得来的，立体匹配是计算机视觉典型的难题双目测距原理对两个镜头的安装位置和距离要求较多，标定难度大六、车载视觉传感器类型6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（3）三目视觉传感器三目视觉传感器诞生的目的是解决汽车的前向测距问题。三目视觉传感器实际上是三个具有不同焦距的单目视觉传感器的组合，用于捕捉和成像不同距离的障碍物。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结特斯拉车载三目视觉传感器六、车载视觉传感器类型6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（3）三目视觉传感器车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结优势三目视觉传感器每个相机的视野不同，每个视觉传感器都能发挥其最大优势，在定位测距方面感知范围更大，也更为准确劣势需要同时标定三个视觉传感器，工作量更大软件部分需要关联三个视觉传感器的数据，对算法要求很高。六、车载视觉传感器类型近红外夜视6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（4）红外夜视视觉传感器汽车夜视系统是一种利用红外线技术帮助驾驶员在黑暗中看清道路的系统，可以提高驾驶安全性。根据技术分类，红外夜视可分为近红外夜视和远红外热成像。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结远红外热成像六、车载视觉传感器类型6.1按工作原理分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（4）红外夜视视觉传感器车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结优势具有全天候工作的能力，不依赖场景的光照条件，凡是温度高于绝对零度的物体，都会辐射红外线，可显著降低夜间驾驶风险可以穿过烟雾且作用距离远能够显示物体温度场劣势分辨细节能力差，成像无颜色，单色深浅度区别很小，不利于开发以颜色信息为基础的二维图像平面算法，且不能透过透明的障碍物大多硬件系统功耗、成本较高无法测得目标物体深度距离和速度信息六、车载视觉传感器类型6.2按安装位置分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结根据摄像头安装位置进行分类。一般分为前视、后视、环视、侧视以及内置摄像头。摄像头按照安装位置分类六、车载视觉传感器类型6.2按安装位置分类课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结摄像头类型安装位置功能描述前视一般在风挡玻璃、内后视镜处识别前方的道路车辆行人，主要用于车道偏离预警（LDW）、前向碰撞预警（FCW）、行人碰撞预警（PCW）、车道保持辅助（LKA），以及交通标志识别（TSR）等功能后视一般安装在尾箱或后挡风玻璃上主要是用于倒车过程中，便于驾驶员对车尾后面影像的捕捉，实现泊车辅助（APA）功能。环视车辆前后车标（或附近）、以及集成于左右后视镜上的一组摄像头也被称为全景式影像监控系统，用于识别出停车通道标识、道路情况和周围车辆状况，使用多个摄像头的图像进行拼接，为车辆提供360°成像侧视分为侧前视摄像头和侧后视摄像头，左右后视镜处或下方车身处主要用于盲区检测（BSD），利用侧视摄像头，将后视镜盲区内的景物显示在驾驶舱内。内置无固定位置，方向盘中、内后视镜上方、A柱或集成于仪表显示屏处均有用于检测驾驶员是否疲劳、闭眼。七、车载视觉传感器的特点车载视觉传感器的特点课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结采集范围广应用广泛信息量丰富制作工艺简单七、车载视觉传感器的特点车载视觉传感器的特点课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结八、车载视觉传感器的技术参数焦距课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（1）焦距（FocalLength，FL）焦距（一般是用f表示）是指从透镜中心到焦点的距离。镜头焦距的长短决定着拍摄的成像大小，焦距越长，所成的像越大；焦距越短，所成的像越小。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结八、车载视觉传感器的技术参数课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结视场角与焦距的关系（2）视场角（FieldofView，FOV）视场角是指镜头可以看到的视野范围。焦距越小，视场角越大。视场角小的镜头通常用于观察远处的物体，例如，前视测距仪通常使用FOV30°/60°的镜头，而视场角大的镜头可用于观察近距离物体，从而在两者之间形成有效的互补。八、车载视觉传感器的技术参数课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结视场角示意图（2）视场角（FieldofView，FOV）视场角又分为水平视场角（HFOV）、垂直视场角（VFOV）和对角视场角（DFOV）。八、车载视觉传感器的技术参数光圈定义课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（3）光圈(F-Number，F-NO.)衡量镜头性能的一个重要指标是光圈。光圈的定义是镜头的焦距除以其直径（F=f/D，其中D是镜头直径，f是镜头焦距）。光圈值越小，表示镜头的开口越大，进光量也就越多。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结光圈值和进光量的关系八、车载视觉传感器的技术参数图像畸变课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（4）畸变系数(OpticalDistortion，OD)畸变是指光学系统形成的图像相对于物体本身的失真程度，它只会导致图像变形，而不会影响图像的清晰度。畸变系数是光学系统中一个非常重要的参数，它是指光学系统中图像失真的程度。车载视觉传感器的技术参数车载视觉传感器的选用标准及性能要求总结九、车载视觉传感器的选用标准及性能要求9.1车载视觉传感器的选用标准课程导入学习目标车载视觉传感器的特点视觉传感器的发展历史车载视觉传感器车载视觉传感器的结构车载视觉传感器类型（1）镜头1）镜片材料的选择：视觉传感器镜头通常有