汽车基础环境部件及标定 4

摄像头的工作原理主讲老师：XXX项目4：摄像头的装调、故障诊断与标定01学习情境LearningSituation02学习目标LearningObjectives03资料收集DataCollection06课堂总结Summary目录05课堂练习Afterclasstraining04思政专栏IdeologicalandPoliticalColumn学习情境LearningSituationPART01学习情境一位客户开车到4S店进行维护保养，客户好奇车内的中控屏为什么能够显示出车辆周围的目标信息？经理安排你给客户介绍摄像头的作用及工作原理，并向客户介绍摄像头的类型及应用。目标信息学习目标LearningObjectivesPART02学习目标素养目标1.鼓励学生关注社会热点问题，积极参与公益活动，培养其对社会的责任感和使命感；2.培养学生自主学习能力和跨学科知识融合的能力，为职业生涯的长期发展奠定坚实基础。1.能叙述摄像头的结构及工作原理；2.能说出摄像头的类型；3.能解释摄像头的技术参数；4.能说出摄像头的特点。知识目标资料收集DataCollectionPART03一、摄像头定义自动驾驶汽车中的视觉系统目前，摄像头是自动驾驶汽车中应用和研究最广泛的传感器，其采集图像的过程最接近人类视觉系统。因此它也被称为视觉传感器。自动驾驶汽车中的摄像头一、摄像头定义视觉传感器是一种能够接收光的信号并将其转换为数字信号的传感器，它可以模拟人眼对光进行解析和处理的能力。它能够检测出物体的形状、大小和颜色等信息，然后将这些信息转换成计算机可以处理的数字信号。视觉传感器基于图像的物体检测和识别技术已经相当成熟。视觉传感器在智能网联汽车上的应用是以摄像头的形式出现。获取图像摄像头（或视觉传感器）图像处理结果目标检测二、摄像头的结构及工作原理摄像头包括光学镜头（简称镜头）、图像传感器、图像信号处理器（ISP）、串行器、插接器等器件。摄像头的结构1.摄像头的结构二、摄像头的结构及工作原理1.摄像头的结构组成部分作用光学镜头光学镜头主要由光学镜片、滤光片、保护膜组成，镜头负责聚焦光线，将视野中的物体投射到图像传感器表面，进而生成光学图像；滤光片可以过滤掉人眼看不到的光波段；保护膜起到保护镜头的作用。图像传感器图像传感器是成像介质，利用光电转换元件将光信号转换为电信号。图像信号处理器处理图像传感器输出的RAW格式数据，主要处理功能包括图像缩放、自动曝光(AE)、自动白平衡(AWB)、自动对焦(AF)、图像去噪等，最终转换成RGB,YUV等格式数据。串行器将并行信号转换为串行信号。通常经过图像传感器或图像处理器处理后输出的信号传输距离较短，因此需要转换成适合长距离传输的串行信号。插接器用于连接固定摄像头。（1）镜头镜头和图像传感器在摄像头中扮演着至关重要的角色，不同类型的图像传感器和镜头适用的应用场景会有所不同。二、摄像头的结构及工作原理1.摄像头的结构0102镜头图像传感器（1）镜头1）按镜片材质分类镜头一般是由多片光学镜片组成，光学镜片的材质主要有塑胶(P)和玻璃(G)两种。车载摄像头目前主要用玻塑混合镜头和玻璃镜头两个类型，环视和内置摄像头多采用玻塑混合镜头，前视、侧视以及后视摄像头多采用玻璃摄像头。二、摄像头的结构及工作原理1.摄像头的结构塑胶玻璃玻塑混合（1）镜头2）按焦距分类根据焦距可将镜头分为鱼眼镜头、广角镜头、标准镜头、长焦镜头和超远摄镜头。车载摄像头选用的镜头主要有广角镜头和鱼眼镜头。二、摄像头的结构及工作原理1.摄像头的结构类型描述鱼眼镜头焦距小于16mm广角镜头焦距大于16mm并且小于35mm标准镜头焦距大于35mm小于70mm，视角相当于人单眼的视角长焦镜头焦距大于70mm小于200mm超远摄镜头焦距大于200mm鱼眼镜头广角镜头（2）图像传感器根据元件的不同，图像传感器通常可分为CCD（Charge-CoupledDevice，电荷耦合器件）和CMOS（ComplementaryMetal-OxideSemiconductor，金属氧化物半导体元件）两大类。目前车载摄像头的图像传感器普遍采用CMOS。二、摄像头的结构及工作原理1.摄像头的结构CCDCMOS图像传感器（2）图像传感器1）CCDCCD是由若干个电荷耦合单元组成的，它的基本构成是MOS管。一个MOS结构称为一个光敏单元，或称为一个像素。将若干个MOS结构组成阵列，再加上输入、输出部件，就构成了CCD器件。二、摄像头的结构及工作原理1.摄像头的结构MOS管相当于开关：给栅极加压，若超过阈值，源极和漏极就导通当曝光完成时，CCD将每个像素的电荷包依次传输到一个共同的输出结构，该结构将电荷转换为电压，进行缓冲并将其发送出芯片。CCD结构示意图（2）图像传感器2）CMOSCMOS，是一种可记录光线变化的半导体，主要利用硅和锗做成的半导体，使其在CMOS上共存着N型和P型半导体，这两个互补效应所产生的电流即可被处理芯片记录和解读成图像。二、摄像头的结构及工作原理1.摄像头的结构CMOS图像传感器（CMOSimagerSensor），简称CIS在CMOS中，电荷到电压的转换发生在每个像素中。在一定意义上可以说每个像素点就是一个光子计数器，每一个读值都反映指定时间内，该像素点捕获光子的数量。图像传感器会使用行选信号和列选信号来选中一个计数器，被选中的计数器与输出放大器连通，将其存储的电荷数转化为电压值输出到阵列的外部CMOS结构示意图（2）图像传感器3）CCD与CMOS的对比

二、摄像头的结构及工作原理1.摄像头的结构电源、功耗和体积性能指标成像过程CCD：每一行中每一个像素的电荷数据都会依次传送到下一个像素中，由最低端部分输出，再经由传感器边缘的放大器进行放大输出。CMOS：每个像素都紧接一个放大器和模数转换电路，层层转换然后放大输出。集成度CCD：读出电路复杂，很难将A/D转换、信号处理、自动增益控制、精密放大和存储功能集成到一块芯片上，一般需要3～8个芯片组合实现。CMOS：借助于大规模集成制造工艺，能非常容易地把上述功能集成到单一芯片上。CCD：

需多种电源供电，功耗较大，体积也比较大。CMOS：只需一个单电源(3V~5V)供电，其功耗相当于CCD的1/10，高度集成CMOS芯片的体积较小。CCD：

技术已经相当成熟。CMOS：

正处于蓬勃发展时期，虽然目前高端CMOS图像质量暂时不如CCD，但有些指标（如传输速率等方面）已超过CCD。由于CMOS具有诸多优点，国内外许多机构已经应用CMOS图像传感器开发出众多产品。目标物体通过镜头生成的光学图像投射到图像传感器表面上，然后转为电信号，经过A/D转换后变为数字信号，再送到图像信号处理器中加工处理，转换成标准的RGB、YUV等格式图像信号，最后传输到显示装置。二、摄像头的结构及工作原理2.摄像头的工作原理摄像头的工作原摄像头主流的分类方式有：工作原理和安装位置。三、摄像头的类型0102工作原理安装位置按照工作原理分类，摄像头可分为单目摄像头、双目摄像头、三目摄像头和夜视摄像头。三、摄像头的类型1.按照工作原理分类传感器种类工作原理优点缺点单目摄像头测距原理：先通过图像匹配识别出目标类别，随后根据图像大小估算距离①成本较低②对计算资源的要求不高③系统结构相对简单①无法对非标准障碍物进行判断识别②测距的精度低双目摄像头测距原理与人眼类似，通过对图像视差进行计算，再根据视差的大小倒推出物体的距离，视差越大，距离越近①直接利用视差计算距离，精度比单目高②无需维护样本数据库，不依赖于样本①双目测距原理对两个镜头的安装位置和距离要求较多，标定难度大②双目摄像头通过估计视差来测距，而视差是通过立体匹配算法得来的，立体匹配是计算机视觉典型的难题三目摄像头基于三角测量原理或视差法，通过三个摄像头同时捕获物体，并使用图像分析算法来确定物体与摄像头之间的距离①感知范围更大②每个摄像头能发挥其最大优势，在定位测距方面感知范围更大，也更为准确①需要同时标定三个视觉传感器,工作量更大②软件部分需要关联三个视觉传感器的数据，对算法要求很高③成本相对较高夜视摄像头利用红外（IR）技术或其他增强光敏感度的装置，以接收并显示可见和热成像两种光谱范围之外的辐射来捕捉影像①不依赖场景的光照条件②夜视距离远③节能①画面是黑白的；②大多数硬件系统功耗、成本较高根据摄像头安装位置进行分类。一般分为前视、后视、环视、侧视以及内置摄像头。摄像头按照安装位置分类2.按照安装位置分类三、摄像头的类型根据摄像头安装位置进行分类。一般分为前视、后视、环视、侧视以及内置摄像头。2.按照安装位置分类三、摄像头的类型摄像头类型安装位置功能描述前视一般在风挡玻璃、内后视镜处识别前方的道路车辆行人，主要用于车道偏离预警（LDW）、前向碰撞预警（FCW）、行人碰撞预警（PCW）、车道保持辅助（LKA），以及交通标志识别（TSR）等功能后视一般安装在尾箱或后挡风玻璃上主要是用于倒车过程中，便于驾驶员对车尾后面影像的捕捉，实现泊车辅助（APA）功能。环视车辆前后车标（或附近）、以及集成于左右后视镜上的一组摄像头也被称为全景式影像监控系统，用于识别出停车通道标识、道路情况和周围车辆状况，使用多个摄像头的图像进行拼接，为车辆提供360°成像侧视分为侧前视摄像头和侧后视摄像头，左右后视镜处或下方车身处主要用于盲区检测（BSD），利用侧视摄像头，将后视镜盲区内的景物显示在驾驶舱内。内置无固定位置，方向盘中、内后视镜上方、A柱或集成于仪表显示屏处均有用于检测驾驶员是否疲劳、闭眼镜头有三个关键参数，包括焦距、视场角和光圈。1.镜头参数四、摄像头的技术参数焦距光圈视场角（1）焦距（FocalLength，FL）焦距（一般是用f表示）是指从透镜中心到焦点的距离。镜头焦距的长短决定着拍摄的成像大小，焦距越长，所成的像越大；焦距越短，所成的像越小。1.镜头参数四、摄像头的技术参数焦距（2）视场角（FieldofView，FOV）视场角是镜头能看到的视野范围。焦距f越长，视场角越小，在感光元件上形成的画面范围越小；反之，焦距f越短，视场角越大，在感光元件上形成的画面范围越大。1.镜头参数四、摄像头的技术参数视场角与焦距的关系（3）光圈光圈是位于镜头内部的、可以调节的光学机械性阑孔，可用来控制通过镜头的光线的多少。  摄像头拍照时，无法随意改变镜头直径，但可以通过在镜头内部加入多边形或者圆形的可变孔状光栅来达到控制通光量，这个装置就叫做光圈。 1.镜头参数四、摄像头的技术参数光圈值和进光量的关系光圈大小通常用F+数字表示。F=镜头焦距/光圈直径。F值相同时，长焦距镜头的口径要比短焦距镜头口径大；镜头焦距相同时，F值越大，光圈（即直径）越小，进光量则越少；F值越小，光圈越大，进光量则越多。图像传感器的技术指标主要有像素、像素尺寸、分辨率、靶面尺寸和高动态范围。2.图像传感器参数四、摄像头的技术参数01020304像素像素尺寸分辨率靶面尺寸05高动态范围（1）像素像素（Pixel）是图像传感器的最小感光单元，像素阵列排列在一起形成了图像传感器的感光区域。例如30万像素是指感光芯片上的感光元件（也就是像元）的数目有30万个。（2）像素尺寸像素尺寸（PixelSize）是指图像传感器单个感光元件的尺寸，一般有两种表述，比如1.4μm或者1.4μm×1.4μm。像素的尺寸越大，接收光子的数量就越多，同光照条件和曝光时间内产生的电荷也越多。四、摄像头的技术参数不同像素对比2.图像传感器参数（3）分辨率分辨率是指图像中可区分的细节水平，通常以像素数目表示，表示方式：宽度×高度（例如1920×1080）。分辨率越高，图像中的细节越丰富，清晰度也越高。一个30万像素的图像传感器分辨率为640×480，是指该图像传感器总共有480行像素，每一行有640个像素，总像素数为307200，接近30万，通常称为30万像素。四、摄像头的技术参数640×480的像素分布2.图像传感器参数（4）靶面尺寸（或芯片尺寸）靶面尺寸是指感光区域对角线距离，主要是通过计算感光区域靶面的对角线长度，再将其换算成英寸，比如常见的1/2英寸（1/2“）、1/3英寸（1/3”）、1/4英寸（1/4“）等等。四、摄像头的技术参数靶面尺寸2.图像传感器参数（5）高动态范围高动态范围（High-DynamicRange，HDR），又称宽动态范围技术，是在非常强烈的对比下让摄像头看到影像的特色而运用的一种技术。摄像头在同一场景中对最亮区域及较暗区域的表现是存在局限的，这种局限就是通常所讲的“动态范围”。HDR能够在影像的明亮部分和影像的黑暗部分之间显示更明显的差异。四、摄像头的技术参数有无高动态范围成像对比2.图像传感器参数图像传感器的动态范围越高，捕捉高对比度（从亮到暗的渐变细节）图像的能力就越强五、摄像头的特点1.摄像头的优点信息丰富01020304摄像头的优点技术成熟摄像头技术经过多年的发展，拥有成熟的图像处理技术和分析算法。这些算法可以对图像进行快速分析，提供实时反馈制作工艺简单相比于雷达，摄像头的本体结构和测试的复杂度都比较小，设计开发周期和成本都相对较低摄像头可以捕捉物体的丰富外观特征，包括颜色、形状和纹理等。经过神经网络学习后，这些特征可以用于识别障碍物，包括车辆、行人、自行车和各种交通信号功能多样化随着技术的发展，单车上搭载多个摄像头将成为主流趋势，并且摄像头在智能网联汽车中的安装位置不同，实现的功能也有所不同五、摄像头的特点2.摄像头的缺点检测性能受天气、光照变化影响大比如在夜晚光线不足、极端天气等场景下，摄像头的识别效率大大降低对样本依赖度较高摄像头系统通常需要大量的样本数据进行匹配和学习，以完成对不同物体的识别，这增加了对高质量样本数据库的依赖性。缺乏深度信息，三维空间感不足世界坐标系中的三维目标转变为图像坐标系中的二维目标，导致距离信息的缺失，摄像头的测距性能差。思政专栏PART04IdeologicalandPoliticalColumn思政专栏清华团队在车载摄像头领域突破国外技术垄断，以工匠精神攻坚。团队突破图像传感器高分辨率与低功耗难题，找到新型感光材料和低功耗架构，提出融合深度学习与传统技术的图像算法，提升复杂环境目标识别能力。经多年努力，成功研发国际领先的高性能车载摄像头系统，打破垄断，降低成本47%，保障供应，推动国内智能汽车产业发展。其以勇气、毅力与创新，在技术攻坚中精益求精，为科技自立自强贡献力量，诠释“中