智能汽车传感器技术课件 第7章 视觉传感器

智能汽车传感器技术项目七

视觉传感器的认知、装调与应用【项目目标】2025年2月，比亚迪发布全民智驾战略，通过天神之眼A、B、C等方案，将智能驾驶辅助引入比亚迪全车系。其中天神之眼C采用5R12V12U技术方案，以视觉感知为主、配合毫米波雷达和超声波雷达，在不依赖激光雷达的情况下实现智驾辅助功能，让更多消费者能以较低成本享受到智能驾驶辅助的便利和安全。知识目标1.理解视觉传感器的组成、工作原理和核心参数，了解“图像处理-图像分析-图像理解”的关系。2.理解视觉传感器在智能驾驶中的典型应用场景。3.了解视觉传感器与毫米波雷达、激光雷达的多传感器融合原理。技能目标1.能基于车规级AEC-Q100标准对视觉传感器进行参数检测与调试。2.能结合实车平台完成视觉传感器的装调与标定。3.能结合OpenCV等工具调试边缘检测、二值化输出、目标识别等应用。素质目标1.主动学习视觉传感器新知识、新技术，在遇到问题时能够独立思考、分析问题本质，提升自主学习与问题解决能力。2.理解视觉传感器数据涉及的隐私安全风险（如舱内相机影像泄露），树立数据安全意识，培养合规从业的职业操守。视觉传感器，又称摄像机、摄像头，是将二维光强分布的光学图像转变成一维时序电信号的传感器。任务7.1视觉传感器认知数字图像形成过程按芯片类型CCDCMOSCCD是指电荷耦合器件，是一种用电荷量表示信号大小，用耦合方式传输信号的探测元件，具有自扫描、感受波谱范围宽、畸变小、体积小、重量轻、系统噪声低、功耗小、寿命长、可靠性高等一系列优点。CMOS是ComplementaryMetalOxideSemiconductor（互补金属氧化物半导体）的缩写。它是指制造大规模集成电路芯片CMOS图像传感器通常由像敏单元阵列、行驱动器、列驱动器、时序控制逻辑、AD转换器、数据总线输出接口、控制接口等几部分组成，这几部分通常都被集成在同一块硅片上。任务7.1视觉传感器认知按镜头与布置方式单目视觉传感器多目视觉传感器环视视觉传感器任务7.1视觉传感器认知ADAS功能汽车单目视觉传感器单目视觉传感器模组只包含一个摄像机和一个镜头单目视觉传感器的算法成熟度很高，但有先天的缺陷视野完全取决于镜头焦距短的镜头，视野广，但缺失远处的信息焦距长的镜头，视野窄单目视觉传感器由于只有一个镜头，局限严重，一般选用适中焦距的镜头任务7.1视觉传感器认知ADAS功能汽车单目视觉传感器单目视觉传感器模组只包含一个摄像机和一个镜头单目视觉传感器的算法成熟度很高，但有先天的缺陷单目测距的精度较低视觉传感器的成像图是透视图，即越远的物体成像越小。同样大小的物体，在近处时需要用大量的像素点描述，在远处时可能只有几个像素点，因此对单目来说物体越远，测距的精度越低任务7.1视觉传感器认知单目视觉传感器无法判断具有同样像素点数量物体的大小、远近关系左眼图像

右眼图像

综合左右眼图像基于图像判断距离任务7.1视觉传感器认知采用2个及以上视觉传感器的称为多目视觉传感器例如双目视觉传感器，相近的两个视觉传感器拍摄物体时，会得到同一物体在视觉传感器的成像平面的像素偏移量有了像素偏移量、相机焦距和两个视觉传感器的实际距离这些信息，根据数学换算即可得到物体的距离。双目视觉传感器任务7.1视觉传感器认知双目视觉传感器虽然比单目视觉传感器提高了测距能力，但镜头视野仍然完全依赖于镜头，并且双目测距原理对两个镜头的安装位置要求较高，视觉传感器标定较困难。特斯拉AutoPolit2.0三目视觉传感器根据焦距不同，每个视觉传感器所感知的范围不相同前视窄视野视觉传感器（最远感知250米）前视主视野视觉传感器（最远感知150米）前视宽视野视觉传感器（最远感知60米）通过增加不同焦距视觉传感器，增加视野与距离，提高测距精度。任务7.1视觉传感器认知环视视觉传感器环视视觉传感器采用鱼眼镜头、安装位置朝向地面在汽车的前后左右安装4个鱼眼镜头为了扩大视野，鱼眼镜头图像的歧变较大早期主要用于辅助，随着传感器融合技术的发展，鱼眼镜头也可以应用于SLAM定位任务7.1视觉传感器认知2025年智能网联汽车视觉传感器装备情况任务7.1视觉传感器认知特斯拉HW4.0蔚来理想pro华为ADS2.0小鹏AI鹰眼行车视觉传感器前视*2/5.43MP侧前视*2/5.43MP侧后视*2/5.43MP后视*1/5.43MP前视*2/8MP侧前视*2/8MP侧后视*2/8MP后视*1/8MP前视*1/8MP侧前视*2/2MP侧后视*2/2MP后视*1/2MP前视*2/8MP侧前视*2/5.4MP侧后视*2/5.4MP后视*1/5.4MP前视*2/8MP侧前视*2/3MP侧后视*2/3MP后视*1/8M环视视觉传感器环视*3/5.43MP环视*4/3MP环视*4/3MP环视*4/5.4MP环视*4/3MP注：*为视觉传感器数量，MP为视觉传感器像素单位视觉传感器工作原理视觉传感器主要由镜头、影像传感器（主要是CCD/CMOS器件）、DSP等组成。被摄物体经过镜头聚焦至CCD（电荷耦合器件ChargeCoupledDevice）CCD由多个X-Y纵横排列的像素点组成，每个像素都由一个光电二极管及相关电路组成光电二极管将光线转变成电荷，收集到的电荷总量与光线强度成比例所积累的电荷在相关电路的控制下，逐点移出经滤波、放大，再经过DSP处理后形成视频信号输出，再通过I/O接口传输到电脑中进行处理后，再通过显示屏看到图像。任务7.2视觉传感器工作原理视觉传感器扫描方式视觉传感器按一定的分辨率，以隔行扫描的方式采集图像上的点；当扫描到某点时，就通过图像传感芯片将该点处图像的灰度转换成与灰度一一对应的电压值，然后将此电压值通过视频信号端输出。任务7.2视觉传感器工作原理视觉传感器扫描方式任务7.2视觉传感器工作原理视觉传感器连续地扫描图像上的一行，则输出就是一段连续的电压信号，电压信号的高低起伏反映了该行图像的灰度变化。当扫描完一行，视频信号端就输出一个低于最低视频信号电压的电平（如0.3V），并保持一段时间。相当于，紧接着每行图像信号之后会有一个电压“凹槽”，“凹槽”叫做行同步脉冲，它是扫描换行的标志。跳过一行后（因为视觉传感器是隔行扫描的），开始扫描新的一行，如此下去，直到扫描完该场的视频信号，接着会出现一段场消隐区。有若干个复合消隐脉冲，其中有个远宽于（即持续时间远长于）其它的消隐脉冲，称为场同步脉冲，它是扫描换场的标志。视觉传感器扫描方式任务7.2视觉传感器工作原理场同步脉冲标志着新的一场的到来，场消隐区恰好跨在上一场的结尾和下一场的开始部分，得等场消隐区过去，下一场的视频信号才真正到来。视觉传感器每秒扫描25幅图像，每幅又分奇、偶两场，先奇场后偶场，故每秒扫描50场图像。奇场时只扫描图像中的奇数行，偶场时则只扫描偶数行。视觉传感器的关键指标分辨率分辨率实际上就是每场行同步脉冲数，行同步脉冲数越多，则对每场图像扫描的行数也越多分辨率反映的是视觉传感器的纵向分辨能力有效像素有效像素常写成两数相乘的形式，如“320x240”其中前一个数值表示单行视频信号的精细程度，即行分辨能力后一个数值为分辨率，因而有效像素=行分辨能力×分辨率任务7.2视觉传感器工作原理视觉传感器的接口车规视觉传感器的接口要满足高可靠性、抗干扰能力强、低延迟、带宽适配和标准化等要求；ISO23150标准规定了传感器和感知融合通信的标准化接口；中国汽车工程学会《智能网联汽车设备抽象与感知服务接口要求T/CSAE317-2023》标准规定了适用于M类、N类智能网联汽车的各类车载感知传感器的接口；目前常见接口有MIPI-CSI、LVDS

、GMSL

、CANFD

和以太网接口等。任务7.2视觉传感器工作原理以太网接口视觉传感器的接口任务7.2视觉传感器工作原理MIPI-CSI接口又称相机串行接口（CameraSerialInterface）移动产业处理器接口联盟（MobileIndustryProcessorInterfaceAlliance，MIPI）制定的标准化数字接口规范由应用层、协议层、物理层组成最大支持4通道数据传输，单线传输速度高达1Gb/s支持HS（HighSpeed）和LP（LowSpeed）两种工作模式。LVDS

（Low-VoltageDifferentialSignaling）接口又称低电压差分信号接口通过一对差分线传输电压差，有效抑制共模噪声，具有低电压摆幅特征，典型差分电压为350mV支持100Mbps至1.923Gbps的高传输速率，符合AEC-Q100标准。根据不同厂家的方案分为GMSL、FPDLINK、Clockless等。视觉传感器的接口GMSL（GigabitMultimediaSerialLink）接口是为车载摄像头、ADAS系统及高清视频传输开发的高速串行接口；使用50Ω同轴电缆或100Ω屏蔽双绞线；传输距离可达15米（同轴电缆）或更长采用差分电平（如350mV~1.2V），抗干扰能力强，最高支持12Gbps传输速率；满足4K/8K视频及多传感器数据传输需求符合AEC-Q100标准，适应-40℃至+125℃温度范围。任务7.2视觉传感器工作原理华为MDC300智能驾驶计算平台提供A、B、C三个四合一GMSL摄像头接口接口颜色分别为黑色，白色和绿色采用同轴电缆同时完成供电和数据传输最多能同时接入12个视觉传感器数字图像处理的层次任务7.3数字图像处理技术数字图像处理的三层次

核心定位：像素级“图像→图像”的变换，只改外观、不改内容语义，是最基础的预处理与优化层。本质：对原始图像做数值运算，提升视觉质量、压缩数据、校正畸变。典型任务：图像增强、图像滤波/去噪、几何变换、图像复原、图像压缩。核心定位：“图像→数据/符号”的信息提取，从像素中分离目标、测特征、做描述，是从“看画面”到“读信息”的关键过渡。本质：把像素集合转化为结构化描述（数值、特征、标签）。典型任务：图像分割、边缘/特征检测、形态学处理、目标测量、目标分类/检测。核心定位：“数据→语义/决策”的认知推理，结合知识与上下文，理解场景、关联目标、指导行动，最接近人类视觉智能的层级。本质：以客观世界模型为核心，融合先验知识、逻辑推理、因果关系，回答“这是什么场景、发生了什么、该怎么做”。典型任务：场景理解、语义推理、图像描述/问答、决策与控制。

像素生成像素的英文pixel是一个合成词，词源是picture和element

；像素是构成数字图像的最小单位，是以一个明确的位置和单一色彩数值的小方块，这些方块的组合构成了图像所呈现出来的样子；图像分辨率是单位英寸中所包含的像素点数。例如网页常用图片分辨率为72,即每英寸像素为721英寸=2.54厘米通过换算可以得出每厘米=28像素任务7.3数字图像处理技术

任务7.3数字图像处理技术

不同颜色的屏幕坏点检测任务7.3数字图像处理技术数字图像处理将图像转换成一个数据矩阵存放在存储器中，然后再利用计算机或其它的大规模集成数字器件对数据矩阵信息进行数字处理，以达到所预期的效果。黑白图像的矩阵表示任务7.3数字图像处理技术灰度图像的矩阵表示数字图像处理将图像转换成一个数据矩阵存放在存储器中，然后再利用计算机或其它的大规模集成数字器件对数据矩阵信息进行数字处理，以达到所预期的效果。彩色图像的矩阵表示任务7.3数字图像处理技术序列图像具有一定联系的、具有时间先后关系的图像。电影、电视剧、短视频由序列图像构成的。序列图像是数字多媒体的重要组成部分，是单幅数字图像在时间轴上的扩展，可以将视频的每一帧视为一幅静止的图像。数字图像的矩形表示任务7.3数字图像处理技术图像分析对图像中感兴趣的目标进行检测（或分割）和测量，以获得它们的客观信息，从而建立对图像中目标的描述，是一个从图像到数值或符号的过程。任务7.3数字图像处理技术图像理解对图像中感兴趣的目标进行检测（或分割）和测量，以获得它们的客观信息，从而建立对图像中目标的描述，是一个从图像到数值或符号的过程。任务7.3数字图像处理技术图像边缘检测原理图像边缘，指其周围像素灰度急剧变化的那些像素的集合，是图像最基本的特征。

边缘存在于目标、背景和区域之间，是图像分割所依赖的最重要的依据。由于边缘是位置的标志，对灰度的变化不敏感，边缘也是图像匹配的重要的特征。道路边缘检测示例任务7.4图像边缘检测技术图像边缘检测原理阶跃状边缘，边缘两边像素的灰度值明显不同屋顶状边缘，边缘处于灰度值由小到大再到小变化的转折点处图像边缘阶跃状边缘脉冲状边缘屋顶状边缘任务7.4图像边缘检测技术图像边缘检测原理用离散化梯度逼近函数根据二维灰度矩阵梯度向量来寻找图像灰度矩阵的灰度跃变位置，然后在图像中将这些位置的点连起来，就构成了图像边缘。任务7.4图像边缘检测技术任务7.4图像边缘检测技术Canny图像边缘检测图像边缘检测步骤：彩色图像转换为灰度图像对图像进行高斯模糊计算图像梯度非最大信号压制处理(边缘细化)双阈值边缘连接处理二值化图像输出结果1.对原始图像进行灰度化Canny算法通常处理的图像为灰度图，因此如果摄像机获取的是彩色图像，那首先就得进行灰度化，根据图像各个通道的采样值进行加权平均。以RGB格式的彩图为例，通常灰度化采用的方法主要有：方法1：Gray=(R+G+B)/3方法2：Gray=0.299R+0.587G+0.114B任务7.4图像边缘检测技术Canny图像边缘检测2.对图像进行高斯滤波根据待滤波的像素点及其邻域点的灰度值按照一定的参数规则进行加权平均。可以有效滤去理想图像中叠加的高频噪声。任务7.4图像边缘检测技术Canny图像边缘检测3.计算图像梯度用一阶偏导的有限差分来计算梯度，确定图像边缘幅值与角度常用的梯度算子有：Roberts算子

、Prewitt算子、Canny算法、Sobel算子任务7.4图像边缘检测技术Canny图像边缘检测X向卷积模板y向卷积模板待处理点的领域点标记矩阵表达其每个点的梯度幅值4.非最大信号压制处理(边缘细化)梯度值越大，但这不能说明该点就是边缘（这仅仅是属于图像增强的过程），应加以区分；在Canny算法中，非极大值抑制是进行边缘检测的重要步骤，通俗意义上是指寻找像素点局部最大值，将非极大值点所对应的灰度值置为0任务7.4图像边缘检测技术Canny图像边缘检测对梯度幅值进行非极大值抑制首先确定像素点C的灰度值在其8值邻域内是否为最大。蓝色的线条方向为C点的梯度方向，其局部的最大值肯定分布在这条线上，也即使出了C点外，梯度方向的交点dTmp1和dTmp2这两个点的值也可能会是局部最大值判断C点灰度与这两个点灰度大小即可判断C点是否为其邻域内的局部最大灰度点如果经过判断，C点灰度值小于这两个点中的任一个，那就说明C点不是局部极大值，那么则可以排除C点为边缘。4.非最大信号压制处理(边缘细化)但实际上，我们只能得到C点邻域的8个点的值，而dTmp1和dTmp2并不在其中要得到这两个值就需要对该两个点两端的已知灰度进行线性插值任务7.4图像边缘检测技术Canny图像边缘检测对梯度幅值进行非极大值抑制g1和g2对dTmp1进行插值g3和g4对dTmp2进行插值其梯度方向（dTmp1=g1*1/tanθ+g2*(1-1/tanθ)完成非极大值抑制后，会得到一个二值图像，非边缘的点灰度值均为0（黑），可能为边缘的局部灰度极大值点可设置其灰度为128。但这样一个检测结果还是包含了很多由噪声及其他原因造成的假边缘。因此还需要进一步的处理。5.双阈值边缘连接处理减少假边缘数量的方法是采用双阈值法任务7.4图像边缘检测技术Canny图像边缘检测高阈值选取全局灰度值分布的70%根据高阈值得到一个边缘图像，这样一个图像含有很少的假边缘由于阈值较高，产生的图像边缘可能不闭合把边缘链接成轮廓，当到达轮廓的端点时，该算法会在断点的8邻域点中寻找满足低阈值的点，再根据此点收集新的边缘，直到整个图像边缘闭合低阈值选取高阈值的50%6.二値化图像输出图像的二值化就是将图像上的像素点的灰度值设置为0或255，这样将使整个图像呈现出明显的黑白效果。在数字图像处理中，二值图像占有非常重要的地位，图像的二值化使图像中数据量大为减少，从而能凸显出目标的轮廓。任务7.4图像边缘检测技术Canny图像边缘检测视觉传感器标定外参标定内参标定任务7.5视觉传感器的标定与应用视觉传感器标定标定是建立空间物体三维几何信息与图像二维像素信息映射关系的核心，直接决定机器视觉系统的测量精度与定位可靠性。标定过程需求解内参数（传感器自身固有属性）与外参数（传感器与外部环境的相对位置），二者共同构成视觉成像的完整数学模型。世界坐标系→相机坐标系：通过外参数（旋转矩阵R、平移向量T）实现，描述传感器在世界空间中的位置与姿态；​相机坐标系→图像物理坐标系：通过内参数中的焦距f实现，基于针孔模型将三维空间点投影到二维图像平面；​图像物理坐标系→像素坐标系：通过内参数中的主点坐标(u0,v0)、像素尺寸(dx,dy)实现，将物理单位（如mm）转换为像素单位。视觉传感器标定的坐标系转换任务7.5视觉传感器的标定与应用视觉传感器标定内参是视觉传感器的固有参数，描述传感器自身的成像特性，与外部环境无关。内参标定的核心是求解内参数矩阵与畸变系数，建立像素坐标系与相机坐标系之间的精准映射。任务7.5视觉传感器的标定与应用视觉传感器的内参标定消除成像畸变：修正镜头光学特性导致的图像变形，还原真实场景的几何形态；​实现定量测量：将像素距离转化为物理距离（如毫米、米），满足检测、定位等场景的精度需求；​统一多传感器基准：在双目视觉、多相机协同等系统中，通过标定确保各传感器的内参一致，避免因参数差异导致的立体匹配偏差。描述视觉传感器与世界坐标系相对位置关系的参数，包括旋转矩阵R（描述姿态）与平移向量T（描述位置），其标定结果直接决定空间点三维坐标的求解精度。（1）像素坐标系与图像物理坐标系的转换任务7.5视觉传感器的标定与应用视觉传感器的外参标定视觉传感器采集的数据，在计算机中以M×N矩阵保存。在图像上定义图像像素直角坐标系(ot,u,v)，每一个像素的坐标(u,v)分别表示该像素在数组中的列数与行数。由于像素直角坐标系中(u,v)只表示像素位于数组中的列数与行数，并没有物理单位表示出该像素在图像中的位置，因此需要建立以物理单位表示的图像物理坐标系（O1,X,Y）描述视觉传感器与世界坐标系相对位置关系的参数，包括旋转矩阵R（描述姿态）与平移向量T（描述位置），其标定结果直接决定空间点三维坐标的求解精度。（1）像素坐标系与图像物理坐标系的转换任务7.5视觉传感器的标定与应用视觉传感器的外参标定

描述视觉传感器与世界坐标系相对位置关系的参数，包括旋转矩阵R（描述姿态）与平移向量T（描述位置），其标定结果直接决定空间点三维坐标的求解精度。（2）相机坐标系与世界坐标系的转换任务7.5视觉传感器的标定与应用视觉传感器的外参标定视觉传感器坐标系是由点与、和轴组成的直角坐标系(点称为