智能网联汽车测试与装调-项目四 任务一：安装与调试视觉传感器

目录/CONTETNS01任务描述02任务目标03实施步骤任务描述01一、任务描述小王是一名智能网联汽车企业的新入职员工，主要负责公司品牌的智能网联汽车进行维护与保养作业，今天他需要对一辆智能网联汽车的视觉传感器进行维护作业，在这过程中，他需要了解视觉传感器的结构组成及其作用，读懂电路图和进行线路的检测，使用测试软件对视觉传感器进行检测。任务目标02二、任务目标技能目标1.学会查阅产品使用手册;2.正确安装视觉传感器及连接线路;3.会标定视觉传感器；4.学会使用自动驾驶平台测试视觉传感器。知识目标1.了解视觉传感器的组成和类型;2.理解视觉传感器成像原理功能;3.了解视觉传感器安装流程;4.掌握标定视觉传感器的方法。

素质目标

1.树立效率意识、规范意识、安全意识,强化人际沟通、团队合作的能力;2.培养爱岗敬业的职业道德及严谨、务实的工作作风。实施步骤03

人类通过感官从自然界获取各种信息,其中以人的视觉获取的信息量最多。目前,机器视觉技术已经实现了产品化、实用化,镜头、高速相机、光源、图像软件、图像采集卡、视觉处理器等相关产品功能日益完善。视觉传感器是指通过对摄像机拍摄到的图像进行处理,来计算对象物的特征量(距离、长度、位置等),并输出数据和判断结果的传感器。如图4-1-1所示,视觉传感器广泛应用于自动驾驶汽车上。三、实施步骤1.视觉传感器的作用（一）认知并检查视觉传感器图4-1-1视觉传感器的应用

视觉传感器是为无人驾驶或者驾驶辅助传感器，通过模拟人眼的立体相机辅以先进的视觉算法可实时构建出车辆行驶道路前方的三维空间场景，系统实时检测前方行人、车辆、车道标识线，在可能发生碰撞危险或无意识偏离车道时（未打转向灯）向驾驶员发出警报提醒，帮助驾驶者预防各种突发状况引发的碰撞、追尾、车道偏离等交通事故，提升驾乘体验。如图4-1-2所示，其组成主要由光源、镜头、图像传感器、模数转换器、图像处理器、图像存储器等。三、实施步骤2.视觉传感器组成（一）认知并检查视觉传感器图4-1-2广义视觉传感器的组成

智能网联汽车上视觉传感器按视野覆盖位置可分为前视、环视（侧视+后视）及内视视觉传感器，其中前视视觉传感器最为关键；根据汽车视觉传感器模块不同，又可分为单目视觉传感器型、双目视觉传感器型、三目视觉传感器型和红外视觉传感器型；按照其应用场景及场景所要求的布局，大致可分为五类：前视视觉传感器、后视视觉传感器、侧面视觉传感器、驾驶舱内置视觉传感器和夜视视觉传感器。不同类型视觉传感器对比见表4-1。表4-1视觉传感器的分类及优缺点三、实施步骤3.视觉传感器分类与工作原理（一）认知并检查视觉传感器分类优点缺点单目视觉传感器成本和量产难度相对较低图像识别算法研发壁垒、数据库建立成本较高；定焦镜头难以同时观察不同距离的图像。双目视觉传感器测距精确使用多个视觉传感器，成本较高；计算量巨大，对计算芯片要求高，对视觉传感器之间的误差精度要求高，量产、安装较困难。多目视觉传感器全覆盖视角红外视觉传感器解决夜视问题使用寿命相对较短。

通过对两幅图像视差的计算，直接对前方景物（图像所拍摄到的范围）进行距离测量，所以对于任何类型的障碍物，都能根据距离信息的变化，进行必要的预警或制动。双目视觉传感器的原理与人眼相似。人眼能够感知物体的远近，是由于两只眼睛对同一个物体呈现的图像存在差异，也称“视差”。物体距离越远，视差越小；反之，视差越大。视差的大小对应着物体与眼睛之间距离的远近，这也是3D电影能够使人有立体层次感知的原因。三、实施步骤3.1双目视觉传感器的测距原理（一）认知并检查视觉传感器图4-1-3

上图4-1-3中的人和椰子树，人在前，椰子树在后，最下方是双目相机中的成像。其中，右侧相机成像中人在树的左侧，左侧相机成像中人在树的右侧，这是因为双目的角度不一样。再通过对比两幅图像就可以知道人眼观察树的时候视差小，而观察人时视差大。因为树的距离远，人的距离近。由图b中，已知双目摄像头的中心距离O1与O2长度，B1+B2=O1O2，β1与β2的角度通过视觉传感器检测得出，利用三角函数tanβ1=B1/Z,tanβ2=B2/Z,Z为被测物体距离摄像头的距离，通过综合计算即可以得出Z值的大小，也就是测量出被测物体的距离。三、实施步骤3.1双目视觉传感器的测距原理（一）认知并检查视觉传感器3.2.1单目视觉传感器单目摄像头的优点是成本低廉，能够识别具体障碍物的种类，识别准确；缺点是由于其识别原理导致其无法识别没有明显轮廓的障碍物，工作准确率与外部光线条件有关，并且受限于数据库，没有自学习功能。单目视觉测距有两种方式：第一种，是通过深度神经网络来预测深度，这需要大量的训练数据。训练后的单目视觉摄像头可以认识道路上最典型的参与者——人、汽车、卡车、摩托车，或是其他障碍物（雪糕桶之类），然后对识别到的物体进行距离估计。第二种，是结合车辆的运动信息，用时序上的相邻帧进行“类双目视觉”的检测。三、实施步骤3.2其他类型视觉传感器工作原理

（一）认知并检查视觉传感器3.2.1单目视觉传感器单目摄像头的优点是成本低廉，能够识别具体障碍物的种类，识别准确；缺点是由于其识别原理导致其无法识别没有明显轮廓的障碍物，工作准确率与外部光线条件有关，并且受限于数据库，没有自学习功能。单目摄像头如图4-1-4所示。单目视觉测距有两种方式：第一种，是通过深度神经网络来预测深度，这需要大量的训练数据。第二种，是结合车辆的运动信息，用时序上的相邻帧进行“类双目视觉”的检测。三、实施步骤3.2其他类型视觉传感器工作原理

（一）认知并检查视觉传感器图4-1-4单目摄像头3.2.2三目视觉传感器工作原理三目视觉传感器是三个不同焦距的摄像头对障碍物进行摄影成像。以安装在挡风玻璃上方的三目视觉传感器为例:三个视觉传感器的感知范围由远及近，分别为感知250米的前视窄视野视觉传感器、感知150米的前视主视野视觉传感器及感知60米的前视宽视野视觉传感器。三目摄像头如图4-1-5所示。三、实施步骤3.2其他类型视觉传感器工作原理

（一）认知并检查视觉传感器图4-1-5三目摄像头3.2.3红外视觉传感器工作原理自然界中一切温度高于绝对零度的物体，每时每刻都会向外辐射红外线。红外线的物理本质是热辐射，也是一种电磁波。如下图3-1-6所示，红外线是从物质内部发射出来的，产生红外根源是物质内部分子热运动。红外夜视视觉传感器是基于红外热成像原理，通过能够透过红外辐射的红外光学系统，将视场内景物的红外辐射聚焦到红外探测器上，红外探测器再将强弱不等的辐射信号转换成相应的电信号，然后经过放大和视频处理，形成可供人眼观察的视频图像。三、实施步骤3.2其他类型视觉传感器工作原理

（一）认知并检查视觉传感器图4-1-6红外视觉传感器3.2.4广角环视视觉传感器前面提到的几款视觉传感器所用的都是朝单一方向进行环境拍摄的镜头，环视视觉传感器镜头又称鱼眼广角镜头，安装位置是朝向地面的。360°全景显示功能，所用到的就是环视视觉传感器。要有周边全景摄像，一台车上需要安装于车辆前方、车辆左右后视镜下和车辆后方的四个广角镜头采集图像，采集到的图像如图4-1-7所示。鱼眼摄像机为了获取足够大的视野，代价是图像的畸变严重。三、实施步骤3.2其他类型视觉传感器工作原理

（一）认知并检查视觉传感器图4-1-7广角环视视觉传感器自动驾驶作为最先尝鲜的应用领域之一，视觉传感器很早就进入了科研专家的考察范围。与其它智能汽车上的视觉传感器，比如和激光雷达相比较，其物理原理（直接光学成像）和成像过程（2D平面图像/3D数据）虽然不同，但由于其体积非常小，硬件价格低廉，而如果算法足够强大的话，在ADAS各样应用场景中也能符合大部分的使用条件。视觉传感器在车辆辅助驾驶或是无人车上的应用，主要是环境感知能力和定位能力。如图4-1-8所示，车载视觉摄像头。车载视觉传感器按照其应用场景及场景所要求的布局，大致可分为五类：前视视觉传感器、后视视觉传感器、侧面视觉传感器、驾驶舱内置视觉传感器和夜视视觉传感器。三、实施步骤3.3

视觉传感器在智能网联汽车上的应用

（一）认知并检查视觉传感器图4-1-8车载视觉摄像头智能网联汽车的视觉传感器还可实现车道偏离预警、前向碰撞预警、交通标志识别、盲点监测、驾驶人注意力监控、停车辅助、驾乘身份识别等功能。（1）车道偏离预警；（2）前向碰撞预警；（3）交通标志识别；（4）盲点监测；（5）驾驶员注意力监控；（6）停车辅助；（7）驾乘身份识别。三、实施步骤3.3

视觉传感器在智能网联汽车上的应用

（一）认知并检查视觉传感器图4-1-8车载视觉摄像头4.1双目视觉传感器的线路检查（以北京中科慧眼视觉传感器为例）北京中科慧眼公司的双目视觉传感器是通过对两个摄像头拍摄到的图像进行图像处理，来计算目标的特征量（距离、长度、位置等），并输出数据和判断结果的传感器。北京中科慧眼视觉传感器的连接线路，如图4-1-9所示。三、实施步骤4.

视觉传感器的检查

（一）认知并检查视觉传感器图4-1-9中科慧眼双目视觉传感器SmartEye软件作为一款视觉传感器安装的配套工具，可以支持实时查看左彩色、右灰度图像、彩色渲染后的视差图像，车道线识别效果、障碍物检测效果。也可以采集某一时间段的图像到本地PC中。我们可以使用此工具，对相机的相关数据进行快速查看和评估，用来作为视觉传感器安装之前的功能检查。如图所示SmartEye软件的界面。三、实施步骤5.

视觉传感器的功能检查（以北京中科慧眼视觉传感器为例）

（一）认知并检查视觉传感器图4-1-10SmartEye软件5.1视觉传感器成像的检查检查视觉传感器在不同工作条件的工作性能，以满足智能网联汽车的使用条件，包括分辨率测试、色彩还原测试、灰阶测试、畸变测试、视场角测试等。5.1.1分辨率测试分辨率是用于度量位图图像内数据量多少的一个参数，通常表示成dpi(dotperinch,点/每英寸)。简单地说，视觉传感器的分辨率是指视觉传感器解析图像的能力，也即视觉传感器的影像传感器的像素数。最高分辨率就是指视觉传感器能最高分辨图像的能力的大小，即视觉传感器的最高像素数，是评价视觉传感器拍摄性能的关键指标。如图4-1-11所示，两种分辨率对比。三、实施步骤5.

视觉传感器的功能检查（以北京中科慧眼视觉传感器为例）

（一）认知并检查视觉传感器图4-1-11分辨率对比5.1.2色彩还原测试色彩还原是用于测试视觉传感器对拍摄物体色彩的还原能力。可通过灯箱，24色色卡(GretagMacbethColorChecker)，色温照度计，Imatest软件进行测试。如图4-1-12，色彩还原的效果。三、实施步骤5.

视觉传感器的功能检查（以北京中科慧眼视觉传感器为例）

（一）认知并检查视觉传感器图4-1-12色彩还原5.1.3灰阶测试所谓的灰阶，指地物电磁波辐射强度表现在黑白影像上的色调深浅的等级，是划分地物波谱特征的尺度。将最亮与最暗之间的亮度变化，区分为若干份，灰阶代表了由最暗到最亮之间不同亮度的层次级别。这中间层级越多，所能够呈现的画面效果也就越细腻。可使用灰阶测试卡进行测试。5.1.4畸变测试畸变的定义是由于横向放大率随像高或