《智能网联汽车传感器技术与应用》课件 能力模块二 掌握视觉传感器技术与应用

认知视觉传感器《智能网联汽车传感器技术与应用》能力模块二掌握视觉传感器技术与应用视觉传感器是人工智能的一个分支，起源于20世纪80年代的神经网络技术通过使用光学系统和图像处理工具等来模拟人的视觉能力捕捉和处理场景的三维信息，理解并通过指挥特定的装置执行决策。你作为智能驾驶测试工程师，你知道视觉传感器的主要类型和它的工作特点吗？任务导入任务目标了解视觉传感器的定义及特点掌握视觉传感器的类型及功能掌握视觉传感器的环境感知流程了解视觉传感器的应用场景获得多途径检索知识、分析解决问题以及多元化思考解决问题的方法，形成创新意识。具有良好的团队协作精神和较强的组织沟通能力。具备良好的职业道德，尊重他人劳动，不窃取他人成果。Contents目录视觉传感器的定义1视觉传感器的应用场景6视觉传感器的特点2视觉传感器的功能4视觉传感器的类型3视觉传感器的环境感知流程501视觉传感器的定义视觉传感器的定义视觉传感器是利用光学元件和成像装置获取外部环境图像信息的仪器，与人类视觉最为接近，视觉传感器拥有较广的垂直场角、较高的纵向分辨率，同时可以提供颜色以及纹路等信息。视觉传感器的定义视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器和图像存储器等组成。其主要功能是获取足够的机器视觉系统要处理的原始图像。02视觉传感器的特点信息量极为丰富实时获取场景信息多任务检测应用领域广泛视觉传感器的特点信息量极为丰富视觉图像的信息量极为丰富，尤其是彩色图像，不仅包含有视野内物体的距离信息，而且还有该物体的颜色、纹理、深度和形状等信息。视觉传感器的特点多任务检测视觉信息获取的是实时的场景图像，提供的信息不依赖于先验知识，比如GPS导航依赖地图信息，有较强的适应环境的能力。实时获取场景信息在视野范围内可同时实现道路检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等，信息获取面积大。当多辆智能网联汽车同时工作时，不会出现互相干扰的现象。视觉传感器的特点应用领域广泛视觉传感器应用广泛，在智能网联汽车中可以前视、后视、侧视、内视、环视等。以前视为例，夜视、车道偏离预警、碰撞预警、交通标示识别等要求视觉系统在各种天气、路况条件下，能够清晰识别车道线、车辆、障碍物、交通标志等。03视觉传感器的类型单目摄像头双目摄像头红外摄像头环视摄像头视觉传感器的类型单目摄像头华为车规单目单目视觉传感器模块只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目视觉传感器开发的，因此相对于其他类别的车载视觉传感器，单目车载视觉传感器的算法成熟度更高。视觉传感器的类型单目摄像头蔚来ET7侧方摄像头单目传感器具有成本低、帧速率高、信息丰富、检测距离远等优点，但易受光照、气候等环境影响，缺乏目标距离等深度信息，对目标速度的测量也不够可靠。视觉传感器的类型单目摄像头优缺点优点缺点结构简单、成本低视野完全取决于镜头距离运算量小单目测距的精度较低有效视场更大视觉传感器的类型双目摄像头百度云骁无人车由于单目测距存在缺陷，双目视觉应运而生，如左图所示，双目视觉传感器模块包含两个摄像机和两个镜头。相近的两个摄像机拍摄物体时，会得到同一物体在相机成像平面的像素偏移量。视觉传感器的类型双目摄像头特点特点解析成本比单目系统高但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；没有识别率的限制因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；精度比单目高直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。视觉传感器的类型双目摄像头特点特点解析成本比单目系统高但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；没有识别率的限制因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；精度比单目高直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。视觉传感器的类型双目摄像头优缺点优点缺点简化障碍物测距过程对环境光照非常敏感测距精度高不适用于单调缺乏纹理的场景对硬件要求和成本低计算复杂度高室内外均适用相机基线限制了测量范围视觉传感器的类型红外摄像头红外摄像头夜间可见光成像的信噪比比较低，从而导致视觉传感器夜间成像效果不佳，而红外夜视系统可以弥补光照不足条件下的视觉传感器的缺点。红外夜视系统可分为主动夜视和被动夜视两种类型。视觉传感器的类型主动夜视系统主动红外传感器的发射机发出一束经调制的红外光束，被红外接收机接收，从而形成一条红外光束组成的警戒线。当遇到树叶、雨、小动物、雪、沙尘、雾遮挡则不应报警，人或相当体积的物品遮挡将发生报警。视觉传感器的类型被动夜视系统被动红外传感器是靠探测人体发射的红外线来进行工作的。传感器收集外界的红外辐射进而聚集到红外传感器上。红外传感器通常采用热释电元件，这种元件在接收了红外辐射温度发出变化时就会向外释放电荷，检测处理后产生报警。视觉传感器的类型环视摄像头前三款视觉传感器所采用的镜头都是非鱼眼的，环视视觉传感器的镜头是鱼眼镜头，环视摄像头安装于车辆前方、车辆左右后视镜下和车辆后方的四个鱼眼镜头采集图像。鱼眼摄像头视觉传感器的类型环视摄像头通过标定值，进行图像的投影变换，可将图像还原成俯视图的样子。然后对四个方向的图像进拼接，再在四幅图像的中间放上一张车的俯规图，即可实现车顶往下看的效果。鱼眼镜头采集图像04视觉传感器的功能车道线识别障碍物检测交通标志和地面标志识别交通信号灯识别交通信号灯识别视觉传感器的功能车道线识别视觉传感器检测车道线障碍物检测视觉传感器检测障碍物视觉传感器的功能交通标志和地面标志识别交通信号灯识别视觉传感器的功能可行空间检测可通行空间表示无人驾驶汽车可以正常行驶的区域05视觉传感器的环境感知流程视觉传感器的环境感知流程图像特征提取3图像压缩、图像增强与复原、图像分割图像采集1把模拟信号转换为数字信号，并把数字图像以一定格式表现出来。图像预处理2图像压缩、图像增强与复原、图像分割图像模式识别4基于色彩、形状、特征等进行识别结果传输5将数据传输到车辆或周围车辆。06视觉传感器的应用场景在智能网联汽车的应用场景在其他行业的应用场景视觉传感器的应用场景在智能网联汽车的应用场景视觉传感器的安装位置视觉传感器主要功能视觉传感器的应用场景在其他行业的应用场景机器分拣货物人脸识别感

谢

观

看《智能网联汽车传感器技术与应用》实现单目摄像头的应用《智能网联汽车传感器技术与应用》能力模块二掌握视觉传感器技术与应用传统的视觉成像模型是“小孔成像模型”，这种模型忽略成像光路中各种误差的影响，是线性成像关系。实际成像系统中由于径向畸变、切向畸变及仿射和非正交变形等因素的影响，光线成像不是按照现行关系的，那么就需要去畸变来保证成像的稳定。下面学习单目摄像头的成像以及如何对摄像头成像去畸变。任务导入任务目标了解单目摄像头工作原理理解单目摄像头标定掌握视觉传感器目标检测原理及方法掌握单目摄像头测距原理了解单目摄像头应用场景获得多途径检索知识、分析解决问题以及多元化思考解决问题的方法，形成创新意识。具有良好的团队协作精神和较强的组织沟通能力。具备良好的职业道德，尊重他人劳动，不窃取他人成果。Contents目录单目摄像头工作原理1单目摄像头应用场景5单目摄像头标定2单目摄像头测距原理4视觉传感器目标检测301单目摄像头工作原理单目摄像头工作原理单目摄像头的工作原理是先识别后测距，首先通过图像匹配对图像进行识别，然后根据图像的大小和高度进一步估计障碍物和车辆移动时间。单目摄像头工作原理通过单个摄像头拍摄的图像来实现三维空间的重建。单目视觉获得的图像本质上是2D的，当知道物体的实际大小时，利用相机的小孔成像模型即可以获知距离。如图所示为单目车载视觉传感器成像模型。用一个简单的公式计算前方物体与摄像机之间的距离：

02单目摄像头标定单目摄像头标定定义坐标系的转化单目摄像头标定标定的目的是得到内外参数矩阵进而消除畸变。内参数矩阵是为了得到镜头的信息，并消除畸变，使得到的图像更为准确，外参数矩阵是为了得到相机相对于世界坐标的联系，是为了最终的测距。单目摄像头标定定义单目摄像头标定坐标系转换单目摄像头标定世界坐标系是为了描述相机在真实空间的具体位置，而建立的参考坐标系。相机坐标系Oc-XcYcZc，为了从相机的角度描述物体位置而定义，对世界坐标系到图像坐标系的转化起到过渡作用图像坐标系Oi-xy，x//xc，y//yc，为了描述成像过程中，物体从相机坐标系到图像坐标系的投影关系而引入。像素坐标系O0-uv，在图像的左上角，u//x，v//y像素是由小矩形块组成，物体成像后的像素点为数字图像上的坐标，可以从图片中直接获取像素点坐标。世界坐标系相机坐标系图像坐标系像素坐标系03视觉传感器目标检测视觉传感器目标检测目标检测是计算机视觉和数字图像处理的一个热门方向，广泛应用于机器人与汽车导航、智能视频监控、工业检测、航空航天等诸多领域，通过计算机视觉减少对人力资本的消耗，具有重要的现实意义。目标检测视觉传感器目标检测目标检测需要做更细粒度的判定，在判定到是否包含目标物体的前提下还能找到物体在图像中的位置。以人体检测和人脸识别为例，通过采集含有人体或人脸的图像或视频流，可自动检测和跟踪，进行识别。视觉传感器目标检测目标检测方法解决目标检测的方法有很多种，可以分为三类。级联检测器：该模型有两种网络类型，一种是RPN网络，另一种是检测网络。一些典型的例子是RCNN系列。视觉传感器目标检测目标检测方法带锚框的单级检测器：这类的检测器没有单独的RPN网络，而是依赖于预定义的锚框。比如：YOLO系列就是这种检测器。无锚框的单级检测器：这是一种解决目标检测问题的新方法，这种网络是端到端可微的，不依赖于感兴趣区域（ROI），塑造了新研究的思路。04单目摄像头测距原理单目摄像头测距原理测距原理单目摄像头的测距原理，是先通过图像匹配进行目标识别（各种车型、行人、物体等），再通过目标在图像中的大小去估算目标距离。这就要求在估算距离之前首先对目标进行准确识别，是汽车还是行人，是货车、SUV还是小轿车。准确识别是准确估算距离的第一步。单目摄像头测距原理

f为摄像头的焦距，物体实际高度为H，在传感器上的高度为h，H一定要是已知的，我们才能求得距离d。假设有一个宽度为W的目标或者物体。然后将这个目标放在距离的相机为D的位置。用相机对物体进行拍照并且测量物体的像素宽度P。这样就得出了相机焦距的公式：F=（PxD）/W05单目摄像头应用场景单目摄像头应用场景在自动驾驶领域，单目摄像头一般安装在车前挡风玻璃上方用于探测车辆前方环境，识别道路、车辆、行人等。单目摄像头应用场景单目摄像头主要是RGB摄像头，配合单目算法可快速完成采集，将高质量图像输送给后端进行识别比对，适用于人脸布防、精准识别、客流统计和门禁管理等应用场景。感

谢

观

看《智能网联汽车传感器技术与应用》实现双目摄像头的应用《智能网联汽车传感器技术与应用》能力模块二掌握视觉传感器技术与应用双目立体视觉测距原理就是利用两台摄像机从两个视点获取目标点在不同视角下形成的图像坐标，利用成像几何模型计算同名像点图像坐标偏差，来获取目标点的三维坐标，从而实现距离测量，它在高速公路安全车距测量上有着极大的应用前景。下面一起来了解双目摄像头的原理及应用。任务导入任务目标了解双目摄像头工作原理理解双目摄像头标定掌握双目摄像头测距原理了解双目摄像头应用场景获得多途径检索知识、分析解决问题以及多元化思考解决问题的方法，形成创新意识。具有良好的团队协作精神和较强的组织沟通能力。具备良好的职业道德，尊重他人劳动，不窃取他人成果。Contents目录双目摄像头工作原理1双目摄像头标定2双目摄像头应用场景4双目摄像头成像原理301双目摄像头工作原理双目摄像头工作原理双目成像技术是利用机器视觉，通过两个相机同时同步对图片进行采集，获取左右两相机对一幅图像的对应点成像的像素差获取深度信息，进而获取三维信息，来实现对物体的重建。该技术在现有阶段只能对短距离的物体进行测距与三维重建。双目摄像头工作原理双目摄像头的工作原理是先对物体与摄像头距离进行测量，然后再对物体进行识别。从理想的情况开始分析：假设左右两个相机位于同一平面（光轴平行），且相机参数（如焦距f）一致。那么深度值的推导原理和公式，如图所示。

从而得到公式：

02双目摄像头标定双目摄像头标定图为平行双目视觉模型，即参数相同的两个摄像机平行放置，两光轴互相平行且都平行于z轴，x轴共线，两摄像机光心的距离为B（即基线距）。图中O1、O2为左右两摄像机的焦点，I1、I2为左右摄像机的像平面，P1、P2分别是空间点P（X，Y，Z）在左右像平面上的成像点，f是摄像机的焦距。若视差d定义为│P1-P2│，则点P到立体视觉系统的距离为：双目摄像头标定1.从世界坐标系转换到相机坐标系，由于这两个坐标系都是三维的，所以这一部分就是三维空间转到另外一个三维空间，如图所示。坐标系转换双目摄像头标定2.从相机坐标系转换到图像坐标系，由于图像坐标系是二维的，所以这一部分就是三维空间转到另外一个二维空间。如图所示，C是相机中心，p为图像中心，相机坐标系和图像坐标系的Z轴在一条线上。坐标系转换03双目摄像头成像原理双目摄像头成像原理双目检测的方式就是通过对两幅图像视差的计算，直