《智能网联汽车技术及应用》课件-1.9.1认知视觉传感器

认知视觉传感器《智能网联汽车技术与应用》能力模块一智能网联汽车关键技术视觉传感器是人工智能的一个分支，起源于20世纪80年代的神经网络技术通过使用光学系统和图像处理工具等来模拟人的视觉能力捕捉和处理场景的三维信息，理解并通过指挥特定的装置执行决策。你作为智能驾驶测试工程师，你知道视觉传感器的主要类型和它的工作特点吗？任务导入任务目标了解视觉传感器的定义及特点掌握视觉传感器的类型及功能掌握视觉传感器的环境感知流程了解视觉传感器的应用场景获得多途径检索知识、分析解决问题以及多元化思考解决问题的方法，形成创新意识。具有良好的团队协作精神和较强的组织沟通能力。具备良好的职业道德，尊重他人劳动，不窃取他人成果。Contents目录视觉传感器的定义1视觉传感器的应用场景6视觉传感器的特点2视觉传感器的功能4视觉传感器的类型3视觉传感器的环境感知流程501视觉传感器的定义视觉传感器的定义视觉传感器是利用光学元件和成像装置获取外部环境图像信息的仪器，与人类视觉最为接近，视觉传感器拥有较广的垂直场角、较高的纵向分辨率，同时可以提供颜色以及纹路等信息。视觉传感器的定义视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器和图像存储器等组成。其主要功能是获取足够的机器视觉系统要处理的原始图像。02视觉传感器的特点信息量极为丰富实时获取场景信息多任务检测应用领域广泛视觉传感器的特点信息量极为丰富视觉图像的信息量极为丰富，尤其是彩色图像，不仅包含有视野内物体的距离信息，而且还有该物体的颜色、纹理、深度和形状等信息。视觉传感器的特点多任务检测视觉信息获取的是实时的场景图像，提供的信息不依赖于先验知识，比如GPS导航依赖地图信息，有较强的适应环境的能力。实时获取场景信息在视野范围内可同时实现道路检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等，信息获取面积大。当多辆智能网联汽车同时工作时，不会出现互相干扰的现象。视觉传感器的特点应用领域广泛视觉传感器应用广泛，在智能网联汽车中可以前视、后视、侧视、内视、环视等。以前视为例，夜视、车道偏离预警、碰撞预警、交通标示识别等要求视觉系统在各种天气、路况条件下，能够清晰识别车道线、车辆、障碍物、交通标志等。03视觉传感器的类型单目摄像头双目摄像头红外摄像头环视摄像头视觉传感器的类型单目摄像头华为车规单目单目视觉传感器模块只包含一个摄像机和一个镜头。由于很多图像算法的研究都是基于单目视觉传感器开发的，因此相对于其他类别的车载视觉传感器，单目车载视觉传感器的算法成熟度更高。视觉传感器的类型单目摄像头蔚来ET7侧方摄像头单目传感器具有成本低、帧速率高、信息丰富、检测距离远等优点，但易受光照、气候等环境影响，缺乏目标距离等深度信息，对目标速度的测量也不够可靠。视觉传感器的类型单目摄像头优缺点优点缺点结构简单、成本低视野完全取决于镜头距离运算量小单目测距的精度较低有效视场更大视觉传感器的类型双目摄像头百度云骁无人车由于单目测距存在缺陷，双目视觉应运而生，如左图所示，双目视觉传感器模块包含两个摄像机和两个镜头。相近的两个摄像机拍摄物体时，会得到同一物体在相机成像平面的像素偏移量。视觉传感器的类型双目摄像头特点特点解析成本比单目系统高但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；没有识别率的限制因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；精度比单目高直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。视觉传感器的类型双目摄像头特点特点解析成本比单目系统高但尚处于可接受范围内，并且与激光雷达等方案相比成本较低；没有识别率的限制因为从原理上无需先进行识别再进行测算，而是对所有障碍物直接进行测量；精度比单目高直接利用视差计算距离。双目系统的一个难点在于计算量非常大，对计算单元的性能要求非常高。视觉传感器的类型双目摄像头优缺点优点缺点简化障碍物测距过程对环境光照非常敏感测距精度高不适用于单调缺乏纹理的场景对硬件要求和成本低计算复杂度高室内外均适用相机基线限制了测量范围视觉传感器的类型红外摄像头红外摄像头夜间可见光成像的信噪比比较低，从而导致视觉传感器夜间成像效果不佳，而红外夜视系统可以弥补光照不足条件下的视觉传感器的缺点。红外夜视系统可分为主动夜视和被动夜视两种类型。视觉传感器的类型主动夜视系统主动红外传感器的发射机发出一束经调制的红外光束，被红外接收机接收，从而形成一条红外光束组成的警戒线。当遇到树叶、雨、小动物、雪、沙尘、雾遮挡则不应报警，人或相当体积的物品遮挡将发生报警。视觉传感器的类型被动夜视系统被动红外传感器是靠探测人体发射的红外线来进行工作的。传感器收集外界的红外辐射进而聚集到红外传感器上。红外传感器通常采用热释电元件，这种元件在接收了红外辐射温度发出变化时就会向外释放电荷，检测处理后产生报警。视觉传感器的类型环视摄像头前三款视觉传感器所采用的镜头都是非鱼眼的，环视视觉传感器的镜头是鱼眼镜头，环视摄像头安装于车辆前方、车辆左右后视镜下和车辆后方的四个鱼眼镜头采集图像。鱼眼摄像头视觉传感器的类型环视摄像头通过标定值，进行图像的投影变换，可将图像还原成俯视图的样子。然后对四个方向的图像进拼接，再在四幅图像的中间放上一张车的俯规图，即可实现车顶往下看的效果。鱼眼镜头采集图像04视觉传感器的功能车道线识别障碍物检测交通标志和地面标志识别交通信号灯识别交通信号灯识别视觉传感器的功能车道线识别视觉传感器检测车道线障碍物检测视觉传感器检测障碍物视觉传感器的功能交通标志和地面标志识别交通信号灯识别视觉传感器的功能可行空间检测可通行空间表示无人驾驶汽车可以正常行驶的区域05视觉传感器的环境感知流程视觉传感器的环境感知流程图像特征提取3图像压缩、图像增强与复原、图像分割图像采集1把模拟信号转换为数字信号，并把数字图像以一定格式表现出来。图像预处理2图像压缩、图像增强与复原、图像分割图像模式识别4基于色彩、形状、特征等进行识别结果传输5将数据传输到车辆或周围车辆。06视