智能网联汽车环境感知技术 课件 单元2-4+视觉传感器技术认知及产品应用

单元2-4视觉传感器技术认知及产品应用CATALOGUE目录2.4.1视觉传感器的组成与原理2.4.2视觉传感器的类型2.4.3视觉传感器的技术参数2.4.4视觉传感器的应用012.4.1视觉传感器的组成与原理光源视觉传感器中的光源用于照亮目标物体，提供足够的光线以便拍摄到清晰图像。镜头镜头将光线会聚在图像传感器上，形成目标的倒置实像，相当于人眼的晶状体。图像传感器图像传感器接收镜头会聚的光线，将其转换为电信号，形成原始图像数据。数模转换器数模转换器将图像传感器输出的电信号转换为数字信号，以便进行后续处理。图像处理器图像处理器对数字信号进行各种图像处理算法，如降噪、边缘检测、特征提取等。图像存储器图像存储器用于存储处理后的图像数据，以便后续传输或显示。1.视觉传感器的组成010203040506视觉图像的信息量视觉图像的信息量极为丰富，尤其是彩色图像，包含有视野内目标的距离、颜色、纹理、深度和形状等信息。多目标检测与干扰在视野范围内可同时实现车道线检测、车辆检测、行人检测等，信息获取量大，多车工作时不会相互干扰。视觉SLAM视觉SLAM，通过摄像头可以实现同时定位和建图，为智能网联汽车提供精确的导航和定位信息。实时性与环境适应视觉信息获取的是实时的场景图像，提供的信息不依赖于先验知识，有较强的适应环境的能力。视觉传感器趋势视觉传感器与AI融合，获得更佳检测效果，扩大在智能网联汽车和无人驾驶汽车上的应用范围。单目摄像头发展车载摄像头与深度学习结合，识别能力增强，未来单目摄像头测距可达200m~300m，像素200万~800万。视觉传感器的特点0104020503062.视觉传感器的原理采集采集阶段，视觉传感器通过光学系统聚焦光线在图像传感器上，图像传感器将光信号转换为电信号，形成原始图像数据。处理传输处理单元执行图像增强、滤波、特征提取等操作，提高图像质量和清晰度，消除噪声和干扰，提取关键特征信息。处理后的图像信息通过通信接口或总线传输给其他系统，满足实时性和准确性要求，编码特定格式或协议便于其他系统解析。022.4.2视觉传感器的类型单目摄像头功能单目摄像头算法成像图呈透视图，远处物体成像小，像素点代表距离增大，测距精度随距离增加而降低。单目摄像头成像图视野受限于镜头，焦距短则视野广但远处信息缺失；测距精度低，无法识别无轮廓障碍物。单目摄像头缺点单目摄像头成本低廉，能够识别具体障碍物的种类，算法成熟度高，识别准确。单目摄像头优点单目摄像头安装在前风窗玻璃上部，用于探测车辆前方环境，识别道路、车辆、行人等。通过图像匹配识别目标，再依据目标在图像中的大小估算距离。识别阶段需与样本库比对。1.单目摄像头双目摄像头优势无需先识别，直接测量距离；精度高于单目；无样本数据库维护需求；增强障碍物分类与高精度地图定位匹配精度。双目摄像头应用双目摄像头视差测距，无需识别目标，直接测量距离。博世产品视场角广，适用于自动制动、车道偏离预警及交通标志识别。双目摄像头算法先测距后识别，利用视差测量距离，结合单目特征提取与深度学习识别目标。双目标定及双目定位技术难点需解决。2.双目摄像头三目摄像头组合三目摄像头是三个单目摄像头的组合，感知范围更大，但需同时标定三个摄像头，工作量大。特斯拉多摄像头系统特斯拉电动汽车配备8个摄像头，包括倒车、三目、侧前视和侧后视，增强车辆周围感知能力。三目摄像头感知范围三目摄像头的感知范围由远及近，分别为前视窄视野、主视野和宽视野摄像头，逐步覆盖至60m。三目摄像头测距优势三目摄像头通过不同焦距的摄像头分工合作，实现远近不同的测距需求，发挥每个摄像头的最大优势。三目摄像头的缺点三目摄像头的缺点是需要同时标定三个摄像头，因而工作量更大一些。其次软件部分需要关联三个摄像头的数据。3.三目摄像头0102030405感知范围与用途环视摄像头的感知范围并不大，主要用于车身5～10m内的障碍物检测、自主泊车时的库位线识别等，确保行车安全与泊车便利。摄像头类型与应用摄像头分为红外摄像头和普通摄像头，红外摄像头适应日夜工作，而普通摄像头只适合白天工作；目前车辆使用的主要是红外摄像头。鱼眼摄像头特性鱼眼摄像头为了获取足够大的视野，会存在图像畸变严重的问题；通过牺牲一定图像质量，换取了超宽的视野范围。环视摄像头概述环视摄像头通常至少包含4个鱼眼摄像头，安装位置朝向地面，能够实现360°的环境感知，为驾驶者提供全方位的安全保障。4.环视摄像头032.4.3视觉传感器的技术参数像素像素是图像传感器的感光单位，一帧影像由密集像素点组成；像素数决定于CCD/CMOS光敏元件数，增大则成本上升；表示方法为长度×宽度，如720×480，乘积即相机像素数。1.图像传感器的技术参数帧率帧率指单位时间记录或播放的图片数，影响动画效果流畅度；人眼需帧率超15幅/秒才无跳跃感，24-30幅/秒则无闪烁；高帧率代表图形传感器每秒更新次数多，带来流畅逼真视觉体验。靶面尺寸靶面尺寸即图像传感器感光部分大小，以英寸计，指其对角线长度，如1/3英寸；靶面大则通光佳，小则景深大，如1/2英寸通光优，1/4英寸景深大。1.图像传感器的技术参数信噪比信噪比是信号电压与噪声电压之比，单位为dB；摄像机给出的信噪比值通常是AGC关闭时的值；50dB时图像有少量噪声但质量良好，60dB则图像质量优良且无噪声。感光度感光度衡量CCD/CMOS及电子线路对光线的敏感度；高感光度意味着强敏感度和快快门速度，对拍摄运动车辆、夜间监控至关重要。2.相机的内部参数焦距焦距是镜头光学中心到图像传感器的距离，用mm表示，可变焦如18~135mm，固定焦如50mm；智能网联车或无人驾驶车通过不同焦距和视角的摄像头，获得不同位置交通标志、信号灯等识别能力。光学中心相机镜头是复杂光学系统，功能等价于薄透镜，实际不存在；光学中心是此等价透镜的中心，位置因镜头结构而异，有的在镜头内，有的在镜头前后方。图像尺寸图像尺寸指长度和宽度，可用像素或cm表示；分辨率指单位长度内像素数，高则图像清晰；像素相同，尺寸小则分辨率高；分辨率取决于像素和尺寸；像素高不一定画面清晰。畸变系数畸变系数包括径向和切向畸变系数；径向畸变因光线弯曲不均造成，包括枕形和桶形畸变；切向畸变由透镜不平行于图像引起，导致图像变形。2.相机的内部参数离地高度离地高度是从地面到相机焦点的垂直距离；这一参数决定了相机在垂直方向上的位置，从而影响其视角和拍摄范围。旋转角度相机相对于车辆坐标系的旋转角度包括俯仰角、偏航角和横滚角；俯仰角绕Yv轴转，偏航角绕Zv轴转，横滚角绕Xv轴转。3.相机的外部参数042.4.4视觉传感器的应用前向碰撞预警系统前视摄像头通过精准计算与前车的距离，当距离小于预设的安全车距时，系统立即发出警报，提醒驾驶员保持安全距离，预防追尾事故的发生。车道偏离预警系统前视摄像头实时捕捉车辆行驶状态，一旦检测到车辆即将无意偏离车道线，系统立即发出警报，提醒驾驶员及时调整方向，确保行车安全。车道保持辅助系统前视摄像头监测车辆与车道线距离，一旦车辆偏离车道，控制中心即刻接收通知并发出指示，辅助纠正行驶方向，有效预防交通事故发生。2.4.4视觉传感器的应用盲区监测系统侧视摄像头捕捉后视镜盲区影像，实时显示在后视镜或驾驶舱内，有效减少视觉盲区，提升驾驶安全性，让驾驶员对周围环境了如指掌。2.4.4视觉传感器的应用行人碰撞预警系统前视摄像头敏锐捕捉车辆前方行人动态，当检测到可能与车辆发生碰撞时，系统立即发出警报，提醒驾驶员注意行人安全，预防潜在碰撞事故。交通标志识别系统集成前视、侧视摄像头技术，精准识别前方及两侧交通标志，为驾驶员提供全面、准确的信息支持，提升行车安全与便捷性。自动泊车辅助系统驾驶员疲劳预警系统全景泊车系统交通信号灯识别系统后视摄像头捕捉车尾环境，实时影像显示在驾驶舱内，让泊车操作直观便捷，提升停车效率与安全性，享受轻松泊车体验。内置摄像头监测驾驶员状态，实时分析疲劳、闭眼等异常行为，及