智能网联汽车感知技术与应用 课件 任务3.1 视觉感知技术应用

单目摄像头车道线识别双目摄像头障碍物测距环视摄像头360°全景任务3.1视觉感知技术应用content目录01视觉传感器基础认知理解视觉传感器的功能结构、工作原理、类型分类（单目/双目/红外/环视）及技术参数（焦距/视场角/分辨率）02视觉传感器安装调试掌握安装位置规范、角度校准标准、单目标定流程、环视拼接校准及通电-画面-功能三级检查03视觉传感器故障诊断与排查识别图像模糊、黑屏、扭曲、闪烁、失真等常见故障，掌握排查方法与验证流程04视觉传感器场景应用理解车道线检测技术（语义分割/实例分割、LaneNet+H-Net/LaneATT算法）、交通标志识别及雨雾天视觉增强策略01视觉传感器基础认知理解视觉传感器的功能、结构、工作原理与类型掌握镜头参数、图像传感器参数等技术要点01功能与结构视觉服务与识别服务02工作原理光学成像→电信号转换→数字处理03类型分类单目/双目/红外/环视摄像头04技术参数焦距/视场角/分辨率/像素尺寸01任务描述某汽车企业L2+级自动驾驶测试车需完成视觉感知系统集成。作为技术负责人，需要主导单目摄像头、双目摄像头、环视鱼眼摄像头的选型与装调。镜头物理校准时序同步雨雾场景优化逆光处理城市道路高速恶劣天气车道线与交通标志识别50m内障碍物测距环视鱼眼摄像头360°全景拼接任务背景某汽车企业L2+级自动驾驶测试车需完成视觉感知系统集成。作为技术负责人，需要主导

单目摄像头

、

双目摄像头

、

环视鱼眼摄像头

的选型与装调。硬件端依据分辨率、视场角、高动态范围(HDR)性能选型算法端部署TensorRT加速的YOLO算法工程端诊断电源断路、图像畸变等故障单目摄像头双目摄像头●主要功能：车道线与交通标志识别●应用场景：结构化道路感知●关键技术：单目标定、YOLO算法●主要功能：50米内障碍物精确测距●

应用场景：近距离障碍物感知●关键技术：立体视觉、视差计算●

主要功能：360°全景拼接●应用场景：低速泊车与全景监控●关键技术：鱼眼校正、图像拼接1.视觉传感器的功能与结构（1）视觉传感器的功能核心功能视觉传感器（摄像头）是最接近人类视觉的传感器，被称为"汽车的'眼睛'"。核心作用是："看"清车辆周围环境，并将其转化为计算机能理解的数字信息。视觉服务为驾驶人"看得到"环境。通过镜头采集车辆周围的图像，实时显示在中控屏或仪表盘上识别服务为算法"传得准"决策数据。为自动驾驶算法提供图像数据，完成目标检测、特征提取、距离估算视觉传感器主要由光源、镜头、图像传感器、模数转换器、图像处理器和图像存储器等组成。通常把光摄像机、图像处理器和标准的控制与通信接口等集成为一体的视觉传感器称为一个智能图像采集与处理单元。1.视觉传感器的功能与结构（2）视觉传感器的结构图3-1-2视觉传感器组成示意图1.视觉传感器的功能与结构（2）视觉传感器的结构光学镜头决定"看得多清楚"。镜头的材质、形状和视角直接决定视野范围（视场角）和成像清晰度。车载镜头需兼顾耐用性（抗振动、耐温差）和成像效果（清晰、无畸变）。01按镜片形状分类：镜片分为球面和非球面，两者对焦效果对比如图所示。​​图3-1-3对焦效果对比1.视觉传感器的功能与结构（2）视觉传感器的结构光学镜头决定"看得多清楚"。镜头的材质、形状和视角直接决定视野范围（视场角）和成像清晰度。车载镜头需兼顾耐用性（抗振动、耐温差）和成像效果（清晰、无畸变）。01视角大小和焦距分类：根据视角大小和焦距，可将镜头分为标准镜头、广角镜头、鱼眼镜头和远摄镜头。它们的成像效果不同，如图所示。车载摄像头选用的镜头主要有广角镜头和鱼眼镜头。图3-1-4不同镜头的成像效果1.视觉传感器的功能与结构（2）视觉传感器的结构02图像传感器决定"看得准不准"。将光信号转为电信号，是摄像头的"视网膜"。主要分为CCD和CMOS两种。车载领域主流为CMOS传感器（占90%以上）。03ISP图像处理器对图像传感器输出信号进行处理，包括：自动曝光AE自动白平衡AWB自动对焦AF畸变校正被拍摄的目标物体通过镜头投射到图像传感器表面上转化为电信号，经过模数转换器转换后变为数字图像信号，送到图像处理器中加工处理后通过图像储存器进行压缩获得目标物体图像1.视觉传感器的功能与结构（2）视觉传感器的结构04串行器将处理后的图像数据（如RGB、YUV格式）从并行信号转为串行信号，减少线束数量，便于长距离传输至车载ECU。05插接器连接摄像头与车身线束，提供12V车载电源及GMSL/LVDS等通信接口，确保数据稳定传输与供电可靠。01光学镜头作用通过广角或鱼眼设计实现聚光成像，决定视场角大小与成像清晰度，满足车载多样化视野需求。02CMOS传感器功能将光学图像转换为电信号，具备高集成度与低功耗特性，支持实时连续的图像采集。03ISP芯片处理执行自动曝光、白平衡和畸变校正，优化图像质量，输出稳定可靠的数字视觉数据。04供电系统设计采用12V电源线为系统提供电力，保障各组件稳定运行，支持长时间工作需求。05数据传输接口使用GMSL/LVDS高速接口传输图像数据，确保低延迟、高效率地送达车载ECU。06系统协同机制各模块按光信号到数字数据流程协作，实现从成像到处理的无缝衔接，提升整体响应性能。1.视觉传感器的功能与结构（2）视觉传感器的结构2.视觉传感器的工作原理与特点（1）工作原理视觉传感器通过捕获光学图像并将其转换为数字信号，实现环境感知与信息处理。核心功能是模拟人类视觉系统的"感知-处理-理解"过程。光学成像镜头聚光，投射到图像传感器电信号转换图像传感器将光信号转为电信号数字处理ISP优化图像，模数转换器数字化信息输出通过串行器传输至车载ECU2.视觉传感器的工作原理与特点（2）四大特点01信息获取的丰富性与多维性不仅能获取物体的几何形状、空间位置，还能同步采集颜色、纹理、亮度、边缘等视觉特征，提供多维度的环境信息。02场景感知的实时性与适应性工业级摄像头帧率可达100f/s以上，消费级摄像头通常≥30f/s。通过算法优化（如HDR、去模糊）仍能维持基础功能。03环境感知的自主性与灵活性少依赖外部基础设施，无须预设地图或电子标签。单个摄像头可同时执行多项功能，符合"轻量化、低成本"需求。04成本效益与工程化优势硬件成本远低于激光雷达、毫米波雷达，适合大规模量产应用。数据标准化程度高，便于跨领域算法迁移。3.视觉传感器的类型（1）按工作原理分类1）单目摄像头单目视觉传感器（单目摄像头）如下图所示，仅配备一个镜头和图像传感器。一般安装在前挡风玻璃上部，用于探测车辆前方环境，识别道路、车辆、行人等。先通过图像匹配进行目标识别，再通过目标在图像中的大小，依赖算法估算距离（如基于目标尺寸或运动视差）去估算目标距离。3.视觉传感器的类型（1）按工作原理分类3.视觉传感器的类型（1）按工作原理分类2）双目摄像头双目摄像头在视觉感知识别方面功能全面，涵盖单目摄像头的所有识别能力。其独特之处在于定位测距方面，得益于双摄像头设计，使其无须依赖模型数据库样本的比对即可进行定位和测距。双目摄像头如图所示。双目摄像头首先通过对两幅图像视差的计算，直接对前方目标进行距离测量：运用视差的三角测距原理，计算左右“两眼”所获取对应点间的位置偏差，进而还原出场景中真实信息。随后利用特征提取和深度学习等算法，进一步确定识别目标类型。3.视觉传感器的类型（1）按工作原理分类3.视觉传感器的类型（1）按工作原理分类3）红外摄像头

在智能网联汽车环境感知体系中，红外摄像头是应对低光照、复杂天气场景的核心装备。其利用红外探测器，将物体红外辐射转化为电信号，经模数转换、图像处理输出可视化热成像，解决夜间、雨雾等场景可见光成像“盲区”问题，为自动驾驶提供全天候环境感知能力。由于其核心部件价格高昂，目前尚未大规模普及，仅搭载于部分高端豪华品牌车型。红外夜视系统可分为主动红外夜视和被动红外夜视两种类型。主动红外夜视系统，由红外光源（如850nm/940nmLED）主动发射红外光束，经目标反射后被红外摄像头接收，构建“光源——目标——探测器”三角探测链路。被动红外夜视系统，依赖物体自身热辐射，通过高灵敏度红外探测器（如非制冷微测辐射热计，对8—4μm远红外波段敏感）采集热信号，经算法还原目标轮廓、温度分布。3.视觉传感器的类型（1）按工作原理分类4）环视摄像头

通过安装在车辆前、后、左、右的4个（或更多）鱼眼摄像头，依托鱼眼镜头的超广角特性，同步采集不同方位的超广角图像，突破单摄像头视野局限，通过多镜头协同、畸变校正与图像拼接技术，最终输出无缝拼接的360°

全景视图，构建车辆“上帝视角”，为泊车、通行安全及自动驾驶功能提供基础支撑。3.视觉传感器的类型（2）按照位置分类目前汽车上搭载的摄像头根据安裝位置主要分为前视摄像头、后视摄像头、侧视摄像头、内视摄像头以及环视摄像头五种类别。前视摄像头通常被安装在车头的挡风玻璃上，为自动驾驶提供前方路况影像，识别出人、车、红绿灯以及障碍物等关键信息，支持多项高级驾驶辅助功能，保证车辆行驶安全。如前向碰撞预警FCW、行人探测与防撞预警PCW、车道保持与危险预警HMW等。3.视觉传感器的类型（2）按照位置分类后视及侧视摄像头提供倒车与后方监测功能，增加驾驶视野与安全性。后视摄像头，通常被安装在汽车的后挡风玻璃或后尾箱上，主要用于提供倒车影像和流媒体后视镜功能。侧视摄像头，作为车载摄像头的一种细分应用，主要功能在于盲点监测（BSD，Blind-SpotDetection）。图3-1-10后视及侧视摄像头实景3.视觉传感器的类型（2）按照位置分类内视摄像头用于监测驾驶者状态与车内环境，促进安全驾驶行为。通常被安装在车内司机的正/斜前方，其重要技术应用便是驾驶员监控DMS系统，核心功能包括监测司机的疲劳状态、实时监控车内人员动态，以及促进安全驾驶行为的养成。环视摄像头，通过多个摄像头的协同工作，实现车辆360度全方位的成像。实现车辆周围环境的精确感知，支持泊车与低速自动驾驶功能。这种技术主要应用于低速和近距离的感知场景，如倒车影像、全景泊车以及辅助自动驾驶等。4.视觉传感器的技术参数（1）镜头参数1.焦距有效焦距(EFL)：镜头中心到焦点的距离对于多片透镜组成的系统，通常以有效焦距表示光学后焦距(BFL)：尾镜片到焦平面的距离影响镜头安装空间和成像质量4.视觉传感器的技术参数（1）镜头参数2.视场角(FOV)镜头能拍摄到的最大视场范围。角度越大，成像范围越宽。分为对角线视场角(FOV-D)、水平视场角(FOV-H)、垂直视场角(FOV-V)。车载常用：广角镜头鱼眼镜头4.视觉传感器的技术参数（1）镜头参数3.光圈通过焦距/直径计算得出。数值越小，镜头开口越大，进光量越多，景深越浅。车载镜头光圈值一般在f/1.5左右。f/2.8：浅景深f/16：大景深4.视觉传感器的技术参数（1）镜头参数4.畸变系数畸变指的是光学系统所成的像相较于物体实际形态的失真状况，是因镜头光学特性或机械安装问题，导致图像几何形状失真（如直线弯曲、物体变形）。它只引起像的变形，不影响像的清晰度。主要包含径向畸变（桶形/枕形）和切向畸变两种类型。图3-1-14径向畸变和切向畸变4.视觉传感器的技术参数（2）图像传感器参数1.像素感光元件中单个感光点的数量，是构成数字图像的最小单元。像素数量越高，拍摄的画面范围越大，能够捕捉到的细节也越丰富。2.分辨率单位长度内包含的像素点数量，用于衡量图像中数据的密集程度。通常以ppi（每英寸像素数）或dpi（每英寸点数）表示。示例：640×480表示横向640像素点，纵向480像素点4.视觉传感器的技术参数（2）图像传感器参数3.感光元件尺寸感光元件尺寸是指感光区域的对角线长度，是衡量成像性能的关键参数之一。其大小主要由分辨率和单像素尺寸决定。通常采用英制单位表示，如1/4in、1/3in、1/2.3in等。尺寸越大，成像质量越高。4.单像素尺寸单个感光点的面积大小，通常如1.4μm、2μm等。单像素尺寸较大时，光电二极管能够接收更多光线，单位时间内捕获的光能量增加，使成像效果更佳。02视觉传感器安装调试掌握摄像头安装要求与校准步骤确保视觉感知精准可靠01安装要求位置规范与角度校准标准02校准步骤单目标定与环视拼接03调试要点通电-画面-功能三级检查1.视觉传感器的安装要求安装位置规范前视前风窗玻璃内侧（内后视镜附近）检测车道线、交通标志、前车距离环视(前)车头格栅中央或前保险杠标志处捕捉车头前方近距离视野(5~10m)环视(后)车尾牌照框上方或后保险杠中央辅助倒车、检测后方障碍物环视(左/右)左右后视镜下方（镜壳预留安装孔）消除侧方盲区，辅助变道、泊车内视车内驾驶人的正/斜前方监测驾驶人状态与车内环境角度校准标准1.水平角度镜头轴线需与车身中轴线平行（误差≤0.5°），可通过激光水平仪校准（将激光束投射到5m外的校准板上，确保光斑与预设中线重合）。2.俯仰角度单目/双目摄像头：镜头略微向下倾斜（俯仰角1°~2°），确保画面下方1/3覆盖车头前方路面，上方2/3覆盖远处车道线环视摄像头：前/后摄像头俯仰角5°~8°，侧视摄像头俯仰角3°~5°，避免画面中出现过多天空或地面安装核心要求无遮挡视野确保视野覆盖完整，无遮挡物位置偏移限制安装位置偏移量需控制在±5mm以内固定牢靠螺栓按规定扭力（3N·m）紧固，防止松动防护等级室外摄像头需满足IP67防护要求线束保护信号线与高压线束间距≥30cm，避免干扰2.视觉传感器的校准步骤单目/双目摄像头标定计算镜头焦距、畸变系数（消除桶形/枕形畸变），双目摄像头还需校准左右镜头的相对位置（基线距离）。01准备工作•放置棋盘格标定板（8×6格，每格边长20cm）•确保标定板水平（用水平仪找平）•距车头2m（双目3~5m）•连接摄像头与计算机，打开标定软件02图像采集•单目：围绕标定板从不同角度（0°、30°、45°、60°）拍摄15~20张图像•双目：左右镜头同步拍摄，采集20~30组图像03参数计算•软件自动识别棋盘格角点•计算畸变系数（k1、k2、p1、p2）•计算内参矩阵（焦距f_x、f_y，主点c_x、c_y）•双目额外计算：旋转矩阵R、平移向量T04验证用标定后参数矫正测试图像，观察直线（如墙面边缘）是否无弯曲，说明畸变已消除。环视摄像头拼接校准将4个鱼眼摄像头的图像去畸变后，拼接为360°全景俯视图（鸟瞰图），消除画面接缝。01鱼眼镜头去畸变单独标定每个环视摄像头（方法同单目标定），导入畸变参数，软件自动将鱼眼图像（枕形/桶形畸变）矫正为矩形图像。02拼接标定•在车辆周围放置圆形标定布（直径5m）•确保4个摄像头均能拍摄到完整标定布•软件自动识别标记点，计算转换矩阵03拼接优化检查拼接缝（如车头与左视图像交界处）是否平滑，若有错位，手动微调重叠区域的特征点匹配参数。最终需满足：地面标线连续、车身轮廓与实际位置一致（误差≤10cm）校准核心要点•标定板/标定布必须水平放置，确保精度•图像采集需覆盖多角度，保证参数计算准确性•环视拼接需验证地面标线连续性•双目标定需保证左右画面位置对称3.调试要点通电自检连接车载电源（12V直流），观察摄像头指示灯状态：正常状态绿灯常亮（表示供电稳定）异常状态•红灯闪烁：电源电压不稳•灯不亮：线路接触不良通信检查•检查CAN通信•波特率500bit/s•读取固件版本画面质量检查通过车载显示屏或调试软件观察实时画面：图像清晰无雪花、无模糊、无重影色彩正常无偏色、无单色，白平衡准确曝光适当画面不过暗/过亮，曝光时间≤1/1000s无干扰条纹远离强电磁设备，信号线屏蔽层接地无拼接错位环视图像拼接缝平滑，地面标线连续功能验证单目摄像头在测试道路行驶，观察：•车道线检测是否连续（无断连）•交通标志识别是否准确•限速标识识别正确率≥95%双目摄像头用卷尺测量与前车的实际距离，对比系统显示距离：误差需≤5%实际距离50m，显示值应在47.5~52.5m之间环视摄像头泊车时观察全景图中车身与车位线的相对位置：误差≤15cm可通过倒车入库测试验证03视觉传感器故障诊断与排查识别常见故障并掌握排查方法保障智能驾驶系统稳定运行01故障现象图像模糊/黑屏/扭曲/闪烁02成因分析镜头/电源/标定/干扰问题03排查方法先硬件后软件/先简单后复杂1.常见故障现象与成因分析图像模糊典型成因•镜头表面沾染灰尘、雨水或指纹•长期振动导致镜头焦距偏移•镜头组内部进水起雾（IP67防护失效）•图像传感器老化（寿命>5万h）关联风险车道线识别断连、障碍物误判画面黑屏/无信号典型成因•电源线断路（接头松动、导线磨损）•摄像头供电电压异常（低于9V或高于16V）•图像传感器烧毁（过电流或高温）•CAN通信中断（终端电阻失效）关联风险相关ADAS功能（LDW、FCW）完全失效画面扭曲/拼接错位典型成因•标定参数丢失（ECU存储故障）•摄像头安装位置偏移（固定螺栓松动）•鱼眼镜头畸变校正算法出错关联风险全景图中障碍物位置误判，影响自动泊车画面闪烁/条纹干扰典型成因•信号线与高压线束并行（电磁干扰）•接地不良（摄像头外壳未可靠接地）•电源滤波电容失效关联风险图像特征提取错误，导致目标检测跳变色彩失真（偏色/单色）典型成因•白平衡参数异常（环境光突变未校准）•滤光片损坏（红外截止滤光片脱落）•ISP图像处理芯片故障关联风险交通信号灯识别错误（如红灯识别为黄灯）故障诊断原则•先硬件后软件：先检查物理连接、镜头清洁等硬件问题•先简单后复杂：先排查易处理的问题（如清洁镜头）•先外部后内部：先检查外部因素（环境、线束）再检查内部器件•先电源后信号：优先确保供电正常（12±0.5V）2.故障排除方法与步骤排查需遵循"先硬件后软件、先简单后复杂"原则，借助基础工具（万用表、无尘布）和专用软件逐步定位问题。图像模糊故障排查①清洁镜头•用无尘眼镜布蘸少量镜头清洁剂•顺时针轻轻擦拭镜头表面•检查镜头是否有裂纹②重新调焦•手动旋转镜头调焦环•边调焦边观察画面至清晰•用胶水固定调焦环画面黑屏/无信号排查①电源检测•用万用表测量电源接口•正常电压应为(12±0.5)V•若电压为0V，检查熔丝、线束接头②信号线检测•拔插摄像头信号线（LVDS/USB）•用替换法测试同型号正常信号线画面扭曲/拼接错位排查①检查安装位置•用水平仪复核摄像头角度•松动螺栓按规定扭力(3N·m)紧固•观察摄像头是否有物理变形②重新标定•运行标定软件重新采集标定板图像•若多次标定仍错位则更换镜头画面闪烁/条纹干扰排查①抗干扰处理•信号线与高压线束分离布线（间距≥30cm）•给信号线套金属屏蔽管并接地②接地检测•用万用表测量摄像头外壳与车身搭铁点电阻•应≤0.5Ω（确保可靠接地）故障排除后的验证修复后需通过"静态+动态"测试确认功能恢复：静态测试在实验室环境下观察画面是否清晰、无偏色，环视拼接缝是否平滑动态测试在测试道路行驶，验证车道线检测、交通标志识别等功能是否连续可靠04视觉传感器场景应用理解车道线检测与交通标志识别技术掌握雨雾天视觉增强策略01车道线检测语义分割/实例分割02检测方法LaneNet+H-Net/LaneATT03场景适应雨雾天视觉增强技术1.图像分割技术车道线检测属于计算机视觉图像处理任务中的分割任务。图像分割是对图像特定类别像素进行分类的过程。语义分割是前背景分离的拓展，要求分离不同语义的图像部分；实例分割是检测任务的拓展，要求精细描述目标轮廓（相比检测框更为精准）。分割是像素级描述，赋予每个像素类别（实例）意义，适用于无人驾驶中道路与非道路分割等对理解要求高的场景。01语义分割逐一定义图像像素的类别标签，同类像素以统一颜色标注，但不区分同类别内的个体。示例：多条车道线均标为黄色，不区分左、右车道02实例分割在语义分割基础上，进一步区分同一类别内的不同实例，可视为"目标检测+语义分割"的融合。为每个车道线实例生成独立边界框与掩码2.车道线检测数据集车道线检测数据集车道线检测依托监督式深度学习实现，需构建高质量数据集，并按机器学习标准划分为训练集、验证集、测试集。CULane数据集由北京6辆不同车辆采集，涵盖8类难检测场景：正常、拥挤、黑夜、无标线、阴影、快速移动、炫光、弯道、十字路口。TuSimple数据集含约7000个1s视频片段，标注规范、场景丰富。LaneNet、LaneATT等多数车道线检测算法均基于此开发。数据集构建维度道路拓扑高速公路、城市辅路、盘山道路气象条件暴雨、雾霾、雪天、沙尘光照条件强逆光、隧道、夜间、黄昏车道复杂度密集车流、磨损标线、施工区图3-1-20

TuSimple数据集示例图3-1-19

CULane数据集示例3.车道线检测方法LaneNet+H-Net算法端到端的车道线检测算法，包括LaneNet和H-Net两个网络模型。LaneNet将语义分割和像素向量表示结合起来的多任务模型，实现车道线实例分割。•语义分割分支：识别图像中"车道线"像素区域•像素向量表示分支：为每个像素赋予向量特征，聚类区分不同车道线实例H-Net由卷积层和全连接层组成的网络模型，预测转换矩阵H，解决车道线拟合的"透视变换"难题。•通过预测转换矩阵H修正车道线像素•校正道路坡度、曲率对车道线拟合的影响•对修正结果拟合三阶多项式作为预测的车道线LaneNet算法结构3.车道线检测方法LaneATT算法基于锚框(anchor)的深度车道线检测模型，精度领先、速度高效。核心优势精度领先在CULane数据集测试中，检测准确率优于传统实时模型速度高效推理速度达250帧/s，满足车规级实时性要求（≥30帧/s）场景适配通过锚框注意力机制，强化遮挡、无清晰标识场景识别能力算法流程01输入前视摄像头采