智能网联汽车环境感知系统

1、智能网联汽车环境感知系统第1页 第 2 页智能网联汽车环境感知系统2.1 环境感知定义与组成2.2 环境感知传感器2.3 道路识别2.4 车辆识别2.5 行人识别2.6 交通标志识别2.7 交通信号灯识别第2页 第 3 页第3页 第 4 页第4页 第 5 页2.1 环境感知系统定义与组成定义环境感知就是利用车载超声波传感器、毫米波雷达、激光雷达、视觉传感器，以及V2X通信技术等获取道路、车辆位置和障碍物信息，并将这些信息传输给车载控制中心，为智能网联汽车提供决议依据，是ADAS实现第一步第5页2.1.1 环境感知定义2022/9/12第6页2.1.1 环境感知定义2022/9/12环境感知对象

2、主要有道路、车辆、行人、各种障碍物、交通标志、交通信号灯等第7页2.1.2 环境感知组成2022/9/12第8页2.1.2 环境感知组成2022/9/12第9页2. 2 环境感知传感器2.2.1 环境感知传感器类型与配置1.环境感知传感器类型超声波传感器毫米波雷达激光雷达视觉传感器2022/9/12第10页2.2.1 环境感知传感器类型与配置2022/9/12第11页2.2.1 环境感知传感器类型与配置2.环境感知传感器配置环境感知传感器主要有超声波传感器、毫米波雷达、激光雷达、单/双/三目摄像头、环视摄像头等2022/9/12第12页2.2.1 环境感知传感器类型与配置2022/9/12第1

3、3页2.2.1 环境感知传感器类型与配置2022/9/12第14页2.2.1 环境感知传感器类型与配置通用企业用于研究L4级自动驾驶技术Bolts5个16线束激光雷达21个毫米波雷达16个摄像头2022/9/12第15页2.2.1 环境感知传感器类型与配置2022/9/12第16页2.2.1 环境感知传感器类型与配置3.环境感知传感器布局2022/9/12第17页2.2.1 环境感知传感器类型与配置4.环境感知传感器融合2022/9/12第18页2.2.1 环境感知传感器类型与配置2022/9/12第19页2.2.1 环境感知传感器类型与配置2022/9/12第20页2.2.1 环境感知传感器

4、类型与配置图像级融合是以视觉传感器为主体，将毫米波雷达输出整体信息进行图像特征转化，然后与视觉系统图像输出进行融合目标级融合是对视觉传感器和毫米波雷达输出进行综合可信度加权，配合精度标定信息进行自适应搜索匹配后融合输出信号级融合是对视觉传感器和毫米波雷达传出数据源进行融合。信号级别融合数据损失最小，可靠性最高，但需要大量运算2022/9/12第21页2.2.2超声波传感器定义声音以波形式传输称为声波频率大于20000Hz声波称为超声波频率小于20Hz声波称为次声波频率为2020000Hz声波就是人能够听见声波2022/9/12第22页2.2.2超声波传感器特点探测距离短，有盲区对色彩、光照度不

5、敏感对光线和电磁场不敏感简单，体积小，成本低2022/9/12第23页2.2.2超声波传感器测距原理2022/9/12第24页2.2.2超声波传感器类型驻车辅助传感器（UPA，PDC）15250cm泊车辅助传感器（APA，PLA）30500cm2022/9/12第25页2.2.2超声波传感器主要参数测量范围：15500cm测量精度：测量值与真实值偏差波束角：能量强度减小二分之一处角度工作频率：40kHz左右抗干扰性能：噪声干扰反射回来超声波，2022/9/12第26页2.2.2超声波传感器应用最常见是自动泊车辅助系统2022/9/12第27页2.2.2超声波传感器应用前视摄像头、前置毫米波雷达

6、和12个超声波传感器2022/9/12第28页2.2.3毫米波雷达定义工作在毫米波频段雷达。毫米波是指长度为110mm电磁波，对应频率为30300GHz；主要用于自适应巡航控制系统、自动制动辅助系统、盲区监测系统、行人检测等2022/9/12第29页2.2.3毫米波雷达特点探测距离远，250m以上探测性能好响应速度快适应能力强抗干扰能力强覆盖区域呈扇形，有盲点区域无法识别交通标志无法识别交通信号2022/9/12第30页2.2.3毫米波雷达类型按工作原理分类：脉冲式、调频式连续毫米波雷达按探测距离分类：短程（200m）毫米波雷达按频段分类：24GHz、60GHz、77GHz和79GHz毫米波雷

7、达2022/9/12第31页2.2.3毫米波雷达类型77GHz毫米波雷达与24GHz毫米波雷达相比具有以下不一样（1）77GHz毫米波雷达探测距离更远（2）77GHz毫米波雷达体积更小（3）77GHz毫米波雷达所需要工艺更高（4）77GHz毫米波雷达检测精度更好（5）77GHz毫米波雷达射频芯片不轻易获取2022/9/12第32页2.2.3毫米波雷达测量原理调频式连续毫米波雷达是利用多普勒效应测量得出目标距离和速度2022/9/12第33页2.2.3毫米波雷达工作过程2022/9/12第34页2.2.3毫米波雷达布置正向布置，与路面夹角最大偏差不超出5侧向布置，前45夹角，后30夹角布置高度，

8、 500（满载）800 mm（空载）2022/9/12第35页2.2.3毫米波雷达主要指标2022/9/12第36页2.2.3毫米波雷达主要指标2022/9/12第37页2.2.3毫米波雷达主要指标2022/9/12第38页2.2.3毫米波雷达应用自适应巡航控制系统（找网上相关视频播放）2022/9/12第39页2.2.3毫米波雷达应用前向碰撞预警系统2022/9/12第40页2.2.3毫米波雷达应用自动制动辅助系统2022/9/12第41页2.2.3毫米波雷达应用盲区监测系统2022/9/12第42页2.2.3毫米波雷达应用自动泊车辅助系统2022/9/12第43页2.2.3毫米波雷达应用变

9、道辅助系统：盲区监测、变道预警、后向碰撞预警2022/9/12第44页2.2.3毫米波雷达应用后向碰撞预警系统2022/9/12第45页2.2.3毫米波雷达2022/9/12第46页2.2.4激光雷达定义激光雷达是工作在光波频段雷达，它利用光波频段电磁波先向目标发射探测信号，然后将其接收到同波信号与发射信号相比较，从而取得目标位置（距离、方位和高度）、运动状态（速度、姿态）等信息，实现对目标探测、跟踪和识别2022/9/12第47页2.2.4激光雷达定义2022/9/12第48页2.2.4激光雷达特点探测范围广：可达300m以上。分辨率高：距离分辨率可达0.1m；速度分辨率能到达10m/s以内

10、；角度分辨率不低于0.1mard信息量丰富：探测目标距离、角度、反射强度、速度等信息，生成目标多维度图像可全天候工作：不依赖于外界条件或目标本身辐射特征与毫米波雷达相比，产品体积大，成本高。不能识别交通标志和交通信号灯2022/9/12第49页2.2.4激光雷达组成激光雷达系统由收发天线、收发前端、信号处理模块、汽车控制装置和报警模块组成2022/9/12第50页2.2.4激光雷达测距原理脉冲测距法2022/9/12第51页2.2.4激光雷达测距原理干涉测距法2022/9/12第52页2.2.4激光雷达测距原理相位测距法2022/9/12第53页2.2.4激光雷达类型机械激光雷达：带有控制激光

11、发射角度旋转部件，体积较大，价格昂贵，测量精度相对较高，普通置于汽车顶部2022/9/12第54页2.2.4激光雷达类型固态激光雷达：依靠电子部件来控制激光发射角度，无须机械旋转部件，故尺寸较小，可安装于车体内激光雷达企业Quanergy在公布号称全球首款固态激光雷达S3，能够到达厘米级精度，30Hz扫描频率，0.1角分辨率2022/9/12第55页2.2.4激光雷达类型混合固态激光雷达：没有大致积旋转结构，采取固定激光光源，经过内部玻璃片旋转方式改变激光光束方向，实现多角度检测需要，而且采取嵌入式安装32线混合固态Ultra Puck Auto；16线机械式VLP-162022/9/12第5

12、6页2.2.4激光雷达类型单线束激光雷达2D数据只能测量距离2022/9/12第57页2.2.4激光雷达类型多线束激光雷达：4线束、8线束、16线束、32线束、64线束、128等，其细分可分为2.5D激光雷达及3D激光雷达2.5D：垂直视野范围普通不超出103D：可到达30甚至40以上2022/9/12第58页2.2.4激光雷达类型奥迪A8为了实现L3级别自动驾驶，在汽车进气格栅下布置了4线束激光雷达2022/9/12第59页2.2.4激光雷达类型美国威力登（Velodyne）企业开发128线束激光雷达探测距离约是HDL-64E3倍，到达300m，分辨率则是10倍，尺寸缩小了70%。该产品是为

13、L5级别自动驾驶而开发2022/9/12第60页2022/9/12第61页2.2.4激光雷达主要指标（1）距离分辨率：是指两个目标物体可区分最小距离（2）最大探测距离：通常需要标注基于某一个反射率下测得值，比如白色反射体大约70%反射率，黑色物体7%20%反射率（3）测距精度：是指对同一目标进行重复测量得到距离值之间误差范围（4）测量帧频：测量帧频与摄像头帧频概念相同，刷新率越高，响应速度越快2022/9/12第62页2.2.4激光雷达主要指标（5）数据采样率：是指每秒输出数据点数，等于帧率乘以单幅图像点云数目（6）角度分辨率：是指扫描角度分辨率，等于视场角除以该方向所采集点云数目（7）视场角

14、：又分为垂直视场角和水平视场角，是激光雷达成像范围（8）波长：波长会影响雷达环境适应性和对人眼安全性2022/9/12第63页2.2.4激光雷达主要指标6.激光雷达主要指标2022/9/12第64页2.2.4激光雷达应用IBEO LUX（4线束）激光雷达是德国IBEO企业借助高分辨率激光测量技术，推出第一款多功效汽车智能传感器。它拥有110宽视角，0.3200m探测距离，绝对安全1等级激光2022/9/12第65页2.2.4激光雷达应用（1）行人保护：能检测0.330m视场范围内全部行人（2）自适应巡航控制系统启和停：可在0200km/h速度范围内实现自动行驶（3）车道偏离预警：能够检测车辆行

15、驶前方车道线标识和潜在障碍，同时也能够计算车辆在道路中位置（4）自动紧急制动：实时检测车辆行驶前方全部静止和移动物体，而且判断它们外形，当要发生危险时，自动紧急制动2022/9/12第66页2.2.4激光雷达应用（5）预碰撞处理：经过分析全部环境扫描数据，不论即将发生什么样碰撞，会在碰撞发生前100ms发出警告（6）交通拥堵辅助：消除频繁启停，实现低速下自动跟车和车道保持（7）低速防碰撞功效：在30km/h下，LUX（4线束）激光雷达检测并分析前方路况，车辆会在发生碰撞前自动停驶2022/9/12第67页2.2.4激光雷达应用（1）高精度电子地图和定位2022/9/12第68页2.2.4激光雷

16、达应用（2）障碍物检测与识别2022/9/12第69页2.2.4激光雷达应用（3）可行空间检测2022/9/12第70页2.2.4激光雷达应用（4）障碍物轨迹预测2022/9/12第71页2.2.5视觉传感器定义视觉传感器主要由光源、镜头、图像传感器、模/数转换器、图像处理器、图像存放器等组成，其主要功效是获取足够机器视觉系统要处理原始图像2022/9/12第72页2.2.5视觉传感器定义把光源、摄像机、图像处理器、标准控制与通信接口等集成一体视觉传感器，常称为一个智能图像采集与处理单元2022/9/12第73页2.2.5视觉传感器特点（1）信息量极为丰富：不但包含有视野内物体距离信息，而且还

17、有该物体颜色、纹理、深度和形状等信息（2）多任务检测：在视野范围内可同时实现道路检测、车辆检测、行人检测、交通标志检测、交通信号灯检测等（3）实时获取场景信息：提供信息不依赖于先验知识，比如GPS导航依赖地图信息，有较强适应环境能力2022/9/12第74页2.2.5视觉传感器特点（4）应用广泛：能够前视、后视、侧视、内视等2022/9/12第75页2.2.5视觉传感器类型单目双目三目环视2022/9/12第76页2.2.5视觉传感器类型3.视觉传感器类型2022/9/12第77页2.2.5视觉传感器要求视觉传感器工艺要求：在工艺上首要特征是快速，以140km/h速度为例，汽车每秒要移动40m

18、，为防止两次图像信息获取间隔期间自动驾驶距离过长，要求摄像机含有最慢不低于30帧/秒影像捕捉率，在汽车制造商规格中，甚至提出了60帧/秒和120帧/秒要求2022/9/12第78页2.2.5视觉传感器要求视觉传感器功效要求：（1）高动态：在较暗环境和明暗差异较大下仍能实现识别（2）中低像素：为降低计算处理负担，摄像头像素并不需要非常高，当前30120万像素已经能满足要求（3）角度要求：对于环视和后视摄像头，普通采取135以上广角镜头；前置摄像头普通采取55范围（4）安全性：相比工业级和生活级摄像头，车载摄像头在安全级别上要求更高，尤其是前置摄像头安全级别要求更高。2022/9/12第79页2.

19、2.5视觉传感器要求（5）温度要求：车载摄像头温度范围为-4080（6）防磁抗震：汽车开启时会产生极高电磁，车载摄像头必须具备极高防磁抗震可靠性（7）寿命长：寿命最少要在8才能满足要求2022/9/12第80页2.2.5视觉传感器主要指标（1）像素：像素越多，代表着它能够感测到更多物体细节，从而图像就越清楚（2）帧率：帧率代表单位时间所统计或播放图片数量（3）靶面尺寸：就是图像传感器感光部分大小。普通用英寸来表示，通常这个数据指是这个图像传感器对角线长度，如常见有1/3英寸，靶面越大，意味着通光量越好，而靶面越小则比较轻易取得更大景深2022/9/12第81页2.2.5视觉传感器主要指标（4）

20、感光度：代表入射光线强弱。感光度越高，感光面对光敏感度就越强，快门速度就越高（5）信噪比：是信号电压对于噪声电压比值，经典值为4555dB，信噪比越大说明对噪声控制越好（6）电子快门：用来控制图像传感器感光时间，电子快门越快，感光度越低，所以适合在强光下拍摄 2022/9/12第82页2.2.5视觉传感器功效含有车道线识别、障碍物检测、交通标志和地面标志识别、交通信号灯识别、可通行空间检测等功效2022/9/12第83页2.2.5视觉传感器应用含有车道线识别障碍物识别交通标志识别交通信号灯识别可行空间识别2022/9/12第84页2.2.5视觉传感器2022/9/12第85页2.2.5视觉传感

21、器应用依据不一样ADAS功效需要，安装位置分为前视、后视、侧视以及内置摄像头。实现自动驾驶时将安装6个以上摄像头2022/9/12第86页2.2.5视觉传感器2022/9/12第87页2.2.5视觉传感器2022/9/12第88页2.3道路识别定义真实道路经过激光雷达转换成汽车认识道路，供自动驾驶汽车行驶；或经过视觉传感器识别出车道线，提供车辆在当前车道中位置，帮助智能网联汽车提升行驶安全性。2022/9/12第89页2.3.1道路识别识别与分类道路识别任务是提取车道几何结构，如车道宽度、车道线曲率等；确定车辆在车道中位置、方向；提取车辆可行驶区域2022/9/12第90页2.3.1 道路识别

22、定义与分类分类依据道路类型不一样，道路分为结构化道路和非结构化道路2022/9/12第91页2.3.2道路图像特点阴影条件下道路图像先对道路阴影进行检测和去除2022/9/12第92页2.3.2道路图像特点强弱光照条件下道路图像强光照射弱光照射2022/9/12第93页2.3.2道路图像特点雨天条件下道路图像雨水对道路有覆盖雨水能反光2022/9/12第94页2.3.2道路图像特点弯道处道路图像建模上会有些复杂可近似看成直线模型2022/9/12第95页2.3.3道路识别流程和方法流程采集原始图像图像灰度化图像滤波图像二值化车道线提取2022/9/12第96页2.3.3道路识别流程和方法流程2

23、022/9/12第97页2.3.3道路识别流程和方法方法基于区域分割识别方法基于道路特征识别方法基于道路模型识别方法基于道路特征与模型相结合识别方法2022/9/12第98页车道线识别举例1. 原始图像I=imread(C:桌面t.jpg);figure(1)imshow(I)title(原始图像)2022/9/12第99页车道线识别举例2. 图像灰度化I1=rgb2gray(I);figure(2)imshow(I1)title(灰度图像)2022/9/12第100页车道线识别举例3. 图像滤波I21=medfilt2(I1); %高斯滤波I22=filter2(fspecial(avera

24、ge,3),I21)/255; %平滑滤波figure(3)imshow(I22)title(图像滤波)2022/9/12第101页车道线识别举例4. 图像二值化I3=im2bw(I22);figure(4)imshow(I3)title(图像二值化)2022/9/12第102页车道线识别举例5. 图像边缘检测I4=edge(I3, canny);figure(5)imshow(I4)title(图像边缘检测)2022/9/12第103页车道线识别举例6. 霍夫变换H,T,R=hough(I4);figure(6)imshow(H, XData,T, YData,R, InitialMagni

25、fication, fit)title(霍夫变换图像)xlabel(theta 轴)ylabel(rho 轴)axis on,axis normalhold onP=houghpeaks(H,2, threshold,ceil(0.3*max(H(:); x=T(P(:,2);y=R(P(:,1);plot(x,y, s, color, white)2022/9/12第104页车道线识别举例6. 霍夫变换2022/9/12第105页车道线识别举例7. 车道线检测lines=houghlines(I4,T,R,P, FillGap,50, MinLength,50);figure(7)imsho

26、w(I4)title(车道线检测)2022/9/12第106页2.4车辆识别定义车牌识别就是利用摄像头对监控路面过往车辆特征图像和车辆全景图像进行实时拍摄，利用图像处理分析方法，提取出车牌区域，进而对车牌区域进行字符分割和识别，从而对车辆进行管理2022/9/12第107页2.4.1车牌识别组成摄像机专用控制器显示器快速闸机计算机软硬件等2022/9/12第108页2.4.1车牌识别流程图像采集视频车辆检测车牌定位字符分割字符识别结果输出2022/9/12第109页2.4.1车牌识别方法基于模板匹配字符识别算法：速度快，实时性好基于特征统计匹配法：应用效果不理想，抗干扰性不强基于边缘检测和水平

27、灰度改变特征方法：使用多基于颜色相同度及彩色边缘算法：普通不单独使用2022/9/12第110页2.4.1车牌识别2022/9/12第111页车牌识别举例1-1.读取原始图像2022/9/12第112页车牌识别举例1-2.转换成灰度图像2022/9/12第113页车牌识别举例1-3. 边缘检测2022/9/12第114页车牌识别举例1-4. 图像腐蚀2022/9/12第115页车牌识别举例1-5. 图像膨胀2022/9/12第116页车牌识别举例1-6.提取车牌区域2022/9/12第117页车牌识别举例1-7. 原始图像切割2022/9/12第118页车牌识别举例2-1.切割后图像转换成灰度

28、图像2022/9/12第119页车牌识别举例2-2.对灰度图像进行直方图均衡化2022/9/12第120页车牌识别举例2-3. 灰度图像二值化2-4.中值滤波2022/9/12第121页车牌识别举例2-5.计算每个字符位置，并逐一进行切割后得到只储存单一字符图像2022/9/12第122页车牌识别举例3.字符识别2022/9/12第123页2.4.2 运动车辆识别基于特征识别方法基于机器学习识别方法基于光流场识别方法基于模型识别方法2022/9/12第124页2.5 行人识别定义行人识别是采取安装在车辆前方视觉传感器采集前方场景图像信息，经过一系列复杂算法分析处理这些图像信息，实现对行人识别2

29、022/9/12第125页2.5.1 行人识别定义与类型类型可见光行人检测：采取视觉传感器为普通光学摄像头，非常符合人正常视觉习惯，而且硬件成本十分低廉。不过受到光照条件限制，该方法只能应用在白天，在光照条件很差阴雨天或夜间则无法使用红外行人检测：采取红外热成像摄像头，利用物体发出热红外线进行成像，不依赖于光照，含有很好夜视功效，在白天和晚上都适用，尤其是在夜间以及光线较差阴雨天含有没有可替换优势2022/9/12第126页2.5.2 行人识别系统组成预处理：经过传感器取得行人图像信息，做预处理，如降噪、增强等分类检测：采取图像分割、模型提取等一些图像处理技术，在图像中选取一些感兴趣区域，即行

30、人候选区域，用分类等技术方法判断候选区域中是否包含行人。决议报警：对可能发生碰撞情况进行报警或其它防止碰撞操作2022/9/12第127页2.5.3行人识别方法基于特征分类行人识别方法基于模型行人识别方法基于运动特征行人识别方法基于形状模型行人识别方法小波变换和支持向量机神经网络方法2022/9/12第128页2.6交通标志识别2.6.1 交通标志介绍警告标志2022/9/12第129页2.6.1交通标志介绍禁令标志2022/9/12第130页2.6.1交通标志介绍指示标志2022/9/12第131页2.6.1交通标志介绍交通标志颜色与形状之间也有着一定关系2022/9/12第132页2.6.2交通标志识别系统首先使用车载摄像机获取目标图像，然后进行图像分割和特征提取，经过与交通标志标准特征库比较进行交通标志识别，识别结果能够与其它智能网联汽车共享2022/9/12第133页2.6.3交通标志识别流程与方法原始图像采集图像预处理图像分割检测图像特征提取交通标志识别2022/9/12第134页交通标志识别举例1.读取原始图