汽车智能座舱系统与应用 课件 3-1 了解机器视觉数字图像处理技术

能力模块三

掌握智能座舱中机器视觉技术的应用任务一

了解机器视觉数字图像处理技术智联驾驶平台提供的人脸识别、融合多类摄像头与传感器实现的ADAS功能与图像处理技术密不可分。在开发任务中，主管要求你在熟悉座舱视觉传感器拆装之后，了解跟图像相关的理论知识补充，熟悉图像化预处理以及深度学习在图像应用，整理资料完成传统浅层学习和深度学习的对比分析表与图像处理技术文档。任务引入Tasktointroduce01图像处理的发展过程认知02视觉处理结束认知目录

CONTENTS03特征检测与匹配技术应用与测试04深度学习在自动驾驶中的应用认知图像处理的发展过程认知PART0101图像处理的发展过程认知在当时那个年代如果不采用数字图像处理，一张图像传达的时间需要7天，而借助数字图像处理技术仅耗费3小时。

上个世纪20年代，数字图像处理最早应用于报纸行业。由于报纸行业信息传输的需要，一根海底电缆从英国伦敦连输到美国纽约，实现了第一幅数字照片的传送。01图像处理的发展过程认知1972年10月芝加哥北美放射年会上展出了让整个医学界震惊的脑部以及完成该图像的计算机辐射X线头部成像设备，向世界隆重展示了CT，引起了医学界的轰动，这是当时图像处理在医学诊断应用中最重要的事件之一。

随着计算机技术的发展，计算机技术与数字图像处理两者之间结合得越来越紧密，从而促进了数字图像处理技术的发展。01图像处理的发展过程认知20世纪70年代，借助计算机、人工智能等方面的快速发展，数字图像处理技术实现了更高层次的发展。相关工作人员已经着手研究如何使用计算机进行图像解释。到70年代中期，麻省理工学院（MIT）人工智能（AI）实验室：CSAIL正式开设计算机视觉课程。01图像处理的发展过程认知

上个世纪80年代，研究人员将数字图像处理应用于地理信息系统。从这个阶段开始数字图像处理技术的应用领域不断扩大，在工业检测、遥感等方面也得到了广泛应用，在遥感方面实现了对卫星传送回来的图像的处理。01图像处理的发展过程认知

到20世纪90年代，数字图像处理技术得到了一个快速发展，其中特别是小波理论和变换方法的诞生，更好地实现了数字图像的分解与重构。01图像处理的发展过程认知从目前数字图像处理技术的特点进行分析，可以发现图像信息量巨大，在图像处理综合性方面显示出十分明显的优势，其中就借助了图像信息理论与通信理论的紧密联系。加上数字图像处理技术具有处理精度高、灵活性强、再现性好、适用面广、信息压缩的潜力大等特点，因此已经成功地应用在各个领域。

进入到21世纪，借助计算机技术的飞速发展与各类理论的不断完善，数字图像处理技术的应用范围被拓宽，甚至已经在某些领域取得突破。视觉预处理技术认知PART0202视觉预处理技术认知图像预处理的目的一方面，图像在采集中有可能发生几何失真，为恢复场景和图像的空间对应关系，需要进行坐标变换。为了更方便有效地获取其中的信息，提高后续加工的效率，常需对图像进行一定的预处理。另一方面，对图像的幅度也需要进行一定的调整，以改善图像的视觉质量。02视觉预处理技术认知坐标变换

对图像进行坐标变换实际上是对像素坐标的空间位置进行变换，变换的结果是改变了像素在图像中的分布和关系，不改变图像的像素值。在坐标变换中，主要包括三类：图像平移、尺度变换和图像旋转。坐标变换图像平移尺度变换图像旋转02视觉预处理技术认知坐标变换

一、图像平移

图像中的所有像素点按照给定的平移量进行水平或垂直方向上的移动。如图所示，假设原始像素的位置坐标为（x0，y0），经过平移量（△x，△y）后，坐标变为（x1,y1）。一张图像中的所有像素点均按照平移量进行整体移动，图像就能够实现平移效果。02视觉预处理技术认知坐标变换

二、尺度变换

尺度变换也称放缩变换，它改变像素间的距离，对物体来说则改变了物体的尺度。尺度变换一般是沿坐标轴方向进行的，或可分解为沿坐标轴方向进行的变换；简单来说，尺度变换是对数字图像的大小进行调整的过程。02视觉预处理技术认知坐标变换

三、图像旋转

图像旋转是指图像以某一点为中心旋转一定的角度，形成一幅新的图像的过程。图像旋转变换会有一个旋转中心，这个旋转中心一般为图像的中心，旋转之后图像的大小一般会发生改变。如图图表示原始图像的坐标（x0,y0）旋转至（x1,y1）的过程。02视觉预处理技术认知几何失真较正

在许多实际的图像采集处理过程中，图像中像素之间的空间关系会发生变化，这时可以说图像产生了几何失真或几何畸变。这时需要通过几何变换来校正失真图像中的各像素位置，以重新得到像素间原来应有的空间关系。实现畸变矫正之前我们需要知道两个重要参数，一个是相机内参，另一个是畸变参数。02视觉预处理技术认知灰度化处理

灰度化处理是一种基于图像像素的操作，通过对原始图像中的每个像素赋予一个新的灰度值来增强图像，对原始图像中的每个像素都用这个映射函数将其原来的灰度值s转化成另一灰度值t再进行输出。简单来说就是输入一幅图像，将产生一幅输出图像，输出图像的每个像素点的灰度值由输入像素点决定。02视觉预处理技术认知

色图像通常包括R、G、B三个分量，分别显示出红绿蓝等各种颜色，灰度化就是使彩色图像的R、G、B三个分量相等的过程，灰度图像中每个像素仅具有一种样本颜色，其灰度是位于黑色与白色之间的多级色彩深度，灰度值大的像素点比较亮，反之比较暗，像素值最大为255（表示白色），像素值最小为0（表示黑色）。灰度化处理02视觉预处理技术认知直方图修正

假设存在一幅6×6像素的图像，接着统计其1至6灰度级的出现频率，并绘制如所示的柱状图，其中横坐标表示灰度级，纵坐标表示灰度级出现的频率。借助对图像直方图的修改或变换，可以改变图像像素的灰度分布，从而达到对图像进行增强的目的。直方图修正以概率论为基础，常用的方法主要有直方图均衡化和直方图规定化。02视觉预处理技术认知

一、均衡化

直方图均衡化是一种典型的通过对图像的直方图进行修正来获得图像增强效果的自动方法，主要用于增强动态范围偏小的图像的反差。这个方法的基本思想是把原始图像的直方图变换为在整个灰度范围内均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。直方图修正02视觉预处理技术认知

二、规定化

直方图规定化方法，用户可以指定需要的规定化函数来得到特殊的增强功能。一般来说正确地选择规定化的函数常有可能获得比进行直方图均衡化所能获得的更好的效果。简单来说就是按照给定的直方图形状调整原先图像的直方图信息。直方图匹配使用到了直方图变换以及均衡化的思想，通过建立映射关系，使期望图像的直方图达到一种特定的形态。直方图修正特征检测与匹配技术应用PART0303特征检测与匹配技术应用特征检测算法一、Harris角点检测

角点检测是最早提出的特征点检测之一；角点没有严格的定义，通常认为角点是二维图像亮度变化剧烈的点，或图像边缘曲线的曲率局部极大值点或多条边缘曲线交汇点。

这种方法的缺点是响应值非各向同性，对噪声和边缘敏感，对旋转不具备不变性。03特征检测与匹配技术应用特征检测算法二、尺度不变特征变换（SIFT） SIFT算法的不变特征提取具有无与伦比的优势，但其仍然存在实时性不高、有时特征点少、对边缘模糊的目标无法准确提取特征点等缺陷。事实上，SIFT描述子最大的问题在于计算量大、效率不高，不利于后面的特征点匹配。03特征检测与匹配技术应用特征检测算法

特征匹配就像比较两个图像的特征，这两个图像可能在方向、视角、亮度上不同，甚至大小和颜色也不同。深度学习在自动驾驶中的应用认知PART0404深度学习在自动驾驶中的应用认知深度学习（DeepLearning）是源于人工神经网络的一种机器学习方法，是对人类神经系统识别过程的模拟。深度学习简述通过搭建用于学习分析的神经元网络，对底层选取特征形成抽象的数字化属性，以大规模数据为输入基础，将复杂的信息提取并精简表示。深度学习算法采用了由输入层、隐含层、输出层组成的多层网络结构。04深度学习在自动驾驶中的应用认知辅助驾驶技术最大的作用就是提高汽车在驾驶过程中的安全性，是一种减少交通事故的有效手段。深度学习在辅助驾驶中的应用针对传感器技术、大数据分析、深度学习等方面进行改进优化，使得硬件设备可以更快地感知到目标信息，核心处理器算法能够更快地计算控制。04深度学习在自动驾驶中的应用认知传统行人识别方法：主要通过人工设计特征和结合分类器来实现。比较经典的方法有HOG+SVM、HOG+LBP等。这种方法可以避免行人遮挡的影响，但泛化能力和精度较低。基于深度学习方法:通过多层卷积神经网络（CNN）对行人进行分类定位。基于输入图像独立学习特征，提取的特征更加丰富。

行人检测是车辆辅助驾驶系统中不可或缺的一部分。行人检测需要及时检测出车辆前方的行人并由系统或者驾驶员针对实际状况采取相应的措施。目前行人检测方法主要分为两类：深度学习算法在行人检测中的应用04深度学习在自动驾驶中的应用认知

车道线是汽车行驶过程中道路上一种重要的交通标志，用于约束车辆的基本行驶行为。对车道线的检测和识别是影响辅助驾驶