计算机视觉课件

计算机视觉

计算机视觉

1

计算机视觉是从图像或视频中提出符号或数值信息，分析计算该信息以进行目标的识别、检测和跟踪等。更形象地说，计算机视觉就是让计算机像人类一样能看到并理解图像。计算机视觉是从图像或视频中提出符号或数值信2

计算机视觉（ComputerVision，CV）是一门涉及图像处理、图像分析、模式识别和人工智能等多种技术的新兴交叉学科，具有快速、实时、经济、一致、客观、无损等特点。计算机视觉（ComputerV3

计算机视觉是研究如何让机器“看”的科学，其可以模拟、扩展和延伸人类智能，从而帮助人类解决大规模的复杂问题。因此，计算机视觉是人工智能主要应用领域之一。计算机视觉是研究如何让机器“看4

计算机视觉技术的基本原理是利用图像传感器获得目标对象的图像信号，然后传输给专用的图像处理系统，将像素分布、颜色、亮度等图像信息转换成数字信号，并对这些信号进行多种运算与处理，提取出目标的特征信息进行分析和理解，最终实现对目标的识别、检测和控制等。计算机视觉技术的基本原理是利用图像传感器51966年，人工智能学家明斯基在给学生布置的作业中，要求学生通过编写一个程序让计算机描述它通过摄像头看到了什么，这被认为是计算机视觉最早的任务描述。20世纪70～80年代，随着现代电子计算机的出现，计算机视觉技术也初步萌芽。MIT的人工智能实验室院首次开设计算机视觉课程计算机视觉的发展历史1966年，人工智能学家明斯基在给学生布置的作业中，要求学生620世纪90年代，计算机视觉技术取得了更大的进步，开始广泛应用于工业领域。进入21世纪，得益于互联网的兴起和数码相机的出现带来的海量数据，以及机器学习方法被广泛应用，计算机视觉发展迅速。20世纪90年代，计算机视觉技术取得了更大的进步，开始广泛应72010年以后，借助于深度学习的力量，计算机视觉技术得到了爆发增长和产业化发展。通过深度神经网络，各类视觉相关任务的识别精度都得到了大幅提升。2010年以后，借助于深度学习的8

计算机视觉在采集图像、分析图像、处理图像的过程中，其灵敏度、精确度、快速性都是人类视觉所无法比拟的，它克服了人类视觉的局限性。计算机视觉系统的独特性质，使它在各个领域的应用中显示出强大生命力。计算机视觉在采集图像、分析图像9计算机视觉的应用及面临的挑战

目前，在医学上采用的图像处理技术大致包括压缩、存储、传输和自动/辅助分类判读，此外还可用于医生的辅助训练。与计算机视觉相关的工作包括分类、判读和快速三维结构的重建等方面。计算机视觉的应用及面临的挑战

102．公共安全领域的应用

公共安全领域是计算机视觉技术的重要应用场景，尤其是人脸识别技术，作为构建立体化、现代化社会治安防控体系的重要抓手和技术突破点，在当前的安防领域中具有重要应用价值。2．公共安全领域的应用113．在无人机与自动驾驶领域的应用

无人机与自动驾驶行业的兴起，让计算机视觉在这些领域的应用成为近年来的研究热点。以无人机为例，简单至航拍，复杂至救援救灾和空中加油等应用，都需要高精度的视觉信号以保障决策与行动的可靠性。在无人机的核心导航系统中，很重要的一个子系统就是视觉系统3．在无人机与自动驾驶领域的应用124．工业领域的应用

计算机视觉在工业领域也有着极为重要的应用。在工业领域，计算机视觉是工业机器人领域的关键技术，配合机械装置能够实现产品外观检测、质量检测、产品分类、部件装配等功能。4．工业领域的应用135．其他领域的应用

计算机视觉的应用非常广泛，除了上文提到的多个重要的领域之外，在其他产业（如农业、服务业）都有着大量的应用实践，为人类生活提供了越来越多的便利。5．其他领域的应用146．计算机视觉面临的挑战目前，计算机视觉技术的发展面临的挑战主要来自以下3个方面。（1）有标注的图像和视频数据较少（2）计算机视觉技术的精度有待提高（3）计算机视觉技术的处理速度有待提高6．计算机视觉面临的挑战15图像分类

图像分类是根据不同类别的目标在图像信息中所反映的不同特征，将它们区分开来的图像处理方法。图像分类图像分类是根据不同类16

图像分类的任务就是输入一个图像，正确输出该图像所属的类别。对于人类来说，判断一个图像的类别是件很容易的事，但是计算机并不能像人类那样一下获得图像的语义信息。计算机能看到的只是一个个像素的数值，对于一个RGB图像，假设其尺寸是32×32，那么计算机看到的就是一个3×32×32的矩阵，或者更正式地称其为张量（可以简单理解为高维的矩阵）。图像分类就是寻找一个函数关系，这个函数关系能够将这些像素的数值映射到一个具体的类别（类别可以用某个数值表示）。图像分类的任务就是输入一个图像，17

假定一个可能的类别集categories={dog,cat,eagle}，向分类系统输入一张图片。图像分类系统的目标是根据输入图像，从类别集中分配一个类别，在此为dog类别。分类系统也可以根据概率给图像分配多个标签，如dog:90%，cat:6%，eagle:4%。假定一个可能的类别集catego18图像分类算法

1．传统图像分类算法

完整建立图像识别模型一般包括底层特征提取、特征编码、空间约束、分类器分类等几个阶段。图像分类算法

1．传统图像分类算法192．基于深度学习的图像分类算法

基于深度学习的图像分类算法的原理是输入一个元素为像素值的数组，然后给它分配一个分类标签。2．基于深度学习的图像分类算法20CIFAR-10是一个非常流行的图像分类数据集。这个数据集包含了60 000张32×32的小图像，每张图像都有10种分类标签中的一种，这60000张图像被分为包含50 000张图像的训练集和包含10 000张图像的测试集。CIFAR-10是一个非常流21（1）VGG模型VGG模型与以往的模型相比，进一步加宽和加深了网络结构。它的核心是5组卷积操作，每2组之间做最大池化的空间降维。（1）VGG模型22（2）GoogLeNet模型GoogLeNet模型由多组Inception模块组成。该模型的设计借鉴了NIN（NetworkinNetwork）的一些思想。（2）GoogLeNet模型23（3）ResNet模型

残差网络（ResidualNetwork，ResNet）是用于图像分类、图像物体定位和图像物体检测的深度学习模型。（3）ResNet模型24目标检测

目标检测需要定位出图像目标的位置和相应的类别。由于各类物体有不同的外观、形状、姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。目标检测

目标检测需要定位出图像目25

目标检测的任务是在图像中找出所有感兴趣的目标（物体），并确定它们的位置和大小，是计算机视觉领域的核心问题之一。图像分类任务关心整体，给出的是整张图片的内容描述；而目标检测则关注特定的物体目标，要求同时获得该目标的类别信息和位置信息。目标检测的任务是在图像中找26

目标检测需要解决目标可能出现在图像的任何位置、目标有各种不同的大小以及目标可能有各种不同的形状这3个核心问题目标检测需要解决目标可27目标检测框架模型1．R-CNNR-CNN采用的是选择性搜索（SelectiveSearch）算法，使用聚类的方法对图像进行分组，得到多个候选框的层次组。目标检测框架模型1．R-CNN282．SPP-NETSPP-NET是在R-CNN的基础上提出的，由于R-CNN只能接受固定大小的输入图像，若对图像进行裁剪以符合要求，会导致图片信息不完整；若对原始图像进行比例缩放又会导致图像发生形变。在R-CNN中，需要输入固定尺寸图像的是第一个全连接层，而对卷积层的输入并不做要求。2．SPP-NET293．FastR-CNN由于R-CNN在候选区域上进行特征提取时存在大量重复性计算，为了解决这个问题，提出了FastR-CNN。FastR-CNN借鉴SPP-NET对R-CNN进行了改进，检测性能获得提升。3．FastR-CNN304．FasterR-CNNSPP-NET和Fast-CNN都需要单独生成候选区域，该步骤的计算量非常大，并且难以用GPU进行加速。针对这个问题，在FastR-CNN的基础上提出了FasterR-CNN，不再由原始图片通过SelectiveSearch算法提取候选区域，而是先进行特征提取，在特征层增加区域生成网络区域提取候选框（RPN，RegionProposalNetwork），每个单元按照规则选择不同尺度的9个锚盒，利用锚盒计算预测框的偏移量，从而进行位置回归。4．FasterR-CNN315．MaskR-CNNMaskR-CNN在FasterR-CNN中增加了并行的Mask分支，该分支是一个小全连接卷积网络（FullyConvolutionalNetworksforSemanticSegmentation，FCN），对每个候选区域生成一个像素级别的二进制掩码，该掩码的作用是对目标区域空间布局进行二进制编码。5．MaskR-CNN326．YOLOYOLO不同于以R-CNN为代表的两步检测算法，YOLO的网络结构更为简单，而且在速度上比FasterR-CNN快10倍左右，可以满足目标检测对于实时性的要求。6．YOLO337．YOLOv2YOLOv2对YOLO的网络结构进行了改进，首先加入了批量归一化，而且在训练过程中采用高分辨率图像，训练448×448像素的高分辨率分类网络，然后利用该网络训练检测网络。7．YOLOv2348．SSD因为YOLO对小目标检测的准确率不高，SSD是对YOLO进行改进的成果，它可以既保持检测准确率，又保证检测的速度。8．SSD35图像分割

图像分割是图像分析的第一步，是计算机视觉的基础，是图像理解的重要组成部分，同时也是图像处理中最困难的问题之一。图像分割图像分割是图像分析的第一步36

图像分割是利用图像的灰度、颜色、纹理、形状等特征，把图像分成若干个互不重叠的区域，并使这些特征在同一区域内呈现相似性，在不同的区域之间存在明显的差异性。图像分割是利用图像的灰度37

图像分割其实可以看成把图像分成若干个无重叠的子区域的过程，即假设R是整个要分割的图像区域，将此区域分成n个区域R1，R2，R3…Rn的过程就是图像分割。图像分割其实可以看成把图像分38图像分割算法

1．基于阈值的图像分割算法

阈值分割法具有易于操作、功能稳定、计算简单高效等优点。阈值分割法的基本原理是根据图像的整体或部分信息选择阈值，依据灰度级别划分图像。图像分割算法

1．基于阈值的图像分割算法392．基于边缘检测的图像分割算法

边缘检测分割法的基本原理是通过检测边界来把图像分割成不同的部分。在一幅图像中，不同区域的边缘通常是灰度值剧烈变化的地方，边缘检测分割法就是根据灰度突变来进行图像分割的。2．基于边缘检测的图像分割算法403．基于区域的图像分割算法

区域分割法的基本原理是连通含有相似特点的像素点，最终组合成分割结果。区域分割法主要利用图像局部空间信息，能够很好地避免其他算法图像分割空间小的缺陷。3．基于区域的图像分割算法414．基于神经网络技术的图像分割算法

神经网络分割法的基本原理是将样本图像数据用来训练多层感知机，得到决策函数，进而用获得的决策函数对图像像素进行分类，得到分割的结果。4．基于神经网络技术的图像分割算法42小结（1）计算机视觉是从图像或视频中提出符号或数值信息，分析计算该信息以进行目标的识别、检测和跟踪等。（2）图像分类是根据不同类别的目标在图像信息中所反映的不同特征，将它们区分开来的图像处理方法。（3）目标检测的任务是在图像中找出所有感兴趣的目标（物体），并确定它们的位置和大小，（4）图像分割是利用图像的灰度、颜色、纹理、形状等特征，把图像分成若干个互不重叠的区域，并使这些特征在同一区域内呈现相似性，在不同的区域之间存在明显的差异性。小结（1）计算机视觉是从图像或视频中提出符号或数值信息，分析43计算机视觉

计算机视觉

44

计算机视觉是从图像或视频中提出符号或数值信息，分析计算该信息以进行目标的识别、检测和跟踪等。更形象地说，计算机视觉就是让计算机像人类一样能看到并理解图像。计算机视觉是从图像或视频中提出符号或数值信45

计算机视觉（ComputerVision，CV）是一门涉及图像处理、图像分析、模式识别和人工智能等多种技术的新兴交叉学科，具有快速、实时、经济、一致、客观、无损等特点。计算机视觉（ComputerV46

计算机视觉是研究如何让机器“看”的科学，其可以模拟、扩展和延伸人类智能，从而帮助人类解决大规模的复杂问题。因此，计算机视觉是人工智能主要应用领域之一。计算机视觉是研究如何让机器“看47

计算机视觉技术的基本原理是利用图像传感器获得目标对象的图像信号，然后传输给专用的图像处理系统，将像素分布、颜色、亮度等图像信息转换成数字信号，并对这些信号进行多种运算与处理，提取出目标的特征信息进行分析和理解，最终实现对目标的识别、检测和控制等。计算机视觉技术的基本原理是利用图像传感器481966年，人工智能学家明斯基在给学生布置的作业中，要求学生通过编写一个程序让计算机描述它通过摄像头看到了什么，这被认为是计算机视觉最早的任务描述。20世纪70～80年代，随着现代电子计算机的出现，计算机视觉技术也初步萌芽。MIT的人工智能实验室院首次开设计算机视觉课程计算机视觉的发展历史1966年，人工智能学家明斯基在给学生布置的作业中，要求学生4920世纪90年代，计算机视觉技术取得了更大的进步，开始广泛应用于工业领域。进入21世纪，得益于互联网的兴起和数码相机的出现带来的海量数据，以及机器学习方法被广泛应用，计算机视觉发展迅速。20世纪90年代，计算机视觉技术取得了更大的进步，开始广泛应502010年以后，借助于深度学习的力量，计算机视觉技术得到了爆发增长和产业化发展。通过深度神经网络，各类视觉相关任务的识别精度都得到了大幅提升。2010年以后，借助于深度学习的51

计算机视觉在采集图像、分析图像、处理图像的过程中，其灵敏度、精确度、快速性都是人类视觉所无法比拟的，它克服了人类视觉的局限性。计算机视觉系统的独特性质，使它在各个领域的应用中显示出强大生命力。计算机视觉在采集图像、分析图像52计算机视觉的应用及面临的挑战

目前，在医学上采用的图像处理技术大致包括压缩、存储、传输和自动/辅助分类判读，此外还可用于医生的辅助训练。与计算机视觉相关的工作包括分类、判读和快速三维结构的重建等方面。计算机视觉的应用及面临的挑战

532．公共安全领域的应用

公共安全领域是计算机视觉技术的重要应用场景，尤其是人脸识别技术，作为构建立体化、现代化社会治安防控体系的重要抓手和技术突破点，在当前的安防领域中具有重要应用价值。2．公共安全领域的应用543．在无人机与自动驾驶领域的应用

无人机与自动驾驶行业的兴起，让计算机视觉在这些领域的应用成为近年来的研究热点。以无人机为例，简单至航拍，复杂至救援救灾和空中加油等应用，都需要高精度的视觉信号以保障决策与行动的可靠性。在无人机的核心导航系统中，很重要的一个子系统就是视觉系统3．在无人机与自动驾驶领域的应用554．工业领域的应用

计算机视觉在工业领域也有着极为重要的应用。在工业领域，计算机视觉是工业机器人领域的关键技术，配合机械装置能够实现产品外观检测、质量检测、产品分类、部件装配等功能。4．工业领域的应用565．其他领域的应用

计算机视觉的应用非常广泛，除了上文提到的多个重要的领域之外，在其他产业（如农业、服务业）都有着大量的应用实践，为人类生活提供了越来越多的便利。5．其他领域的应用576．计算机视觉面临的挑战目前，计算机视觉技术的发展面临的挑战主要来自以下3个方面。（1）有标注的图像和视频数据较少（2）计算机视觉技术的精度有待提高（3）计算机视觉技术的处理速度有待提高6．计算机视觉面临的挑战58图像分类

图像分类是根据不同类别的目标在图像信息中所反映的不同特征，将它们区分开来的图像处理方法。图像分类图像分类是根据不同类59

图像分类的任务就是输入一个图像，正确输出该图像所属的类别。对于人类来说，判断一个图像的类别是件很容易的事，但是计算机并不能像人类那样一下获得图像的语义信息。计算机能看到的只是一个个像素的数值，对于一个RGB图像，假设其尺寸是32×32，那么计算机看到的就是一个3×32×32的矩阵，或者更正式地称其为张量（可以简单理解为高维的矩阵）。图像分类就是寻找一个函数关系，这个函数关系能够将这些像素的数值映射到一个具体的类别（类别可以用某个数值表示）。图像分类的任务就是输入一个图像，60

假定一个可能的类别集categories={dog,cat,eagle}，向分类系统输入一张图片。图像分类系统的目标是根据输入图像，从类别集中分配一个类别，在此为dog类别。分类系统也可以根据概率给图像分配多个标签，如dog:90%，cat:6%，eagle:4%。假定一个可能的类别集catego61图像分类算法

1．传统图像分类算法

完整建立图像识别模型一般包括底层特征提取、特征编码、空间约束、分类器分类等几个阶段。图像分类算法

1．传统图像分类算法622．基于深度学习的图像分类算法

基于深度学习的图像分类算法的原理是输入一个元素为像素值的数组，然后给它分配一个分类标签。2．基于深度学习的图像分类算法63CIFAR-10是一个非常流行的图像分类数据集。这个数据集包含了60 000张32×32的小图像，每张图像都有10种分类标签中的一种，这60000张图像被分为包含50 000张图像的训练集和包含10 000张图像的测试集。CIFAR-10是一个非常流64（1）VGG模型VGG模型与以往的模型相比，进一步加宽和加深了网络结构。它的核心是5组卷积操作，每2组之间做最大池化的空间降维。（1）VGG模型65（2）GoogLeNet模型GoogLeNet模型由多组Inception模块组成。该模型的设计借鉴了NIN（NetworkinNetwork）的一些思想。（2）GoogLeNet模型66（3）ResNet模型

残差网络（ResidualNetwork，ResNet）是用于图像分类、图像物体定位和图像物体检测的深度学习模型。（3）ResNet模型67目标检测

目标检测需要定位出图像目标的位置和相应的类别。由于各类物体有不同的外观、形状、姿态，加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。目标检测

目标检测需要定位出图像目68

目标检测的任务是在图像中找出所有感兴趣的目标（物体），并确定它们的位置和大小，是计算机视觉领域的核心问题之一。图像分类任务关心整体，给出的是整张图片的内容描述；而目标检测则关注特定的物体目标，要求同时获得该目标的类别信息和位置信息。目标检测的任务是在图像中找69

目标检测需要解决目标可能出现在图像的任何位置、目标有各种不同的大小以及目标可能有各种不同的形状这3个核心问题目标检测需要解决目标可70目标检测框架模型1．R-CNNR-CNN采用的是选择性搜索（SelectiveSearch）算法，使用聚类的方法对图像进行分组，得到多个候选框的层次组。目标检测框架模型1．R-CNN712．SPP-NETSPP-NET是在R-CNN的基础上提出的，由于R-CNN只能接受固定大小的输入图像，若对图像进行裁剪以符合要求，会导致图片信息不完整；若对原始图像进行比例缩放又会导致图像发生形变。在R-CNN中，需要输入固定尺寸图像的是第一个全连接层，而对卷积层的输入并不做要求。2．SPP-NET723．FastR-CNN由于R-CNN在候选区域上进行特征提取时存在大量重复性计算，为了解决这个问题，提出了FastR-CNN。FastR-CNN借鉴SPP-NET对R-CNN进行了改进，检测性能获得提升。3．FastR-CNN734．FasterR-CNNSPP-NET和Fast-CNN都需要单独生成候选区域，该步骤的计算量非常大，并且难以用GPU进行加速。针对这个问题，在FastR-CNN的基础上提出了FasterR-CNN，不再由原始图片通过SelectiveSearch算法提取候选区域，而是先进行特征提取，在特征层增加区域生成网络区域提取候选框（RPN，RegionProposalNetwork），每个单元按照规则选择不同尺度的9个锚盒，利用锚盒计算预测框的偏移量，从而进行位置回归。4．FasterR-CNN745．MaskR-CNNMaskR-CNN在FasterR-CNN中增加了并行的Mask分支，该分支是一个小全连接卷积网络（FullyConvolutionalNetworksforSemanticSegmentation，FCN），对每个候选区域生成一个像素级别的二进制掩码，该掩码的作用是对目标区域空间布局进行二进制编码。5．MaskR-CNN756．YOLOYOLO不同于以R-CNN为代表的两步检测算法，YOLO的网络结构更为简单，而且在速度上比FasterR-CNN快10倍左右，可以满足目标检测对于实时性的要求。6．YOLO767．YOLOv2YOLOv2对YOLO的网络结构进行了改进，首先加入了批量归一化，而且在训练过程中采用高分辨率图像，训练448×448像素的高分辨率分类网络，然后利用该网络训练检测网络。7．YOLOv2778．SSD因为YOLO对小目标检测的准确率不高，SSD