人工智能：从基础到实践（微课视频版）课件 第7章 计算机视觉

第七章计算机视觉任课教师:CONTENT目录计算机视觉概述01数字图像基础02计算机视觉的基本任务03深度生成模型04计算机视觉应用05计算机视觉实验0601计算机视觉概述视觉及计算机视觉概念视觉感知的生理基础人类通过眼睛接收外界信息，经过大脑处理后形成视觉感知。这一过程为计算机视觉的发展提供了生物学上的启示。目标通过计算机来模拟人类视觉系统的功能，使计算机能够从图像或多维数据中获取有用信息，并做出相应的判断和决策。计算机视觉定义计算机视觉（CV）是一门研究如何使计算机“看懂”图像和视频，从而理解和处理视觉信息的科学。涉及对数字图像的获取、处理、分析和理解，并从中提取高维数据以供进一步处理。涉及计算机科学、人工智能、信号处理和神经科学等。计算机视觉的发展历史010402早期探索阶段20世纪60s-70s，CV聚焦于图像低级特征提取，如边缘、角点等，出现了Sobel、Roberts等经典算法.几何和推理阶段20世纪80s-90s,研究方向转向几何形状的表示与推理。霍夫变换作为重要技术被广泛应用。深度学习的崛起2010年代至今，特别是CNN在图像识别等领域取得突破，GAN和扩散模型，Transformer架构等。03统计学习阶段21世纪初前10年，统计学习方法在计算机视觉中得到广泛应用。如，SVM等。实时目标检测利用先进的计算机视觉技术，安防监控系统能够实时识别并跟踪监控视频中的行人和车辆，有效预防犯罪行为。智能交通管理通过分析交通流量数据，智能交通系统可以优化信号灯控制，减少拥堵，提高道路使用效率和驾驶安全。违章行为自动识别采用计算机视觉算法，自动检测和记录交通违章行为，如非法停车、逆行等，提升交通法规的执行力度和效率。计算机视觉的应用_安防监控与智能交通CV在医学影像中的应用计算机视觉技术在医学影像处理中发挥着重要作用，能够辅助医生进行疾病诊断，提高诊断的准确性和效率。病变区域检测与分析计算机视觉算法可以对X光、CT、MRI等医学影像进行分析，检测出病变区域，为医生提供诊断参考。手术导航与辅助增强现实(AR)技术结合计算机视觉，为医生提供手术导航和辅助，提高手术的精准度和安全性。010302计算机视觉的应用_医学影像处理产品质量检测中的应用通过高精度的图像分析，计算机视觉技术能够快速识别产品表面的微小缺陷和尺寸偏差，显著提高生产线上的质量控制效率。机器人视觉感知能力的提升利用先进的目标识别和定位算法，计算机视觉赋予机器人更精准的视觉感知能力，使其能在复杂环境中有效执行任务，如自动分拣和搬运。自主导航系统的开发与应用结合计算机视觉技术，机器人能够在没有外部指导的情况下安全地在复杂环境中移动，避免障碍物，这在物流和仓储管理中尤为重要。计算机视觉的应用_工业制造与机器人技术02数字图像基础二值图像特点:二值图像的定义二值图像是一种特殊的数字图像，其每个像素点只有两种可能的颜色值，通常用0表示黑色，用1表示白色。二值图像的应用场景二值图像在计算机视觉中有着广泛的应用，如文字识别、形状识别等，因其简单性和高效性而受到青睐。二值图像的优点二值图像的主要优点是数据量小，处理速度快，易于存储和传输，因此在许多实时图像处理系统中被广泛使用。根据数字图像中每个像素所代表的信息不同，可将图像分为二值图像、灰度图像和RGB图像等。灰度图像表示灰度图像的定义灰度图像，也称为灰阶图像，是一种每个像素由0到255的亮度值表示的图像。其中，0表示黑色，255表示白色，0-255表示不同的灰度级。灰度图像的特点灰度图像的特点是能够通过不同的亮度值来表示图像的各种细节和层次，使得图像更加丰富和立体。灰度图像的应用灰度图像在计算机视觉中有着广泛的应用，如图像处理、特征提取等，是计算机视觉技术的重要组成部分。RGB图像构成RGB颜色模型基础RGB图像由红、绿、蓝三个颜色通道组成，每个通道的强度值范围从0到255，通过组合这三个通道的不同强度值，可以产生约1677万种颜色。像素与颜色深度在RGB图像中，每个像素点都由三个字节表示，分别对应红、绿、蓝三种颜色的强度值，这种表示方法称为颜色深度，常见的有24位真彩色。颜色混合原理RGB颜色模型基于加色混合原理，即通过红色、绿色和蓝色光的不同比例混合来产生新的颜色，这是数字图像处理中常用的颜色表示方法。123图像视觉特征图像视觉特征包括边缘、轮廓、形状和纹理等，这些特征能够直观地反映图像的外观和结构，是理解和分析图像的基础。图像统计特征图像统计特征如直方图特征、矩特征等，通过数学方法对图像进行量化描述，为图像处理和分析提供重要信息。特征提取分类及方法图像特征提取‌是指从图像中提取出具有代表性的特征，以便计算机能够更好地理解和处理图像。根据相对尺度可分为全局特征提取和局部特征提取两类；特征提取方法包括传统方法和深度学习方法。图像特征提取全局与局部特征全局特征提取全局特征提取关注图像的整体表征，如颜色、纹理和形状等，通过分析整幅图像来获取其总体信息，适用于需要整体理解图像内容的场景。局部特征提取局部特征提取专注于图像的特定区域，如边缘、角点或纹理细节，通过识别这些关键区域的独特属性来捕捉图像的重要特征，常用于目标检测和识别任务。深度学习在特征提取中的应用深度学习方法利用深度神经网络自动从大量数据中学习具有代表性的特征表示，能够有效处理各种图像变化，提高特征提取的准确性和稳健性。传统特征提取方法--SIFT算法原理SIFT特征生成SIFT算法首先从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量，确保特征的不变性，为后续匹配提供基础。特征向量匹配在SIFT算法的第二阶段，通过比对不同图像中的特征向量，实现关键点的精确匹配，广泛应用于图像匹配和目标识别领域。抗干扰能力SIFT方法能有效减少由遮挡、杂乱和噪声引起的低提取概率问题，提高特征提取的准确性和稳健性。传统特征提取方法--HOG算法应用HOG算法在目标检测中的应用HOG算法通过计算图像中每个像素的梯度大小和方向来提取图像的局部特征，这些特征能够很好地描述图像中目标的轮廓和形状，主要用于目标检测和图像识别任务。HOG算法对光照、尺度变化和几何变形的稳健性HOG算法对光照、尺度变化和几何变形的稳健性较强，适用于复杂场景下的目标检测，能够有效地从复杂背景中识别出目标物体。HOG算法的基本思想和实现步骤将图像分割成小的单元（cells），计算每个单元内的梯度方向和强度，构建梯度直方图。通过对整个图像的梯度直方图进行归一化和连接，得到一个用于描述图像特征的向量。010203深度学习特征提取---CNN010203卷积神经网络的基本原理卷积神经网络通过模拟生物视觉系统的处理方式，利用局部连接、参数共享和稀疏性等特性，有效提取图像中的空间层次特征。深度学习在图像识别中的应用深度学习技术，尤其是卷积神经网络，在图像识别领域取得了突破性进展，能够自动学习并提取复杂数据中的高级特征，极大提高了识别准确率。CNN模型的训练与优化训练CNN模型涉及前向传播计算预测值、反向传播计算梯度以及更新网络权重三个步骤，通过不断迭代优化，提升模型性能和泛化能力。卷积层作用0103卷积层的基本功能卷积层通过执行卷积操作，自动从输入图像中提取局部特征，如边缘和纹理，无需人工设计特征提取器。特征图的层次构建随着网络深度的增加，卷积层逐步构建从简单到复杂的特征表示，浅层捕捉基本元素，深层则识别更复杂的结构。高级特征的抽象与组合通过多层卷积和池化操作，CNN能够将低级特征组合并抽象为高级特征，有效提升对图像内容的理解和分类能力。02特征层次构建010203卷积层的基础特征提取卷积层通过应用多个卷积核，自动从输入图像中学习并提取边缘、纹理等基础视觉特征，为后续复杂特征的构建打下基础。激活函数引入非线性激活函数在神经网络中引入非线性因素，使得模型能够表达更复杂的数据关系，增强网络对不同特征的识别能力。池化层的降维与筛选池化层通过降低特征图的空间尺寸，减少参数数量和计算复杂度，同时保留重要信息，提高网络的泛化能力和稳健性。03计算机视觉的基本任务计算机视觉基本任务计算机视觉通常包括图像分类、目标定位、目标检测和图像分割这四大基本任务，它们是构建更复杂视觉系统的基础，其他的关键任务大多也是在这四大基本任务的基础上延伸开来的‌。图像分类图像分类定义图像分类旨在解决“图像是什么”的问题，通过提取和分析图像特征，将图像分配到特定类别，判断其所属类别。图像分类目的图像分类的目的是通过对图像的特征进行提取和分析，实现对图像的自动识别和分类，提高图像处理的效率和准确性。图像分类应用图像分类在人脸识别、物体识别、自动驾驶等领域有广泛应用，可以帮助系统做出正确的决策，提高智能化水平。图像分类--基本原理特征提取与匹配通过提取图像中的关键特征，并与预训练模型中的类别特征进行比对和匹配，从而确定图像的类别归属。深度学习方法利用深度神经网络自动学习图像的判别性特征，相比传统手工设计特征，深度学习方法在处理复杂图像时表现更优。算法模型多样性图像分类采用多种算法模型，其中卷积神经网络（CNN）被广泛应用。实际应用中通过迁移学习减少训练所需的数据量。图像分类---常用数据集010203ImageNet数据集ImageNet是一个大规模的图像分类、定位和检测的数据集，包含数百万张标注图片，涵盖数千个类别，是深度学习研究的重要资源。CIFAR-10数据集CIFAR-10数据集包含10个不同类别的60000张彩色图像，广泛用于机器学习和计算机视觉领域的算法测试和模型训练。CIFAR-100数据集CIFAR-100数据集是包含100个类别的60000张图像，为研究人员提供了更丰富的数据以进行复杂的图像识别任务。目标定位123图像预处理在目标定位中，首先对输入的图像或视频进行预处理，如去噪、数据增强等，以提高图像质量，为后续的特征提取和位置判断打下基础。特征提取算法从图像中提取与目标相关的特征，如颜色、形状、纹理等，还可以是目标在时间序列中的运动信息，这些特征是定位目标的关键。位置判断利用提取的特征对目标进行位置判断，通常是通过构建分类器或回归模型来实现，这一步是目标定位的核心，决定了目标的准确位置。判断图像中的目标具体在图像的什么位置，包括图像分析、特征提取和位置判断三个步骤：传统算法--基于图像特征匹配特征点检测算法通过SIFT、SURF等算法提取图像中的关键点及其描述子，利用描述子间的相似度进行匹配，以找到目标位置，对变形和光照变化有较好稳健性。模板匹配方法将已知目标模板在待检测图像上滑动，计算每个位置的相似度，归一化互相关算法通过计算互相关系数衡量相似程度，系数接近1表示高相似度。传统与深度学习对比传统算法依赖图像特征和模板匹配，而深度学习通过训练神经网络自动学习特征表示，实现更精准的目标定位和识别。传统算法---模板匹配归一化模板匹配基础模板匹配是一种基本的目标定位技术，通过在图像中滑动已知模板并计算相似度来识别目标位置，适用于简单背景和明确形状的目标。归一化互相关算法归一化互相关算法是模板匹配的一种改进方法，通过计算模板与图像子区域之间的归一化互相关系数，提高了对光照变化和部分遮挡的稳健性。模板匹配应用实例在安防监控领域，模板匹配技术被用于实时跟踪特定目标，如人脸识别系统，通过匹配预存的人脸模板来快速准确地识别个体。深度学习方法---基于回归的CNN算法算法概述算法利用深度神经网络自动学习图像特征，通过全连接层直接预测目标边界框坐标，实现快速且准确的目标定位。实时应用优势该算法计算速度快，特别适用于需要实时处理的场景，如视频监控和自动驾驶系统，能够迅速识别并跟踪目标。单目标定位能力算法擅长于单目标定位任务，例如人脸检测，其精确度和速度使其成为实时人脸识别系统的理想选择。深度学习方法---基于区域的CNN算法010203候选区域生成R-CNN算法首先通过选择性搜索算法，基于颜色、纹理等特征对图像进行分割，合并相似区域生成约2000个可能包含目标的候选区域。特征提取与分类每个候选区域被缩放到固定大小后输入预训练的CNN中，提取最后一层卷积层的输出作为特征表示，并使用SVM分类器进行分类。边界框回归与优化利用边界框回归器学习候选区域与真实边界框之间的偏移量，调整候选区域位置，使其更准确地贴合物体边界，提高定位精度。应用领域010203自动驾驶自动驾驶技术通过目标检测和定位，实现车辆对周围环境的感知与理解，从而在无需人工干预的情况下安全驾驶。安防监控安防监控系统利用图像分割和目标检测技术，实时分析监控画面，有效识别并跟踪可疑行为或物体，提高安全防护水平。医疗影像分析在医疗领域，图像分割帮助医生从复杂的医学影像中准确识别病变区域，为疾病诊断、手术规划提供重要依据。010203目标检测的定义目标检测是一种结合分类和定位算法的技术，旨在解决图像中“哪里有哪些哪种类别的目标”的问题。目标检测的任务找出图像中所有感兴趣的目标，确定他们的类别和位置，通常涉及候选区域生成、特征提取、定位与分类等三个主要阶段。目标检测的应用目标检测在安防监控、工业检测、智能零售等多个领域有着广泛且典型的应用，如周界防范与入侵检测、产品质量检测、消费者行为分析等。目标检测核心步骤010203候选区域生成目标检测的首要步骤是生成图像中可能包含感兴趣对象的区域，这些区域被称为候选区域。常用的方法包括滑动窗口法、选择性搜索法和区域提议网络。特征提取对输入图像进行特征提取和分析是目标检测的核心，通过深度学习方法如CNN自动学习特征，以有效区分不同类别的信息。分类与定位在候选区域及其特征生成之后，接下来就是对这些候选区域进行分类和定位，实现方式有单阶段检测器和两阶段检测器等两类。候选区域生成方法：滑动窗口法概述滑动窗口法是一种在图像中生成候选区域的方法，通过不同大小的窗口遍历图像，对每个窗口进行分类，以检测目标物体。实现步骤滑动窗口法首先选择不同大小的窗口，然后在图像上从左到右、从上到下地滑动，每次滑动时对当前窗口进行分类。优缺点滑动窗口法的优点是可以检测到不同大小的目标，但缺点是计算量大，且可能会产生重复的检测结果。候选区域生成方法：选择性搜索法选择性搜索法概述选择性搜索法通过合并图像中的相似或连续区域来提取边界框，这种方法首先对图像进行分割，然后根据子区域间的相似性进行迭代合并。区域合并过程在选择性搜索法中，小的子区域根据颜色、纹理等特征被不断合并，每次迭代都生成新的外切矩形作为候选框，以适应不同大小和形状的目标对象。候选框生成策略选择性搜索法的核心在于有效地生成高质量的候选框，这些候选框是通过分析图像中物体可能存在的区域的连续性和相似性得出的。候选区域生成方法：区域提议网络区域提议网络概述区域提议网络是FasterR-CNN目标检测算法的核心部分，通过在输入图像的特征图上滑动窗口，预测目标得分和边界框偏移量两个值。锚框机制锚框是以图像中某个位置为中心，在不同尺度和比例下生成的固定大小的矩形框，用于适应不同大小、形状和姿态的目标对象。特征提取与分类对于每个锚框，使用RoI池化或RoI对齐层来提取特征，这些特征被传递到全连接层或其他类型的网络层中，并输出目标得分和边界框偏移量两个参数。特征提取方法：传统方法010203手工设计特征描述子传统目标检测方法依赖于如SIFT、SURF等手工设计的特征描述子，这些方法通过提取图像中的关键特征点来识别和匹配对象。特征提取的局限性虽然手工设计的特征描述子在某些场景下有效，但它们在处理光照变化、视角变换时表现出一定的局限性，难以适应复杂多变的环境。深度学习的兴起随着计算能力的提升和大数据的出现，深度学习方法逐渐取代了传统方法，通过自动学习图像特征，提高了目标检测的准确性和稳健性。特征提取方法：深度学习方法深度学习在目标检测中的应用深度学习方法通过自动学习特征，提高了目标检测的准确性和稳健性，尤其在处理光照变化和视角变换时表现出色。CNN的角色CNN在深度学习中扮演关键角色，通过层次化的特征提取，有效捕捉图像中的复杂结构和模式，为精确的目标定位提供支持。从传统到现代的演变目标检测技术从依赖手工设计特征的传统方法，发展到利用深度学习自动提取高级特征，大幅提升了检测性能和应用范围。分类与定位：单阶段检测器010302YOLO系列检测器YOLO系列采用单阶段检测方法，通过单次前向传递同时完成分类和回归任务，实现快速的目标检测。SSD检测器SSD是一种高效的目标检测算法，它直接在特征图上进行预测，无需生成候选区域，提高了检测速度。单阶段与两阶段对比单阶段检测器如YOLO和SSD直接进行分类和回归，而两阶段检测器如FastR-CNN先生成候选区域再进行精细分类，两者各有优劣。两阶段检测器概述两阶段检测器首先使用区域提议网络（RPN）生成候选区域，然后对这些候选区域进行精细的分类和边界框调整，通常能获得更高的精度但速度较慢。RPN的作用RPN是FasterR-CNN目标检测算法的核心部分，它在输入图像的特征图上滑动窗口，针对每个窗口预测目标得分和边界框偏移量两个值。两阶段检测器的应用两阶段检测器在安防监控、工业检测、智能零售等多个领域有着广泛且典型的应用，如周界防范与入侵检测、产品质量检测、消费者行为分析等。分类与定位：两阶段检测器010203安防监控可实现周界防范与入侵检测，目标检测技术可以通过分析监控视频中的图像信息，准确识别是否有人员或车辆非法闯入工业检测目标检测技术可以对产品进行实时检测，快速识别出产品表面的缺陷，如划痕、裂纹、孔洞等，以及产品的装配是否正确。智能零售在零售店铺内安装摄像头和传感器，利用目标检测技术可以对消费者的行为进行分析。应用领域图像分割：语义与实例分割语义分割的定义与应用语义分割是一种像素级别的分类任务，将图像中的每个像素分配到预定义的类别标签中，常用于理解场景布局，如识别道路、建筑物等。实例分割的独特之处实例分割不仅识别目标物体，还区分同一类别的不同实例，为每个具体对象分配唯一标识符，实现精确感知和区分。实例分割的广泛应用领域实例分割在自动驾驶、安防监控、医疗影像分析等领域有广泛应用，可进行个体跟踪或分析，提高各领域的效率和准确性。图像分割：医学领域应用疾病诊断的革新计算机视觉技术通过分析医学影像，如X光和CT，自动识别异常，辅助医生进行早期疾病诊断，显著提高了诊断的速度和准确性。手术导航与机器人辅助结合实时图像处理，计算机视觉为外科手术提供精确导航，支持机器人辅助手术，增强操作精度，降低风险，加快患者恢复。远程医疗与智能监护利用计算机视觉分析视频监控和图像，实现患者远程诊断和健康监测，智能监护系统能及时发现异常，提升护理效率和安全性。04深度生成模型深度生成模型概述深度生成模型（DeepGenerativeModels）是一类利用深度学习方法生成新样本的模型，它通过学习训练数据的内在结构和模式，生成与训练数据具有相似统计特性的新数据样本，例如图像、文本或音频。深度生成模型包括生成对抗网络和扩散模型。主要类型介绍生成对抗网络（GANs）GANs由IanGoodfellow等人于2014年提出，通过生成器和判别器的相互博弈，生成逼真的数据样本，广泛应用于图像生成、风格迁移等领域。扩散模型（DiffusionModel）扩散模型基于概率论，模拟从数据分布到简单噪声分布的逐渐“扩散”过程，再通过学习逆过程重构高质量数据样本，应用于图像和声音合成。变体与扩展随着深度生成模型的发展，各种变体和扩展被提出，如StyleGAN擅长生成逼真人脸图像，CycleGAN实现无监督图像转换，推动技术不断进步。生成对抗网络（GANs）GAN主要包括生成器（Generator）和判别器（Discriminator）。生成器尝试模仿真实数据的分布，生成能够以假乱真的数据。判别器的任务是判断输入的数据是否为真实数据。扩散模型（DiffusionModel）扩散模型包含正向扩散过程和逆向去噪过程两个阶段。通过正向添加噪声和逆向去噪的过程，从随机噪声中重构出高质量的数据样本，展示了概率论在数据生成任务中的应用价值。扩散模型主要有三个类型，去噪扩散概率模型（DDPM），基于分数的生成模型（SGM）和随机微分方程（SDE）