《人工智能通识课》课件-第9章让机器看懂世界

让机器看懂世界第九章ComputerVisionTechnology&Applications讲师：xxx目录课程导入01本课内容02重点与难点03课后作业04课程导入探索计算机视觉（ComputerVision，CV）定义、发展历程与核心价值，理解如何赋予机器“看”的能力。01核心定义：计算机视觉（ComputerVision，CV）是人工智能的重要组成部分，它赋予机器“看”的能力，使其像人类一样理解图像与视频内容。它旨在使计算机模拟人类的视觉理解过程，通过解析图像与视频内容来洞察世界

课程导入核心原理：人类系统VS计算机视觉系统人类视觉系统眼球感知光线和图像，通过晶状体聚焦在视网膜上形成视觉信号视网膜将光信号转换为神经信号，进行初步的图像处理大脑皮层解析视觉信号，识别物体、理解场景，做出决策计算机视觉系统相机（模拟眼球）获取图像信息，通过光学传感器捕捉场景数字图像处理（模拟视网膜）将模拟图像转换为数字图像，进行预处理和增强计算机视觉算法（模拟大脑皮层）设计算法提取图像特征，进行识别、检测和分类核心思想：通过模拟人类视觉系统的工作机制，使机器能够像人一样"看见"和理解世界计算机视觉的发展历程01萌芽期1960s-1970s计算机视觉概念开始形成。研究者尝试通过简单的几何模型来理解图像中的对象。1966年，贝尔实验室的莫拉维克进行了机器人视觉导航实验，标志着人类对计算机视觉的初步探索。02基础发展期1980s随着数字图像处理技术的发展，计算机视觉逐步建立起理论基础。1984年，大卫·马尔提出的计算机视觉理论框架为后续研究奠定了重要基础。图像分析、目标检测和跟踪技术逐渐成熟。03系统开发期1990s计算机视觉技术开始向实际应用迈进。商业化的图像处理软件和硬件设备不断涌现。国际计算机视觉大会等学术会议的举办，促进了国际技术交流与合作。04深度学习兴起期2010s2012年，深度学习在ImageNet竞赛中取得突破性成绩，CNN在图像识别、分类和检测等方面取得突破性进展。深度学习成为主流方法。05跨学科融合期2020s-至今计算机视觉与其他学科（机器学习、自然语言处理、机器人学等）的交叉融合日益加深。在自动驾驶、智慧城市、健康医疗等领域发挥重要作用。计算机视觉的应用场景自动驾驶识别行人、车辆、交通标志、红绿灯等95%实时感知周围环境，确保行驶安全提升交通安全与效率医学影像X光、CT、MRI影像分析与诊断90%早期疾病检测，提高诊断准确性拯救生命的关键技术本课内容深入学习处理流程、核心任务与关键技术，掌握图像分类、目标检测与图像分割等。

02计算机视觉处理流程全景图数据收集与预处理获取图像/视频数据，进行清洁、优化、去噪、增强等操作图像分割将图像划分为多个区域，分离目标与背景特征提取与表示提取关键信息（形状、纹理、颜色），转化为计算机可处理的形式模型选择与训练选择合适模型架构，通过大量数据训练优化参数模型测试与评估使用测试集评估模型性能，计算准确率、召回率等指标图像分析与解释将处理后的图像转化为对人类有意义的信息核心原则：每个环节都至关重要，相互依赖，共同构成完整的计算机视觉系统数据收集与预处理多种预处理图像分割技术将图像划分为多个互不重叠且具有独特特征的区域基于区域的分割方法①直方图门限法基于图像灰度直方图，通过选择灰度值门限分割图像②区域生长法从种子点开始，根据相似性准则逐步生长成完整区域③基于随机场模型法将图像视为随机场，通过最小化能量函数实现分割基于边界的方法④边缘检测法利用一阶或二阶导数信息检测边缘点，形成边界线⑤活动轮廓法（Snake模型）通过可变形模型在图像力作用下变形逼近真实边界分割难点复杂背景与噪声干扰算法识别，导致误判图像模糊边界不清，降低算法效果光照变化亮度不均，影响固定特征目标复杂性形状复杂，难以捕捉轮廓计算复杂度高分辨率图像实时处理难桥梁作用图像分割是连接低级图像处理（如图像增强）和高级图像理解（如目标识别）的桥梁①直方图门限法直方图门限法是一种基于图像灰度直方图的分割方法。它通过选择一个或多个灰度值作为门限，将图像分割成不同的区域。④边缘检测法边缘检测法是一种基于边界信息的分割方法，它利用图像的一阶或二阶导数信息来检测图像中的边缘点，进而形成边界线，将图像分割成不同的区域。这种方法对噪声较为敏感，需要合适的滤波器来平滑图像。边缘检测法适用于那些目标边界清晰且与背景有明显梯度变化的图像分割任务，对一个建筑图像的边缘进行检测，特征提取与表示将图像关键信息转化为计算机能够处理的形式传统特征提取方法1SIFT尺度不变特征变换，检测关键点，实现尺度不变性描述2SURF加速稳健特征，SIFT改进版，计算速度更快3HOG定向梯度直方图，用于物体检测，对行人检测效果显著4LBP局部二值模式，用于纹理分类，计算简单深度学习特征提取卷积神经网络（CNN）能自动从图像中学习高级特征，无需人工设计1自动特征学习无需人工设计特征，自动从数据中学习有效特征表示2特征层次化通过多层非线性变换，提取从低级到高级的特征3端到端训练实现特征提取和分类等任务的端到端训练，提升整体性能模型选择、训练与评估决定模型性能和实用性的核心环节模型选择在工具箱中挑选最合适的工具，不同任务需要不同模型架构图像分类选择卷积神经网络（CNN）语义分割选择U-Net等像素级预测模型需考虑模型复杂度和计算资源限制模型训练对选定模型进行"培养"，通过学习大量训练数据调整内部参数优化算法SGDAdam损失函数衡量预测值与真实值之间的差异目标：最小化预测误差模型测试与评估对训练好的模型进行"考试"，确保在实际应用中表现出色测试集要求独立、具有代表性、与训练集分布一致性能指标准确率召回率F1分数交叉验证：获得更可靠的性能评估计算机视觉与相关领域的关系图像处理关系定位计算机视觉的前提和基础，包括图像的预处理、增强和转换等核心区别图像处理关注改善图像质量，计算机视觉侧重于识别对象和理解内容CV离不开图像处理的辅助模式识别关系定位计算机视觉的核心，模拟人类图像识别过程涵盖范围包括文字识别、图像识别、语音识别、生物识别CV是模式识别的重要分支机器学习关系定位人工智能的核心技术，从数据中学习规律做出决策应用场景计算机视觉广泛使用机器学习算法来识别图像中的模式和对象CV是ML的重要应用领域深度学习关系定位机器学习的子集，通过模拟人脑神经元结构，使计算机从经验中学习核心技术核心是神经网络，尤其是CNN，是计算机视觉的主流方法深度学习驱动CV革命计算机视觉与相关领域的关系计算机视觉的三大基本任务从"看到"到"看懂"的核心任务图像分类解决"是什么"的问题根据图像特征将图像划分到预定义的类别中示例：将动物图片分为"猫"、"狗"、"鸟"等类别猫狗鸟目标检测与定位解决"在哪里"的问题识别图像中的物体并确定其类别和位置示例：在街景中识别行人、车辆、交通标志行人×5车辆×3图像分割解决"精确边界"的问题将图像像素精准划分至不同组或区域示例：为每个像素分配类别标签道路建筑车辆技术演进：从识别"是什么"到定位"在哪里"，再到精确"边界在哪里"图像分类：让机器识别内容根据图像特征将图像划分到预定义的类别中发展历程早期方法依赖人工设计的特征提取方法，如颜色直方图、纹理特征等。过程繁琐且高度依赖人的经验。深度学习方法CNN自动从数据中学习特征，极大提高了分类的准确性和效率。性能突破2012AlexNet突破85%Top-5准确率98%当前最佳CNN架构输入层接收原始图像数据卷积层提取特征，生成特征图池化层降维，减少计算量全连接层分类决策，输出类别核心优势通过多层非线性变换，从低级特征（边缘、纹理）到高级特征（语义信息），实现层次化特征学习图像分类图像分类是计算机视觉的一项核心任务，旨在让计算机能够像人类一样识别和理解图像中的内容。如图9-7所示，输入一张小狗的图片，通过卷积神经网络获得输出类别的架构图，能够自动从数据中学习特征，极大地提高了分类的准确性和效率。目标检测与定位：找到物体的位置不仅要识别"是什么"，还要确定"在哪里"技术框架1图像预处理清洁和优化输入图像2特征提取CNN抽取图像特征向量3候选区域生成生成可能包含目标的区域4分类与回归确定目标类别和位置5后处理非极大值抑制，消除冗余深度学习优势CNN具备强大的自动学习能力，能够由低至高地捕捉图像特征，涵盖从边缘、纹理的细微之处到语义层面的高级特征，显著提升检测精准度。主流算法FasterR-CNN经典二阶段目标检测算法，通过RPN生成候选区域高精度YOLO实时一阶段检测器，以实时性著称，快速处理图像高速度SSD平衡不同尺度特征图预测，速度与精度的平衡均衡目标检测与定位目标检测与定位技术在计算机视觉领域扮演着至关重要的角色，它们不仅能够共同解决“图像中有什么以及它们在哪里”的问题，还在工业自动化、无人机巡检、自动驾驶等多个领域中发挥着关键作用。自动驾驶的目标检测，如图9-8所示。图像分割图像分割作为计算机视觉领域的关键技术，其核心在于将图像像素精准划分至不同组或区域，从而深化对图像内容的理解和分析能力。图像分割可以应用于众多领域，如自动驾驶、医疗影像分析如图9-10所示、安防监控等。图像分割：像素级的精确理解将图像像素精准划分至不同组或区域语义分割核心任务将图像中的每个像素分配给特定的类别标签，实现细粒度理解典型应用道路行人车辆基础任务：像素级分类实例分割进阶能力识别物体类别，并区分同一类别中的不同实例区分实例汽车A汽车B汽车C区分同类不同实例全景分割终极融合语义分割和实例分割的结合，为每个像素提供完整的语义与实例信息应用场景自动驾驶机器人导航智慧城市提供完整场景理解图像分割根据分割的粒度和目标，图像分割主要分为以下三种类型：语义分割、实例分割和全景分割，如图9-11所示。图像技术应用案例（一）：图像增强优化图像质量，提升视觉效果医学影像领域应用场景X光、CT、MRI等影像处理，增强对比度、分辨率和清晰度核心价值提高病变组织与正常组织的对比度，使病灶更加清晰可辨案例：肺部CT结节检测卫星遥感技术手段通过特定波段处理，显著提升图像质量突出特征城市建筑农田森林支持城市规划和环境监测安防监控环境挑战低光照或夜间条件下，图像质量大幅下降增强效果去噪与锐化技术处理后，更精确地识别并追踪目标遇到起雾也能实现去雾不改变图像真实内容只增强视觉效果提高诊断准确性医学影像价值巨大支持智慧城市建设城市规划与监测图像技术应用案例（一）：图像增强图像增强是计算机视觉的基础任务之一，它利用多种算法优化图像质量，使图像清晰度提升，细节表现更为丰富。图像技术应用案例（二）：图像特效创造非现实或超现实的视觉效果黑白图像上色为黑白照片赋予色彩，轻松转换为彩色照片黑白彩色历史照片修复图像风格转换转化成卡通画、铅笔画、油画等多种艺术风格卡通画铅笔画油画哥特式艺术创作利器人像动漫化采用对抗生成网络，打造独一无二的二次元动漫形象二次元风格转换自定义风格支持自定义风格图像，进行风格迁移处理提供几十种艺术风格用户自定义上传风格迁移处理无限创意空间技术核心：通过对抗生成网络（GAN）等技术，实现图像到图像的转换图像技术应用案例（二）：图像特效图像特效即特殊效果，是指通过技术手段在图像上创造出非现实或超现实的效果，以增强视觉效果、表达艺术创意或实现特定目的。图像特效技术的部分效果如图9-15所示。图像技术应用案例（三）：图像识别与搜索让计算机理解和解释图像内容图像识别应用安防监控识别与追踪监控区域内的人员和车辆，实时深度分析视频流，敏锐捕捉并自动辨识异常举动。零售业商品识别和库存管理，摄像头捕捉商品图像后，库存系统自动识别其类别与精确数量。文档处理OCR技术将纸质文档中的文字信息提取出来，实现文档的数字化管理。图像搜索应用电商平台通过上传商品图片，搜索到相关的商品信息和购买链接，提高购物效率。版权保护检测图像的侵权行为，通过建立图像的特征库，快速识别出相似图片。社交媒体推荐与用户兴趣相关的图片和内容，智能推荐相关联的标签、话题及用户。图像识别理解图像内容，自动分类标注图像搜索以图搜图，内容检索图像技术应用案例（三）：图像识别与搜索图像识别是计算机视觉的核心任务之一，它使计算机能够理解和解释图像中的内容。图像识别技术具备强大的功能，能够精准地自动识别图像内含的物体、多样化的场景以及清晰的文字信息，进而实现高效的分类与细致标注。图像技术应用案例（四）：图像生成从数据中学习并生成全新图像内容技术原理深度学习驱动通过深度学习模型从数据中学习并生成新的图像内容，让计算机根据已有的数据或规则，创造出全新的图像。生成内容类型现实场景艺术作品虚构人物想象画面AIGC：人工智能生成内容，提供无限创意空间代表性工具Midjourney商业高质量图像生成，艺术风格丰富StableDiffusion开源根据文本描述快速生成高质量图像，可本地运行定制生成速度：几秒钟内创造高质量图像应用价值在艺术创作、设计、娱乐等领域具有巨大应用价值，为创作者提供强大工具。图像技术应用案例（四）：图像生成图像生成是计算机视觉领域的一项重要技术，它通过深度学习模型从数据中学习并生成新的图像。如图9-18所示，是使用Midjourney生成的一幅与舞狮相关的图片。重点与难点素描静物写生是石膏几何形体写生的延伸和发展，它描绘的范围很广，瓜果、蔬菜、花卉、瓶罐、文具等都可作写生的内容。03重点一：深度学习在计算机视觉中的革命性作用2012年ImageNet竞赛：计算机视觉的转折点01自动特征学习革命性突破无需人工设计特征提取器，CNN能自动从数据中学习有效的特征表示核心优势降低对领域知识的依赖，减少人工干预，提高泛化能力从手工设计到自动学习02特征层次化层次化表达CNN通过多层非线性变换，提取从低级到高级的特征特征演进边缘、纹理形状、部件语义信息从局部到全局的理解03端到端训练一体化训练CNN可实现特征提取和分类等任务的端到端训练性能提升避免中间环节的误差累积，整体优化提升系统性能全局优化，协同训练历史意义：2012年AlexNet在ImageNet竞赛中取得突破性成绩，标志着深度学习时代的来临重点二：目标检测与图像分割的技术演进从精度到速度的全面突破FasterR-CNN特点二阶段检测算法，精度高适用场景高精度要求的应用YOLO特点实时性强，速度快适用场景自动驾驶、实时监控SSD特点速度与精度的平衡适用场景无人机监控、物流机器人语义分割核心任务为每个像素分配类别标签代表模型DeepLabv3+、U-Net实例分割核心任务区分同类别的不同实例代表模型MaskR-CNN、SeqFormer全景分割核心任务语义+实例的完整信息代表模型OMG-Seg（统一框架）难点：计算机视觉面临的挑战复杂背景与噪声干扰算法对目标区域的识别，导致误判解决：使用更鲁棒的特征提取算法目标复杂性目标形状复杂或内部不均匀时，难以准确捕捉轮廓解决：使用多尺度特征融合图像模糊图像模糊导致像素边界不清，降低分割算法的效果解决：图像去模糊预处理计算复杂度高分辨率图像或实时处理场景，计算复杂度高解决：模型轻量化、量化光照变化光照变化导致图像亮度分布不均，影响固定特征解决：光照归一化预处理未来展望随着技术进步，这些挑战正逐步被克服方向：更鲁棒、更高效的算法技术发展趋势提升精度和效率持续优化算法，提高识别准确率，降低计算成本加强跨学科融合与机器学习、自然语言处理等领域深度结合解决伦理问题关注隐私保护、算法公平性、安全性等伦理问题课后作业通过理论题、实践题与思考题，巩固所学知识并培养独立思考与动手能力04

3.全景分割是（A）和实例分割的结合，旨在为场景中的每个像素提供完整的语义和实例信息。A.语义分割B.目标检测C.图像分类D.图像增强

4.图像增强技术的应用场景不包括（D）。A.医学影像处理B.卫星遥感图像处理C.安防监控D.音频信号处理

5.图像特效技术可以将图像转化为（D）等风格。A.卡通画B.铅笔画C.哥特油画D.以上都是选择题1.图像灰度化的主要目的是（B）。A.增加图像颜色B.简化矩阵，提高运算速度C.降低图像对比度D.增强图像噪声

2.YOLO系列算法以（A）著称，能够快速处理图像并输出检测结果。A.实时性B.高精度C.高分辨率D.低能耗判断题1.计算机视觉（Computer

Vision,CV）旨在使计算机模拟人类的触觉理解过程，解析图像与视频内容，洞察世界。F2.计算机视觉的发展历程可以大致划分为5个阶段。T3.在计算机视觉的处理流程中，数据收集与预处理是整个流程的中间环节。F4.直方图门限法是一种基于图像灰度直方图的分割方法。T5.SIFT是一种基于图像局部特征的描述子。T1.计算机视觉的概念在（20）世纪（60～70）年代开始形成。2.计算机视觉的处理流程包括数据收集与预处理、（图像分割）、特征提取与表示、模型选择与训练、模型测试与评估、图像分析与解释。3.图像分割的难点包括复杂背景与噪声、（图像模糊）、光照变化、目标复杂性、计算复杂度。4.深度学习方法中，（卷积神经网络（CNN））能自动从图像中学习高级特征。5.图像分类的早期方法主要依赖于人工设计的（特征）提