《人工智能通识与进阶》 第八章 视觉计算-从人工到深度学习(第二讲)

第八章

视觉计算：从人工到深度学习（第二讲）12模式识别任务的一般步骤：数据获取​​：成像设备捕获，摄像头、传感器等数据​​预处理​​：噪声去除、几何校正等​​特征提取​​：从图像中计算辨别不同模式的属性​​模式分类​​：分类器根据特征判断模式类别问题与导读：为什么由人工到深度？3你能认识他吗？

视觉不变特征的重要性问题与导读：为什么由人工到深度？4

20世纪60年代，科学家休伯尔（Hubel）和维泽尔（Wiesel）的开创性研究，首次揭示了猫视觉信息的秘密。因其在视觉系统中信息处理方面的杰出贡献，他们在1981年获得了诺贝尔生理学或医学奖。）/video/BV1Sf4y117re/【观看猫视觉实验，课后观摩】问题与导读：为什么由人工到深度？其论文《Receptivefields,binocularinteractionandfunctionalarchitectureinthecat'svisualcortex》中提出了Receptivefields的概念视觉皮层神经元具有“感受野”（Receptivefields）神经元对特定朝向的线条或边缘敏感简单细胞与复杂细胞的功能分工

简单细胞：感受野呈细长条状，对静止的特定朝向线条在特定位置有反应。

复杂细胞：对同样朝向的移动线条或边缘有反应，对空间位置的要求不如简单细胞严格双眼整合与功能性柱状结构5问题与导读：为什么由人工到深度？猫视觉实验发现的现象：6特征提取可以分为两大类：手工特征和数据驱动的自动学习特征。问题与导读：为什么由人工到深度？本章目录8.5范式转移：从人工特征到深度学习8.6代表性视觉计算深度网络8.7深度学习赋能高级视觉任务8.8视觉计算的现状、伦理与未来1本章目录8.5范式转移：从人工特征到深度学习8.6代表性视觉计算深度网络8.7深度学习赋能高级视觉任务8.8视觉计算的现状、伦理与未来198.5范式转移：从人工特征到深度学习神经网络回顾回顾：前馈神经网络10多层感知机（Muti-LayerPerceptron，MLP）增加一个或多个隐藏层，模拟更复杂的函数。MLP也被称为前馈神经网络（FeedforwardNeuralNetwork，FFN）。8.5范式转移：从人工特征到深度学习MLP回顾11权重矩阵的参数非常多局部不变性特征抽取欠缺自然图像中的物体都具有局部不变性特征尺度缩放、平移、旋转等操作不影响其语义信息。全连接前馈网络很难提取这些局部不变特征全连接前馈神经网络：缺陷与不足8.5范式转移：从人工特征到深度学习FCN网络回顾12例子：

单层前馈神经网络，1M（100万）隐藏节点，输入为1000*1000的图像，如果采取全连接，请问该神经网络需要学习多少参数？对比：GPT-31000层以上，但是只有1750亿参数全连接前馈神经网络：缺陷与不足8.5范式转移：从人工特征到深度学习FCN网络回顾13本节需要解决的问题和重要学术思想重要问题：

我们能否重新理解CNN作为不变特征学习的背后机理和设计灵感？

学术思想：

模拟人类视觉系统的神经认知机

减少网络参数and局部感受野and捕获不变特征and方便视觉计算8.5范式转移：从人工特征到深度学习

走向CNN148.5范式转移：从人工特征到深度学习8.5.1神经网络的生物学灵感人类视觉系统

走向CNN15神经计算科学家发现，视觉处理并非一步到位，而是分层进行的。更重要的是，大脑内部还有明确的分工，信息在初级视觉皮层（V1区）之后，会兵分两路：

（1）“What”通路（腹部通道）：

专管“是什么”。它像一位物体鉴定专家，负责识别颜色、纹理和细节，最终告诉你这是“一只蝴蝶”。

（2）“Where/How”通路（背部通道）：

专管“在哪儿，怎么动”。它像一位空间导航与动作规划师，负责判断位置和运动，指导你的行动。卷积网络的生物学灵感8.5范式转移：从人工特征到深度学习

走向CNN16负责识别物体的

“What”通路，因为它直接催生了深度学习的核心思想。休伯尔和维泽尔发现，猫的初级视觉皮层（V1区）中存在一种精妙的层次化结构：“简单细胞”：

位于底层，只对特定方位（比如垂直线、水平线）的刺激，出现在视网膜特定位置时，才会有强烈反应。它们感受野很小，很“固执”。“复杂细胞”：

位于更高层，它们也喜欢特定方位，但对刺激在感受野内的精确位置不敏感。只要那条线在它的“势力范围”内，它就会兴奋。它们具有位置不变性。卷积网络的生物学灵感8.5范式转移：从人工特征到深度学习

走向CNN17这条“What”通路的工作方式，宛如一个多层级的特征提取流水线，共同致力于回答“这是什么？”：V1区（初级视觉皮层）：

这里是特征提取的第一关。神经元就像“基础元素侦察兵”，只对最简单、局部的刺激有反应，比如特定方向的边缘、线条。这正是“简单细胞”与“复杂细胞”发挥作用的地方。V2区：

接收来自V1的信号，神经元开始能识别更复杂一层的“组合图案”，比如由几条边缘构成的角点、交叉点。V4区：

信息在此进一步整合，神经元对复杂的形状和颜色组合敏感，相当于在组装物体的“部件”。IT区（下颞叶皮层）：

这里是通路的终点站。经过前面几层的逐级抽象与整合，这里的神经元已经成为了“概念识别专家”，能对整张人脸、一个具体的物体（如蝴蝶）产生强烈反应。8.5范式转移：从人工特征到深度学习

走向CNN181980《Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition》提出的称为神经认知机（Neocognitron）的神经网络模型8.5范式转移：从人工特征到深度学习卷积网络的雏形：福岛邦彦的神经认知机（Neocognitron）福岛邦彦1971年在测试电子视网膜。Neocognitron198.5范式转移：从人工特征到深度学习福岛博士在STRL做研究Neocognitron208.5范式转移：从人工特征到深度学习Neocognitron如何将猫视觉原理转化为算法设计？生物视觉系统

(What通路)Neocognitron模型核心功能与贡献视网膜、LGN输入层接收原始像素V1区

简单细胞S层

(特征提取)检测特定的局部特征V1区

复杂细胞C层

(特征整合)获得位置不变性，对微小变形鲁棒V2→V4→IT区更深的

S-C层对特征逐层抽象

(从边->角->部件->物体)IT区(概念神经元)输出层识别整体模式

(如数字、字母)

Neocognitron218.5范式转移：从人工特征到深度学习福岛邦彦：

2021年度鲍尔奖「BowerAwardandPrizeforAchievementinScience」「对于我们这些几十年前学习计算机视觉和神经网络的人来说，福岛邦彦的neocognitron理论打开了对象识别神奇世界的大门。这是一个杰作！」获奖理由：通过发明第一个深度卷积神经网络「Neocognitron」将神经科学原理应用于工程的开创性研究，这是对人工智能发展的关键贡献。鲍尔奖是美国奖金额度最高的科技奖，由富兰克林基金会颁发，每人可获得25万美元及金质奖章。该奖项在1994年曾颁发给杨振宁。NeocognitronReLUReLU

[LeCun,Bottou,BengioandHaffner‘98][Krizhevsky,Sutskever&Hinton‘12][Simonyan&Zisserman‘14][He,Zhang,Ren&Sun‘15]8.5范式转移：从人工特征到深度学习8.5.3深度特征可视化CNN演示238.5范式转移：从人工特征到深度学习卷积神经网络应用于计算机视觉任务时，通常表现为“黑盒子”模型，为了表示和分析每层网络学习的深度特征，可以通过一些可视化方法，对每层的特征进行可视化。可视化例1AlexNet第一层卷积核学到的特征CNN深度特征248.5范式转移：从人工特征到深度学习这些彩色块之所以看起来非常抽象、鲜艳，甚至不像自然图像，是因为它们是高维的数据，无法在二维图像上直接表示出来。这些彩色块也不是特征图，而是“卷积核学到的偏好模式的可视化”，它们展示的是“卷积核最想看到的样子”，因此呈现出高频、伪色彩、强烈纹理的人工视觉结构。CNN深度特征258.5范式转移：从人工特征到深度学习RGB图像的特征在CNN中是怎么样的呢？特征图是网络的“视觉感受”，就是当一张照片输入进去后，网络内部每一层到底“看到”了什么。可视化例2CNN深度特征268.5范式转移：从人工特征到深度学习可视化例3积层示意图和输出特征响应可视化(a)卷积层计算示意图，(b)全部输出特征响应，(c)部分特征响应局部放大显示CNN深度特征本章目录8.5范式转移：从人工特征到深度学习8.6代表性视觉计算深度网络8.7深度学习赋能高级视觉任务8.8视觉计算的现状、伦理与未来1288.6代表性视觉计算深度网络8.6.1LeNet-5：深度学习的前奏LeNet-5是一个非常成功的卷积神经网络模型。基于LeNet-5的手写数字识别系统在90年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5LeNet-5共有7层298.6代表性视觉计算深度网络LeNet-5的核心设计思想局部感受野：通过小尺寸的卷积核（5×5）来提取图像的局部特征（如边缘、角点），这符合视觉皮层的生理学原理，并显著减少了参数数量。权值共享：同一个卷积核在输入图像上滑动，共享参数。这进一步极大地降低了模型的复杂度和过拟合风险。空间降采样（池化）：通过池化层（在LeNet-5中称为“下采样”）逐渐降低特征图的空间分辨率。这不仅能增加后续层对特征位置的鲁棒性，还能有效减少计算量。LeNet-5使用的是平均池化。层次化特征提取：通过“卷积-池化”的交替堆叠，网络能够从底层到高层逐步提取越来越复杂的特征（从边缘->部件->整体模式）LeNet-5308.6代表性视觉计算深度网络LeNet-5对比维度全连接前馈神经网络卷积神经网络连接方式与参数量全局连接，参数量巨大局部连接：卷积核只与输入图像的局部区域相连，感知局部特征。

参数大幅减少：使用小的卷积核（如5×5），在整个图像上共享参数。参数量只与卷积核大小和数量有关，与图像尺寸无关。参数共享不共享：每个连接都有其独立的权重参数。权值共享：同一个卷积核（同一组权重）会滑过整个输入图像。特征不变性难以提取局部不变性特征具有一定程度的平移、缩放和旋转不变性：

核心结构主要由全连接层构成。由卷积层、采样层/池化层

和全连接层

构成。

•

卷积层：负责提取特征。

•

池化层：负责降维和保持不变性。

•

全连接层：位于网络末端，负责最终分类。318.6代表性视觉计算深度网络LeNet-5具有时代局限性计算能力限制：受限于当时的硬件（CPU），训练大型CNN非常缓慢，这限制了网络向更深、更宽方向发展。数据规模限制：大规模标注数据集（如ImageNet）尚未出现，模型主要在相对较小的数据集（如MNIST）上进行训练。算法优化：尚未出现如ReLU、Dropout、BatchNormalization等现代训练技巧，使得训练更深网络的难度很大。LeNet-5328.6代表性视觉计算深度网络8.6.2

AlexNet：深度学习的“引爆点”2012ILSVRCwinner（Top5errorof16%comparedtorunner-upwith26%error）被誉为第一个现代深度卷积网络模型

首次使用了很多现代深度卷积网络的一些技术方法；使用GPU进行并行训练，采用了ReLU作为非线性激活函数，使用Dropout防止过拟合，使用数据增强。5个卷积层、3个汇聚层和3个全连接层AlexNet338.6代表性视觉计算深度网络AlexNet与ImageNet挑战赛AlexNet在ImageNet上的基本训练流程AlexNet348.6代表性视觉计算深度网络8.6.3VGG-Net：探索网络的深度VGG-Net是由牛津大学视觉几何组（VisualGeometryGroup，VGG）于2014年提出的深度卷积神经网络(Simonyan,K.etal,2014)其核心设计哲学是：通过堆叠小型（3×3）卷积核来构建一个更深的、结构统一的网络，从而提升模型性能。VGG最显著的特征是全面采用3×3的小卷积核，取代了AlexNet等早期网络中的大卷积核。VGG-Net358.6代表性视觉计算深度网络8.6.4GoogLeNet：探索网络的宽度与效率著名的GoogleNet（或Inception-v1），由Google研究人员在2014-2015年间提出，并参加ILSVRC14比赛，在图片分类和检测任务中取得最好成绩(C.Szegedy

etal,2015)。它引入了一种革命性的网络设计思路—Inception模块，其核心思想是在网络的同一层中并行地执行多种不同尺度的卷积和池化操作，然后将所有结果在通道维度上进行拼接。GoogleNet中的一个重要创新之处是引入了1×1卷积。此处需注意，1×1卷积特指一种特殊卷积，它不是作用在空间相邻像素领域，而是作用在特征通道维度。图展示了使用1×1卷积核与3个输入通道和2个输出通道的卷积运算。GoogLeNet368.6代表性视觉计算深度网络在Inception网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception模块。Inception模块同时使用1×1、3×3、5×5等不同大小的卷积核，并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射。GoogLeNet378.6代表性视觉计算深度网络

GoogLeNet

网络结构如图所示，一共使用9个Inception块和全局平均汇聚层来生成其分类概率值，图中标识了每个块的输出通道数。Inception块之间的最大汇聚层可降低维度。第一个模块类似于AlexNet和LeNet，Inception块的组合从VGG继承，全局平均汇聚层避免了在最后使用多个全连接层，大大减少模型参数，网络大小只有VGG的1/20左右)。但是GoogLeNet模型的计算复杂，而且不如VGG那样便于修改通道数。GoogLeNet388.6代表性视觉计算深度网络8.6.5ResNet：突破深度瓶颈2015ILSVRCwinner（152层）错误率：3.57%其核心设计哲学是：与其让堆叠的神经网络层直接学习一个潜在的目标映射，不如让它学习这个映射与输入x之间的残差。最终的输出为ResNet398.6代表性视觉计算深度网络包含以及不包含1×1卷积层的残差块基本块（左）和瓶颈块（右）结构ResNet8.6.5ResNet：突破深度瓶颈408.6代表性视觉计算深度网络ResNet-18结构图ResNet418.6代表性视觉计算深度网络稠密连接网络（DenseNet）ResNet428.6代表性视觉计算深度网络8.6.6视觉Transformer：架构的变革2020年Google团队提出了一种将Transformer应用在图像分类的模型(DosovitskiyA,2021)，即视觉Transformer（ViT）Transformer本章目录8.5范式转移：从人工特征到深度学习8.6代表性视觉计算深度网络8.7深度学习赋能高级视觉任务8.8视觉计算的现状、伦理与未来1448.7深度学习赋能高级视觉任务8.7.1图像分类核心任务是让计算机回答一个基本问题：“这张图片是什么？”即，为输入图像分配一个正确的类别标签（如“猫”、“汽车”）。在深度学习技术成熟之前，图像分类主要依赖“手工特征”。经典的算法——视觉“词袋模型”（BagofWords），其过程可以形象地理解为“视觉拼图”：

（1）寻找碎片：使用如SIFT的算法从图像中提取大量关键局部特征。

（2）归类碎片：将这些特征聚类，形成一本“视觉单词字典”。（3）统计与比对：对新图像，统计其中各类“视觉单词”的出现频率，形成一个分布直方图，并通过分类器与训练图像的分布进行比较，从而判断类别。卷积神经网络（CNN）

的兴起带来了革命性变化。它实现了“端到端学习”—直接将原始像素输入网络，模型便能通过多层卷积和池化操作，自动从海量数据中学习从简单的边缘、纹理到复杂的物体部件等层次化特征。图像分类458.7深度学习赋能高级视觉任务基于ImageNet等大型数据库训练的模型，能够直接输出图像中包含的物体类别及置信度。这相当于让计算机通过“观察”无数图片自己总结规律，实现了识别精度的质的飞跃。Pascal数据集和ImageNet数据集图像分类示意图图像分类468.7深度学习赋能高级视觉任务8.7.2物体检测物体检测则要解决一个更复杂的问题：“图片里有什么？它们分别在什么位置？”

这项任务的目标不仅是识别出图像中所有感兴趣的物体，还要用边界框精确地标出它们的位置。R-CNN(Region-basedConvolutionalNetworkmethod)

及其快速算法等(R.Girshick2014,2015)是里程碑式的代表。

一个“先猜想，后验证”的智能流程(三部曲)：

（1）生成“猜想框”：首先，使用如“选择性搜索”的算法，快速扫描整张图像，找出可能包含物体的“候选区域”。

（2）精细识别：然后，将每个候选区域缩放成统一尺寸，逐一送入一个训练好的卷积神经网络（CNN）中提取深度特征。

（3）最终判定：最后，利用分类器（如SVM）根据提取的特征判断框内物体的类别，并同时对边界框的位置进行微调，使其更精确。物体检测478.7深度学习赋能高级视觉任务YOLO-V1到YOLO-V12演化历程(NidhalJegham,2025)物体检测8.7.2物体检测48

图像分类、目标定位、分割等任务的区别8.7深度学习赋能高级视觉任务图像分类498.7深度学习赋能高级视觉任务8.7.3语义->实例->全景分割分割任务的目标是让模型理解一张图像中每个像素属于什么对象或区域，从而获得更加细致的场景信息。语义-实例-全景分割508.7深度学习赋能高级视觉任务语义分割的目标是为图像中的每一个像素都分配一个语义类别标签（如“行人”、“汽车”、“天空”）。经过语义分割后，图像被转换为一张彩色编码图，其中同一种颜色代表同一种语义类别。核心思想：从“是什么”到“每一个像素属于什么”挑战在于，它需要在保留图像原始空间结构的同时，完成密集的像素分类。这要求模型不仅要有强大的特征提取能力，还要能将抽象的特征信息恢复成高分辨率的分割图。深度学习可以通过

“编码器-解码器”

架构完美地解决了这一难题。（1）语义分割使用SegNet进行语义分割语义分割518.7深度学习赋能高级视觉任务语义分割示意图语义分割（1）语义分割528.7深度学习赋能高级视觉任务实例分割追求对场景中每个独立物体的"实例级感知"。它不仅要回答"这个像素属于什么类别"，更要明确区分"这个像素属于哪一个具体的物体"。核心任务：融合语义与身份的双重识别。实例分割需要同时完成两个关键目标：（1）语义分割：将图像中的每个像素划分到特定的语义类别中，如"人"、"车"、"狗"等。（2）实例区分：对属于同一语义类别的不同个体进行精确区分。例如，在有多人的场景中，不仅要识别出所有"人"的像素，还要明确区分出哪些像素属于"人物A"，哪些属于"人物B"。实例分割的输出是为图像中的每个物体实例生成一个精确的像素级掩码，并为每个实例赋予一个唯一的标识符。（2）实例分割实例分割538.7深度学习赋能高级视觉任务实例分割的实现方法通常需要实现从"检测"到"分割"的融合。最具代表性的实例分割框架是

MaskR-CNN(K.He,2017)，它巧妙地结合了目标检测与语义分割的思想，其流程可以概括为"先定位，后精绘"。

MaskR-CNN实例分割框架图(K.He,2017)实例分割（2）实例分割548.7深度学习赋能高级视觉任务

实例分割示意图实例分割558.7深度学习赋能高级视觉任务全景分割(PanopticSegmentation)：创建一个"无所不包"的视觉理解框架，实现对场景的完整、统一解析(K.Kirillov,K.He,etal.2019)，同时区分“可数的物体”与“不可数的材质”（1）"Things"（可数物体）：指那些具有明确形状和边界、可被计数的实体，如人、车辆、动物等。这是实例分割所关注的对象。（2）"Stuff"（不可数材质）：代表那些无固定形状、覆盖大面积区域的材质或环境元素，如天空、道路、草地、墙壁等。这是传统语义分割的主要处理对象。全景分割的核心使命，是为图像中的每一个像素同时分配：一个语义标签：指明这个像素"是什么"，例如，人、车、树、天空。一个实例ID：如果属于可数物体，则区分不同个体；如果属于不可数材质，则实例ID为空（3）全景分割全景分割568.7深度学习赋能高级视觉任务全景分割框架示意图全景分割示意图全景分割（3）全景分割578.7深度学习赋能高级视觉任务8.7.4实例识别在物体识别领域，存在两种不同层级的认知任务：实例识别与类别识别。这两者的区别好比是辨认"某个特定的人"与识别"人"这个物种——前者要求精确到个体，后者则只需归类到群体。同时实例分割和实例识别的区别在于：实例分割是基础感知任务，旨在“看清”场景中有哪些独立物体并勾勒其形状。实例识别是高级认知任务，旨在“看懂”这个物体是谁，需要记忆和比对。实例识别的核心任务是：在杂乱的场景中，准确辨认出某个已知的特定物体。在杂乱的场景中识别物体，左侧为数据库中的两个训练图像，使用SIFT特征与中间杂乱的场景相匹配，右图中的平行四边形表示每个已识别的数据库图像在场景上的仿射扭曲实例识别588.7深度学习赋能高级视觉任务8.7.5场景描述场景描述，也称为图像描述或图像字幕（ImageCaption），是计算机视觉领域一项集大成的任务，它跨越了视觉与语言的界限，旨在让机器实现真正的“视觉理解”。其核心目标不仅是让计算机“看到”图像中的内容，更要让它能像人类一样，用一句自然、通顺的语言将视觉内容概括并描述出来(O.Vinyals,2015)场景描述本章目录8.5范式转移：从人工特征到深度学习8.6代表性视觉计算深度网络8.7深度学习赋能高级视觉任务8.8视觉计算的现状、伦理与未来1608.7深度学习赋能高级视觉任务最核心的挑战，莫过于所谓的“语义鸿沟”。计算机“看到”的，是一个由数字构成的矩阵，其中充满了像素、颜色和纹理的数值。而人类看到的，是一个充满意义的世界：我们不仅能认出物体，还能理解场景的故事、体会图像的情感、洞察人物的意图。这种从底层数值特征到高层语义理解之间的巨大断层，就是语义鸿沟。（1）语义鸿沟：无法跨越的认知天堑？挑战性618.8视觉计算的现状、伦理与未来在现实世界中，一个物体绝不会以完全相同的模样出现两次。光照的变化会改变其颜色和阴影；视角的移动会扭曲其形状；部分遮挡则会使其变得残缺不全。然而，人类能够轻而易举地忽略这些变化，直