3第三章卷积神经网络进阶-1

卷积神经网络进阶主讲：时间：目录CONTENTS01卷积神经网络基础02经典卷积神经网络架构03新颖卷积神经网络架构04图像分类、目标检测与语义分割DEEPSEEKYOUR

LOGO

人工智能语言模型AIPARTONEYOUR

LOGO

DEEPSEEK卷积神经网络基础深度学习通识教程卷积神经网络的生物学机理

卷积神经网络（CNN），通过模拟人类视觉系统的机制，通过局部感受野、权重共享和多层特征提取机制，逐步捕捉空间层级结构中的有用特征。1962年大卫·休伯尔）和托斯登·威塞尔对猫视觉皮层的研究，首次提出“感受野”的概念。感受野（receptivefield）：感受器受刺激兴奋时，通过感受器官中的向心神经元将神经冲动（各种感觉信息）传到上位中枢，一个神经元所反应（支配）的刺激区域。卷积神经网络卷积神经网络的生物学机理生物视觉系统的信息处理流程V1——简单特征（如边缘、线条、方向等）V2——

基本的形状V4——

理更复杂的形状和颜色等高阶特征IT——

识别复杂的物体和面孔低层特征（V1，边缘和线条）：卷积神经网络的第一层卷积层类似于V1，只能检测简单的边缘和线条等低层特征。中层特征（V2、V4，形状和物体）：卷积神经网络的中间卷积层类似于V2、V4，开始组合简单的特征形成复杂的形状，能够识别形状和物体。高层特征（IT，面孔）：卷积神经网络的深层卷积层则类似于IT，可以识别具体的对象，如面孔。识别过程类似于大脑将边缘和线条、形状、物体等特征逐层汇总，形成对对象的完整理解。CNNDeepSeek的发展历程

卷积运算和卷积核、偏置项、非线性激活层、感受野、填充和步幅、多输入/输出通道和批量操作是卷积层重要的概念，它们决定了卷积操作的输出大小、特征捕捉范围和模型的表达能力。卷积运算和卷积核卷积运算的基本过程：（1）放置卷积核在图像的左上角。（2）计算加权和：将卷积核中每个元素和图像中对应位置的元素相乘，然后对这些乘积求和。（3）移动卷积核：将卷积核向右移动一个步幅，重复计算，直到扫描完整张图像，最终得到特征图。

卷积运算的特性：（1）局部连接：卷积核在图像上滑动时，每次仅关注一个小的局部区域，这种局部连接帮助模型关注图像的细节特征。（2）参数共享：同一个卷积核在整张图像上重复使用，相同的卷积核参数被共享，不同位置的图像信息得到一致的处理。这大大减少了参数量，使得模型更易于训练，并减少了计算成本。卷积层偏置项为了能够更好地拟合数据，在卷积神经网络中，卷积运算还包括加上偏置项的操作。假设偏置项为2，则上述卷积运算的结果0×1+1×2+2×4+3×5+2=270×21×3+2×5+3×6+2=330×41×5+2×7+3×8+2=450×51×6+2×8+3×9+2=51非线性激活层非线性激活层是赋予模型非线性能力的关键组件。卷积操作本质上是一种线性变换，神经网络无论堆叠多少卷积层，仍为一个线性模型，无法有效拟合复杂的非线性数据分布。然而，激活函数的引入赋予了神经网络强大的非线性表达能力，使其能够学习和逼近任意复杂的函数映射关系。卷积运算生成的特征图通常会经过非线性激活函数进行映射。常用的激活函数是ReLU，它将负值置为0，同时保留正值。这种非线性映射使得模型可以处理更复杂的非线性数据模式，从而提升表达能力。卷积层感受野感受野是指卷积神经网络某一层的一个神经元对应到输入图像的区域大小。感受野反映了神经元能够捕捉到的输入图像的范围。感受野越大，网络能够捕捉到的全局信息越多，越容易识别复杂的模式。局部感受野像聚焦于物体的细节，全局感受野则整体观察物体的全貌。

卷积层填充和步幅填充是指在输入的边缘补充额外的值，以控制卷积输出特征图的尺寸。

卷积层多输入/输出通道和批量操作

卷积层多输入/输出通道和批量操作

AIPARTTWOYOUR

LOGO

DEEPSEEK经典卷积神经网络深度学习通识教程LeNet-5LeNet-5是由杨立昆等人在1998年提出的，用于手写数字识别任务（主要基于MNIST数据集）。它是现代卷积神经网络的奠基之作，也是第一个成功应用于实际任务的卷积神经网络。层级类型输入大小输出大小参数量1卷积层C132×32×128×28×66×(5×5)+6=1562池化层S228×28×614×14×663卷积层C314×14×610×10×1616×6×(5×5)+16=24164池化层S410×10×165×5×16165全连接层C5400120400×120+120=481206全连接层F612084120×84+84=101647输出层841084×10+10=850AlexNetAlexNet是由亚历克斯·克里泽夫斯基等人在2012年提出的卷积神经网络架构，是深度学习在计算机视觉领域的一个重大突破。AlexNet在ILSVRC2012中以巨大的优势赢得冠军（错误率从约26%降至约15%），标志着深度学习从学术研究迈向实际应用。VGGVGG是由牛津大学的视觉几何组（VisualGeometryGroup，VGG）在2014年提出的一种卷积神经网络架构。VGG在ILSVRC2014中取得了亚军，并为后续深度网络的发展奠定了基础。其提出者卡伦·西蒙尼扬（KarenSimonyan）和安德鲁·西塞曼（AndrewZisserman）强调了通过堆叠小卷积核来构建深层网络的重要性。VGG的核心思想包括小卷积核的堆叠，更深、更规则的网络结构，以及固定的卷积核和池化策略。AIPARTTHREE2024年1月5日，发布DeepSeekLLM（深度求索的第一个大模型）

。1月25日，发布DeepSeek-Coder

。2月5日，发布DeepSeekMath。

3月11日，发布DeepSeek-VL

。5月7日，发布DeepSeek-V2

。YOUR

LOGO

DEEPSEEK新颖卷积神经网络深度学习通识教程ResNetResNet是由微软研究院的何恺明等人在2015年提出的深度卷积神经网络架构。它在ILSVRC2015中取得了冠军，标志着深度学习领域的一次重大突破。ResNet解决了深层网络训练困难的问题，使得神经网络能够构建超深（甚至超过1000层）的结构，显著提高了模型的性能和表达能力。网络加深·梯度消失和梯度爆炸·退化问题·残差块·跳跃链接提出普通映射与残差映射ResNet基本残差块与瓶颈残差块的对比基本残差块与瓶颈残差块的处理过程InceptionInceptionv1（也称为GoogLeNet）是由谷歌团队于2014年在论文“GoingDeeperwithConvolutions”中提出的一种深度卷积神经网络架构。这一网络在ILSVRC2014中取得了冠军，标志着深度学习领域进一步的发展。卷积神经网络在发展中面临两个主要挑战：如何增加网络深度和宽度来提高性能；如何减少计算量和参数量，使网络可以高效地运行。Inceptionv1通过设计Inception模块来应对以上挑战。DenseNetDenseNet是由黄高等人于2017年在论文“DenselyConnectedConvolutionalNetworks”中提出的一种创新型深度卷积神经网络。DenseNet设计了一种密集连接（DenseConnectivity）的结构，解决了深度网络中的信息流动问题，同时减少了参数量，提升了网络的训练效率和准确率。DenseNet中的密集连接，进一步优化了信息流动和特征复用，极大地提高了网络的性能。密集连接是指在网络中，任意一层的输入是前面所有层的输出的集合。一个5层密集块示意（增长率k=4）DenseNet的核心创新在于引入密集连接，使每一层都直接与之前所有层相连，实现了特征复用和高效的信息流动。DenseNet参数量更少，训练效率更高，广泛应用于计算机视觉领域的多项任务。MobileNetMobileNet是谷歌在2017年提出的一种轻量级卷积神经网络，专为移动端设备和嵌入式设备设计，目标是在计算资源有限的情况下高效执行图像分类、目标检测和语义分割等任务。MobileNet引入了深度可分离卷积，大幅减少参数量和计算量，同时具有较高的性能。（1）参数量大：这些网络包含大量的参数，导致模型过于庞大。（2）计算开销高：计算资源有限，很难运行大型网络。（3）无法实时处理：复杂网络的推理速度慢，难以满足实时应用的需求。（1）深度卷积：每个卷积核在单个输入通道上独立滑动。（2）逐点卷积：使用1×1卷积将不同通道的信息进行线性组合。传统的卷积神经网络（如VGG、ResNet等）MobileNetEfficientNet增加网络深度容易导致梯度消失，训练变得困难；增加网络宽度会使参数量增多，容易出现过拟合；增加输入分辨率会使计算量大幅增加。复合缩放（CompoundScaling）策略，同时对网络的深度（depth）、宽度（width）和输入的分辨率（resolution）进行均衡缩放EfficientNet是谷歌大脑的研究人员于2019年在论文“EfficientNet:RethinkingModelScalingforConvolutionalNeuralNetworks”中提出的一种高效卷积神经网络架构。其核心目标是在有限的计算资源下，通过一种高效的模型缩放策略，在降低参数量和计算量的同时提高网络性能。全局缩放因子ɸ来控制深度、宽度和分辨率的缩放比例：EfficientNet是深度学习模型设计中效率与性能平衡的代表作。其核心创新在于通过复合缩放策略，统一缩放网络的深度、宽度和输入的分辨率，实现更优的性能与效率。它基于MBConv模块和SE注意力机制，在减少参数量的同时保证高性能。ConvNeXtConvNeXt是由FacebookAIResearch（FAIR）于2022年在“AConvNetforthe2020s”中提出的一种现代卷积神经网络架构。（1）Transformer结构具备高度的灵活性，能够通过全局注意力机制捕获长距离的依赖关系，在高分辨率图像任务中表现尤为出色。（2）Transformer结构更易于在现代硬件（如GPU和TPU）上进行并行计算，具备更强的硬件适应性和优化潜力。（3）传统深度卷积神经网络的设计存在一定的局限性，在性能提升方面遇到瓶颈。（1）保留卷积操作在局部特征提取和参数优化效率方面的优