深度学习与大模型 课件 第4章 卷积神经网络与计算机视觉

第4章卷积神经网络与计算机视觉

4.1卷积神经网络的基础概念4.2卷积层、池化层与全连接层4.3CNN在图像分类中的应用4.4迁移学习与预训练模型4.5卷积神经网络的优化卷积神经网络的基础概念4.1卷积操作

1.核心原理：3×3/5×5卷积核在图像上滑动，与对应像素块加权求和，生成特征映射（如图4-1）

2.关键参数：

（1）卷积核大小：影响感受野（尺寸越大，全局特征越好，但计算量激增0）

（2）步长：滑动像素数（步长＞卷积核尺寸易遗漏像素）

（3）填充：边界补零，避免卷积后尺寸缩小（如图4-2）卷积核与特征提取

1.卷积核特性：奇数尺寸（3×3/5×5），确保中心与像素对齐

2.特征提取示例：

（1）垂直边缘：用特定权重卷积核（如图4-3），边缘区域输出值大，平坦区域小

（2）水平边缘：用另一组权重卷积核（如图4-4）

（3）平滑去噪：高斯卷积核（中心权重高，向四周递减）卷积层、池化层与全连接层4.2池化层1.两种类型：

（1）最大池化：取子区域最大值，保留显著特征（边缘、角点）（2）平均池化：取子区域平均值，保留整体特征，减少噪声

2.核心作用：

（1）降维：缩小特征图尺寸，减少后续计算量（2）防止过拟合：增强对图像平移、缩放的鲁棒性全连接层1.结构特点：每层神经元与上一层所有神经元连接，通过权重矩阵实现

2.核心作用：

（1）整合特征：将卷积/池化的分散特征，转化为固定长度向量

（2）分类决策：输出经Softmax转为类别概率（如手写数字识别输出0-9的概率）

3.与其他层区别：卷积层提取局部特征、共享权重；全连接层全局连接，参数多易过拟合CNN在图像分类中的应用4.3常用数据集1.数据加载（PyTorch示例）：用torchvision加载CIFAR-10，DataLoader整理成批次

2.预处理关键操作：

（1）归一化：将像素值缩至[0,1]或[-1,1]，加速收敛

（2）数据增强：随机裁剪、水平翻转，增加数据多样性

3.格式转换：用ToTensor()将图像转为(batch_size,channels,height,width)格式的张量图像分类流程与数据预处理1.模型结构：2卷积层+2池化层+2全连接层（Conv→ReLU→Pool→Conv→ReLU→Pool→FC→ReLU→FC）

2.训练配置：

（1）损失函数：CrossEntropyLoss（多分类）

（2）优化器：SGD（lr=0.001，momentum=0.9）

（3）训练流程：遍历数据→清零梯度→前向传播→计算损失→反向传播→更新参数

构建CNN分类模型迁移学习与预训练模型4.41.原理：利用在一个或多个源任务上已经学习到的知识和经验，来加速和改进目标任务的学习过程。这些源任务通常是在大规模、多样化的数据集上进行训练的，例如，在ImageNet数据集上进行图像分类训练的模型。通过迁移学习，可以将源任务中模型学习到的通用特征，如边缘、纹理、形状等，应用到目标任务中。

2.优势：减少标注数据需求、缩短训练时间、提升泛化能力

迁移学习核心

常用预训练模型1.微调步骤：替换预训练模型输出层→用目标数据小学习率训练

2.冻结策略：冻结底层卷积层（保留通用特征），仅训练顶层/新增层

3.选择依据：目标与源任务相似→多冻结；差异大→少冻结；计算资源有限→多冻结

微调与冻结层策略1.目标检测核心：同时输出目标类别、边界框位置、置信度，应用于安防、自动驾驶、医学影像等

2.YOLO（1）创新点：将检测转为回归问题，S×S网格预测B个边界框+类别概率，一次前向传播出结果（实时性强）

（2）输出维度：S×S×(B×5+C)（如PASCALVOC：7×7×30）

（3）结构：骨干网络（特征提取）+检测头（边界框/类别预测）

目标检测与YOLO卷积神经网络的优化4.51.常用方法：

（1）翻转：水平/垂直翻转

（2）旋转：90°/180°/任意角度（3）缩放：放大/缩小

（4）其他：随机裁剪、加噪声、调亮度

2.核心作用：

增加数据多样性，提升模型泛化能力

数据增强1.Dropout：

（1）原理：训练时随机丢弃部分神经元，打破协同适应

（2）应用：多用于全连接层，部分用于卷积层后

2.BatchNormalization：增加数据多样性，提升模型泛化能力

（1）原理：对每批次输入归一化，解决内部协变量偏移

（2）作用：加速收敛，提升模型稳定性正则化方法1.学习率调整：

（1）指数衰减：Yt=Y0*e^(-kt)

（2）阶梯衰减：指定轮次降低学习率（如每10epoch×0.1）

2.优化器选择：增加数据多样性，提升模型泛化能力

（1）SGD：基础优化器，适合简单模型

、小数据

（2）Adam：结合Adagrad+RMSProp，自适应学习率，适合复杂模型

、大数据学习率与优化器1.YOLOv8优化：

（1）结构：C3模块→C2f模块（轻量化），SPPF模块微调

（2）训练