Python与人工智能编程-基础与实验 课件 实验18、19 卷积神经网络的简介及应用、网络数据爬取

卷积神经网络的简介及应用实验18课程学习目标理解卷积神经网络（ConvolutionalNeuralNetwork，CNN）的基础知识。掌握如何使用PyTorch构建和训练CNN模型。CNN简介CNN分为输入层、卷积层、池化层、全连接层、输出层。CNN基本结构接收原始输入数据，定义数据形状和类型，无处理。输入层使用可学习滤波器提取特征，后接ReLU激活函数增加非线性。卷积层降低特征图空间尺寸，减少参数和计算复杂性，增强位置变化鲁棒性。池化层根据提取特征做出决策或分类，每个神经元与前一层全连接。全连接层输出最终分类或预测结果，多分类使用softmax函数转换为概率分布。输出层010203040506CNN的应用实例CNN的应用领域CNN在图像分类、物体检测、图像分割等领域有广泛应用，能自动学习图像特征。本节实验通过构建和训练CNN处理CIFAR-10数据集，深入理解CNN工作原理，学习PyTorch框架。1.导入库导入TensorFlow,NumPy等库，为CNN实验做准备。此外，使用代码检查GPU是否可用，优先使用GPU加速计算。2.准备数据特征描述数据集名称CIFAR-10数据集类型计算机视觉数据集图像数量60,000张（50,000张训练图像和10,000张测试图像）图像尺寸32x32像素（彩色图像）类别数量10个类别类别标签飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车每类图像数量每个类别均包含6,000张图像用途机器学习算法测试和图像分类研究难度挑战性高，因为类别间相似性较大下载链接/~kriz/cifar.html1CIFAR-10数据集是一个用于机器学习算法测试和图像分类研究的重要资源，包含10个类别，每个类别6,000张图像，共计60,000张图像。2该数据集在计算机视觉和机器学习领域具有重要的应用价值，由于类别间相似性较大，它为研究者提供了一个具有挑战性的测试平台。2.准备数据使用以下代码导入及加载CIFAR-10数据集2.准备数据定义了一个imshow()函数从训练集中随机获取一些的图片，并显示。3.定义CNN模型层的名称层的参数层的功能第一个卷积层in_channels=3,out_channels=6,kernel_size=5第一个卷积层，使用5x5的卷积核从RGB图像中提取特征第一个池化层kernel_size=2,stride=2池化层，使用2x2的窗口进行最大池化，以减少特征维度第二个卷积层in_channels=6,out_channels=16,kernel_size=5第二个卷积层，进一步提取特征并增加输出通道数第一个全连接层in_features=1655,out_features=120第一个全连接层，将卷积层输出的二维特征图展平为一维向量第二个全连接层in_features=120,out_features=84第二个全连接层，进一步处理特征第三个全连接层in_features=84,out_features=10第三个全连接层，输出最终的分类结果（10个类别）定义了一个典型的CNN模型结构，包含卷积层、池化层和全连接层，用于处理图像数据。3.定义CNN模型定义CNN模型的步骤：3.定义CNN模型代码示例如下：4.训练模型使用交叉熵损失函数和SGD优化器来训练模型。训练该模型的步骤如下：4.训练模型模型训练的代码和结果如图。模型在训练过程中每经过2000个小批量数据后的平均损失值。可以看到随着训练的进行，损失值逐渐下降，模型在逐步学习和优化，这表明模型的训练是成功的。5.评估模型模型训练的代码和结果如图。从结果可以看出，这个模型在测试数据集上的表现尚有改进空间，56.93%的准确率，表明模型对数据的分类还不够理想，可能需要进一步优化模型架构、调整超参数、增加训练数据或改进数据预处理方法。6.保存和加载模型保存模型：使用torch.save(net.state_dict(),PATH)将模型参数保存到文件。加载模型：使用net.load_state_dict(torch.load(PATH))从文件中加载模型参数。本节实验作业1.定义一个简单的CNN,包含一个卷积层后接一个池化层和一个全连接层。

2.创建形状为(1,1,28,28)的随机输入张量并通过CNN传递。打印输出张量的形状。具体操作请查看视频教程长短期记忆网络的简介及应用实验19课程学习目标理解长短期记忆网络（LongShort-TermMemory，LSTM）的基础知识。掌握如何使用PyTorch构建LSTM模型来处理时间序列数据。LSTM简介LSTM基本结构LSTM由遗忘门、输入门、单元状态和输出门组成，解决传统RNN在处理长序列数据时的梯度消失和梯度爆炸问题。LSTM工作原理通过门控机制控制信息流动，遗忘门决定保留多少旧信息，输入门决定添加多少新信息，输出门决定输出多少信息。LSTM应用领域广泛应用于自然语言处理、语音识别、时间序列预测等领域，有效处理长期依赖信息。LSTM简介组件名称功能输入操作输出遗忘门决定丢弃哪些信息Sigmoid函数计算遗忘因子（介于0与1之间）输入门决定存储哪些新信息Sigmoid函数确定更新哪些信息，tanh层产生新的候选值向量更新向量单元状态更新和存储长期信息输出门根据单元状态决定输出什么LSTM的应用实例本节通过构建和训练一个LSTM模型来预测时间序列数据中的旅行乘客人数。实验中使用了前132个月的乘客数据进行模型训练，并预测接下来的12个月的乘客数量。安装seaborn库在实验开始前需要打开AnacondaPrompt进入自己创建的虚拟环境（pytorch_env）中安装seaborn库。1.导入库seaborn库安装完成后打开JupyterNotebook导入实验所需的库。2.准备数据该数据集包含年度、月份和乘客数量的信息。运行结果显示了从1949年到1960年的航班乘客人数数据，总共有144条记录，每条记录包含3个列（年份、月份和乘客人数）。2.准备数据使用Matplotlib库绘制了“flights”数据集中乘客人数的时间序列图。图表显示了从1949年到1960年每月的乘客数量，数据呈现出明显的上升趋势，反映了随着时间推移乘客数量的持续增长以及周期性的波动。2.准备数据将数据分为训练集（前132月）和测试集（最后12月），训练数据归一化到[-1,1]。数据预处理01数据转换为PyTorch的FloatTensor格式。数据格式转换02定义函数create_inout_sequences，输入序列为12个月乘客人数，标签为第13个月乘客人数。创建输入序列和标签03输出前5个生成的输入序列和标签对，用于模型训练。输出前5个序列和标签对043.定义LSTM模型定义LSTM模型，继承自nn.Module，包含LSTM层和全连接层。LSTM模型定义LSTM层输入大小1，隐藏层大小100，输出大小1。LSTM层参数输入序列经LSTM层和全连接层，输出最后一个时间步预测值。前向传播使用平滑L1损失函数，Adam优化器，学习率0.001。损失函数与优