人工入门智能基础 7

第4章深度学习

目录01深度学习概述02神经网络基础03深度学习的工作流程04深度学习框架及应用1深度学习概述01深度学习概述02神经网络基础03深度学习的工作流程04深度学习框架及应用什么是深度学习？▍核心定义深度学习（DeepLearning,DL）是机器学习的重要分支，它构建并使用深层神经网络来学习数据的多层次非线性变换。其本质是特征表征学习(RepresentationLearning)，即让计算机自动从原始数据中学习如何提取有用的特征。自动特征提取模型直接从原始数据中学习分层特征，无需人工繁琐设计，打破了传统机器学习对特征工程的依赖。端到端(End-to-End)学习通过反向传播算法，将“数据输入-特征提取-结果输出”的整个过程整合为单一的训练流程，优化端到端的映射关系。深度学习=深层神经网络+海量数据+强大算力1深度学习概述深度学习的发展历程思想源头20世纪中叶·理论雏形受人脑神经元结构启发，科学家们首次提出了神经网络的数学模型与理论雏形。关键技术突破20世纪80年代·训练可行反向传播算法(BP)的提出，有效解决了多层网络的权重更新问题，为神经网络的实用化训练提供了核心途径。复兴与爆发21世纪·算力与数据驱动GPU算力与海量数据双轮驱动；2012年AlexNet夺冠ImageNet，正式拉开了深度学习爆发的序幕。架构持续演进百花齐放·模型复杂化从浅层网络向深层网络发展，涌现出CNN、RNN、LSTM、Transformer等多样化的复杂网络架构。1深度学习概述1深度学习概述深度学习的地位与作用2神经网络基础01深度学习概述02神经网络基础03深度学习的工作流程04深度学习框架及应用2神经网络基础神经网络（NeuralNetwork,NN）是由大量神经元相互连接而成的复杂系统。根据神经元的连接方式和网络结构，可以将神经网络分为不同的类型，每种类型都有其独特的特点和适用场景。单层神经网络人类的神经元结构2神经网络基础典型的多层神经网络模型结构生物神经元启发深度学习中的神经元模型抽象自生物神经元，完美模拟了其接收、处理和传递信息的生物过程。树突Dendrite

负责接收外界传入信号细胞体Soma

整合并处理输入的信号人工神经元模型(M-PModel)加权求和

接收多输入信号，按权重进行线性叠加计算。非线性激活

通过激活函数引入非线性，决定最终的输出信号。2神经网络基础深度学习=表示学习+浅层学习2神经网络基础常见的激活函数为什么需要激活函数？如果没有激活函数，无论多少层神经网络，其输出都只是输入的线性组合，无法学习复杂的非线性模式。激活函数的核心作用就是为网络引入非线性表达能力。Sigmoid经典S型曲线，值域(0,1)。常用于输出层做概率预测，但在深层网络中易发生梯度消失。Tanh双曲正切函数，值域(-1,1)。输出以0为中心，收敛速度比Sigmoid更快，但仍存在梯度消失问题。ReLU线性整流函数，计算极快。有效缓解了梯度消失，是目前卷积神经网络(CNN)中应用最广泛的激活函数。LeakyReLUReLU的改进版。为负值区间赋予了微小的斜率，从而有效解决了“死亡ReLU”（神经元不更新）的问题。2神经网络基础卷积神经网络核心思想：降参提效利用图像的局部相关性与空间不变性，通过稀疏连接和权值共享大幅减少网络参数，提升训练与运行效率。两大核心层级机制•卷积层：使用卷积核扫描提取局部特征（边缘、纹理）。•池化层：对特征图降维采样，减少参数并增强鲁棒性。里程碑式经典架构从早期的LeNet，到AlexNet、VGG，再到GoogLeNet与ResNet。2神经网络基础卷积操作池化操作2神经网络基础典型的循环神经网络LSTM结构核心思想：记忆与循环RNN最大的特点是具有循环连接，这使其能够“记忆”之前的历史信息，并将其带入当前的计算中。因此，它特别适合处理具有强时间序列关系的数据，如文本、语音、股价趋势等。演进：从RNN到LSTM⚠️传统痛点：处理长序列时，极易发生梯度消失，导致模型无法学习到长距离的依赖关系。✨LSTM改进：引入精巧的门控机制（遗忘/输入/输出门），动态管理信息流，完美解决长期依赖问题。循环神经网络(RNN)处理序列数据的利器2神经网络基础LSTM机构核心创新：AttentionisAllYouNeed2017年由Google提出，彻底抛弃了RNN和CNN循环/卷积结构，仅依赖自注意力机制(Self-Attention)实现序列建模。核心原理：全局依赖关系建模允许模型在处理序列时，直接计算任意两个位置之间的依赖关系权重，打破了传统模型的距离限制。技术优势：大模型的通用底座•并行计算：训练速度显著优于RNN；•长距捕捉：天然擅长处理长文本依赖；•可扩展性：GPT/BERT等SOTA模型的统一架构。Transformer-现代大模型的基石3深度学习的工作流程01深度学习概述02神经网络基础03深度学习的工作流程04深度学习框架及应用3深度学习的工作流程深度学习很简单……深度学习标准工作流程01数据准备DATAPREPARATION数据是深度学习的燃料，其质量和数量直接决定模型性能上限。02模型构建与训练MODELBUILDING&TRAINING设计网络结构，定义损失函数，选择优化器进行训练。03模型评估与优化MODELEVALUATION&OPTIMIZATION使用测试集评估模型性能，并进行参数调优提升精度。04模型部署与应用MODELDEPLOYMENT&APPLICATION将训练好的模型部署到生产环境中，解决实际业务问题。3深度学习的工作流程第一步：数据准备数据收集与预处理01/数据收集(Collection)从公开数据集(Kaggle等)、企业内部业务数据或通过网络爬虫等渠道，获取项目所需的原始数据。02/数据预处理(Preprocessing)•清洗：去除噪声、填补缺失值、删除异常值。

•转换：将非结构化数据转为张量(Tensor)格式。

•标准化：归一化/标准化处理，统一数据量纲。数据增强(DataAugmentation)🎯核心目的(Purpose)通过对现有数据进行随机变换生成新样本，从而有效扩充数据集规模，提高模型的泛化能力，防止过拟合。🛠️典型增强方法(Methods)•图像数据：随机旋转、翻转、裁剪、色彩抖动、缩放等。

•文本数据：同义词替换、随机插入/删除、回译增强等。3深度学习的工作流程第二步：模型构建与训练关键技术：迁移学习(TransferLearning)💡核心思想将在ImageNet等通用任务上预训练好的模型知识，高效迁移到我们的特定任务（如猫狗分类）中。🚀核心优势大幅降低对海量标注数据的依赖，减少训练时间与算力成本，显著提升模型收敛速度与最终性能。01前向传播(ForwardPropagation)将预处理后的输入数据传入神经网络，逐层计算，最终得到预测结果，并计算预测值与真实值之间的损失。02反向传播(BackwardPropagation)沿着网络层反向计算，利用链式法则求解损失函数对模型中每一个可学习参数的梯度，指明参数优化的方向。03参数更新(ParameterUpdate)优化器（如SGD、Adam）根据计算出的梯度，按照预设的学习率等策略调整网络参数，以逐步减小模型损失。3深度学习的工作流程第三步&第四步：评估、优化与部署模型评估(Evaluation)使用测试集验证模型的泛化能力。核心指标：准确率、精确率、召回率、F1分数、MSE等。模型优化(Optimization)当模型表现未达预期时，通过调整超参数、改变网络架构、增加数据量、正则化等手段进行迭代优化。模型部署(Deployment)将模型投入实际应用。推荐使用ONNX格式实现跨框架的无缝转换与部署。跨框架部署核心：ONNX生态3深度学习的工作流程4深度学习框架及应用01深度学习概述02神经网络基础03深度学习的工作流程04深度学习框架及应用4深度学习框架及应用主流的几种深度学习框架主流深度学习框架对比TensorFlow开发者：Google核心特点：静态计算图，结构清晰，适合大规模部署与深度优化。典型场景：工业级复杂应用、海量数据的分布式并行处理。PyTorch开发者：Facebook核心特点：动态计算图，灵活易用，支持即时调试与算法快速迭代。典型场景：前沿学术研究、AI原型的快速验证与敏捷开发。工业级部署首选如果项目需要强大的生产部署能力和成熟的工业生态支持，请优先选择TensorFlow。敏捷研发与科研首选如果项目处于快速迭代的研究阶段，或需要极高的灵活性与调试效率，请优先选择PyTorch。PyTorch实战：CIFAR10图像分类(1/3)🎯项目核心目标构建并训练一个卷积神经网络(CNN)模型，对CIFAR10数据集中的10类物体图像（飞机、汽车、鸟、猫、鹿等）进行高精度分类识别。📂Step01:数据加载与预处理利用TorchVision官方库自动下载CIFAR10数据集。通过Compose组合transforms，将PIL图像转换为张量(Tensor)，并对RGB三通道进行标准化归一化处理。💻核心实现代码(Python)#1.导入必要库与定义变换transform=transforms.Compose([ToTensor(),Normalize((0.5,)*3,(0.5,)*3)])#2.加载训练集(自动下载)trainset=datasets.CIFAR10('./data',True,True,transform)#3.创建数据加载器(批量/打乱)loader=DataLoader(trainset,batch_size=4,shuffle=True)4深度学习框架及应用PyTorch实战：CIFAR10图像分类(2/3)▍核心代码实现(CNNDefinition)importtorch.nnasnnimporttorch.nn.functionalasFclassNet(nn.Module):def__init__(self):super(Net,self).__init__()self.conv1=nn.Conv2d(3,6,5)self.pool=nn.MaxPool2d(2,2)self.conv2=nn.Conv2d(6,16,5)self.fc1=nn.Linear(16*5*5,120)self.fc2=nn.Linear(120,84);self.fc3=nn.Linear(84,10)defforward(self,x):x=self.pool(F.relu(self.conv1(x)))x=self.pool(F.relu(self.conv2(x)));x=x.view(-1,16*5*5)x=F.relu(self.fc1(x));x=F.relu(self.fc2(x))returnself.fc3(x)net=Net()Step02:定义卷积神经网络(CNN)构建一个经典的简单卷积神经网络结构，包含：•特征提取层：2个卷积层(Conv2d)+2个池化层(MaxPool2d)•分类决策层：3个全连接层(Linear)，最终输出10个分类结果。Step03:定义损失函数与优化器为模型训练配置核心参数，选择分类任务的经典组合：•损失函数：交叉熵损失(CrossEntropyLoss)，适用于多分类问题。•优化器：带动量的随机梯度下降(SGD)，加速模型收敛。4深度学习框架及应用PyTorch实战：CIFAR10图像分类(3/3)STEP04网络训练循环循环遍历训练数据集，在每个批次中依次执行前向传播、损失计算、反向传播梯度下降，最后更新网络参数，逐步收敛模型。forepochinrange(2):

running_loss=0.0

fori,datainenumerate(trainloader,0):

inputs,labels=data

optimizer.zero_grad()

outputs=net(inputs)#前向传播

loss=criterion(outputs,labels)

loss.backward()#反向传播

optimizer.step()#参数优化STEP05测试集性能评估关闭梯度计算，使用训练好的模型对测试集进行推理预测。通过统计预测正确的样本数量，计算并输出模型在未知数据上的分类准确率。correct,total=0,0

withtorch.no_