《深度学习项目案例开发》课件-任务一 使用神经网络完成服饰图像分类

基础知识——

全连接神经网络任务一：使用神经网络完成服饰图像分类人工智能学院—神经网络01全连接神经网络02前向传播03损失函数04梯度下降05反向传播06神经网络/01人工神经元是一种模拟生物神经元功能的计算单元，通常用于构建人工神经网络。是神经网络的基本组成部分，类似于生物大脑中的神经元。原理

人工神经元接收输入信号，通过内部处理产生输出信号，并将输出传递给其他神经元。在人工神经网络中，这些神经元通过连接进行通信，形成了网络结构。工作机制人工神经元通常包括输入权重、偏置和激活函数。输入权重用于调节输入信号的重要性，激活函数用于对加权输入进行非线性转换，而偏置则可以用来调整激活函数的触发阈值，从而影响神经元的活跃性。组成神经网络神经网络的输入通常是多个输入，假设输入为，这时神经元是一个多输入的人工神经元。可以把输入看成一个3维的向量，如果有n个输入，可以将输入看成n维向量，可以使用函数来表示是一个1×n的向量，是一个n×1的权重矩阵，是偏置量。多输入人工神经元神经网络全连接神经网络/02全连接神经网络每个神经元都与上一层的所有神经元相连接。每个神经元都接收来自上一层所有神经元的输入，并且输出到下一层的所有神经元。定义输入层、若干个隐藏层和输出层组成。结构使用前向传播计算损失、使用反向传播更新参数

训练用途人工神经网络在各种领域中都有广泛的应用，包括图像识别、语音识别、自然语言处理、预测和决策等。全连接神经网络全连接神经网络中对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权。但随着数据和任务的复杂性增加，训练速度会很慢，同时会受到维度灾难和过拟合等问题的影响。在实践中，通常会使用更复杂的神经网络结构，如卷积神经网络（CNN）和循环神经网络（RNN），来处理更复杂的数据和任务。全连接神经网络前向传播/03数据从输入数据开始，通过神经网络的各层逐层计算并传递数据，最终得到模型的输出结果，这个过程被称为前向传播。输入数据通过每一层的权重和偏置进行线性变换，并经过激活函数进行非线性变换，然后输出到下一层，直到达到输出层。前向传播的目的是计算模型的预测值。什么是前向传播前向传播假设有一个简单的神经网络，包含一个输入层、一个隐藏层和一个输出层，每个层都有两个神经元。使用sigmoid激活函数，并且假设每个神经元的初始权重都是随机生成的，结构如下图所示。前向传播实例前向传播输入向量[]=[0.5,0.7]，输入层到隐藏层的权重[]=[0.1,0.2,0.3,0.4]，隐藏层到输出层的权重[]=[0.5,0.6]。前向传播实例前向传播输出层前向传播实例前向传播当神经网络的层数或者神经元的个数比较多的时候，前向传播的计算过程就非常耗时了，这时需要使用矩阵来进行计算，上图的计算过程可以写成矩阵方式。前向传播矩阵计算实例前向传播损失函数/04损失函数（LossFunction）是在机器学习和深度学习中用来衡量模型预测输出与真实标签之间差异的函数。它是优化过程的核心，用于指导模型参数的更新，以便使预测结果尽可能接近真实标签。损失函数平方损失函数（MeanSquaredError,MSE）交叉熵损失函数（Cross-EntropyLoss）对数损失函数（LogLoss）等常用的MSE损失函数表示如下常用损失函数损失函数梯度下降/05在模型训练中需要不停地调整权重w和偏执b的值。理想状态当MSE=0时，模型会预测到所有值。现实情况是在模型训练时需要调整权重w和偏执b的值使MSE不断地变小逼近0，实现这个过程需要使用梯度下降函数。梯度下降l(w,b)函数的图形如图所示。l(w,b)值可以看成是Z轴的值梯度下降-偏导数梯度下降l(w,b)函数求偏导数使用表示求得的梯度梯度下降-偏导数梯度下降反向传播/06反向传播是指根据模型的预测结果和真实标签之间的差异，通过链式法则(ChainRule)逆向计算梯度，并将梯度从输出层传播回网络的每一层，用于更新模型的参数。在反向传播过程中，首先计算输出层的误差，然后将误差从输出层传播到隐藏层，再传播到更浅的隐藏层，直到传播到输入层。通过反向传播，可以获取关于每个参数对损失函数的梯度信息，从而实现参数的优化和更新。反向传播前向传播，将输入数据通过网络传递，计算输出并得到预测结果。计算损失，根据预测结果和真实标签计算损失函数的值利用链式法则逐层计算损失函数对每个参数的梯度。将梯度信息传播回网络的每一层。参数更新，通过梯度下降或其他优化算法来更新网络中的参数，使损失函数逐步减小。重复训练重复以上步骤多次，直到达到停止条件（如达到最大迭代次数、损失函数收敛等），训练过程结束。反向传播步骤反向传播有一个简单的神经网络，包含一个输入层、一个隐藏层和一个输出层。输入数据为一个二维向量[]，隐藏层有两个神经元，输出层有一个神经元，且所有的激活函数均为sigmoid函数，使用MSE作为损失函数，如右图所示反向传播实例反向传播X表示输入数据，对应的标签y值为1。w1w2分别表示隐藏层和输出层的权重矩阵，b1b2分别表示隐藏层和输出层的偏置值，具体值如下所示：反向传播实例反向传播计算向前传播的值反向传播实例反向传播计算损失反向传播实例反向传播反向传播计算梯度反向传播实例反向传播更新参数反向传播实例反向传播任务一：使用神经网络完成服饰图像分类任务知识——感知机人工智能学院—任务导入/01人工神经元是模拟人类神经元的计算单元，用于构建人工神经网络（ANN），是人工智能领域中的基本组件之一。Fashion-MNIST是一个经典的机器学习数据集，用于图像分类任务，包含了来自10个不同类别的服饰。本任务搭建一个人工神经网络，使用Fashion-MNIST数据集进行训练，完成服饰的分类任务。任务目标/02了解人工神经元和人工神经网络（ANN）的基本概念。了解多层感知机模型。了解全连接神经网络。理解激活函数的原理。理解损失函数的作用和优化方法。知识目标比较不同的激活函数和损失函数、优化器对分类结果的影响。能进行模型调优和超参数搜索。拓展能力能使构建多层感知机模型。能使用构建全连接神经网络。能完成模型的训练。能力目标任务导学/03什么是人工神经网络人工神经网络（ArtificialNeuralNetwork，ANN）是一种计算模型，灵感来源于生物神经系统。定义神经元通常被组织成多层结构，包括输入层、隐藏层和输出层。每个神经元接收来自前一层神经元的输入，并将加权和传递给下一层。结构神经网络的训练过程通常涉及使用反向传播算法来调整连接权重，以最小化预测输出与实际输出之间的误差。

训练用途人工神经网络在各种领域中都有广泛的应用，包括图像识别、语音识别、自然语言处理、预测和决策等。任务导学任务知识点/04感知器是一种最简单的人工神经网络模型，它由一个单层的神经元组成用于二元分类任务。感知器接收多个输入，每个输入都与一个权重相关联，然后对输入进行加权求和，并将结果传递给一个激活函数。激活函数通常是阶跃函数，根据加权和求和的结果是否超过某个阈值来输出一个二元值（0或1），表示两个类别中的其中一个。感知器任务知识点实际上定义了一个边界超平面，这个超平面随着w和b的改变而改变，感知器可以学习将输入空间分割成两个不同的区域，从而实现二元分类任务。感知器的作用任务知识点多层感知机（Multi-LayerPerceptron，MLP）是一种基于前馈神经网络的机器学习模型。它由多个神经网络层组成，每个层都由多个神经元组成，这些神经元通常分为输入层、隐藏层和输出层。多层感知器任务知识点多层感知器结构接收原始输入数据，并将其传递给下一层；隐藏层，中间层，用于从输入数据中提取特征和模式。输入层隐藏层的神经元通过连接与前一层的神经元通信，并使用激活函数将加权和传递给下一层。隐藏层输出层，产生模型的最终输出。输出层任务知识点优点是简单且易于实现但是多层感知器的输出是非0即1的值，并不能反映模型训练的渐进过程，但它只能解决线性可分问题。并且对于非线性可分问题可能会产生收敛不到最优解的情况。所以需要引入非线性激活函数，克服感知器的这些局限性，并成为处理更复杂任务的有效工具。多层感知器特点任务知识点引入非线性特性可以实现复杂的映射关系也被用于限制输出范围还可以缓解梯度消失问题增强网络的表达能力激活函数任务知识点Sigmoid函数，将输入值映射到一个在0到1之间的连续区间，输出值介于0和1之间，它的输出值可以被视为概率值，因此常用于二元分类问题。常用激活函数任务知识点ReLU函数，同时在各种预测任务中表现良好。ReLU提供了一种非常简单的非线性变换。ReLU函数在输入大于0时返回输入值本身，否则返回0。它的优点是计算简单，且在实践中通常表现良好。它还可以缓解梯度消失问题，并加速网络的收敛速度。常用激活函数任务知识点Tanh函数（双曲正切函数）：与sigmoid函数类似，tanh(双曲正切)函数也能将其输入压缩转换到区间(-1,1)上它与Sigmoid函数类似，但是输出范围更广，且均值为0，训练速度相对快。常用激活函数任务知识点Softmax函数通常用于多类别分类问题，它将神经网络的原始输出转换为一个概率分布，使得输出的各个类别之间的概率总和为1。Softmax函数将多个输出转换为表示概率分布的形式，便于解释和比较。常用激活函数任务知识点了解单个神经元工作原理01多层感知机MLP的工作原理02了解了激活函数的作用03学习了几种常用的激活函数04任务一使用神经网络完成服饰图像分类工作任务——模型训练及保存人工智能学院—1.任务导入任务总结