蜜源指数预测项目知识准备

11蜜源地数据探索与分析项目知识准备学习目标掌握多层感知机的工作原理（重点）掌握激活函数的概念（难点）掌握loss函数的概念132知识思政技能能运用MLP模型优化的四种方法（重点）能理解并运用四种不同的优化函数培养精益求精的工作态度培养团队合作精神谷歌人机大战机器人AlphaGo引子机器学习在大数据领域的应用AlphaGo背后的原理就是大数据分析机器学习是模拟或实现人类的学习行为，以探寻大数据背后的规律。一、机器学习的概念机器学习(Machine

Learning)是一种让计算机通过数据自动学习的技术。它可以让计算机从数据中自动学习规律和模式,并根据这些规律和模式进行预测和决策。机器学习原理图如下。二、深度学习的概念深度学习是基于神经网络的机器学习方法。通过建立神经网络，模仿人脑的机制来解释数据。深度学习是机器学习的子集。下图展示了深度学习和机器学习、人工智能的关系。从图中看出深度学习是机器学习的一种。三、项目概览基于多层感知机网络，预测蜜源地指数四、项目知识准备---深度学习基础知识1、多层感知机

多层感知机（multilayerperceptron，通常缩写为MLP）是一个前馈神经网络，主要由输入层、隐藏层和输出层组成。MLP每一层都有不一样的“任务”。输入层用于接收原始数据，隐藏层对数据进行处理和转换，输出层给出最终的结果。隐藏层可以有多层，并且每一层都可以有不同数量的神经元。MLP使用反向传播算法，使得函数损失最小化。MLP的特点是层与层之间的神经元全部相互连接。

如下图是一个小型的MLP，共3层（注意：输入层不计入层次），其中有两个隐藏层。1、多层感知机第一层x1、x2、x3为输入特征输入层与隐藏层之间全连接输出层为一个神经元，h为输出值四、项目知识准备---深度学习基础知识2、激活函数每一层神经网络输出后都会使用一个函数对结果进行运算，这个函数就是激活函数。激活函数的选择对神经网络的收敛速度影响很大。常用激活函数有：(1)Sigmoid函数函数表达式为：Sigmoid函数的输出值介于0～1之间，适合表达概率值，常用于模式识别。四、项目知识准备---深度学习基础知识2、激活函数(2)ReLU激活函数ReLU函数是一种分段线性函数，在目前的深度神经网络中广泛使用。函数表达式为：Relu函数计算简单，收敛速度快，本节的两个深度学习的项目均采用Relu函数。四、项目知识准备---深度学习基础知识3、Loss曲线Loss曲线以训练轮数为横坐标，以模型损失函数值为纵坐标绘制，表现模型训练过程中损失函数的变化过程，用来表达模型预测输出与实际值的差异程度，是评估机器学习模型性能的重要指标。在观察Loss曲线时，希望看到模型在训练集和测试集上的损失函数值都能够稳步下降，如图所示。模型在20轮过后，训练集两个loss曲线都开始收敛，而且两者之间相差很小，说明这个模型是good-fit,完美拟合，表现好。四、项目知识准备---深度学习基础知识3、Loss曲线模型的表现还有欠拟合(Underfit)和过拟合(Overfit)。UnderfitUnderfit指的是模型不能很好地学习训练集。如图所示，trainingloss下降的非常平缓以致于好像没有下降，这说明模型没有从训练集学到东西。四、项目知识准备---深度学习基础知识3、Loss曲线OverfitOverfit指的是模型把训练集学得有点过了，把一些噪音（noise）和随机波动（randomfluctuations）也学进来了。Overfit常是因为训练太久造成的。如图所示，trainingloss一直在不断地下降，而validationloss在某个点开始不再下降反而开始上升了，这就说明overfit，应该在这个拐点处停止训练。四、项目知识准备---深度学习基础知识4、深度神经网络优化技术对深度神经网络的训练是不断调整参数的过程。比如调整网络隐层神经元数、调整学习率、调整损失函数等。下面是常用的调整深度神经网络的优化技术。1)调整网络结构调整神经网络结构是提高模型性能的重要手段之一。以下是一些常见的调整方法：增加/减少隐藏层、增加/减少神经元数量、调整神经网络类型等。四、项目知识准备---深度学习基础知识2)调整优化算法优化算法用来更新神经网络参数，使得损失函数最小化。优化算法的性能直接影响模型的训练效率。不同优化算法的原理和特点不同，对深度神经网络使用恰当的优化算法能够加速模型收敛，提高模型的性能。

所设计的预测系统使用的优化算法如下。4、深度神经网络优化技术四、项目知识准备---深度学习基础知识①随机梯度下降(StochasticGradientDescent，SGD)算法SGD每次迭代时只使用一个样本的梯度来更新模型参数。②Adagrad算法

也是一种梯度下降法，优化时自动调整学习率，能够更快地收敛。③RMSprop算法Adagrad算法优化了学习率的调整，但却存在学习率过小的问题，影响收敛速度。为此，提出RMSProp算法，解决梯度下降中的学习率调整问题，使得模型的收敛速度更快。④Adadelta算法Adadelta自动调整学习率，省去手动调参的时间，训练更加稳定。4、深度神经网络优化技术四、项目知识准备---深度学习基础知识优化算法对于深度学习非常重要，以上几种优化算法收敛速度对比如图所示。Adadelta因为省去调参的时间，收敛速度相对最快。SGD最为较早提出的优化算法，收敛速度较慢。其他几种算法是对SGD的改进，收敛速度明显快于SGD。4、深度神经网络优化技术四、项目知识准备---深度学习基础知识3)调整学习率学习率是深度学习的一个超参数，用于控制每次迭代中模型参数更新的幅度大小。学习率过大会导致模型不稳定，甚至无法收敛，学习率过小