深度学习应用开发 课件 cha4 4-认识激活函数_第1页
深度学习应用开发 课件 cha4 4-认识激活函数_第2页
深度学习应用开发 课件 cha4 4-认识激活函数_第3页
深度学习应用开发 课件 cha4 4-认识激活函数_第4页
深度学习应用开发 课件 cha4 4-认识激活函数_第5页
已阅读5页，还剩10页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

目录1激活函数的概念01任务02任务激活函数的性质03任务激活函数的作用常用的激活函数04任务1激活函数的概念1激活函数的概念激活函数在前面也提到过，神经网络神经元中，输入的inputs通过加权，求和后，还被作用了一个非线性函数，这个函数就是激活函数

（ActivationFunction）。2激活函数的作用2激活函数的作用神经网络中激活函数的主要作用是提供网络的非线性建模能力，激活函数一般而言是非线性函数；假设一个示例神经网络中仅包含线性卷积和全连接运算，那么该网络仅能够表达线性映射，即便增加网络的深度也依旧还是线性映射，难以有效建模实际环境中非线性分布的数据；加入（非线性）激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。3激活函数的性质3激活函数的性质非线性：激活函数给神经元引入了非线性因素，使得神经网络可以任意逼近任何非线性函数，一般激活函数是非线性函数；可微性：当优化方法是基于梯度的时候，这个性质是必须，Δy=A×Δx+ο(Δx)；单调性：

当激活函数是单调的时候，单层网络能够保证是凸函数；输出与输入值相差不大：

保证神经网络的高效训练，y≈x；输出值的范围：当激活函数输出值是有限的时候，基于梯度的优化方法会更加稳定。4常用的激活函数4常用的激活函数（1）SigmoidSigmoid函数也叫Logistic函数，定义为:4常用的激活函数优点：能够把𝑥∈𝑅的输入“压缩”到𝑥∈[0,1]区间，可以通过Sigmoid函数将输出转译为概率输出；Sigmoid函数连续可导，相对于阶跃函数，可以直接利用梯度下降算法优化网络参数，应用的非常广泛

不足：在输入值较大或较小时，易出现梯度值接近于0的现象，称为梯度弥散现象，网络参数长时间得不到更新，很难训练较深层次的网络模型。实现：在TensorFlow中，可以通过tf.nn.sigmoid()实现Sigmoid函数4常用的激活函数（2）ReLU（RectifiedLinearUnit，修正线性单元）定义为:4常用的激活函数优点：ReLU函数的设计源自神经科学，计算十分简单，同时有着优良的梯度特性，在大量的深度学习应用中被验证非常有效，是应用最广泛的激活函数之一。不足：ReLU函数在x<0时梯度值恒为0，也可能会造成梯度弥散现象。实现：在TensorFlow中，可以通过tf.nn.relu实现ReLU函数。4常用的激活函数（3）softmax将输出值映射到[0,1]区间，且满足所有的输出值之和为1的特性，适用于多分类问题，表示每个类别的概率.定义为:优点：提高了数值计算的稳定性；不足：容易因输入值偏大

人人文库> 全部分类> 教育资料 > 课件下载

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论