已阅读5页，还剩2页未读， 继续免费阅读
版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领
文档简介
基于自编码器的数据降维主要算法及模型概述目录TOC\o"1-3"\h\u3843基于自编码器的数据降维主要算法及模型概述 [11]是克服Sigmoid函数和tanh函数的缺点的函数，全称为整流线性单元（RectifiedLinearUnit，ReLU），通常由斜坡函数及其变形来表示，也是非线性函数，其特点为无饱和区，收敛快，计算形式简单等，但在变量更新过快时会较为脆弱，容易找不到最佳值，在小于零的分段函数内又会“杀死”梯度。ReLU函数是目前使用度最为广等函数，能够解决梯度等弥散问题，其公式为：（3-11）函数图像如图3-9所示：图3-9ReLU函数图像1.1.4优缺点对比Sigmoid在神经网络层数较少时，能够很好地对神经元在收到激励时是否被激活以及向下一层传递的情况（为1时完全激活，为0时几乎不被激活），但是，在深化神经网络层的使用过程中，其产生梯度弥散和梯度爆炸的可能性也随之增大，梯度爆炸尤甚。tanh函数的梯度消失问题比Sigmoid轻，梯度消失过快，函数的收敛速度变慢。Sigmoid函数不是以零为中心，输出值恒为正，而tanh解决了这一问题，参数更新速度要更快一些。ReLU函数的优点是梯度简单，计算简单，只需对输入是否大于0进行判断，就可以大大提高随机梯度下降的收敛速度，并解决梯度消失问题，收敛速度比Sigmoid和tanh快得多，对加速网络训练帮助极大。但是函数本身过于脆弱，神经元在训练过程中“
温馨提示
- 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 八年级语文核心考点第六单元看图写话材料探究题知识梳理卷综合应用版
- 隧道运输复习试题及答案呈现
- 2026年广西壮族自治区玉林市中小学教师招聘考试卷附答案
- 2026年贵州省铜仁中小学教师招聘考试题库含答案
- 2026年甘肃省武威市重点学校初一入学数学分班考试试题及答案
- 江苏省重点学校高一入学语文分班考试试题及答案
- 2025年成都石室金沙初一入学数学分班考试真题含答案
- 操作维护试题及详细解答
- 2025~2026学年陕西安康市汉阴县七年级下学期5月期中历史试卷
- 2026年高中语文《终南别业》随遇而安人生态度教案
- 2026年秋季小学开学第一课 法治教育进校园主题班会
- 通水阶段验收鉴定书
- 工程质量与安全保证措施培训
- GA/T 900-2025城市道路施工作业交通组织规范
- 2026年秋季三年级数学上册教学计划（人教版）
- 新部编版一年级语文上全册教案
- 2026江西吉安峡江县招聘基层就业公共服务岗位工作人员2人考试备考试题及答案详解
- 2026届九年级数学中考二模B卷模拟试卷（含答案详解与评分标准）
- catia考试题目及答案多选
- 2027届新高考化学精准突破复习-电化学备考策略
- 2026年学校校内超市食品安全检查表
评论
0/150
提交评论