周志华 机器学习 西瓜书 全书16章 ppt Chap05神经网络_第1页
周志华 机器学习 西瓜书 全书16章 ppt Chap05神经网络_第2页
周志华 机器学习 西瓜书 全书16章 ppt Chap05神经网络_第3页
周志华 机器学习 西瓜书 全书16章 ppt Chap05神经网络_第4页
周志华 机器学习 西瓜书 全书16章 ppt Chap05神经网络_第5页
已阅读5页，还剩24页未读， 继续免费阅读

下载本文档

版权说明：本文档由用户提供并上传，收益归属内容提供方，若内容存在侵权，请进行举报或认领

文档简介

1、机器学习概论，第五，神经网络，神经网络(学习)是什么？neural networks are massively parallel interconnected networks of simple(usually adaptive)elements and their hierarchical organization本课程仅讨论连接权和限制点，这是一个广泛的并行互连网络，由适应能力强的简单单元组成，可以模仿生物神经系统与现实事物的相互作用。激活函数，理想激活函数是阶段函数，0抑制神经元，1表示激活神经元阶段函数的不连续性，不光滑等坏特性，通常是sigmoid函数，多层前馈网络结构多层网络：

2、包含隐藏层的网络前馈网络：神经元之间没有相同的层次连接或跨层连接。也就是说，网络没有环路或环路。隐藏层和输出层神经元也称为“功能单元”，没有隐藏层的“传感器”多层前馈网络，只要包含足够数量的神经元的一个隐藏层，通过多层前馈神经网络，所有复杂性的连续函数，hornik et al .1989，但是，隐藏神经元实际上常用的“试错方法”，神经网络开发1940年代-萌芽审查：m-p模型(1943)，hebb学习规则(1945) 1958年左右-1969左右繁荣期：识别器(1958)，1969年左右减少数据量，同时保留有用的信息。也就是说，现有的神通过网络完全连接隐藏的层和传输层。深度学习的典型深度学习

3、模型是深度神经网络(例如，microsoft institute使用152层网络作为2015年imagenet大赛的胜利)，增加隐藏层次的数量不仅比增加隐藏层次的神经元素数量更有效，还增加了具有激活功能的神经细胞的数量，并且由于激活函数嵌套的层次错误梯度在多个隐藏层内传播时倾向于不收敛、发散到稳定状态。教育难度增加过度定制风险：使用大量培训数据进行困难培训：使用一些启发式技术、对常用提示预培训进行微调、对预培训：进行分层培训监控、对每个培训进行隐藏节点微调：在预培训全部完成后对整个网络进行微调培训，一般认为使用bp算法对大量参数进行分组，对于每组您可以对“权重共享”神经元集使用相同的连接权重dropout，在每个培训过程中随机选择一些隐藏节点，以防止相应的权重更新(下一轮可能会更新)，并减少需要优化的参数。 通过将rademacher复杂性降低、rectified linear units(relu)、sigmoid激活函数修改为修改线性函数，可以轻松推导rade macher。可能性：缓解梯度消亡现象，大部分诀窍不是“

人人文库> 全部分类> 生活休闲 > 科普知识

温馨提示

  • 1. 本站所有资源如无特殊说明，都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等，如果需要附件，请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸，网页内容里面会有图纸预览，若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间，仅对用户上传内容的表现方式做保护处理，对用户上传分享的文档内容本身不做任何修改或编辑，并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容，请与我们联系，我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

最新文档

评论

0/150

提交评论