深度学习概述

深度学习是机器学习研究的一个新领域，它的动机是建立和模拟进行大脑分析学习的神经网络，它模仿大脑的机制来解释数据，如图像、语音和文本。和机器学习方法一样，深度机器学习方法也有监督学习和无监督学习的区别。 不同学习框架下构建的学习模式非常不同。 例如，卷积神经网络(Convolutional neural networks，CNNs )是一种深度监控学习下的机器学习模型，而深度信任网络(Deep Belief Nets，DBNs )是一种深度监控学习下的机器学习模型。目录一开始2基本概念深度解决问题三核心思想四例题5个转折点6成功的应用程序一开始深入学习的概念来源于人工神经网络的研究。 含有多个隐藏层的多层传感器是深层学习结构。 深度学习通过组合下层特征，形成更抽象的上层表现属性类和特征，发现数据的分散特征表现。 2深刻的学习概念是Hinton等人在2006年提出的。 基于置信度网络(DBN )，提出了非监控贪婪层训练算法，为解决深层结构的最佳问题提出了希望，然后提出了多层自动编码器深层结构. 另外，Lecun等人提出的卷积神经网络是最初利用空间相对关系减少参数并提高训练性能的真正多层结构学习算法。 22基本概念深度：从输入生成输出的计算可以用流程图表示。 流程图是一个图表，其中每个节点代表基本计算和计算深度学习值(计算结果应用于此节点的子节点的值)。 考虑到这些计算集，每个节点和可能的图形结构都允许定义函数族。 输入节点没有子女，输出节点没有父亲。此流程图的特殊属性是“深度”:从输入到输出的最长路径长度。常规前馈神经网络可被视为具有等于层数的深度(例如，对于输出层，隐藏层数加1 )。 SVMs具有深度2 (一个与核输出或特征空间相对应，另一个与所产生的输出的线性混合相对应)。 3解决问题：应用深度学习解决的问题具有以下特点深度不足会成为问题。人脑有很深的结构。认知过程逐步推进，逐步抽象化。深度不足会成为问题在许多情况下，深度2足以表示具有给定目标精度的任何函数。 但是，其代价是，图中需要的节点数(计算和参数数等)有可能变得非常大。 理论结果证实了存在实际所需节点数随输入大小指数增加的函数族。深层结构可视为因子分解。 大多数随机选择的函数在深层架构和浅层架构中都不能有效地表示。 但是，有效地用深度结构来表现的东西大多数都不能用浅的结构来有效地表现。 单个大的表示和深度的表示的存在意味着在可表示的潜在函数中存在某种结构。 如果结构不存在，就不能很好地泛化。大脑有很深的结构例如，视觉皮质被经常研究，展示包括一个输入的表示和一个到另一个信号流的一系列区域(这里，由于忽略了某些层次上的并行路径上的关系，所以更加复杂)。 该特征层次的各层代表对不同抽象层次的输入，层次的上层有更抽象的特征，是根据下层的特征来定义的。需要注意的是，脑中的表现密集分布在中间，是纯粹的部分。 他们稀稀落落。 1%的神经元同时活动。 即使给予大量神经元，仍有非常高效率(指数效率)的表现。认知过程逐步推进，逐步抽象化人类分层组织思想和概念人先学简单的概念，然后用他们来表现更抽象的东西工程师将任务分解为多个抽象级别处理学习/发现这些概念(知识工程学没有反省所以失败了吗？ 他很棒。 对语言可表达概念的反思，提出只有所有可能的单词/概念的小部分适用于特殊输入(视觉场景)的稀疏表达。三核心思想深刻学习的核心思想把学习结构看作一个网络，深入学习的核心思路如下没有监督各层网络中使用的pre-train无监督学习只训练一层，其训练结果作为上层的输入用自上而下的监视算法调整所有层四例题a ) .自动编码器最简单的方法是利用人工神经网络的特征，人工神经网络(ANN )本身是具有层次结构的系统，如果给出一个神经网络，则假设其输出和输入相同，对该参数进行训练调整，获得每层的权重，自然得到了输入I的几个不同的表示(每层表示一个表示)，这些表示是特征，研究发现将这些自动学习得到的特征与原来的特征相加，精度大大提高，在分类问题上也优于现在最优的分类算法的效果当然，我们可以继续加入一些约束，得到新的深度学习方法。 例如，如果对AutoEncoder添加Regularity约束条件(L1主要是源自空间名称的节点，其中大部分节点为0，而小部分节点不为0 )，则可以获得空间自动编码器方法。b ) .空间编码如果我们必须放松输出和输入相等的限制，线性代数中的基的概念，即o=w1* b1w2* b2.wn * bn，Bi是基，Wi是系数，我们可以得到这样的优化问题最小| I-o |通过解决此优化式，可以求出输入的另一个近似表现即系数Wi和基底Bi，因此可以用它们来表现输入I，此过程也会自动学习。 如果将L1的Regularity约束条件添加到以上表达式中，则Min |I - O| u*(|W1| |W2| . |Wn|)该方法被称为空间编码。c) Restrict Boltzmann Machine (RBM )假定存在两幅图，在每个层级的节点之间具有没有链路，即，在可见层级中，即输入数据层级(v )，在隐藏层级(h )中，假定所有节点都是二进制变量节点(仅可以取0或1的值)，并且总概率分布p(v，h )满足Boltzmann分布让我们看看为什么是深度学习方式。 首先，由于该模型是两部分图，因此如果v是已知的，则在所有隐藏节点之间条件是独立的，即p(h|v)=p(h1|v)p(HN|v )。 类似地，在已知隐藏层h的情况下，所有可见节点具有独立的条件，并且所有v和h都满足Boltzmann分布。因此，当输入v时，p(h|v )获得隐藏层h，p(v|h )再次获得可见层，并且p(v|h )再次获得参数如果从隐藏层获得的可见层v1与原始可见层v相同，则获得的隐藏层是可见层的另一表示，并且隐藏层具有允许数据作为可见层输入的特征，因此采用深度学习方法。如果我们增加隐藏层的层数，将贝叶斯信念网络用于可以获得Deep Boltzmann Machine (DBM )的可见层附近的部分(即有向图模型，但是这里约束层中的节点之间没有链路)，则在离可见层最远的部分使用REE当然，还有几种深度学习的方法。 也就是说，深度学习可以自动学习数据的另一种表达方法，这种表达方法可以作为传统问题的特征集合的一个特点，是提高学习方法效果的行业研究热点。5个转折点到2006年，训练深度框架尝试失败：深度监测前馈神经网络倾向于产生不良结果(同时在训练和测试误差中)，并将其浅化为1(1或2个隐藏层)。2006年的3篇论文改变了这一状况，领导了Hinton在革命性的深信念网络(Deep Belief Networks，DBNs )上的工作Hinton，G. E .Osindero，S. and Teh，y .afastlearningalgorithmfordeepbeliefnets.neural computation 183353525352535253525352534534534553445Yoshua Bengio，Pascal Lamblin，Dan Popovici and Hugo Larochelle，greedylayerwisetrainingofdeenetworks， in j.Platt et al.(eds )高级信息处理系统19 (nips 2006 )，pp. 153-160，MIT Press，2007Marcaurelioranization，Christopher Poultney， sumitchoprandyanglecuneefficelearningofsparserepresentationswithanenergy -基于的模型in j.Platt et al.(eds )，advancesinneuralinformm在这三篇论文中，发现了以下主要原理被表示的无监督学习被用于训练的各个层次继某一时间某一水平的无监督训练之后，是以前的训练水平。 把在各层学习的表现作为下一层的输入使用监控培训调整所有级别(添加一个或多个附加级别以生成预测)。DBNs在各层使用显示用的无监视学习RBMs。 Bengio et al paper研究并比较了RBMs和auto-encoders (在一个表现的瓶颈内层预测输入的神经网络)。 randomizationetalpaper在convolutional架构的上下文中使用稀疏的自动编码器(类似于稀疏编码)。 Auto-encoders和convolutional架构将在后面的课中介绍。2006年以来，发表了许多关于深入学习的论文。6成功的应用程序1 .计算机视觉imagenetclassiticationwithdeeconvolutionalneuralnetworks，alelexkrischeme，Ilya Sutskever，Geoffrey E Hinton，NIPS 2012。learninghierarchicalfeaturesforscenelabeling，Clement Farabet，Camille Couprie，larannajmanandyanlecun，ieeitertractiononpatternanalllearningconvolutionalfeaturehierachiesforvisualrecognition，Koray Kavukcuoglu，Pierre Sermanet，y-lanbourne， Karol Gregor michalmathemieuandyanleicus，advancesinneuralinformationprocessingsystems (nips 2010 )，23，2010。2 .语音识别微软的研究人员通过与hintion合作，首先将RBM和DBN导入语音识别音响模型的训练，在大词汇语音识别系统中取得了