深度学习简介

1、深度学习简介深度学习简介翟岩慧山西大学计算机与信息技术学院目录目录 背景 理论基础 深度学习式神经网络 深度学习应用 进一步解释深度学习背景深度学习背景4背景背景 为了让机器自动学习,需要提取特征,而特征提取一般由人工进行,并且非常困难 特征的有效性对学习算法可能有决定性的作用5背景背景要描述右图中的图像,需要n 对图像像素进行分析,提取边缘特征并分割n 分析边缘特征,生成局部形状特征和人体局部部位特征n 分析局部部位特征,生成人体部位特征n 分析部位特征,完成图像语义识别6背景背景无监督特征提取: Hinton, G. E., Osindero, S. and Teh, Y., A fast

2、 learning algorithm for deep belief nets.Neural Computation 18:1527-1554, 2006 (基于Restricted Boltzmann Machine (RBM)的Deep Belief Networks (DBN),采用逐层学习特征的无监督特征提取算法) Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo Larochelle, Greedy Layer-Wise Training of Deep Networks, in J. Platt et al. (Eds),

3、Advances in Neural Information Processing Systems 19 (NIPS 2006), pp. 153-160, MIT Press, 2007 (比较了RBM和Auto-encoder) MarcAurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun. Efficient Learning of Sparse Representations with an Energy-Based Model, in J. Platt et al. (Eds), Advances in

4、Neural Information Processing Systems (NIPS 2006), MIT Press, 2007 (将稀疏自编码用于卷积结构)7背景背景深度学习应用: 分类 回归 维数约简 纹理建模 行动建模 对象分割 信息获取 机器人 自然语言处理 协同过滤8背景背景:深度学习深度学习 深度学习:可以进行自动特征提取,并生成具有层层次结构特征集合组次结构特征集合组.深度的意义体现在特征的层次结构上,目前的学习基本上都是浅层学习,如SVM(2),线性回归和逻辑回归(1),深度学习的生物基础:大脑的运作方式是深度模式.如,视觉系统(5-10).9背景背景:深度学习深度学习理论

5、基础理论基础11理论基础理论基础: 深度的有效性深度的有效性 多层神经网络中,层次更少的神经网络近似某一函数会比层数较多的神经网络需要更多的(指数阶)参数.逻辑门问题:2层逻辑门可以表示任意布尔函数.已经证明,某些需要多项式个逻辑单元的k层电路来表示的函数需要指数个逻辑单元的k-1层电路才能表示.12理论基础理论基础: 深度的有效性解释深度的有效性解释结论的解释:因子化13理论基础理论基础: 深度的有效性解释深度的有效性解释 因子化在图像处理中的解释: 第一层可以学习如何将图像中的像素组合在一起来检测边缘 第二层可以将边缘组合起来检测更长的轮廓或者简单的“目标的部件” 在更深的层次上，可以将这

6、些轮廓进一步组合起来以检测更为复杂的特征 14理论基础理论基础: 深度的有效性解释深度的有效性解释深度学习式神经网络深度学习式神经网络16深度学习式神经网络深度学习式神经网络 深度网络的简洁性和较强的表达能力 训练深度网络有一些困难(主要指BP算法) 数据获取问题(需要的样本过多) 局部极值问题(太多的局部极值) 梯度弥散问题(BP算法对前面层次的训练效果较差)17深度学习式神经网络深度学习式神经网络 解决的方法逐层贪婪算法 每次只训练网络中的一层：首先训练一个只含一个隐藏层的网络，然后训练一个有两个隐藏层的网络，以此类推。 每一层的训练可以是有监督的（例如，将每一步的分类误差作为目标函数），

7、但更通常使用无监督方法（如自动编码器自动编码器）。这些各层单独训练所得到的权重被用来初始化最终（或者说全部）的深度网络的权重，然后对整个网络进行“微调”（即把所有层放在一起来优化有标签训练集上的训练误差）18深度学习式神经网络深度学习式神经网络 深度稀疏自编码（Deep sparse autoencoders ） 深度信念网（Deep Belief Network (DBN) ）19深度稀疏自编码深度稀疏自编码无标签数据 参数学习目标限制: (1)隐层维数(降维)(2)隐层表示稀疏性x4x5x6+1Layer 1Layer 2x1x2x3x4x5x6x1x2x3+1Layer 3a1a2a32

8、0深度稀疏自编码深度稀疏自编码 Reconstruction error termL1 sparsity termx4x5x6+1Layer 1Layer 2x1x2x3+1a1a2a3 21深度稀疏自编码深度稀疏自编码x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3Train parameters so that , subject to bis being sparse. 22深度稀疏自编码深度稀疏自编码x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3New representation for input. 23深度稀疏自编码深度稀疏自编码x4x5x6+1x1x2

9、x3+1a1a2a3+1b1b2b3+1c1c2c3New representation for input. Use c1, c3, c3 as representation to feed to learning algorithm.24深度稀疏自编码深度稀疏自编码已标注训练集 两种表示方式: 替代表示 级联表示25深度信念网深度信念网 由RBM（Restricted Boltzmann Machine ）栈式组合而成 生成模型26RBM输入 x1, x2, x3, x4隐层 a1, a2, a3服从玻尔兹曼联合分布（马尔科夫随机场分布） 给定 x, 极大似然估计: x4x1x2x3a2a

10、3a127RBM28RBMGibbs采样推理：xiajobs ：固定x, 由P(a|x)采样得到a.xiajprior ： 持续采样直至收敛得到x和a.约束ai的稀疏性可以提高性能. 输入 x1, x2, x3, x4隐层 a1, a2, a3x4x1x2x3a2a3a129深度信念网深度信念网输入 x1, x2, x3, x4第2层 a1, a2, a3第3层 b1, b2, b3RBMDBN 第4层 c1, c2, c330深度学习式神经网络深度学习式神经网络 逐层贪婪算法优点 数据获取(自学习方法使用无标签样本来学习特征) 更好的局部极值(使用逐层训练好的权值作为网络初值)深度学习应用深

11、度学习应用32Convolutional DBN on face imagespixelsedgesobject parts(combination of edges)object modelsNote: Sparsity important for these results. 33Examples of learned object parts from object categoriesLearning of object partsFacesCarsElephantsChairs34Training on multiple objectsPlot of H(class|neuron a

12、ctive)Trained on 4 classes (cars, faces, motorbikes, airplanes). Second layer: Shared-features and object-specific features.Third layer: More specific features. 35Input imagesSamples from feedforward Inference (control)Samples from Full posteriorinference Hierarchical probabilistic inferenceGenerati

13、ng posterior samples from faces by “filling in” experiments(cf. Lee and Mumford, 2003). Combine bottom-up and top-down inference. 36深度学习应用深度学习应用TIMIT Phone classificationAccuracyPrior art (Clarkson et al.,1999)79.6%Stanford Feature learning80.3%TIMIT Speaker identificationAccuracyPrior art (Reynolds

14、, 1995)99.7%Stanford Feature learning100.0%AudioImagesMultimodal (audio/video)CIFAR Object classificationAccuracyPrior art (Yu and Zhang, 2010) 74.5%Stanford Feature learning75.5%NORB Object classificationAccuracyPrior art (Ranzato et al., 2009)94.4%Stanford Feature learning96.2%AVLetters Lip readin

15、gAccuracyPrior art (Zhao et al., 2009)58.9%Stanford Feature learning63.1%VideoUCF activity classificationAccuracyPrior art (Kalser et al., 2008) 86%Stanford Feature learning87%Hollywood2 classificationAccuracyPrior art (Laptev, 2004)47%Stanford Feature learning50%进一步解释进一步解释38深度学习深度学习:稀疏性稀疏性 深度学习:限制生成特征为（稀疏）分布表示稀疏）分布表示.特征的分布表示意味着每一个特征都包含尽可能多的信息,因此生成的特征之间相对于原样本不是互斥的.特征的分布表示意味着信息的非局部性和容错性特征的稀疏分布表示体现在可以使用很少的(稀疏)特征来组合生成目标深度学习的生物基础:大脑的运作方式中体现稀疏性,每次只有大约1-4%的神经元激活39深度