深度学习研究综述

1、第二卷第八期2012年8月计算机应用研究appliiccionrecchofccccucctersv 0.29 no.8 aucg，212深度学习研究综述孙志军1、雪磊12、许阳明12、王正L 2 (1，电子x -程学院，合肥237； 2、安徽省电子约束技术重点实验室、合肥2 3 0 0 3 7 )摘要：深度学习是一种新兴的多层神经网络学习算法，缓和了传统训练算法的局部最小性，引起机器学习领域的关注。 首先论述了深入学习兴起的起源，分析了算法的优势，介绍了主流学习算法和应用现状，最后总结了目前存在的问题和发展方向。 关键词：深度学习分散表示确信度网络卷积神经网络中的图分类编号： T P l 8

2、 1文献标志编号： a文章编号： 1001-3695 (2012 ) 08-2806-05 dini:10.399/j.isesn.101.369.201.08.0002 voviewofdelasngeuhi-jannl、X U EL e i 、_、xuyang-rl in9-、wangzen 912 (1. eliteetcorngeeeinigeginnn hiveieiiiinglnsitttee，hiveieiiiiiiiiiiiiiiiiiiiiiiiiiiiiiiitteieiiiiiiiiiittei2keylaborrtoofeleectronic heefeiiiiiiii

3、ionionionionioniiiiioniiioniiioniiioniiionichina ) abstract:deeplearngisanewioyoingmlti-layerneurtnwork.theoeopimiztinionngmlti-lanemnemrtnwork.theoptiqtinionindif FPC，Inc . se，se，se，se，se，se，se，se，se，se，se，se，se，se，se，se，se，se，se， se ithasinduccedgreatatteionofmahieleanigcmnity.firsty ihispaerdsisi

4、sidthiroinofdelge tmnanananananamizdvirtbebrogehitbydein te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，te，na，na，na，te，te，te，te，te，te te tdmndthirap，inc.ifina，li，li，li，li，li，li，li，li，li，li，li，li，li，li，li，li，li，li，li，li，li li，li，li，li，li，li，li，li，li，li etin on.keywor RS:dent _ en _ en

5、 _ en _ en _ en _ en _ en _ en _ en _ en _ d e e pb e l i e fn e t w o r k； fconvLUTIONlneurlneetWORK； cornvonlutionlunlunlunlunlunlunlunlunlunluntwrk； DEEPCONVEXINWORK0引言深度学习的概念来源于人工神经网络的研究，包含多隐藏层的多层传感器(M L P )是一种深度学习结构。 深度学习通过组合下级的特征，形成更抽象的上级的表现(属性类或特征)，发现数据的分散特征表现。 B P算法是传统训练多层网络的典型算法。 实际上，仅靠多层网络

6、，这种训练方法并不理想【2 0】。 在深度结构(包括多个非线性处理单元层)的非凸目标成本函数中普遍存在的局部最小是训练困难的主要来源。 H i n t o n等人”。 1基于可靠度网(D B N )，提出了一种非监督贪婪层训练算法，为解决深层结构的最佳课题提出了希望，然后提出了多层自动编码器深层结构。 此外，L e e u n等人提出的卷积神经网络(C N N s )是第一个利用空间相对关系来减少参数、提高B P训练性能的真正多层结构学习算法坤”。 此外，深度学习中还出现了很多像去噪自动编码器1、D C N追悼这样的变形结构。 sim-prodoUCT93等。 目前，许多分类、回归等学习方法都

7、是浅层结构算法，其界限是有限样本和计算单元，对复杂函数的表达能力有限，对复杂分类问题的泛化能力受到一定限制。 深度学习可以通过学习深层非线性网络结构。 实现了复杂的函数近似，表现了输入数据的方差表示，表示了从少数样本中集中学习数据集的本质特征的能力。 本文旨在向读者介绍这种刚刚兴起的深入学习新技术。1深度学习神经学的启发和理论依据1 .1深度学习神经学的启发人尽管总是面临着大量的知觉数据，却总是以灵巧的方式得到值得关注的重要信息。 像模仿大脑一样高效准确地表达信息，是人工智能研究领域的核心挑战。 神经科学家利用解剖学知识发现了哺乳类大脑表达信息的方式：从视网膜向大脑皮质、运动神经传递感觉信号的

8、时间开始，大脑皮质并不是直接对数据进行特征提取处理，而是将接收到的刺激信号通过复杂的层状网络模型，获得观测数据表现的规则。 也就是说，大脑不是从外部世界直接投影到视网膜上，而是从聚集和分解过程中处理的信息来识别物体。 视野的功能是感知信号的特征提取和计算，不仅仅是简单地再现视网膜的图像。 人类感知系统这一明确的阶层构造大幅度减少了视觉系统处理的数据量，保持了物体的有用的构造信息。 为了提取具有潜在复杂结构规则的自然图像、视频、声音、音乐等结构丰富的数据，深度学习可以得到其本质特征。 由于脑结构的分层启发，神经网络研究者一直致力于多层神经网络的研究。 bpp算法是一种经典的降级、随机选择初始值的

9、多层网络训练算法，但是通过输入和输出的非线性映射，网络误差函数或能量函数空间是包含非常小点的非线性空间，并且搜索方向是网络误差或能量空间修改日期： 2 0 1 2 0 4 - 1 0作者简介：孙志军(1 9 8 5 -)，男，吉林岩人，博士研究生，主要研究方向是机器学习，模式识别雪磊(1 9 6 3 -)，男，安徽霍丘人，教授，博导，主要研究方向是通信系统， 通信信号处理的许阳明(1 9 6 4 )，男，安徽舒城人，副教授，主要研究方向是无线通信，通信信号处理的王正(1 9 7 3 -)，男，福建莆田人，讲师，博士研究生，主要研究方向是数据融合，智能信号处理。 万方数据第八期孙志军等：深度学习

10、研究综述2 8 0 7总是局部最小，随着网络层数的增加，情况更为严重。 理论和实验表明，B P算法不适合训练具有多隐藏层单元的深度结构。 其原因在一定程度上阻碍了深度学习的发展，使很多机器学习和信号处理研究从神经网络迁移到了比较容易训练的浅层学习结构。 传统的机器学习和信号处理技术探索只包含单层非线性变换的浅层学习结构。 浅层模型的共同点之一是仅包括将原始输入信号转换为特定问题空间的特征的简单结构。 典型的浅层学习结构为传统的隐藏马尔可夫模型(H M M )、条件随机场(C R F s )、最大熵模型(mnet )、支持向量机(S V M )、核回归、仅包含单个隐藏层的多层传感器(M L P

11、)等。 1 .2浅层结构函数表达能力的界限早期浅层结构界限结论是利用逻辑门实现函数奇偶校验问题。 深度为O (1 0 9d )的网络用于在0 (d )计算节点处计算d位和奇偶校验，而两层网络需要指数倍数的计算单元。 之后，也有学者指出，能够通过深度k的多项式级逻辑门实现的函数，在k1层的电路中需要指数倍的计算节点。 文献 1 0 指出，深度学习结构可以简洁地表达复杂函数。 否则，不适当的结构模型需要非常多的计算单元。 其中简洁地包含3个内容： a )必要的数据量，特别是带类标记的样本b )必要的计算单元数c )必要的人有先验知识。 例如多项式？名。aijj可以有效地用D (m n )运算量(对

12、于需要训练的计算单元数)来表示和积结构，表示和积结构就需要o (数)运算量。 另外，在文献 1 6 中指出，存在着在浅层电路中无法表现的较大种类的函数。 这些数学结果指出了浅层学习网络的局限性，激发了利用深度网络建模复杂函数的动机。 1 .3部分显示、分散显示和稀疏显示最近很多研究者研究了分散显示的变体，在单纯的部分显示和稠密的分散显示之间存在着稀疏显示。 在所取得的表示中只有少数维度有效，尽量要求绝对多数维度为0或接近0的无效维度的思想。 目的是尽量找到信号的主要驱动源。 基于模板匹配的模型可被认为包含两层计算单元，第一层可建立匹配输入数据的多个模板，并使用特定机制融合第一层的输出匹配度，第

13、二层可按每个匹配单元输出匹配度基于典型的局部匹配的例子是核法。 (z)=bafk(x，x f )(1 ) 这里b和f i t i形成第二计算层。 核函数K (x，香菇)。 )将输入戈与培训样本%匹配，并在全局范围内求和。 方程式(1)的结果可以是分类器的划分标签或回归预测器的预测值。 使用局部核函数的核方法可以获得泛化性能，利用平滑的先验知识，即，目标函数可以利用平滑函数来近似。 在监督学习中，从训练样品(戈)。 Y i )构建预测器，如果输入名称接近%，则输出选择接近y。 通常这是合理的假设，但文献 1 0 指出，在目标函数非常复杂的情况下，这种模型的泛化能力很低。 这是因为，在利用局部估计

14、学习算法表示函数的情况下，一个局部估计器将输入空间分割，为了描述每个目标函数的区域的形状，需要不同的自由度参数。 在函数复杂的情况下，需要用参数记述的区域的数量也很庞大。 固定核函数的这个极限引起了基于先验知识设计核函数的研究，但如果没有足够的先验知识，能否通过学习获得核函数？ 这个问题同样引起了很多研究。 L a n c k r i e t等7 1提出了一个利用半正则规划技术学习数据的核矩阵，利用该核矩阵获得了高泛化性能。 但是，学习的核函数相互关联的情况下，能得到更简洁的表现吗？ 所谓深度学习，是基于这一思想，通过多次网络学习输入者样本的分散表示，是一种很有前途的方法。 分散表现副是机器学

15、习和神经网络研究中可以处理次元灾害和局部泛化限制的旧思想。 如图1所示，分布式表示由统计上可能独立的显着特征构成，与局部泛化的方法相比，基于分布式表示的可区分模式的数量和分布式表示的维数(学习的特征)处于指数倍关系。 参数的减少对统计机器的学习很有意义。 这是因为，不仅减少计算量，而且仅较少的样本也可避免过拟合现象的产生。 另一方面，诸如聚集算法或最近邻算法之类的局部表示算法如图1的左侧所示地划分输入空间，不同的局部之间是排他的，从而不能形成简洁分布式表示。 I C A、P C A、R B M等算法，以较少的特征将输入空间如图1的右侧所示分割，构建分散表现，参数数和必要的样本数远远少于子区域数

16、，为什么把未观测数据一般化呢？ P C A和I C A可以获得输入的主成分信息，但在输出信号数比输入信号数少的情况下，就不能很好地解决不足问题。 在文献 1 9 中提出了利用自联想神经网络提取数据的非线性主成分的方法，该学习方法的目的是从事物的部分信息和有噪声的信息中恢复事物的原来的信息。当自联想神经网络的隐藏层节点数少于输入节点数时，我们认为在自联想过程中，这些隐藏层能够保存数据集的主要信息。 多层神经网络和B o h z m a n n机被用于学习分散表现。 文献 2 0 证明，利用D B N学习特征空间提高了高斯过程回归的性能。 深度学习算法可以看作是核机器学习中优秀的特征表现方法。 文献 2 指出各个决策树的泛化性能随着目标函数变量的增加而下降。 多个树的整合(森林)比单一树强，也是因为增加了第三层，形成了潜在的分散表现，可以表