人工智能原理及MATLAB实现 教案 第4章 深度学习

《人工智能算法》课程教案教学目的、要求：1.掌握深度学习的定义，了解深度学习的起源2.掌握深度学习的方法3.了解深度学习模拟、研究与应用领域4.掌握深度学习的模型教学重点及难点：重点：深度学习的技术特征难点：深度学习的知识获取教学基本内容教学过程设计§4.1深度学习概述深度学习作为一种实现人工智能的强大技术，已经在图像视频处理、机器翻译、数据挖掘、自然语言处理等多个领域得到了大量的成功应用，产生了令人眼花缭乱的效果，诞生了一些很优秀的机器学习技术和神经网络方法，使机器能模仿视听和思考等人类活动，解决很多复杂的模式识别问题，使得人工智能迈进了盛况空前、影响深远的新时代。深度学习是机器学习中一种基于对数据进行表征学习的方法，是一种能够模拟出人脑的神经结构的机器学习方法。它的概念起源于人工神经网络，本质上是指一类对具有深层结构的神经网络进行有效训练的结构和方法，其深度含义就是指不包括输入层的神经网络结构的层数。如图4.1所示的含多个隐含层的多层感知器就是一种深度学习结构。在人工神经网络结构中，从一个输入产生一个输出所涉及的计算可以通过一个流向图来表示。流向图中每一个节点表示一个基本的计算及一个计算的值，计算的结果被应用到这个节点的子节点的值，输入节点没有父节点，输出节点没有子节点。这种流向图的一个特别属性是深度，即一个输入至一个输出最长路径的长度。只有超过一定深度的神经网络才是深度学习。§4.2深度学习模型深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括CNN、DBN、RNN、RNTN、自动编码器、GAN等。§4.3深度学习的学习与训练深度学习的学习即深度学习神经网络的训练,一般可采用前向传播或反向传播算法。但实验结果表明，对深度结构神经网络采用随机初始化的方法，由于采用基于梯度的优化易使训练结果陷入局部极值，而找不到全局最优值，并且随着网络结构层次的加深，更难以得到好的泛化性能，使得深度结构神经网络在随机初始化后得到的学习结果甚至不如只有一个或两个隐层的浅结构神经网络得到的学习结果好。2006年后通过研究发现，用无监督学习算法对深度结构神经网络进行逐层预训练，能够得到较好的学习结果。无监督预训练不仅初始化网络得到好的初始参数值，而且可以提取关于输入分布的有用信息，有助于网络找到更好的全局最优解。§4.4深度学习框架为了在解决各种实际问题中有效地利用深度学习模型，现已有很多开发平台和工具可以选择。比较常用的有Theano、TensorFlow、Caff、Deeplearning4J和Keras等。§4.5深度学习的应用与挑战深度学习是一种从数据中提取表示的好方法，能够用于分类、回归和信息检索等特定问题中，已广泛应用于图像分类及识别、人脸识别、视频分类、行为识别、手写体字符识别、图像检索、人体运动行为识别等问题。深度学习虽然已取得了很大的成就，但也存在一些问题及挑战。1.深度学习目前存在的问题（1）理论问题。深度学习的学习训练的计算复杂度较大，较难估计需要多大参数规模和深度的神经网络模型去解决相应的问题；在对构建好的网络进行训练时，需要多少训练样本才能足以使网络满足拟合状态等问题；另外，网络模型训练所需要消耗的计算资源很难预估，对网络的优化技术仍有待提高。而且由于深度学习模型的代价函数都是非凸的，这也造成理论研究方面的困难。（2）建模问题。在解决深层学习理论和计算困难的同时，如何构建新的分层网络模型，既能够像传统深层模型一样能够有效的抽取数据的潜在特征，又能够像支持向量机一样便于进行理论分析，另外，如何针对不同的应用问题构建合适的深层模型同样是一个很有挑战性的问题。现在用于图像和语言的深度模型都拥有相似卷积和降采样的功能模块，研究人员在声学模型方面也在进行相应的探索，能不能找到一个统一的深度模型适用于图像，语音和自然语言的处理仍需要探索。（3）工程应用问题。在深度学习的工程应用问题上，如何利用现有的大规模并行处理计算平台进行大规模样本数据训练是各个进行深度学习研发公司首要解决的难题。由于像Hadoop这样的传统大数据处理平台的延迟过高，不适用于深度学习的频繁迭代训练过程。现在最多采用的深度网络训练技术是随机梯度下降算法。这种算法不适于在多台计算机间并行运算，即使采用GPU加速技术对深度神经网络模型进行训练也是需要花费漫长的时间。随着互联网行业的高速发展，特别是数据挖掘的需要，往往面对的是海量需要处理的数据。由于深度学习网络训练速度缓慢无法满足互联网应用的需求。3min引入：通过图像视频处理对深度学习应用实例引入。内容设计思路：对课堂内容进行分析，引导学生了解内容之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚技术特征10min强调：引导学生思考深度学习的原理，触类旁通。分析：方法与应用领域的关系。注意过渡：动画演示：课堂