人工智能原理及MATLAB实现 教案 第3、4章 人工神经网络、深度学习

《人工智能算法》课程教案教学目的、要求：1.掌握人工神经网络的基本原理2.掌握人工神经网络的结构形式3.了解神经网络模型的分类4.了解人工神经网络学习算法，掌握典型的人工神经网络5.掌握人工神经网络的matlab实战的基本技巧与方法教学重点及难点：重点：人工神经网络的基本原理与结构形式难点：人工神经网络的matlab实战的基本技巧与方法教学基本内容教学过程设计§3人工神经网络§3.1人工神经网络的基本原理ANN是在人类对其大脑神经网络认识理解的基础上，人工构造的能够实现某种功能的网络系统，它对人脑进行了简化、抽象和模拟，是大脑生物结构的数学模型。ANN由大量功能简单而具有自适应能力的信息处理单元即人工神经元按照大规模并行的方式，通过的拓扑结构连接而成。在人工神经元系统中，其输出是通过传递函数f来完成的。传递函数的作用是控制输入对输出的激活作用，把可能的无限域变换到给定范围的输出，对输入、输出进行函数转换，以模拟生物神经元线性或非线性转移特性。f函数形式多样，它反映了神经元的线性特征，这些特征一般可分为3种类型：简单的映射关系、动态系统方程和概率统计模型。人工神经网络具有一系列不同于其他计算方法的性质和特点：（1）神经网络将信息分布贮存在大量的神经元中，且具有内在的知识索引功能，也即具有将大量信息存贮起来并具有以一种更为简便的方式对其访问的能力。（2）人工神经网络能模拟人类的学习过程，并且有很强的容错能力。（3）人工神经网络是一种非线性的处理单元。人工神经网络涉及许多数学知识。限于篇幅，在此仅介绍最基本的数学基础知识：(1)向量的内积与外积：设向量V＝(v1,v2,…,vn)和矩阵W＝(w1,w2,…,wn)。向量可用两种方法来相乘，一种是称为点乘，又称内积，另一种为外积。（2）矩阵运算与层次结构网络：设给定一个向量V和一个矩阵W，则它们的乘积为一向量：W·V=U这种运算又称为映射，即V被W映射成U：U=WV；若用W-1表示W的逆矩阵，则类似地有映射：V=W－1U。§3.2人工神经网络的结构形式人工神经网络是由一组基本处理单元通过不同的连接模式所构成。人工神经元输出信号之间通过互相连接形成网络，互相连接方式称为连接模式。目前人工神经网络模型已有上百种，均是从生物神经元抽象出的最基本生物学事实而衍生出来。基本处理单元是对生物神经元的近似仿真，因而称为人工神经元，它的主要功能是信号的输入、处理和输出。§3.3神经网络模型分类（1）按学习方式分类按学习方式分为有导师学习（有监督训练）、强化学习和无导师（无监督训练）3类网络模型。（2）按网络的活动方式分类按网络的活动方式即按网络的学习技术，可分为确定性活动方式和随机性活动方式。（3）按神经网络的建立原理分类按神经网络的建立原理，可分为数学模型和认知模型。（4）按网络的信息处理能力分类按网络的信息处理能力可分为模型识别、模式分类、组合优化问题求解、数据聚簇与组合、数学映射逼近和联想记忆等。§3.4人工神经网络学习算法人工神经网络的学习算法有很多，其中较有代表性的是学习，误差修正型学习、随机学习、竞争型学习、基于记忆的学习以及结构修正学习。§3.5典型的人工神经网络（1）单层前向网络：最简单的人工神经网络，其网络中的神经元只有一层。最典型的单层前向网络是感知机。（2）多层前向网络及BP学习算法：为了解决非线性可分的问题，可以采用多层网络，即在输入层和输出层之间加上隐层。这种由输入层、隐层和输出层组成的网络就是多层前向神经网络。BP网络就是一种单向的多层前向神经网络。（3）径向基函数神经网络（RBF）：RBF网络是20世纪80年代提出的一种人工神经网络结构，是具有单隐层的前向网络。它不仅可以用来函数逼近，也可以进行预测。（4）自组织竞争人工神经网络：在生物神经系统中，存在着一种“侧抑制”现象，即一个神经细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。（5）对向传播神经网络（CPN）：对向传播（CounterPropagation，CPN）网络是将自组织竞争网络与Grossberg基本竞争型网络相结合，发挥各自的特长的一种新型特征映射网络。（6）反馈型神经网络（Hopfield）：Hopfield网络由相同的神经网络元构成的单层，并且具有学习功能的自联想网络，可以完成制约优化和联想记忆等功能，是目前人们研究最多的模型之一。§3.6人工神经网络的matlab实战人工神经网络在故障诊断、特征的提取和预测、非线性系统的自适应控制、不能用规则或公式描述的大量原始数据的处理等方面具有比经典计算方法优越的性能、且有极大的灵活性和自适应性。在实际应用中，面对一个实际问题，如要用人工神经网络求解，首先应根据问题的特点，确定网络模型，再通过网络仿真分析，分析确定网络是否适合实际问题的特点。3min引入：类比人类对其大脑神经网络的认识理解，引入人工神经网络的基本原理。内容设计思路：对课堂内容进行分析，引导学生了解内容之间的相互联系，并指出本节课的重点难点以及教学目的。核心是给学员讲清楚基本原理和结构形式。10min强调：引导学生思考模拟的原理，触类旁通。分析：神经网络模型分类方式的异同。注意过渡：动画演示：课堂互动：对先修的基础知识进行提问、回顾、引导。20min举例分析：分析要点：对典型的人工神经网络进行分析讲解其来源与适用范围。、让学生进行总结：深刻理解人工神经网络学习算法。实例分析：让学生进行人工神经网络的matlab实战操作，根据实际问题的特点，确定网络模型，再通过人工神经网络算法仿真分析。作业、讨论题、思考题：如何分析确定人工神经网络是否适合实际问题的特点，并根据不同问题特点采用不同的算法？教学反思：《人工智能算法》课程教案教学目的、要求：1.掌握深度学习的定义，了解深度学习的起源2.掌握深度学习的方法3.了解深度学习模拟、研究与应用领域4.掌握深度学习的模型教学重点及难点：重点：深度学习的技术特征难点：深度学习的知识获取教学基本内容教学过程设计§4.1深度学习概述深度学习作为一种实现人工智能的强大技术，已经在图像视频处理、机器翻译、数据挖掘、自然语言处理等多个领域得到了大量的成功应用，产生了令人眼花缭乱的效果，诞生了一些很优秀的机器学习技术和神经网络方法，使机器能模仿视听和思考等人类活动，解决很多复杂的模式识别问题，使得人工智能迈进了盛况空前、影响深远的新时代。深度学习是机器学习中一种基于对数据进行表征学习的方法，是一种能够模拟出人脑的神经结构的机器学习方法。它的概念起源于人工神经网络，本质上是指一类对具有深层结构的神经网络进行有效训练的结构和方法，其深度含义就是指不包括输入层的神经网络结构的层数。如图4.1所示的含多个隐含层的多层感知器就是一种深度学习结构。在人工神经网络结构中，从一个输入产生一个输出所涉及的计算可以通过一个流向图来表示。流向图中每一个节点表示一个基本的计算及一个计算的值，计算的结果被应用到这个节点的子节点的值，输入节点没有父节点，输出节点没有子节点。这种流向图的一个特别属性是深度，即一个输入至一个输出最长路径的长度。只有超过一定深度的神经网络才是深度学习。§4.2深度学习模型深度学习的模型有很多，目前开发者最常用的深度学习模型与架构包括CNN、DBN、RNN、RNTN、自动编码器、GAN等。§4.3深度学习的学习与训练深度学习的学习即深度学习神经网络的训练,一般可采用前向传播或反向传播算法。但实验结果表明，对深度结构神经网络采用随机初始化的方法，由于采用基于梯度的优化易使训练结果陷入局部极值，而找不到全局最优值，并且随着网络结构层次的加深，更难以得到好的泛化性能，使得深度结构神经网络在随机初始化后得到的学习结果甚至不如只有一个或两个隐层的浅结构神经网络得到的学习结果好。2006年后通过研究发现，用无监督学习算法对深度结构神经网络进行逐层预训练，能够得到较好的学习结果。无监督预训练不仅初始化网络得到好的初始参数值，而且可以提取关于输入分布的有用信息，有助于网络找到更好的全局最优解。§4.4深度学习框架为了在解决各种实际问题中有效地利用深度学习模型，现已有很多开发平台和工具可以选择。比较常用的有Theano、TensorFlow、Caff、Deeplearning4J和Keras等。§4.5深度学习的应用与挑战深度学习是一种从数据中提取表示的好方法，能够用于分类、回归和信息检索等特定问题中，已广泛应用于图像分类及识别、人脸识别、视频分类、行为识别、手写体字符识别、图像检索、人体运动行为识别等问题。深度学习虽然已取得了很大的成就，但也存在一些问题及挑战。1.深度学习目前存在的问题（1）理论问题。深度学习的学习训练的计算复杂度较大，较难估计需要多大参数规模和深度的神经网络模型去解决相应的问题；在对构建好的网络进行训练时，需要多少训练样本才能足以使网络满足拟合状态等问题；另外，网络模型训练所需要消耗的计算资源很难预估，对网络的优化技术仍有待提高。而且由于深度学习模型的代价函数都是非凸的，这也造成理论研究方面的困难。（2）建模问题。在解决深层学习理论和计算困难的同时，如何构建新的分层网络模型，既能够像传统深层模型一样能够有效的抽取数据的潜在特征，又能够像支持向量机一样便于进行理论分析，另外，如何针对不同的应用问题构建合适的深层模型同样是一个很有挑战性的问题。现在用于图像和语言的深度模型都拥有相似卷积和降采样的功能模块，研究人员在声学模型方面也在进行相应的探索，能不能找到一个统一的深度模型适用于图像，语音和自然语言的处理仍需要探索。（3）工程应用问题。在深度学习的工程应用问题上，如何利用现有的大规模并行处理计算平台进行大规模样本数据训练是各个进行深度学习研发公司首要解决的难题。由于像Hadoop这样的传统大数据处理平台的延迟过高，不适用于深度学习的频繁迭代训练过程。现在最多采用的深度网络训练技术是随机梯度下降算法。这种算法不适于在多台计算机间并行运算，即使采用GPU加速技术对深度神经网络模型进行训练也是需要花费漫长的时间。随着互联网行业的高速发展，特别是数据挖掘的需要，往往面对的是海量需要处理的数据。由于深度学习网络训练速度缓慢无法满足互联网应用的需求。3min引入：通过图像视频处理对深度学习应用实例引入。内