《人工智能通识教程》课件 第6章-人工智能与神经网络

第

6

章人工智能与神经网络第6章学习目标1理解人工智能的基本概念与特征，能够分析人工智能三大学派的区别和联系。理解专家系统的基本组成，能够利用知识图谱开展专家系统的简单应用。理解BP神经网络的结构和工作原理，能够理解激活函数和损失函数的作用。理解梯度下降法的作用，能够计算BP神经网络中的梯度。知晓深度神经网络的特征，能够理解卷积神经网络和循环神经网络的差异。23456.1人工智能的基本概念人工智能的定义可以从不同角度进行解读。有人（尼尔逊教授）认为，人工智能是关于知识的学科。怎样表示知识以及怎样获得知识并使用知识的科学。有人认为，人工智能是研究理解和模拟人类智能、智能行为及其规律的一门学科。从技术角度，人工智能是通过计算机程序或机器来模拟、实现人类智能的技术和方法.人工智能的智能程度人工智能按照其智能程度可以分为弱人工智能、强人工智能和超人工智能三个层次。弱人工智能，指的是擅长解决特定领域问题的人工智能。强人工智能，指的是在任何领域都能够胜任人类所有工作。超人工智能，是一种超越了人的存在。6.1.1人工智能的的主要特征（1）可学习性：人工智能的核心特点之一是强调学习和演化。（2）可自主性：人工智能的自主性体现在其能够独立地进行学习、推理和决策，而无须人类的干预或指示。（3）可感知性：人工智能的动态感知能力是其核心特点之一。（4）自适应性：自适应性是人工智能系统的一大特点，意味着它们能够根据不同的环境和任务进行调整，以适应各种情况（5）协同性：人工智能的协同性体现在人机协同和各子系统间的协作。6.1.2人工智能的发展历史1．第1阶段：人工智能兴起2．第2阶段：人工智能的第一次寒冬3．第3阶段：人工智能复兴4．第4阶段：人工智能的第二次寒冬5．第5阶段：人工智能再次崛起6.1.3人工智能的三大学派符号学派又称为逻辑学派、心理学派或计算机学派。该学派认为人类认知和思维的基本单元是符号，认知过程就是在符号表示上的运算。符号主义的核心在于用计算机的符号操作来模拟人类的认知过程，从而实现人工智能。连接学派又称为仿生学派、生理学派、连接主义，包含感知器、人工神经网络、深度学习等技术，当前占据主导地位。行为学派又称为进化主义或控制论学派，包含控制论、马尔科夫决策过程、强化学习等技术。6.1.4人工智能的典型应用人工智能的典型应用主要包括智能医疗、智能客服、智能家居、人脸识别、自然语言处理、自动驾驶、语音识别、智能推荐和医学影像处理等。1．智能医疗:

人工智能在医疗保健领域具有广泛的应用。这些应用包括制造能够检测疾病和识别癌细胞的复杂机器，利用实验室和其他医疗数据帮助分析慢性疾病以确保早期诊断，以及将历史数据和医学智能相结合以发现新药。2．智能客服智能客服使用客服机器人自动回答问题，是人工智能在客户服务领域的一种典型应用。这种机器人利用机器模拟人类行为，具备语音识别、自然语义理解和业务推理等能力。…6．自动驾驶自动驾驶是人工智能在交通领域的重要应用，旨在模仿人类驾驶行为，通过传感器和算法来感知周围环境，自主决策和控制车辆行驶。6.1.5人工智能的社会伦理就业问题。是人工智能发展带来的首要挑战。社会结构。过去人们直接与机器打交道，而现在则通过智能机器与传统机器打交道。心理威胁是人工智能带来的另一个问题。技术失控是最大的危险之一。法律问题也是人工智能发展带来的挑战之一。伦理问题是人工智能应用中另一个令人担忧的领域。人工智能的发展将会引发诸多的问题，如人工智能技术的广泛应用会导致大量人类失业，智能机器人的智慧超越人类从而威胁人类安全等。这些问题涉及劳务就业、社会结构变化、思维方式与观念的变化、法律、伦理道德、心理威胁和技术失控风险等，都是值得高度关注的社会问题。6.2知识图谱与专家系统专家系统是基于知识的系统，用于在某种特定的领域中运用领域专家多年积累的经验和专业知识，求解需要专家才能解决的困难问题。本节讲解知识、知识图谱、专家系统和专家系统的应用。6.2.1知识图谱与知识森林知识图谱是一种用图模型来描述知识和建模世界万物之间的关联关系的技术方法。它由节点和边组成，节点可以是实体（如人、书等）或抽象概念，边可以是实体的属性或实体之间的关系。知识图谱是由一些相互连接的实体及其属性构成的；知识图谱也可被看作一张图，图中的节点表示实体或概念，而图中的边则由属性或关系构成。一个典型的知识图谱结构如图所示。6.2.1知识图谱与知识森林在知识图谱中，通常使用三元组的方式来进行知识表示。根据知识所在位置，有两种形式的三元组知识表示方法。右边图

给出了一个关于高校信息的知识图谱。该知识图谱给出了两所高校的本科生、研究生、教师人数以及所在位置和校区数量。6.2.1知识图谱与知识森林最近10年，有关知识树和知识森林的相关概念在知识工程中也得到广泛应用。知识树是一种用树状的形式简明扼要地表现知识体系及其内在联系的方法。它类似于思维导图或概念图，能够清晰地展示知识的层次结构和逻辑关系。知识森林是由多个知识树组成的复杂知识体系。在这个体系中，不同的知识树相互交织、相互支撑，共同构成一个庞大而多元的知识网络6.6.2专家系统的构成知识库：知识库主要用来存放领域专家提供的专门知识。人机交互界面：它是专家系统中最重要的部分，帮助用户与专家系统进行通信的界面。全局数据库：用来存放系统推理过程中用到的控制信息、中间假设和中间结果。推理机：用于利用知识进行推理，求解专门问题，具有启发推理、算法推理;正向、反向或双向推理等功能。解释器：用于向用户解释系统的行为。这些组成部分共同协作，使得专家系统能够模拟人类专家的决策过程，解决需要人类专家处理的复杂问题。专家系统作为一种计算机系统，继承了计算机快速、准确的特点，在某些方面比人类专家更可靠、更灵活，可以不受时间、地域及人为因素的影响。所以，专家系统的专业水平能够达到甚至超过人类专家的水平。专家系统作为一种模拟人类专家决策能力的计算机系统，其主要组成如图所示。6.2.3专家系统的应用典型的专家系统是模糊智能控制。在日常生活中，经常要碰到有关模糊智能控制的问题，其中最典型的例子莫过于用桶装水。一般地，人们用桶装水时总是有意无意地这样做：当水桶是空的或有很少的水时，将水龙头开到最大。当水桶中的水较多时，把水龙头拧小一些。当水桶里的水快满时，将水龙头拧到很小。当水桶满时，关掉水龙头，以节约用水。上述规则就是我们控制装自来水的经验知识。它们是用语言来表达的。在这里，“很少”，“比较多”，“快满了”等均为模糊词，可以把模糊词定义为模糊集合。6.2.3专家系统的应用6.2.3专家系统的应用2．控制规则的生成图是典型二阶惯性系统的过度过程，我们将其划分为四个阶段来分析。这四个阶段是：上升段AB，超调段BC，回调段CD以及下降段DE。对于上升段AB，控制的首要目标是使系统的采样值快速接近设定值而稳定地下来，使超调尽量少。该段是过程控制中最关键的部分。通常，若测量值离设定值较远时，必须加大控制量，使上升速度加快；若接近设定值，必须使控制量减少，以防止由于惯性而超调。6.3神经网络的基本概念与结构生物神经网络的工作模式启发科学家开展了人工神经网络模型研究。人工神经网络模型的发展，极大推动了人工智能的发展。下面首先简要介绍生物神经网络，然后介绍几种典型的神经网络模型。6.3.1生物神经网络生物神经网络（BiologicalNeuralNetworks）一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。生物神经网络是由大量的生物神经元构成。每个神经元由细胞体（soma）、树突（dendrites）、轴突（axon）、突触（synapse）、细胞核和髓鞘等组成，如图5-4所示。6.3.2人工神经网络的发展与特征人工神经网络（artificialneuralnetwork，即ANN），是20世纪80年代以来人工智能领域兴起的研究热点。它从信息处理角度对人脑神经元网络进行抽象，建立某种简单模型，按不同的连接方式组成不同的网络。在工程与学术界也常直接简称为神经网络或类神经网络。神经网络是一种运算模型，由大量的节点（或称神经元）之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activationfunction）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达6.3.3人工神经网络1、工作原理人工神经网络的工作原理基于节点和连接构成的网络结构。节点接收输入信号、加权求和，并通过激活函数产生输出。网络通过学习和训练调整权重优化性能，包括前向传播和反向传播过程。（1）前向传播：输入信号通过网络逐层传递并产生输出的过程。在这个过程中，每一层的神经元接收来自上一层神经元的输出作为输入，并计算自己的输出。最终，输出层的神经元产生网络的最终输出结果。（2）反向传播：根据输出误差通过梯度下降等优化算法来更新权重的过程。在这个过程中，网络会根据输出数据和实际数据之间的差异来计算误差，并通过链式法则将误差传播回网络中的每一层。然后，通过梯度下降等优化算法来更新权重，以减小误差并提高性能。6.3.3人工神经网络2、人工神经网络的分类根据连接的拓扑结构，神经网络模型可以分为：（1）前向网络网络中各个神经元接受前一级的输入，并输出到下一级，网络中没有反馈，可以用一个有向无环路图表示。这种网络实现信号从输入空间到输出空间的变换，它的信息处理能力来自于简单非线性函数的多次复合。网络结构简单，易于实现。（2）反馈网络网络内神经元间有反馈，可以用一个无向的完备图表示。这种神经网络的信息处理是状态的变换，可以用动力学系统理论处理。系统的稳定性与联想记忆功能有密切关系。Hopfield网络、波耳兹曼机均属于这种类型。6.3.3人工神经网络3、多层感知机多层感知机（MultilayerPerceptron,MLP）是一种前馈型人工神经网络模型，主要用于解决非线性分类和回归问题。它的结构包含多个相互连接的层，如图所示，这些层包括：输入层（InputLayer）：接收原始输入数据(如x1,x2,x3,，x4），这一层的每个节点（或称为神经元）对应输入数据的一个特征。隐藏层（HiddenLayers）：位于输入层和输出层之间，至少有一个或多个隐藏层。每个隐藏层中的神经元对上一层所有神经元的输出进行加权求和，并将这个加权和传递给一个激活函数以产生新的输出，这一过程允许网络对输入进行复杂的变换和抽象表示。输出层（OutputLayer）：生成最终的预测结果。对于分类任务，输出层的神经元数量通常与类别数量相同（如ŷ1，ŷ2，ŷ3）；对于回归任务，输出层通常只有一个神经元。6.4BP神经网络的工作原理BP（backpropagation）神经网络是一种按照误差逆向传播算法训练的多层前馈神经网络，它在输入层与输出层之间增加若干层(一层或多层)神经元，这些神经元称为隐单元，它们与外界没有直接的联系，但其状态的改变，则能影响输入与输出之间的关系，每一层可以有若干个节点。1、BP神经网络的结构BP神经网络由输入层、隐藏层、输出层、神经元与连接、激活函数和反向传播算法组成。6.4BP神经网络的工作原理在图中，每个神经元（图中圆圈）都接受来自其它神经元的输入信号，每个信号都通过一个带有权重的连接（图中的连接直线）传递，神经元把这些信号加起来得到一个总输入值，然后将总输入值与神经元的阈值进行对比（模拟阈值电位），然后通过一个“激活函数”处理得到最终的输出（模拟细胞的激活），这个输出又会作为之后神经元的输入一层一层传递下去。引入激活函数的目的是在模型中引入非线性。如果没有激活函数（其实相当于激励函数是f(x)=x），那么无论神经网络有多少层，最终都是一个线性映射，那么网络的逼近能力就相当有限，单纯的线性映射无法解决线性不可分问题。正因为上面的原因，引入非线性函数作为激励函数，使得神经网络的表达能力就更加强大。6.4BP神经网络的工作原理BP神经网络的训练过程主要包括信号正向传播、误差反向传播两个过程。具体工作过程如图所示。（1）信号前向传播前向传播是信号在网络中从输入层向输出层传播的过程。输入数据从输入层进入网络，经过隐藏层的处理，最终到达输出层，生成预测值。每一层的输出都是下一层输入的来源。在前向传播过程中，神经元的输出计算方式是通过权重和偏置的调整来实现的。在隐藏层，每个神经元接收输入，计算加权和并应用激活函数（如ReLU、sigmoid或tanh）得到输出。常见的激活函数引入了非线性因素，使得网络能够学习到非线性关系。BP神经网络的前向传播公式主要涉及将输入通过各层神经元进行计算，最终得到输出。这个过程可以通过数学公式来表达，具体到每一层，前向传播的计算可以描述为：6.4BP神经网络的工作原理2）误差反向传播如果输出层的预测值与实际值之间存在误差，则转入反向传播阶段。误差传播到每个神经元时，会根据该神经元的输出和激活函数的导数计算误差项。反向传播利用链式法则将输出层的误差逐层传播回隐藏层和输入层，计算各个权重的梯度，使用梯度下降算法更新网络的权重和偏置，通过多次迭代，不断调整权重和偏置，使得损失函数的值逐渐减小，网络的预测能力不断提高。反向传播的计算过程可以描述为：6.4.2BP神经网络的激活函数

激活函数有什么用？引入非线性因素。激活函数

激活函数是如何引入非线性因素的呢？在神经网络中，为了避免单纯的线性组合，我们在每一层的输出后面都添加一个激活函数（sigmoid、tanh、ReLu等等）激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数，那么该网络仅能够表达线性映射，此时即便有再多的隐藏层，其整个网络跟单层神经网络也是等价的。因此也可以认为，只有加入了激活函数之后，深度神经网络才具备了分层的非线性映射学习能力。6.4.3BP神经网络的损失函数在神经网络中，常见的损失函数包括均方误差损失函数、交叉熵损失函数等。1.均方差（MeanSquaredError,MSE）均方差（MSE）损失函数是神经网络中一种常用的损失函数，在回归问题中有广泛应用。回归问题是指预测一个或多个连续值的问题，如房价预测、股票价格预测等。6.4.3BP神经网络的损失函数2.交叉熵（CrossEntropy）交叉熵损失函数是神经网络中实施分类问题的常用损失函数，它衡量的是模型预测的概率分布与真实标签的概率分布之间的差异。下面给出二分类和多分类问题的交叉熵损失函数的定义。6.4.4BP神经网络的权重更新6.4.4BP神经网络的权重更新6.4.5BP神经网络的梯度计算6.4.5BP神经网络的梯度计算6.4.5BP神经网络的梯度计算6.4.5BP神经网络的梯度计算6.4.5BP神经网络的梯度计算梯度下降法的计算实例6.5深度神经网络2006年7月，加拿大多伦多大学杰弗里•辛顿（GeoffreyHinton）教授等受动物视觉机理的启发，提出深度神经网络（deepneuralnetworks，DNN）。深度神经网络的提出得益于高性能计算和大数据技术的快速发展。特别是图形处理器（GraphicsProcessingUnit，GPU）和大规模集群的应用。因为深度神经网络的训练需要耗费大量的计算资源。循环神经网络（recurrentneuralnetwork，RNN）和卷积神经网络（convolutionalneuralnetworks，CNN）都属于多层的深度神经网络。CNN的每层由多个二维平面组成，而每个平面由多个独立神经元组成。CNN输入层是一个矩阵，如一幅图像的像素组成的矩阵，适合于图形处理应用。相比BP神经网络这是一个重大进步。6.5深度神经网络深度神经网络主要包括以下几种类型。（1）前馈神经网络（feedforwardneuralnetw