《人工智能导论》课件-2.2 人工神经网络

2.2人工神经网络

物联网工程学院基础概念人工神经网络（ArtificialNeuralNetwork，ANN）是一种受人脑神经系统启发的机器学习模型，它通过模拟人脑神经元之间的连接和信息处理方式，实现对复杂数据的分析和预测。ANN由大量互连的处理单元（人工神经元）组成，这些单元通过不同的连接方式形成网络，从而实现对输入数据的非线性变换和输出。神经网络关键组件l

神经元（Node/Neuron）：人工神经网络的基本处理单元，每个神经元接收来自其他神经元的输入信号，经过加权求和和激活函数处理后输出信号。l

连接（Connection）：神经元之间的连接代表了信号传递的路径，每个连接都有一个权重（Weight），表示该连接的强度或重要性。l

激活函数（ActivationFunction）：用于引入非线性因素，将神经元的输入映射到输出。常见的激活函数包括Sigmoid、ReLU等。l

网络层（Layer）：人工神经网络通常由多层组成，包括输入层、隐藏层和输出层。输入层接收外部数据，隐藏层对数据进行非线性变换，输出层产生最终结果。神经元模型MP神经元模型下图为麦卡洛（McCullough）和皮茨（Pitts）于1943年提出的MP神经元模型，该模型是基于生物神经元的结构和工作原理构建的抽象和简化模型，用于模拟神经元的信息处理过程。生物神经元主要由细胞体、树突、轴突和突触四部分组成。神经元通过树突接收来自其他神经元的输入信号，这些信号在细胞体内进行整合，当整合后的信号强度超过一定阈值时，神经元会通过轴突输出信号。MP模型是人工神经网络发展的早期重要成果之一，它为后续更复杂神经元模型和神经网络结构的发展奠定了基础。激活函数Sigmoid函数，也称为S型生长曲线或逻辑函数（LogisticFunction），是一种在生物学和信息科学中广泛使用的S型函数。它的数学表达式通常为：激活函数ReLU（RectifiedLinearUnit）函数是另一种在深度学习中广泛使用的激活函数。与Sigmoid函数相比，ReLU函数更加简单和高效。它的定义是：对于任何实数输入x，如果x大于等于0，则输出x；否则输出0。感知机感知机（Perceptron）是神经网络的基础结构之一，它最早由FrankRosenblatt在1957年提出，作为线性二分类模型，为后来更复杂的神经网络模型奠定了基础。感知机由两层神经元组成，如图所示：感知机感知机主要由以下几部分组成：l

输入层：接收输入特征。在感知机中，输入层通常包含多个输入节点，每个节点对应一个输入特征。这些输入特征可以是连续的数值，也可以是离散的符号。l

权重：每个输入特征都对应一个权重。权重表示了输入特征对输出结果的重要性或影响力。在感知机的学习过程中，权重的值会根据训练数据进行调整。l

激活函数：激活函数用于对输入特征和权重的加权和进行变换，以产生最终的输出结果。l

输出层：输出层接收激活函数的输出，并作为感知机的最终输出结果。在二分类问题中，输出通常为+1或-1，分别代表两个不同的类别。多层前馈网络多层前馈网络（MultilayerFeedforwardNeuralNetwork，MLP）是一种基础且广泛应用的人工神经网络模型，在机器学习和深度学习中占据重要地位。多层前馈网络由多个神经元层组成，信息在网络中以单向传播的方式进行处理，从输入层流向隐藏层，最终到达输出层，不形成循环。这种网络结构使得多层前馈网络能够处理复杂的非线性问题。多层前馈网络多层前馈网络通常包括三种类型的层次结构：l

输入层：接收外部输入信号，即待处理的数据或特征。输入层的神经元数量通常与输入数据的特征维度相对应。l

隐藏层：位于输入层和输出层之间，是前馈神经网络进行特征提取和变换的关键部分。隐藏层可以有一层或多层，每一层都包含一定数量的神经元。这些神经元通过权重和激活函数对输入信号进行非线性变换，从而提取出对任务有用的特征。l

输出层：生成网络的最终输出结果。输出层的神经元数量取决于任务的需求，例如在分类任务中，输出层的神经元数量可能等于类别的数量。深度神经网络深度神经网络（DeepNeuralNetworks，简称DNNs）是一种具有多个隐藏层的人工神经网络，与传统神经网络相比，这使得它们更加复杂和资源密集。深度神经网络深度神经网络（DeepNeuralNetworks，简称DNNs）的发展历程可以追溯到20世纪40年代。早期的研究主要集中在模拟人脑神经系统的行为。1958年，FrankRosenblatt提出了感知机（Perceptron），这是第一个能够学习权重并进行简单分类的人工神经网络，标志着神经网络研究的正式起步。然而，由于感知机只能解决线性可分问题，其发展在1969年遇到瓶颈，神经网络研究进入第一次寒冬。直到1986年，反向传播（Backpropagation）算法和激活函数（如Sigmoid）的引入，使得多层神经网络的训练成为可能，神经网络开始复兴。1998年，LeNet-5卷积神经网络实现了手写数字识别，进一步推动了神经网络的发展。进入21世纪，随着GPU和分布式计算技术的发展，计算机算力显著提升，为深度学习的兴起奠定了基础。2006年，深度置信网络（DBN）的提出标志着深度学习时代的来临。此后，深度学习在图像识别、语音识别等领域取得了显著突破。LeNet-5卷积神经网络深度神经网络深度神经网络典型的DNNs包括输入层、多个隐藏层和输出层。每个神经元接收来自前一层神经元的输入信号，对这些信号加权求和后，加上一个偏置项，然后通过一个激活函数（如ReLU、Sigmoid等）产生输出信号，作为下一层神经元的输入。这一过程在网络中逐层进行，直至最后一层输出层给出最终结果。AlexNet在2012年的ImageNet大赛中获得了冠军，标志着深度学习在图像分类领域的重大突破，其结构如下图所示：深度神经网络深度神经网络在多个领域都有广泛的应用，包括但不限于：l

计算机视觉：在图像识别、物体检测、图像分割等l

自然语言处理（NLP）：在机器翻译、文本摘要、情感分析、语音识别等l