人工智能导论（第2版Python版）课件 第4章神经网络

第4章

神经网络基础神经网络作为人工智能和机器学习的核心技术之一，在过去几十年里经历了快速的发展，并在各个领域取得了令人瞩目的成就。从图像识别系统精准地分类海量图片，到自然语言处理模型能够流畅地与人类对话，再到AlphaFold在蛋白质结构预测上的突破性进展，神经网络正在深刻地改变我们认识和理解世界的方式。本章将为读者提供神经网络的基础知识和核心概念，帮助读者理解神经网络的工作原理，以及如何将其应用到实际问题中。我们的目标是让读者能够掌握神经网络的基本理论，并能够实现和应用一些经典的神经网络模型。什么是神经网络神经网络，全称人工神经网络（ArtificialNeuralNetwork，ANN），是一种受生物神经系统启发而设计的计算模型。一个典型的神经网络由多个层次构成，包括输入层、隐藏层和输出层。每一层都由多个相互连接的人工神经元组成，这些神经元之间通过权重连接，形成了一个能够处理复杂信息的网络结构。神经网络的核心特点是其能够通过学习来改进自身的性能，而不需要被明确地编程。它能够接收输入数据，在隐藏层中对数据进行复杂的非线性转换，最终在输出层产生结果或做出决策。神经网络的强大之处在于它能够学习和表示复杂的非线性关系，这使得它在处理诸如图像识别、语音识别、自然语言处理等复杂任务时表现出色。神经网络的发展简史11943年WarrenMcCulloch和WalterPitts发表了一篇开创性的论文，描述了神经元如何工作，并模拟了一个简单的神经网络。这标志着人工神经网络研究的开始。21958年FrankRosenblatt发明了感知器（Perceptron），这是第一个能够学习的神经网络模型，为模式识别领域带来了重大突破。31969年MarvinMinsky和SeymourPapert出版《感知器》一书，指出了单层感知器的局限性，这导致神经网络研究在随后的几年里一度停滞。41986年DavidRumelhart、GeoffreyHinton和RonaldWilliams提出了反向传播算法，解决了多层神经网络的训练问题，这是神经网络发展史上的一个重要转折点。神经网络发展的关键里程碑11982年JohnHopfield提出了Hopfield网络，这种递归神经网络模型重新激发了学术界对神经网络的兴趣。21997年SeppHochreiter和JürgenSchmidhuber提出了长短时记忆（LSTM）网络，这是一种特殊的循环神经网络，能够有效处理长期依赖问题。32006年GeoffreyHinton提出深度学习概念，开启了神经网络研究的新纪元。42012年AlexKrizhevsky、IlyaSutskever和GeoffreyHinton提出的AlexNet在ImageNet图像识别竞赛中取得突破性成绩，引发了深度学习的热潮。为什么学习神经网络强大的模式识别能力神经网络能够从大量数据中学习复杂的模式和关系，这使得它在图像识别、语音识别等任务中表现出色。通过不断学习和调整，神经网络能够提升自身的准确性和效率，在处理各种数据时展现出卓越的性能。解决复杂问题的能力神经网络可以处理非线性问题和高维数据，这些问题往往是传统方法难以应对的。神经网络通过其高度并行的结构和强大的计算能力，可以找到传统方法无法轻易发现的隐藏模式和关系，从而提供创新性的解决方案。自动特征学习与传统机器学习方法相比，神经网络能够自动从数据中提取和学习特征，减少了人工特征工程的工作量。这不仅提高了效率，还增强了模型的鲁棒性和泛化能力，使其能够更好地适应不同的应用场景。神经网络的应用领域信息领域神经网络被用于数据分析和信息处理，帮助人们更高效地从海量数据中提取有价值的信息。控制领域在自动化系统和机器人控制中，神经网络能够实现复杂的控制任务，提高系统的自动化水平。心理学领域神经网络帮助理解人类认知过程，推动心理学研究的深入发展。医疗领域神经网络在辅助诊断和药物开发中发挥重要作用，提高了医疗服务的质量和效率。神经网络的更多应用教育领域通过个性化学习和智能辅导系统，神经网络促进了教育的智能化发展。金融领域在风险评估和市场预测中，神经网络帮助金融机构做出更加精准的决策。交通领域神经网络用于交通流量预测和智能交通系统，提升了交通管理的智能化水平。新兴技术结合量子计算和边缘计算，神经网络的能力和应用场景得到了进一步扩展和强化。生物神经元与人工神经元生物神经元生物神经元是神经系统中的基本单元，主要包括树突（接收信号）、细胞体（处理信号）、轴突（传递信号）和突触（神经元连接点）。树突接收来自其他神经元的信号，细胞体处理这些信号，然后通过轴突将处理后的信号传递给其他神经元。突触是神经元之间的连接点，通过神经递质传递信号。人工神经元人工神经元是对生物神经元的简化模拟，包括输入（对应树突）、权重（对应突触强度）、求和函数（对应细胞体）、激活函数（对应轴突）和输出。人工神经元的数学表达式为：y=f(∑(wi·xi)+b)，其中f是激活函数，b是偏置项。神经网络的层次结构输出层生成最终的预测或分类结果隐藏层处理数据并提取特征输入层接收原始数据神经网络由多层人工神经元组成，每一层都包括若干个神经元。输入层接收原始数据，并将其传递给下一层神经元。输入层的每个神经元代表一个输入特征。隐藏层位于输入层和输出层之间，负责数据的处理和特征提取。隐藏层可以有多层，通过增加层数，神经网络能够学习更复杂的特征和模式。输出层生成最终的预测或分类结果。输出层的神经元数量取决于具体的任务，例如分类任务中的类别数。神经网络的工作流程数据输入原始数据通过输入层进入网络前向传播数据通过隐藏层逐层处理，每层神经元根据激活函数计算输出输出结果输出层生成最终预测或分类结果反向传播计算误差并调整网络权重，从输出层开始逐层向前更新人工神经元的基本工作原理接收输入信号神经元接收多个输入信号，每个信号都有一个相关的权重计算加权和神经元计算所有输入信号的加权和，并加上偏置值应用激活函数加权和通过激活函数处理，决定神经元是否"激活"产生输出激活函数的结果作为神经元的输出，传递给下一层神经元人工神经元模拟了生物神经元的基本功能，通过接收、处理和传递信号来完成复杂的计算任务。激活函数的作用引入非线性激活函数为神经网络引入非线性因素，使网络能够学习和模拟复杂的函数关系。没有激活函数，多层神经网络将等同于单层线性模型，无法解决复杂问题。控制信号传递激活函数决定神经元是否"激活"，控制信号的传递强度。这类似于生物神经元中的阈值机制，只有当输入信号足够强时，神经元才会发送信号。梯度传播在反向传播过程中，激活函数的导数用于计算梯度，影响网络的学习速度和稳定性。合适的激活函数可以缓解梯度消失或爆炸问题。常用激活函数Sigmoid函数Sigmoid函数是一种S形曲线，输出范围在0到1之间。公式：f(x)=1/(1+e^(-x))适用于二分类问题的输出层，但在深层网络中可能导致梯度消失问题。Tanh函数Tanh函数也是S形曲线，但输出范围在-1到1之间。公式：f(x)=(e^x-e^(-x))/(e^x+e^(-x))解决了Sigmoid的零中心化问题，但仍可能面临梯度消失。ReLU函数ReLU函数是当前最常用的激活函数，公式简单：f(x)=max(0,x)计算高效，能缓解梯度消失问题，但可能导致"神经元死亡"现象。权重和偏置的作用权重表示输入特征的重要性，决定了每个输入对输出的影响程度。每个权重值对应一个输入特征，其大小和符号反映了该特征在决策过程中的贡献和方向。偏置允许激活函数沿着x轴移动，增加了模型的灵活性，使得神经网络能够更好地拟合数据，即使在输入为零的情况下也能产生非零输出。参数优化在训练过程中，神经网络通过调整这些参数来最小化预测误差。训练算法（如反向传播）不断优化权重和偏置，以提高模型的准确性和性能。单层感知器的结构感知器（Perceptron）是神经网络发展历程中的一个重要里程碑。由FrankRosenblatt在1958年提出，它是最早的人工神经网络模型之一。尽管感知器有其局限性，但它为现代神经网络的发展奠定了基础。感知器是一种最简单的前馈神经网络，它只包含一个神经元和一个可调阈值。其结构包括：输入层（接收特征输入）、权重（每个输入特征对应一个权重）、求和函数（计算输入与权重的加权和）、激活函数（通常使用阶跃函数）和输出（二元分类结果，0或1）。感知器的工作原理接收输入感知器接受多个输入信号，这些输入通常来源于数据特征计算加权和每个输入信号被相应的权重加权，并加上偏置项应用激活函数使用阶跃函数决定输出，如果加权和大于0，输出1；否则，输出0输出结果根据计算和激活函数的结果，感知器输出分类结果（0或1）感知器的训练过程初始化参数权重和偏置初始化为小的随机数，为学习过程提供起点计算预测输出使用当前的权重和偏置计算输出计算误差误差是目标输出（真实类标签）与预测输出的差更新权重和偏置根据误差进行调整，更新规则：w_new=w_old+learning_rate×(target-prediction)×input重复训练步骤这些步骤重复执行，直到满足停止条件，如误差足够小或达到设定的最大迭代次数感知器的局限性仅限于线性可分问题感知器的基本原理是通过一个线性函数来进行分类决策，这限制了它只能解决线性可分的问题。例如，在面对非线性可分的问题，如XOR问题时，感知器因无法找到一个合适的线性决策边界而失败。二分类限制感知器本质上是一个二元分类器，它的输出限于两种状态（0或1）。这意味着它无法直接应用于多分类问题，虽然可以通过组合多个感知器来间接处理，但这种方法效率不高且增加了模型的复杂性。不适用于连续输出感知器的输出通过阶跃函数进行二值化，使得它只能输出离散的类标签。这种离散的输出特征使感知器不适合进行回归任务，其中输出需为连续值。多层感知器的结构多层感知器（MLP）是一种高级的神经网络模型，用于解决单层感知器在处理复杂问题上的局限性。通过引入一个或多个隐藏层，MLP可以有效地学习非线性映射，使其能够处理如XOR这类非线性问题，广泛应用于各类模式识别和机器学习领域。在多层感知器中，信息的传递方式称为前向传播。从输入层开始，信息依次通过每个隐藏层直至输出层。在每一层中，神经元的输出是其输入的加权和经过激活函数的转换，可以数学表示为：a[l,j]=f(∑(w[l,j,k]·a[l-1,k])+b[l,j])前向传播和反向传播前向传播前向传播是信息从输入层到输出层的流动过程。在这个过程中，每个神经元接收来自前一层的输入，计算加权和，然后通过激活函数产生输出。这个过程模拟了信息在网络中的流动，使网络能够对输入数据进行预测或分类。反向传播反向传播是训练过程中的关键步骤。当前向传播完成后，网络会计算预测输出与实际标签之间的误差。这个误差信号随后从输出层开始，沿着网络结构反向传播，依次经过各个隐藏层，直到达到输入层。在这个过程中，算法计算每个连接权重对总体误差的贡献，并据此更新权重。神经网络的训练过程数据准备划分训练集、验证集和测试集模型构建设计网络结构和初始化参数模型训练前向传播、计算损失、反向传播、更新参数模型评估在验证集和测试集上评估模型性能数据准备：训练集、验证集和测试集训练集这是模型学习的主数据集，通常占总数据量的60%-80%。用于调整模型参数，使模型能够从数据中学习模式和关系。验证集用于评估模型性能和调整超参数，占10%-20%。验证集帮助我们选择最佳的模型配置，防止过拟合。测试集用来测试模型的泛化能力，通常也占10%-20%。测试集提供了对模型在未见过的数据上性能的无偏估计。损失函数的选择均方误差（MSE）主要用于回归问题，通过平方差的方式放大较大误差的影响，敏感于异常值。例如，在房价预测模型中，MSE能够帮助我们强调价格预测的大偏差，从而更精确地调整模型。公式：MSE=(1/n)∑(y-y')²交叉熵（Cross-Entropy）在分类问题中广泛使用，尤其是在处理两类或多类分类问题时。它衡量实际输出与预测输出之间的差异，优化目标是最小化这一差异。二分类公式：CE=-[y·log(y')+(1-y)·log(1-y')]平均绝对误差（MAE）它提供了预测值与实际值偏差的直观度量，较不敏感于异常值。在电商平台的销售预测中，MAE可以帮助评估预测销量的平均偏差，指导库存管理。公式：MAE=(1/n)∑|y-y'|优化算法：梯度下降梯度下降是神经网络训练中最基础也是最关键的优化策略。它通过迭代更新参数来减少损失，基本公式为：θ=θ-η∇J(θ)，其中η是学习率，∇J(θ)是损失函数关于参数θ的梯度。梯度下降有几种变体：批量梯度下降（使用所有样本计算梯度）、随机梯度下降（SGD，每次只使用一个样本）和小批量梯度下降（使用一小批样本）。每种方法都有其优缺点，适用于不同的场景。梯度下降的变体1批量梯度下降使用所有训练样本计算梯度，每次迭代的方向都指向真实的最优方向。尽管计算代价高，但在小数据集上能够稳定地达到最佳解。2随机梯度下降（SGD）每次仅使用一个样本来更新权重，虽然更新过程较为嘈杂，但对于大规模数据集，它能更快地收敛。例如，在处理网上评论情感分类时，SGD可以有效地处理大量数据。3小批量梯度下降结合了上述两者的优点，通过每次使用小批数据进行更新，既保证了计算效率，又稳定了梯度估计。在图像分类任务中，小批量梯度下降是常见的选择，因为它既可以快速学习，又能保持稳定的收敛。过拟合问题及其解决方法过拟合是指模型在训练数据上表现很好，但在新数据上表现较差的现象。这通常发生在模型过于复杂，学习了训练数据中的噪声而非潜在模式时。解决过拟合的常用方法包括：正则化（通过惩罚大的权重值来减少模型复杂度）、丢弃法（随机关闭网络中的一部分神经元）、早停（当验证集性能不再提升时停止训练）、数据增强（通过变换现有数据创造更多训练样本）和集成学习（结合多个模型的预测）。解决过拟合的方法正则化通过引入额外的信息（通常是对权重的惩罚）减少模型复杂度。L1正则化添加参数的绝对值之和，而L2正则化添加参数的平方和。丢弃法随机关闭网络中的一部分神经元，迫使网络学习更多的鲁棒特征，减少对特定神经元的依赖。在处理图像识别任务时，dropout可以防止模型对特定的图像噪声过拟合。早停监控验证集的性能，当性能不再提升时停止训练，防止过多的训练周期导致过拟合。在训练语音识别模型时，早停可以在验证集误差增加前停止训练。数据增强通过对原始数据进行各种变换，如旋转和缩放图像，来增加训练样本的多样性，这在自动驾驶车辆的视觉系统训练中尤其有用。分类问题：手写数字识别手写数字识别是机器学习和计算机视觉领域中的一个经典问题，经常被用作各种算法和技术的基准测试。这个任务涉及到识别和分类从0到9的手写数字，是一个典型的多类分类问题。在这一应用中，我们使用广泛知名的MNIST数据集来展示如何使用神经网络进行手写数字的识别。MNIST数据集包含60,000个训练样本和10,000个测试样本，每个样本都是28x28像素的灰度手写数字图像。手写数字识别的实现步骤数据准备加载MNIST数据集，并将图像数据转换为一维向量，适用于全连接网络模型构建设计一个包含全连接层的简单神经网络，从784维输入（28x28像素）到10维输出（10个数字类别）模型训练使用训练数据来训练网络，通过反向传播和优化器（如SGD）调整网络参数模型评估在测试数据上评估模型的性能，计算准确率和损失回归问题：房价预测房价预测是一个典型的回归问题，在这里，我们利用历史房价数据来预测未来或新房产的价格。这种类型的问题通常涉及到处理连续的数值，不同于分类问题的离散标签。在本应用中，我们使用著名的波士顿房价数据集进行房价预测，该数据集包含有关波士顿地区房屋的信息以及房价的中位数。这个数据集包含13个特征，如房屋的平均房间数、物业税率、犯罪率等，这些都是预测房价的重要因素。房价预测的实现步骤数据加载和预处理加载波士顿房价数据集，进行标准化处理，使数据适用于神经网络模型数据划分将数据集划分为训练集和测试集，通常按8:2的比例模型构建构建一个包含全连接层的神经网络模型，从13个输入特征到1个输出（预测价格）模型训练和评估使用均方误差（MSE）作为损失函数，训练模型并在测试集上评估性能神经网络的优势非线性建模能力通过堆叠多层并采用非线性激活函数，神经网络能够逼近几乎任何复杂的非线性函数，从而有效捕捉并揭示数据中隐藏的复杂模式和关系。一个典型例证是