现代AI基础微课视频版课件 第5章 神经网络起源_第1页
现代AI基础微课视频版课件 第5章 神经网络起源_第2页
现代AI基础微课视频版课件 第5章 神经网络起源_第3页
现代AI基础微课视频版课件 第5章 神经网络起源_第4页
现代AI基础微课视频版课件 第5章 神经网络起源_第5页
已阅读5页,还剩44页未读, 继续免费阅读

下载本文档

版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领

文档简介

BeyondTechnology现代AI基础第5章神经网络起源本章学习目标1.理解神经网络从生物启发走向数学模型的过程2.掌握神经元模型、感知机、多层神经网络的基本逻辑3.理解卷积神经网络处理图像问题的核心机制4.了解LeNet、AlexNet及其它神经网络的发展应用本章讲授主线5.1人工神经网络:从神经元到多层网络5.2卷积神经网络基础:卷积、步幅、填充、池化5.3经典CNN模型:LeNet与AlexNet5.4发展与应用:CNN、RNN、GAN、Transformer5.5本章小结:理解结构与任务之间的匹配关系核心问题导入1.简单神经元为什么能组成复杂智能系统?2.神经网络到底是怎样“学习”参数的?3.图像任务为什么不能只依靠普通全连接网络?4.深度学习复兴依赖了哪些技术条件?5.1人工神经网络5.1人工神经网络本节重点不是记忆模型名称,而是把握发展逻辑。从生物神经元得到启发,抽象出人工神经元。从固定参数的M-P模型,走向可以学习的感知机。从单层线性模型,走向具备非线性表达能力的多层网络。5.1.1思想起源5.1.1神经网络的思想起源人工神经网络的出发点是模拟大脑的信息处理方式。生物神经元接收、整合并传递信号。人工模型保留“输入—加权—判断—输出”的核心机制。这种抽象为后续机器学习模型提供了基本框架。生物神经元结构生物神经元可理解为一个信息处理单元。从生物神经元到人工神经元1.树突:接收来自其它神经元的输入信号2.细胞体:整合输入信号并进行阈值判断3.轴突:将输出信号传递给下游神经元4.人工神经元:把上述过程数学化为加权求和与激活函数M-P模型的意义5.1.2M-P模型M-P模型把神经元抽象为逻辑计算单元。输入是二进制信号,输出也是二进制判断结果。它证明简单单元的组合可以表达复杂逻辑功能。关键不足是参数固定,模型本身没有学习机制。M-P模型示意M-P模型保留了加权求和与阈值判断。M-P神经元的计算过程1.接收多个输入信号x1、x2、…、xn2.每个输入乘以对应权重w1、w2、…、wn3.将所有加权结果求和,得到总输入强度4.与阈值比较,超过阈值则输出1,否则输出05.1.3感知机算法5.1.3感知机算法感知机在M-P模型基础上加入了学习规则。模型预测正确时,权重和偏置保持不变。模型预测错误时,按照误差方向调整参数。它适合处理线性可分的二分类问题。感知机模型结构感知机引入权重、偏置和激活函数。感知机的学习思想1.初始给定一组权重和偏置2.输入样本后计算模型输出3.比较预测输出与真实标签4.若分类错误,就按规则修正权重和偏置5.多次迭代后形成线性决策边界感知机的局限1.单层感知机只能形成线性决策边界2.对线性可分问题有效,对非线性问题无能为力3.异或问题揭示了单层结构的表达瓶颈4.解决思路是引入隐藏层和非线性激活函数5.1.4多层神经网络5.1.4多层神经网络多层网络由输入层、隐藏层和输出层组成。隐藏层负责对输入进行多阶段特征变换。非线性激活函数使模型能够表达复杂非线性关系。反向传播算法使多层网络的训练成为可能。多层神经网络结构隐藏层是多层网络突破线性限制的关键。多层网络为什么更强1.多个神经元可以组合出更复杂的特征表示2.多个隐藏层可以逐层提取由低级到高级的特征3.非线性激活函数避免多层线性变换退化为一层4.网络越复杂,越需要关注过拟合和训练难度神经网络复兴的条件1.数据:互联网积累了大规模训练数据2.算力:GPU并行计算显著提升训练效率3.算法:反向传播、激活函数和优化方法持续改进4.应用:视觉、语音和语言任务提供了强需求牵引5.2卷积神经网络基础5.2卷积神经网络基础普通全连接网络处理图像时需要先展平像素。展平会破坏图像中的空间邻近关系。大尺寸图像还会导致参数数量急剧增加。CNN通过局部连接和参数共享更适合图像数据。5.2.1卷积层5.2.1卷积层卷积层使用卷积核在输入图像上滑动扫描。每个卷积核相当于一个局部特征检测器。同一卷积核在不同位置共享参数。输出结果形成反映特征响应强弱的特征图。图像的通道结构彩色图像可看作由RGB三个通道组成。卷积操作示意多个卷积核可以并行提取多种图像特征。卷积层的三个核心特点1.局部感受野:只关注输入图像的一小块区域2.参数共享:同一卷积核在所有位置使用相同参数3.特征图输出:记录卷积核在不同位置的匹配程度4.这些特点降低参数量,并保留图像空间结构5.2.2互相关运算5.2.2互相关运算深度学习中常说的卷积,实际多指互相关运算。卷积核覆盖输入局部区域后,对应元素相乘。再把所有乘积相加,得到输出特征图中的一个值。该值越大,表示局部区域越匹配卷积核检测的特征。互相关计算示意一个输出值来自一次局部窗口与卷积核的匹配计算。5.2.3步幅5.2.3步幅和填充步幅决定卷积核每次滑动移动多少个像素。步幅为1时,卷积核逐格扫描,保留更多位置信息。步幅增大时,输出特征图尺寸变小,计算量下降。步幅过大也可能跳过有效信息。步幅示意步幅改变卷积核的计算位置和输出特征图大小。填充的作用1.填充是在输入边缘补充额外像素2.目的之一是控制输出特征图尺寸3.目的之二是减少边缘信息被过早丢失4.常见策略包括valid卷积和same卷积填充示意same填充常用于尽量保持空间尺寸。5.2.4池化层5.2.4池化层池化层用于压缩特征图的空间尺寸。最大池化保留局部区域中最强的特征响应。平均池化保留局部区域的平均统计信息。池化可以减少计算量,并提升一定的平移鲁棒性。最大池化示意最大池化保留每个局部窗口中的最大响应。5.2.5全连接层与输出层5.2.5全连接层与输出层卷积层和池化层主要负责提取空间特征。全连接层负责综合高级特征并完成任务判断。分类任务常用Softmax输出各类别概率。回归任务则输出连续数值。从特征图到分类输出特征图展平后可送入全连接层完成分类。5.3卷积神经网络模型简介5.3卷积神经网络模型简介经典CNN模型体现了结构设计与应用需求的变化。LeNet面向小规模手写数字识别任务。AlexNet面向大规模自然图像分类任务。二者共同展示了CNN从可用到爆发的关键路径。5.3.1LeNet5.3.1LeNetLeNet是早期成功应用于手写数字识别的CNN模型。其结构包含卷积层、池化层和全连接层。它证明CNN能够自动提取图像特征并完成分类。LeNet的意义在于验证了卷积结构的实际有效性。LeNet网络结构LeNet展示了早期CNN的基本处理流程。手写数字识别示例手写数字识别是CNN早期的重要应用场景。5.3.2AlexNet5.3.2AlexNetAlexNet显著加深了CNN结构。它使用ReLU激活函数改善训练效率。它引入Dropout和数据增强缓解过拟合。它借助GPU并行计算推动深度学习复兴。AlexNet网络结构AlexNet标志着深度CNN在大规模视觉任务上的突破。LeNet与AlexNet的对比1.任务规模:LeNet面向手写数字,AlexNet面向自然图像2.输入规模:AlexNet处理更大、更复杂的图像数据3.网络结构:AlexNet更深,特征表达能力更强4.技术条件:GPU、数据增强和新激活函数共同发挥作用5.4神经网络的发展与应用5.4神经网络的发展与应用不同神经网络结构适合不同类型的数据和任务。CNN擅长处理图像等空间结构数据。RNN擅长处理序列数据。GAN、自编码器和Transformer扩展了神经网络应用边界。CNN的典型应用1.图像分类:判断图像属于哪个类别2.目标检测:找出图像中的目标位置和类别3.图像分割:对每个像素进行类别标注4.人脸识别:提取人脸特征并进行身份匹配视觉任务示例CNN可用于图像分类、目标检测和实例分割等任务。其它神经网络结构1.RNN:适合文本、语音、时间序列等序列数据2.GAN:通过生成器和判别器对抗学习生成数据3.自编码器:用于特征学习、降维和异常检测4.Transformer:依靠自注意力机制处理长距离依赖生成对抗网络GAN通过生成器和判别器的对抗推动模型改进。Transformer结构Transformer已成为大语言模型和多模态模型的重要基础。本章小结1.神经网络的核心是简

温馨提示

  • 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
  • 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
  • 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
  • 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
  • 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
  • 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
  • 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。

评论

0/150

提交评论