《深度学习导论》课件

深度学习导论人工智能前沿技术探索大脑启发的学习算法课程概述1课程目标掌握深度学习核心理论2学习内容神经网络架构与算法3先修知识基础线性代数、概率论什么是深度学习？定义多层神经网络的机器学习子领域与传统机器学习区别自动特征提取能力应用领域图像识别、语音处理、自然语言理解深度学习的发展历程1人工智能第一次浪潮1950s感知器提出2人工智能第二次浪潮1980s反向传播算法3人工智能第三次浪潮2012+深度学习爆发神经网络基础生物神经元与人工神经元模拟大脑工作原理激活函数Sigmoid、ReLU、Tanh单层感知器线性分类器原型多层感知器（MLP）结构输入层-隐藏层-输出层前向传播信息从输入流向输出反向传播算法权重更新的核心机制损失函数均方误差回归问题常用交叉熵分类问题首选其他常用损失函数HingeLoss，HuberLoss优化算法梯度下降法全数据集计算梯度1随机梯度下降单样本更新参数2小批量梯度下降批次数据平衡效率与稳定性3高级优化算法1Adam自适应矩估计2RMSprop均方根传播算法3Adagrad自适应梯度算法过拟合与欠拟合欠拟合模型太简单，无法捕捉数据规律良好拟合模型复杂度适中过拟合模型太复杂，记住了噪声正则化技术1L1正则化促进稀疏性，特征选择2L2正则化权重衰减，防止过大权重3早停法验证集性能不再提升时停止训练Dropout技术原理训练时随机关闭神经元实现每层应用不同概率的丢弃率效果防止共适应，相当于集成学习批量归一化原理标准化每一层的输入分布优势加速收敛，缓解梯度消失实现方法在每层输出后添加归一化层卷积神经网络（CNN）概述结构特点局部连接，权重共享应用领域图像识别，视频分析优势空间特征提取能力强CNN的基本组件卷积层提取特征，减少参数量池化层降维，提取显著特征全连接层分类决策，整合特征经典CNN架构1LeNet-5(1998)手写数字识别先驱2AlexNet(2012)ImageNet竞赛突破3VGGNet(2014)简洁统一的深层结构更深的CNN架构ResNet残差连接解决深度问题Inception多尺度特征提取DenseNet密集连接加强特征传播目标检测1R-CNN系列区域提议+分类2YOLO系列单步检测，实时性强3SSD多尺度特征图检测语义分割FCN全卷积网络，端到端U-Net编码解码结构，医学图像处理DeepLab系列空洞卷积，提高分辨率循环神经网络（RNN）概述1结构特点具有记忆能力的循环连接2应用领域序列数据处理，如文本、语音3优势可处理变长输入，保持时序信息长短期记忆网络（LSTM）结构记忆单元+三种门控单元1门控机制输入门、遗忘门、输出门2优势解决长期依赖问题3门控循环单元（GRU）结构重置门和更新门与LSTM比较更简单，参数更少应用机器翻译、文本生成序列到序列模型Encoder-Decoder结构编码器压缩信息，解码器生成输出注意力机制关注输入序列的相关部分应用实例机器翻译、摘要生成Transformer架构自注意力机制捕捉序列内部关联多头注意力并行捕捉不同特征位置编码添加位置信息BERT模型1预训练与微调通用预训练+任务特定微调2双向编码考虑上下文双向信息3应用领域问答系统、文本分类GPT系列模型1架构特点自回归语言模型2训练方法预测下一个词任务3应用前景内容生成、对话系统生成对抗网络（GAN）基本原理生成器与判别器对抗训练1生成器与判别器伪造与鉴别的博弈2训练过程交替优化两个网络3GAN的变体DCGAN深度卷积GAN，图像生成CycleGAN循环一致性，无配对转换StyleGAN风格控制，高质量人脸变分自编码器（VAE）原理概率生成模型，学习潜在分布结构编码器-潜在空间-解码器与GAN比较更稳定，但生成质量较低深度强化学习概述强化学习基础智能体、环境、奖励机制深度Q网络Q学习与深度神经网络结合策略梯度方法直接优化策略函数AlphaGo与AlphaZero算法原理蒙特卡洛树搜索+深度神经网络突破性成果击败人类冠军，自学围棋规则影响与启示通用算法解决复杂问题元学习1概念学会如何学习2方法基于优化、基于记忆、基于度量3应用场景少样本学习，快速适应迁移学习1原理从源任务迁移知识到目标任务2常用技术微调、特征提取、域适应3应用实例医学图像分析，少标注数据场景联邦学习隐私保护数据本地训练，共享模型1分布式训练多设备协作学习2挑战与机遇非独立同分布数据，通信效率3自监督学习原理从数据本身生成监督信号方法对比学习，预测任务最新进展CLIP，SimCLR，MAE图神经网络图数据表示节点、边、特征GCN卷积操作扩展到图结构GraphSAGE归纳学习，采样聚合知识图谱与深度学习知识表示实体和关系的嵌入知识推理路径推理，规则归纳知识图谱补全预测缺失的三元组神经网络压缩模型剪枝移除不重要的连接和神经元知识蒸馏大模型知识转移到小模型量化技术降低参数精度神经架构搜索（NAS）1自动化架构设计算法搜索最优网络结构2搜索空间层类型、连接模式3搜索策略进化算法、强化学习可解释性AI重要性安全性、合规性、信任方法特征归因、可视化技术挑战复杂模型黑箱特性对抗样本概念微小扰动导致错误预测生成方法FGSM、PGD、C&W攻击防御策略对抗训练、防御蒸馏深度学习硬件加速1GPU并行计算能力强2TPU谷歌专用张量处理器3专用芯片针对AI优化的ASIC设计边缘计算与深度学习概念设备端本地推理挑战资源受限，功耗限制应用场景智能家居，自动驾驶深度学习框架比较TensorFlowPyTorchMXNet各框架优缺点对比数据预处理技术数据清洗缺失值处理，异常检测特征工程特征选择，特征变换数据增强翻转，旋转，缩放模型评估与选择交叉验证K折验证评估性能1超参数调优网格搜索，随机搜索2模型集成投票，堆叠，Boosting3深度学习项目流程问题定义明确目标和评估指标数据收集与处理获取数据，清洗，增强模型设计与训练架构选择，参数调优部署与维护生产环境部署，监控更新计算机视觉应用图像分类、人脸识别、自动驾驶领域的深度学习应用自然语言处理应用机器翻译语言间自动转换情感分析理解文本情感倾向问答系统自动回答用户问题语音识别与合成声学模型音频转换为音素序列语言模型音素序列转换为文本端到端模型直接音频到文本转换推荐系统协同过滤基于用户-物品交互推荐深度推荐模型神经网络提取复杂特征冷启动问题新用户新物品推荐策略医疗健康领域应用疾病诊断医学影像分析辅助诊断药物发现分子结构预测与筛选个性化医疗基于基因组学的治疗方案金融领域应用1风险评估信用评分、欺诈检测2量化交易市场预测、自动交易3反欺诈异常交易识别、行为分析工业领域应用预测性维护故障预测，设备监控质量控制缺陷检测，产品分类生产优化流程优化，资源调度艺术创作与深度学习风格迁移、音乐生成、AI绘画作品示例深度学习的伦理问题隐私保护数据安全与个人隐私算法偏见模型公平性与歧视问题社会影响就业变化与技术鸿沟深度学习的未来发展123趋势预测低数据学习，多模态融合潜在突破点神经符号结合，能量效率挑战与机遇可解释性，知识迁移如何持续学习学习资源推荐书籍