神经网络与深度学习-课件 第五章-TensorFlow 和 PyTorch 框架

课程讲授/第5章第5章TensorFlow和PyTorch框架研究生教学版|教材梳理+2026工程生态扩展本章核心理解教材中的TensorFlow/PyTorch基础对象:张量、变量、激活、损失、模型搭建把“静态图vs动态图”的经典对比升级到2026的eager+compile视角掌握训练循环、自动求导、分布式训练与部署精度的现代工程主线建立“教学代码→研究原型→工业训练/推理”三层框架认知1–2节课安排教材层TensorFlow数据流图、张量、会话、变量、MNIST示例现代层EagerExecution、tf.function、GradientTape、Keras3PyTorch层Tensor、autograd、nn.Module、训练循环、pile系统层分布式训练、FSDP/DTensor、低比特精度与Blackwell2026关键词Keras3多后端pileFSDP/DTensorNVFP4tf.distribute1神经网络与深度学习|第5章第5章/TensorFlow和PyTorch框架学习目标与教学安排研究生教学版2神经网络与深度学习|第5章学习目标•识别框架层的关键对象与抽象边界•读懂教材中的TensorFlow1风格代码•将旧范式映射到TensorFlow2/Keras3•用PyTorch写出标准训练循环•能从研究与工程角度比较两大生态课堂节奏第1课时•教材内容梳理•图、张量、变量、会话•激活函数与损失第2课时•现代API映射•PyTorch训练循环•分布式/低比特/部署课堂讨论为什么今天的教学不能只讲“TensorFlow静态图vsPyTorch动态图”？2026年真正有价值的比较维度是什么？实验建议要求学生各用TensorFlow/Keras与PyTorch实现一次MNIST或CIFAR-10分类，比较代码长度、可调试性、吞吐、混合精度与部署路径。第5章/TensorFlow和PyTorch框架教材第五章的逻辑结构研究生教学版3神经网络与深度学习|第5章5.1TensorFlow基础•数据流图•计算图•张量/会话/变量5.1.8模型搭建•MNIST数据集•Softmax回归•训练与测试5.2PyTorch基础•Tensor•Variable/autograd•激活函数/损失5.2.6模型搭建•模块化建模•前向传播•训练循环研究生教学建议:“教材层”讲抽象，“现代层”讲API迁移，“系统层”讲规模化训练与部署。第5章/TensorFlow和PyTorch框架从教材视角到2026视角:框架范式已经发生变化研究生教学版4神经网络与深度学习|第5章教材中的经典对比•TensorFlow:静态计算图+Session•PyTorch:动态计算图+更易调试•重点是“图先定义还是边跑边建”2026的新现实•TensorFlow2默认eagerexecution•tf.function把Python代码转为图•PyTorch2.x用pile做图捕获与优化•两者都走向“易写+可编译+可部署”教学上要升级的问题•谁更适合研究原型？•谁更适合工业管线？•如何接入多GPU/TPU？•如何支持混合精度和低比特推理？结论:今天的比较重点已从“静态图vs动态图”迁移为“eager编程+compiler+distributed+deployment”。第5章/TensorFlow和PyTorch框架TensorFlow:教材中的核心概念与现代映射研究生教学版5神经网络与深度学习|第5章教材对象教材含义2026对应对象教学提示数据流图/计算图用图表达节点依赖与执行顺序eager+tf.function图转换先教“图是什么”，再教“图不一定手写”placeholder给运行时喂入输入函数参数/tf.keras.Input保留概念，不要求学生继续大量手写Session驱动图执行与资源管理默认eager执行强调TF1风格代码的历史价值Variable共享、可更新状态tf.Variable/Keras层权重引到优化器与检查点Graph+device指定CPU/GPU/分布式设备tf.distribute.Strategy从“设备指定”升级到“策略抽象”第5章/TensorFlow和PyTorch框架现代TensorFlow2主线:Tensor,Variable,GradientTape,tf.function研究生教学版6神经网络与深度学习|第5章Tensor•多维数组对象•dtype/shape/device•支持CPU/GPU/TPU•是计算图中的基本数据载体Variable•表示共享、持久、可更新状态•常用来存储模型参数•会被优化器更新•Keras层权重底层即tf.VariableGradientTape•记录前向运算•自动求导•取代教材里的Session+手工图执行直觉•是自定义训练循环核心tf.function•把Python函数转成数据流图•提升性能与可移植性•SavedModel/分布式训练常需要它第5章/TensorFlow和PyTorch框架TensorFlow的性能与规模化:tf.data+tf.function+tf.distribute研究生教学版7神经网络与深度学习|第5章输入管线•tf.data负责数据读取、shuffle、batch、prefetch•高吞吐训练需要输入管线跟上GPU/TPU•研究中常被忽视，工程中常是瓶颈图优化•eager方便调试•tf.function提供图执行、优化与导出能力•分布式场景中通常与图执行一起使用分布式训练•统一入口:tf.distribute.Strategy•覆盖单机多卡、参数服务器、多worker、TPU•指南明确指出该API最适合与tf.function配合使用•教学上应把“设备”抽象升级为“分布式策略”第5章/TensorFlow和PyTorch框架教材中的MNIST示例与现代教学写法研究生教学版8神经网络与深度学习|第5章#教材主线（TF1风格）x=tf.placeholder("float",[None,784])W=tf.Variable(tf.zeros([784,10]))b=tf.Variable(tf.zeros([10]))y=tf.nn.softmax(tf.matmul(x,W)+b)train_step=tf.train.GradientDescentOptimizer(0.01)\.minimize(cross_entropy)withtf.Session()assess:sess.run(init)#现代教学（TF2/Keras风格）model=tf.keras.Sequential([tf.keras.layers.Input((784,)),tf.keras.layers.Dense(10,activation="softmax")])pile(optimizer="sgd",loss="categorical_crossentropy",metrics=["accuracy"])model.fit(x_train,y_train,batch_size=100,epochs=10)教学建议建议先讲教材代码的“图执行逻辑”，再给出现代Keras写法。这样学生既能读老代码，也不会停留在过时API上。第5章/TensorFlow和PyTorch框架PyTorch核心抽象:Tensor+autograd+nn.Module研究生教学版9神经网络与深度学习|第5章Tensor•多维同质数组•CPU/CUDA/dtype/shape一等公民•是数学计算与模型状态的统一载体autograd•反向传播引擎•对requires_grad=True的张量记录运算图•backward()自动计算梯度nn.Module•模型、层、子模块的统一容器•负责参数注册与forward定义优化器•torch.optim管理参数更新•与训练循环显式配合研究生应掌握的关键点:PyTorch的“简洁”不是没有图，而是图在运行期被autograd隐式构建。第5章/TensorFlow和PyTorch框架PyTorchTensor操作:教材中的形状变换与现代实践研究生教学版10神经网络与深度学习|第5章教材重点•view/reshape•squeeze/unsqueeze•cat/stack•mm/add等张量运算工程理解•形状变换不是“语法题”•它决定batch维、通道维、时序维是否正确•很多bug本质上是shapebug现代提醒•优先使用reshape而非盲目view•注意contiguous与内存布局•device/dtype转换常用.to()x=torch.randn(4,4)y=x.view(16)z=x.view(-1,8)a=torch.tensor([[1,2,3]])a.squeeze()a.unsqueeze(2)x=torch.randn(2,3).to("cuda")y=torch.randn(2,3).to(torch.float16)out=x+y.float()第5章/TensorFlow和PyTorch框架激活函数与损失函数:第5章的“框架API层”研究生教学版11神经网络与深度学习|第5章激活函数•Sigmoid/tanh:经典但有梯度饱和问题•ReLU:计算快、收敛快、仍是默认首选•教材强调DeadReLU与初始化/学习率影响常见损失•L1/SmoothL1/MSE•CrossEntropyLoss是分类任务主力•本质是在“目标几何”上定义优化方向研究生要进一步理解•API名称只是表层•更重要的是输出空间、标签编码、数值稳定性与reduction方式•同样的损失函数，在检测/分割/回归中意义不同第5章/TensorFlow和PyTorch框架PyTorch模型搭建:训练循环比“框架语法”更重要研究生教学版12神经网络与深度学习|第5章model=Net().to(device)optimizer=torch.optim.Adam(model.parameters())criterion=torch.nn.CrossEntropyLoss()forx,yinloader:x,y=x.to(device),y.to(device)optimizer.zero_grad()logits=model(x)loss=criterion(logits,y)loss.backward()optimizer.step()显式优点•前向/反向/更新一目了然•易插入日志、裁剪、AMP、检查点•研究原型修改成本低显式代价•模板代码较多•初学者容易忘记zero_grad•训练细节需要手动管理教学建议先要求学生手写训练循环，再允许使用Lightning/Accelerate等高层封装。第5章/TensorFlow和PyTorch框架2026的PyTorch工程主线:compile+distributed研究生教学版13神经网络与深度学习|第5章pile•PyTorch2.x的核心能力•将模型/函数交给编译器做图捕获与优化•目标是保留PyTorch编程体验，同时提升性能FSDP•FullyShardedDataParallel•通过参数分片降低大模型训练显存压力•是多GPU大模型训练的关键技术之一DTensor/TensorParallel•DTensor提供分布式张量分片抽象•TensorParallelism建立在DTensor上•表明PyTorch生态正在从“单机研究框架”走向“系统级训练平台”第5章/TensorFlow和PyTorch框架TensorFlow/PyTorch/Keras3对比:今天应该怎么教研究生教学版14神经网络与深度学习|第5章比较维度TensorFlow2PyTorch2.xKeras3教学判断默认编程风格eager+tf.functioneager+autograd+compile高层API，多后端先教eager，再讲compile模型搭建tf.keras/自定义循环nn.Module/显式循环统一高层接口Keras适合入门与迁移分布式tf.distribute.StrategyDDP/FSDP/DTensor依赖后端能力分布式不再是附录生态印象生产与部署成熟研究与大模型训练活跃跨后端桥梁课程应允许多路线代码可读性高层API易规范化底层控制感更强最易快速原型按课程目标选择第5章/TensorFlow和PyTorch框架2026