版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
《大学本科人工智能专业:梯度下降及其变体优化技术教案》
一、教学背景
(一)学科与学段定位
本教案精准定位于大学本科人工智能专业三年级核心必修课程《机器学习》的“模型训练与优化”模块。该学段学生已完成高等数学、线性代数、概率论与数理统计及Python科学计算等前置课程,正处于从“算法理解者”向“算法驾驭者”转型的关键期。机器学习优化技术是连接损失函数形式化定义与模型参数数值解的核心枢纽,其中梯度下降及其衍生变体构成了现代深度学习框架(PyTorch、TensorFlow)优化器基类的理论源头,在学术研究及工业部署中均占据【奠基性】地位。本节内容不仅是《机器学习》课程期中考核的【绝对高频考点】,更是后续《深度学习》《强化学习》《自然语言处理》等课程中网络训练策略的认知先决条件。
(二)教材分析与资源重构
本设计以周志华《机器学习》(清华大学出版社)第四章“训练算法”为理论主线,以IanGoodfellow《深度学习》(人民邮电出版社)第八章“深度模型中的优化”为难点延伸,同时深度融合李沐《动手学深度学习》(人民邮电出版社)对应章节的代码范式。教材中优化算法章节往往以孤立数学公式形式呈现,缺乏动态推演与超参数敏感度可视化。因此本设计对教材资源进行“可视化重构”与“代码伴生化改造”:将静态的梯度更新方程转化为实时更新的等高线下降动画;将黑箱的优化器API调用拆解为逐行可调试的核心循环;将超参数(学习率、动量系数、批大小)从文本描述转化为滑块交互式控件。通过上述重构,使教材内容从“可读”升级为“可试、可见、可辩”。
(三)学情精准画像
认知优势:大三学生已具备矩阵求导、凸函数判定等数学工具,能理解梯度方向是函数值上升最快的方向这一经典结论;能够调用sklearn.linear_model中的SGDClassifier完成分类任务,具备基础代码能力。
认知盲区【重要】:约73%的学生无法准确复述随机梯度下降中“随机”二字的数学体现;超过80%的学生将优化器视为“黑箱调参按钮”,对动量法中速度累积机制存在概念混滑;绝大多数学生从未在非凸函数(如Rosenbrock、Beale)上观察过不同优化器的路径轨迹,对“鞍点”“局部极小”“梯度噪声”等术语仅停留在文字层面。
认知风格:该学段学生对抽象符号存在本能排斥,对动态图形、代码实验、竞赛案例具有高度敏感性。因此本设计的核心逻辑是将每一个数学难点均映射为一个可交互的可视化实验,用“观察现象—提炼规律—符号化表达”的认知链条替代传统的“公式—证明—练习”模式。
(四)教学目标层级矩阵(三维四阶)
1.知识构建目标【基础】
(1)准确默写批量梯度下降(BGD)、随机梯度下降(SGD)、小批量梯度下降(Mini-batchGD)、动量法(Momentum)、自适应矩估计(Adam)的参数更新方程,标注各符号的物理含义。
(2)列举五种优化器的核心超参数(学习率η、动量衰减率β₁、RMS衰减率β₂、批尺寸b)的典型取值范围及调整倾向。
(3)复述自适应学习率家族(AdaGrad、RMSprop、Adam)对稀疏特征问题的缓解机理。
2.能力迁移目标【重要】
(1)能够在NumPy框架下独立实现上述五种优化器的单步迭代核心代码,并通过Matplotlib绘制损失值-迭代轮次曲线及参数轨迹等高线图。
(2)能够依据训练曲线形态(剧烈振荡、长期停滞、过早收敛)诊断超参数病态,并提出至少两种针对性修正策略(如学习率衰减、梯度截断、动量调整)。
(3)能够针对给定的数据集特征维度、样本量、稀疏性及任务类型(图像、文本、传感器数据),通过对比实验证据完成优化器选型决策。
3.思维进阶目标【核心】
(1)工程思维:建立“无免费午餐”的优化器评价观,理解模型性能、收敛速度、内存开销、超参数敏感度之间的多维帕累托权衡。
(2)系统思维:将优化器视为动态系统,从“一阶矩”“二阶矩”“偏差修正”等组件视角解构Adam,体悟算法设计中的模块化拼装哲学。
(3)创新思维:从物理动量守恒、经济学指数加权、控制理论反馈调节等跨学科视角,反观优化算法设计灵感的迁移路径。
4.情感态度目标【浸润】
(1)体验“代码调通瞬间”的认知愉悦,建立“算法是可对话、可驯服”的技术自信。
(2)感知优化算法演化史中“问题—改进—新问题—再改进”的螺旋上升范式,培养技术演进的辩证历史观。
(五)教学重难点及突破策略
【重点】核心考点·必须掌握
(1)三类梯度下降(BGD、SGD、Mini-batch)在梯度计算开销、收敛稳定性、泛化性能三方面的对比关系【高频考点】。
突破策略:并置运行三组实验,保持模型与学习率恒定,仅改变每轮参与样本数,使学生亲眼见证“方差与效率”的此消彼长。
(2)动量法对历史梯度进行指数加权移动平均的数学原理及对振荡方向的抑制作用【高频考点】。
突破策略:构造具有周期性震荡梯度的简单二次函数,用动画分解当前梯度与历史速度的矢量合成。
(3)Adam优化器中一阶矩、二阶矩的偏差修正机制【高频考点】。
突破策略:数值实验——初始化m,v为零向量,前5步分别输出修正前后的参数更新量,暴露“若不修正,初始几步更新幅度近乎为零”的病态。
【难点】认知坡度·需要搭建脚手架
(1)随机梯度下降的噪声为何能逃离局部极小值?【难点】【易误解】
突破策略:绘制包含两个极小值(一浅一深)的非凸损失曲面,用粒子群动画模拟BGD径直滑入浅洼、SGD颠簸翻滚后落入深洼的随机过程,类比“布朗运动帮助分子逃脱势阱”。
(2)动量法在鞍点处获得加速度的直观原理【难点】。
突破策略:展示鞍点处一阶导数为零、二阶导数异号;无动量SGD在此停滞,而动量法由于累积了进入鞍点前的速度方向,可径直冲过平坦区域。
(3)Adam中二阶矩估计与RMSprop的继承关系及偏差修正的必要性推导【难点】。
突破策略:从AdaGrad的梯度平方累积导致学习率消亡切入,引出RMSprop的滑动平均改进,再自然过渡至Adam同时保留一阶矩与二阶矩;偏差修正环节采用具体数值列表(t=1,2,3时β₁^t与β₂^t的值)进行算术演示。
(六)教学理念与范式创新
本设计践行“可见的学习”与“第一性原理教学”深度融合的范式。每一类优化算法均遵循“从物理直觉/工程痛点出发→可视化现象观察→数学符号提炼→代码具身实现→反例压力测试”的五阶认知路径。坚决摒弃“定义-性质-例题”的经院式讲授,代之以“实验-猜想-证伪-重构”的科学家工作流模拟。在交互维度上,采用“教师实时编码+学生边注填空+即时投票诊断”的强反馈闭环,确保课堂思维激活率达到95%以上。
(七)教学环境与前置准备
1.物理环境:部署双屏教学系统,左屏投射JupyterNotebook编码与运行界面,右屏投射优化轨迹三维动画或对比实验统计图表;学生工位按“2人/组”编排,便于即时代码互审与策略辩论。
2.数字资源包:
(1)核心脚本optim_vis.py:封装了五种优化器类,支持在用户自定义函数(如Beale、Rastrigin、带噪声二次型)上运行并返回参数轨迹与损失历史。
(2)半填充练习册student_optim_template.ipynb:包含完整的实验框架(数据生成、模型定义、画图函数),仅挖空各优化器的参数更新核心行(通常为1-3行代码),降低认知负荷,聚焦核心逻辑。
(3)超参数交互面板(基于ipywidgets):提供滑块实时调节η、α、β₁、β₂、batch_size,loss曲线随滑块移动瞬时重绘,实现“超参数-收敛行为”因果关系的肌肉记忆级绑定。
3.学生前置要求:确保本地conda环境包含numpy,matplotlib,ipywidgets,jupyter;提前gitpull课程仓库;阅读教材中梯度下降章节并完成3道预备练习(梯度的矩阵形式推导)。
二、教学实施过程(核心环节,全流程约95分钟)
(一)认知锚定与问题导入(约8分钟)
1.冲突创设【重要】——展示两份同构模型的训练日志截图
左侧日志:使用SGD优化器,学习率固定0.01,无动量,在CIFAR-10简化集(10类,5000样本)上训练50轮,损失值在1.2至1.8之间剧烈震荡,验证准确率卡在61%无法提升。
右侧日志:使用Adam优化器(默认参数),相同模型、相同数据初始化种子,损失值平滑降至0.43,验证准确率78%。
教师设问:“这两份实验,模型架构完全一致,数据完全一致,为何右边的模型像是‘开了窍’?是谁让它开了窍?”学生自然聚焦至优化器差异。由此引出本节课的核心命题:优化算法是模型训练的“方向盘”与“油门控制系统”。
2.前测诊断与概念激活【基础】
通过课堂投票系统推送两道快速选择题:
Q1:损失函数沿负梯度方向更新,一定能保证函数值下降吗?
A.总是下降B.学习率足够小时下降C.与学习率无关D.仅对凸函数成立
(正确答案B,借此复习泰勒展开一阶近似,明确梯度下降的理论保证依赖于步长infinitesimal)
Q2:以下关于鞍点的描述,正确的是?
A.鞍点处梯度不为零B.鞍点处Hessian矩阵正定C.鞍点处梯度为零且特征值有正有负D.鞍点即局部极小点
(正确答案C,区分鞍点与局部极小点的几何特征,为后续动量法冲出鞍点埋设概念钩子)
投票正确率实时显示,针对Q2正确率常低于60%的现象,教师快速调用3D可视化库展示马鞍面z=x²-y²,指认原点处梯度为零但非极小值,破除“梯度为零=收敛成功”的常见迷思。
3.目标具象化宣告
教师屏幕共享本节课的最终产出物:每位学生在课程结束前,将完成一份“优化器选型快速参考卡”的数字草稿,该卡片包含五类优化器的“一招鲜”适用场景及一个必须避开的超参数雷区。此卡片将直接用于两周后的课程项目——Kaggle房价预测竞赛的初始调参策略。
(二)核心演进链:从全量到自适应(约55分钟)
1.批量梯度下降——理想的乌托邦【基础】【重要】
(1)数学复刻与符号契约
教师板书线性模型,均方误差损失J(w)=1/n||Xw-y||²,推导梯度▽J(w)=2/nX^T(Xw-y)。强调此梯度计算依赖于全体n个样本,故称“批量”。此处与学生建立符号契约:t表示迭代轮次,w_t表示第t轮更新前的参数,η表示学习率。契约确立后,更新规则以标准形式固化:w_{t+1}=w_t-η▽J(w_t)。
(2)瓶颈显影实验
教师现场生成虚拟数据集:n=1000,p=50。运行BGD200轮,计时并记录loss下降轨迹。随后将n增至10000,重新运行200轮,耗时陡增约10倍。学生直观感知:“全样本计算梯度,大数据集无法承受”。同时,loss曲线呈完美单调递减形态,教师顺势提问:“这种‘完美下降’一定是好事吗?”展示一个故意构造的具有多个局部极小的非凸函数,BGD径直滑入最近的浅谷便停滞不前。结论锚定:BGD稳定但短视,且计算昂贵。
(3)重要等级标记【核心概念】——此处插入黑板/投影边栏批注:BGD是理解一切优化器的原点,但极少直接用于深度网络训练。
2.随机梯度下降——效率与噪声的联姻【核心】【高频考点】
(1)动机切换:从“精确”到“快速迭代”
教师口述工程场景:ImageNet数据集1400万张图片,BGD一步需遍历全部,一步未走完硬件故障风险已累积。SGD每步只看1个样本,参数更新速度提升n倍。板书更新规则:w_{t+1}=w_t-η▽J_i(w_t),其中i为当前随机抽取的样本索引。
(2)噪声可视化实验
在同一坐标系中并置绘制BGD与SGD的loss-epoch曲线。BGD光滑如缎带;SGD剧烈跳动如心肌电图,但宏观中轴仍在下降。教师引导学生将“跳动”解释为梯度的方差。引入术语【梯度噪声】,并指出噪声并非缺陷——切换至非凸曲面三维动画,红色小球(SGD)在跳跃中滚入更深谷底,蓝色小球(BGD)粘在浅谷边缘。类比:勘探队员如果只走最稳妥的下坡路,可能错过山那边的富矿。
(3)认知巩固微实验(3分钟)
学生两人一组,在模板中修改随机种子,运行SGD五次,记录最终loss值。统计发现五次结果差异明显(高方差)。教师总结:SGD无偏估计但方差大,导致收敛不稳定但泛化潜力大。此处自然引出“如何兼顾BGD的低方差与SGD的高效率”这一问题,成为过渡到小批量的认知悬梯。
3.小批量梯度下降——工业界的黄金法则【核心】【热点】
(1)折中方案的数学定格
w_{t+1}=w_t-η·1/bΣ_{i=1}^{b}▽J_i(w_t)。教师明确:b=32,64,128是视觉任务常见配置。此处必须澄清术语混淆【重要】:主流深度学习框架(PyTorch、TensorFlow)中optimizer.SGD(),当未显式设置参数时,实际执行的是mini-batchGD而非纯SGD。教师现场打开PyTorch官方文档截图,高亮说明文字,扫清学生未来阅读文档的概念路障。
(2)批量大小对比实验(教师演示+学生局部复现)
固定学习率η=0.01,轮次epoch=50,分别设置b=1,16,128,1000(全量)。绘制四条收敛曲线叠加图。
学生观察现象:
1.b=1:曲线剧烈震荡,但前期下降极快。
2.b=16:震荡幅度减小,收敛速度与稳定性折中。
3.b=128:曲线平滑,收敛速度尚可。
4.b=1000:曲线平滑,但每一轮耗时极长,且最终loss值略高于b=16。
教师引出核心结论:【偏差-方差权衡】在优化算法中的映射——batch越大,梯度估计方差越小,步长方向越准,但计算成本上升且易陷入锐利极小值;batch越小,梯度噪声越大,可能帮助逃离局部极小,但收敛不稳。
(3)重要等级标注【高频考点】——此处现场投票:你认为在显存允许下,batch是否越大越好?仅有30%学生选“否”,教师展示2018年NIPS论文《LargeBatchTrainingofDeepNetworks》结论:极大batch需配套学习率线性缩放规则,否则泛化性能下降。破除迷信,树立辩证观。
4.动量法——赋予优化器“惯性”【核心】【难点】
(1)物理映射锚定【重要】
播放自制动画:左侧小球无动量,每步仅根据当前坡度移动,遇平坦区骤停;右侧小球具有质量(动量),在平坦区凭借惯性继续前冲。右侧小球能冲出鞍点区域。学生脱口而出“动量!”——自然引出术语。板书速度变量v,更新规则两行:
v_{t+1}=αv_t-η▽J(w_t)
w_{t+1}=w_t+v_{t+1}
明确α为动量衰减系数,典型值0.9,物理意义为保留前一步90%的速度。
(2)数学拆解——指数加权移动平均(EWMA)【难点】
将v展开为无穷级数:v_t=-ηΣ_{k=0}^{∞}α^k▽J(w_{t-1-k})。当前梯度权重为1,前一步梯度权重α,前两步α²……呈指数衰减。引导学生对比简单平均与加权平均:动量法更关注近期梯度方向,同时用历史方向平滑振荡。此处教师调用自制交互工具,调整α从0到0.99,观察叠加振荡梯度时v的波形——α越大,高频振荡被滤除越干净,但相位滞后越明显。学生通过拖拽滑块,秒懂“动量系数越大,对历史依赖越强,平滑力度越大”。
(3)鞍点突围实验(全班屏息时刻)
在Rosenbrock函数(狭长香蕉形谷地)上运行无动量SGDvs动量法(α=0.9)。动画显示SGD在山谷壁来回碰撞,进展缓慢;动量法速度方向逐渐对齐谷底方向,沿长轴加速冲刺,快速抵达极小点。课堂气氛达到高潮,教师点睛:“这就是为什么2013年之前深度学习难以训练,而引入动量后深层网络训练成为可能。”此处标注【里程碑技术】。
(4)代码陷阱与纠正【重要】
学生补全模板中动量法代码时,常见错误是顺序问题:先更新w再用v,或符号方向错误。教师在屏幕上故意演示错误代码(v=αv-η
grad;w=w+v正确),并展示错误版本造成的发散现象。通过“试错-纠正”强化记忆。
(5)拓展:Nesterov加速梯度【热点】
简笔画示意:标准动量法在当前位置计算梯度,然后加上之前速度;Nesterov先沿之前速度走一小步,在“往前看”的位置计算梯度,再修正方向。板书公式:v_{t+1}=αv_t-η▽J(w_t+αv_t);w_{t+1}=w_t+v_{t+1}。标记为【拓展内容】,不作硬性推导,仅强调其“前瞻性”与部分任务中的更快收敛特性。并指出许多深度学习框架将Nesterov作为动量法的一个可选参数。
5.自适应学习率——告别学习率调参恐惧【核心】【高频考点】
(1)AdaGrad:为稀有特征保留学习率【基础】
问题场景构造:文本分类任务,“您”字出现数万次,“颟顸”仅出现3次。频繁特征梯度稳定,希望学习率逐步减小以精细调优;稀有特征梯度稀疏,需要较大更新步长以捕捉信号。
解决方案:对每个参数θ_i,累积其历史梯度平方和G_i,更新时θ_i=θ_i-η/√(G_i+ε)*g_i。直观理解:若某参数历史梯度幅值大(频繁更新),有效学习率自动变小;若历史梯度几乎为零(稀有特征),有效学习率保持较大值。
教师运行预设实验:构造包含高频与低频特征的线性回归,比较SGD与AdaGrad对低频特征权重的收敛速度。柱状图显示AdaGrad仅用5轮即将低频特征权重驱动至真值附近,SGD在20轮后仍严重低估。学生惊叹“自动匹配学习率”的魔法。
标注局限【重要】:G_i单调递增,有效学习率会单调衰减至零,可能导致训练中后期停滞。
(2)RMSprop:挽救AdaGrad的早衰症【核心】
改进点:不再累积全部历史梯度平方,而是采用指数移动平均,保留近期梯度幅值信息。
E[g²]t=βE[g²]
{t-1}+(1-β)g_t²
θ_t+1=θ_t-η/√(E[g²]_t+ε)*g_t
β常取0.999,使有效学习率不再单调递减,可增可减,灵活适应区域曲率变化。
对比实验:在损失函数包含巨大平坦区域的测试函数上,AdaGrad的学习率150轮后几乎为零,参数冻结;RMSprop的学习率在平坦区自动增大(因梯度持续很小,分母很小),帮助参数快速跨过平台。学生滑动β滑块,观察分母项对梯度突变的响应速度。
(3)Adam——动量与自适应的优雅合体【皇冠级核心】【高频考点】【热点】
这是全课的【高潮与压轴】。教师采用“三层次拆解”策略:
第一层:组件识别
一阶矩m_t:本质是带衰减的动量,存储梯度方向的历史。
二阶矩v_t:本质是RMSprop风格的梯度幅值历史。
板书Adam完整更新规则(五条):
m_t=β₁m_{t-1}+(1-β₁)g_t
v_t=β₂v_{t-1}+(1-β₂)g_t²
m_hat=m_t/(1-β₁^t)
v_hat=v_t/(1-β₂^t)
θ_t+1=θ_t-η*m_hat/(√(v_hat)+ε)
第二层:偏差修正的必要性【难点攻坚】
教师提问:既然m_t是动量的无偏估计,为什么要除以(1-β₁^t)?现场数值实验:
β₁=0.9,假设g恒定=1,计算m_1=0.9*0+0.1*1=0.1,但期望梯度为1,m₁严重偏小!m_1/(1-0.9)=1,修正后无偏。同理,t=1时v₁=0.1,真实期望应为1²=1,除以(1-0.999)≈1000?不,β₂通常0.999,1-β₂^1=0.001,v_1=0.1/0.001=100,sqrt(100)=10,依然不是1?这里需要细致推导:实际Adam论文中修正分母是√(v_hat)+ε,而v_hat已校正,目的是使初始几步更新步长合理。教师展示若不修正,前5步参数几乎纹丝不动;修正后前几步即有实质性更新。学生通过数字对比,顿悟偏差修正是冷启动阶段的“救命稻草”。
第三层:对比实证
在简易CNN模型(两个卷积层+全连接)上,使用相同超参数搜索次数,对比SGD+Momentum、RMSprop、Adam三者的验证集准确率箱线图。Adam中位数最高且方差较小,印证其“开箱即用”口碑。但同时教师展示NLP任务中Adam有时不如SGD+合理学习率调度稳定,植入【无免费午餐】的批判性思维。
(三)沉浸式实践:优化器压力测试与选型辩论(约20分钟)
1.任务情境化包装
教师扮演“算法咨询公司技术总监”,向各项目组(每组2人)下发“盲盒任务卡”。每组获得三个信息:数据集描述(样本量、特征维度、稀疏性、信噪比)、模型结构(线性模型/浅层MLP/小型CNN)、训练约束(显存限制、时间预算)。每组需在8分钟内完成:
(1)利用benchmark_optim.py脚本快速对比SGD、SGD+Momentum、RMSprop、Adam在该类任务代理数据集上的60秒快速评估。
(2)填写选型决策单:推荐优化器+核心超参数建议值+两条选择理由+一条需要警惕的风险。
2.沉浸式实验与巡回指导
学生进入高强度代码调试状态。助教与教师穿梭各组,捕捉典型问题:
1.3.某组将CIFAR-10误当作稀疏数据集,推荐AdaGrad,教师引导查看样本像素值分布(0-255连续值,非稀疏),纠正为Adam或SGD+momentum。
2.4.某组在小样本医学影像任务中推荐Adam,观察到验证损失在15轮后上升(过拟合迹象),教师引导其对比SGD+momentum+权重衰减,发现后者泛化更优。现场提炼结论:Adam收敛快,但在小数据集上易记住噪声;SGD+momentum收敛慢但解更鲁棒。
5.决策辩论与共识收敛
随机抽取三组投影其决策单,全班投票是否认同。
1.6.案例1:200维特征,5000样本,信噪比低(强噪声)→推荐SGD+Momentum,小学习率。理由:Adam可能放大噪声梯度。教师点评引出“梯度截断”概念,预告后续课程。
2.7.案例2:100万样本,1万维稀疏文本特征→推荐Adam。理由:对稀疏特征自适应,收敛快。教师追问是否考虑过SparseAdam(PyTorch专用),拓展学生知识边界。
3.8.案例3:显存仅4GB,需训练ResNet-18→无法使用大batch,被迫使用b=32甚至更小,此时SGD噪声过大,推荐Adam稳定训练。教师肯定此推理链,并补充混合精度训练时Adam的兼容性问题。
此环节核心目标是使学生完成从“知道算法公式”到“在约束条件下作出工程决策”的认知跃迁。教师最后总结:没有绝对最优的优化器,只有给定资源与目标下的最适选择。
(四)认知建模与思想升华(约7分钟)
1.演化树协同建构
教师引导全班回顾本节课经历的优化器丛林,绘制演化逻辑图:
1.2.主线一(梯度计算粒度):BGD(全量)→SGD(单点)→Mini-batch(折中)。
2.3.主线二(方向改进):朴素SGD→动量法(惯性)→Nesterov(前瞻)。
3.4.主线三(学习率自适应):固定η→AdaGrad(参数独立)→RMSprop(滑动平均)→Adam(动量+自适应)。
教师强调:Adam并非终点,近年来LION、Adan、Sophia等优化器在特定任务上表现更优,但其组件思想均未脱离上述三条主线的排列组合。理解经典,即获得解析前沿的钥匙。
5.跨学科隐喻【核心素养渗透】
教师从优化算法中提炼三则思维模型,供学生在更广阔领域迁移:
(1)动量思维:个人成长不应仅根据当下挫折(梯度)调整方向,还需累积过往优势(历史速度),在低谷期凭惯性穿越。
(2)自适应学习率思维:对不同禀赋的维度(参数)配置不同步频,对擅长领域微调,对生疏领域大步试探——因材施教的教育学映射。
(3)偏差修正思维:任何系统冷启动阶段都会存在系统性偏差,需要刻意设计补偿机制(如组织新成员的前三个月保护期)。学生频频点头,认知负荷转化为思想启迪。
6.悬念设置与预告
屏幕展示Transformer训练loss曲线,即使用Adam也常出现尖刺震荡。教师抛出问题:“Attention机制是否对优化器提出了新挑战?如何改进?”推荐阅读AdamW(解耦权重衰减)论文。此悬念驱动课后深度学习。
三、教学评价设计
(一)课堂形成性评价(即时反馈)
1.每讲解完一种优化器,推送一道“找茬题”:呈现一段含逻辑错误的更新代码,限时30秒定位错误行。例如:动量法中将w+=v误写为w-=v;Adam更新时使用v而不是v_hat。全班提交答案,正确率低于70%时立刻进行同伴讲解。
2.代码补全进度监控:利用JupyterHub教师端查看各学生notebook核心填空行的完成时间分布,对进度滞后20%的学生进行针对性提示。
(二)表现性评价(作品评价)
以“优化器选型决策单”作为本节课的过程性评分作品。评分量表包含三个维度:
1.术语精确性(40%):是否准确使用“一阶矩”“指数移动平均”“偏差修正”等规范术语,而非“那个平滑的东西”。
2.原理匹配度(30%):推荐理由是否与数据集特征(稀疏性、规模、信噪比)建立因果链条。
3.反事实思考(30%):是否明确排除另一种常见优化器并给出有数据支撑的排除理由(例如:“不选SGD是因为特征稀疏,SGD对罕见特征更新不足”)。
(三)课后诊断(反思触发)
每人在课程共享文档匿名填写“本节课最令我困惑的一点
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
最新文档
- 经络腧穴学护理应用教学课件
- 2026年高中地理总复习讲解-常见的地貌类型
- 泌尿外科结石患者的护理健康教育内容
- 2026年云端健康数据分析平台隐私计算与联邦学习技术应用
- 2025年前台服务礼仪测试题
- 2025年前台服务规范竞赛题
- 2026年富钴结壳湿式强磁选扩大试验操作指南
- 电信综合项目工程综合项目施工专项方案
- 2026年膜蒸馏技术处理真实海水反渗透盐水实验研究
- 护理课件:学习护理职业伦理
- 科学计算与数学建模课件
- 热处理工艺卡片
- 数控多工位钻床的设计
- MHC与移植免疫课件
- 部编四年级语文下册 全册教案 (表格式)
- GB/T 26216.2-2019高压直流输电系统直流电流测量装置第2部分:电磁式直流电流测量装置
- 凝血机制医学PPT
- 《花卉生产技术》课件第十一章 水生花卉
- 国家免费孕前优生健康检查项目技术服务
- 规模经济与范围经济 课件
- 2005年全国高中数学联赛试题及答案
评论
0/150
提交评论