《大学三年级计算机专业《计算机视觉：从图像处理到场景理解》项目式教学设计》

《大学三年级计算机专业《计算机视觉：从图像处理到场景理解》项目式教学设计》

一、教学背景分析

（一）学科定位与课程价值

本课程面向大学三年级计算机科学与技术专业本科生，属于人工智能方向核心必修课。计算机视觉作为人工智能领域最具应用活力的分支，其知识体系横跨图像处理、模式识别、机器学习与认知科学，是培养具备跨学科思维、工程实现能力与原始创新潜质的复合型人才的战略要地。课程承前《高等数学》《线性代数》《概率论》《Python程序设计》《机器学习导论》，启后《深度学习进阶》《自主机器人》《医学图像分析》等高阶课程，在整个专业培养方案中处于从理论通识向领域专精跃迁的关键枢纽位置【非常重要】。本教学设计以“从图像底层表征到高层语义理解”为主线，重构知识图谱，将经典几何视觉与数据驱动视觉有机融合，确立以“场景理解”为终极目标的认知梯度，旨在超越传统工具性教学，引导学生洞察视觉智能的本质困境与突破路径【热点】。

（二）学情分析

授课对象为已完成机器学习基础课程的高年级本科生。优势在于：具备Python科学计算栈与基础深度学习框架（PyTorch/TensorFlow）使用经验；对图像分类、目标检测等应用有感性认知；抽象逻辑思维成熟，具备初步的科研阅读潜力。痛点在于：对视觉任务的形式化建模能力薄弱，常将算法视为黑箱；对图像噪声、光照变化、几何形变等底层扰动敏感度不足；缺乏从系统级视角构建完整视觉解决方案的工程经验；对视觉伦理、可解释性、对抗鲁棒性等前沿命题几乎无涉猎【难点】。基于此，本设计强调“数学原理—代码实现—物理意义”三位一体的解构策略，在认知冲突中重建视觉计算思维。

（三）教材与资源重构

摒弃单一教材依赖，构建“经典教材精读+前沿论文节选+开源项目剖解+自建数据集”的混合资源体系。指定RichardSzeliski《计算机视觉：算法与应用》（第二版）为骨架参考；精选CVPR/ICCV近三年最佳论文方法论部分作为拓展刃料；以OpenCV、scikit-image、MMDetection等开源库为代码参照系；核心项目依托自建“校园智慧安防仿真数据集”（含光照/遮挡/视角多模态干扰），确保问题真实且难度可控【基础】。所有数字资源封装于JupyterBook交互式平台，支持一键运行与参数可视化扰动实验。

二、教学目标设计

（一）总体目标

通过本课程学习，使学生建立从图像信号到语义符号的完整映射认知，掌握计算机视觉领域核心问题的形式化描述方法与主流求解框架，具备针对特定场景需求进行算法选型、改进及轻量化部署的初步能力，并在项目实践中养成批判性思维、协作伦理与可复现科研意识。

（二）具体目标

1.知识维度：【基础】准确复述相机成像几何、光照模型、颜色空间等底层原理；【重要】系统阐释局部特征（SIFT/HOG）、卷积特征（CNN）的提取动机与不变性特性；【核心】对比分析目标检测（两阶段/单阶段）、语义分割（FCN/U-Net）、实例分割（MaskR-CNN）等架构的演进逻辑与性能权衡；【高阶】归纳视觉预训练范式（ImageNet、自监督、多模态）的迁移机制与局限【高频考点】。

2.能力维度：【基础】熟练使用OpenCV完成图像滤波、边缘检测、几何变换等常规预处理；【重要】独立实现SIFT特征匹配与RANSAC参数估计，并定量评估鲁棒性；【核心】基于PyTorchLightning重构经典分类网络（ResNet18），在自建数据集上完成finetune与可视化解释（Grad-CAM）；【难点】针对“雾霾天气下行人检测”任务，集成图像增强前置模块与检测网络，设计端到端推理流水线，并撰写技术实验报告。

3.素养维度：【热点】辩证分析人脸识别落地中的偏见、隐私与公平性问题；【前沿】在项目迭代中实践MLOps理念（数据版本控制DVC、实验追踪MLflow）；【非常重要】形成“失败归因—假设修正—再实验验证”的闭合科研习惯，拒绝学术不端。

三、教学重点与难点

（一）教学重点

1.图像局部不变特征（SIFT）的数学机理与工程实现【高频考点】。

2.卷积神经网络核心操作（卷积、池化、感受野）及其可视化解释【非常重要】。

3.目标检测中锚框机制、非极大值抑制（NMS）与损失函数（FocalLoss）设计思想【必考】。

4.语义分割的全卷积化改造与跳跃连接结构【热点】。

5.视觉任务迁移学习的有效性边界与微调策略【核心】。

（二）教学难点

1.三维空间到二维平面的透视投影映射、相机内参外参联合标定【抽象度高】。

2.从图像梯度到方向直方图（HOG）的流形嵌入理解【思维跨度大】。

3.反向传播在卷积层中的具体张量运算形态【推理复杂】。

4.单阶段目标检测中正负样本极度不平衡问题的数学应对【理论深邃】。

5.生成对抗网络（GAN）在图像翻译中的纳什均衡收敛解释【前沿艰深】。

6.视觉Transformer中自注意力机制对图像归纳偏置的解构【认知冲突】。

四、教学策略与方法

本设计贯彻“认知负荷适度、思维深度参与、产出导向驱动”三大原则。宏观层面采用翻转课堂与项目式学习（PBL）双螺旋结构：课前通过微课视频与交互式代码片段完成低阶知识点自学；课中以“焦点问题”引爆认知冲突，教师主导原理深挖与思路建模；课后以团队项目为载体进行综合淬炼。微观层面灵活嵌入多种高影响教学策略：预测—观察—解释（POE）策略用于特征检测实验；案例比较策略用于不同检测框架优劣辨析；争议讨论策略用于人脸识别伦理议题；实时代码复盘策略用于调试思维显性化。全过程贯彻“可复现科研”理念，所有课堂活动代码片段均公开于课程仓库，接受学生commit挑战与优化提案。

五、教学资源与环境

（一）物理环境

智慧教室配置双屏触控交互大屏，支持教师代码演示与学生投屏共享。六边形拼接桌便于5人小组即时展开白板讨论。教室内部署边缘计算节点，搭载NVIDIAJetsonXavierNX，供项目模型轻量化推理实测。

（二）软件与平台

1.交互式学习平台：基于JupyterHub搭建课程专属服务器，预装PyTorch2.0、MMCV、OpenCVContrib，提供每人10GB持久化存储与GPU调度配额。

2.版本控制生态：学生以GitHubClassroom方式领取作业与项目模板，提交即触发GitHubActions自动评分与代码风格检查。

3.可视化辅助工具：使用Netron进行网络结构可视化，使用WeightsBiases进行训练过程实时监控。

4.三维交互软件：基于Panda3D开发简易相机标定仿真环境，支持滑块调节焦距、主点偏移并实时观测成像变化。

（三）数据资源

核心项目数据集“CampusSafe-mini”包含：4000张1920×1080分辨率图像，标注8类校园常见目标（行人、自行车、汽车、锥桶等）；五类环境扰动（晨雾、逆光、夜间、雨迹、运动模糊）；提供COCO格式与VOC格式双版本标注。同时提供清洁版（原始）与退化版（含对抗补丁）两种子集，支撑鲁棒性对比实验【重要】。

六、教学实施过程

本过程共分配12学时（每周4学时，连续3周），以“构建校园重点区域智能视觉感知原型系统”为统摄性项目，拆解为三个迭代周期，对应视觉系统的三大核心模块。以下逐学时详细展开，完整呈现从认知触发到能力生成的全流程。

（一）第一阶段：视觉感知入口——成像、滤波与特征奠基（4学时）

本阶段核心命题：“像素如何转化为有意义的几何基元？”【非常重要】。

第1学时：成像系统建模与低层预处理。教师以智能手机拍照模糊现象切入，追问“如何用数学描述对焦过程”。学生小组讨论30秒后，教师在双屏左屏播放胶片相机机械对焦慢动作视频，右屏同步呈现薄透镜成像原理动画。随即引出高斯成像公式、像差、弥散圆概念，并严格推导相机针孔模型与透镜模型的统一表达。关键环节：实时交互滑块调节虚拟相机光圈大小，学生在自己终端运行预置代码，观测景深变化与弥散圆半径定量关系【难点】。此处在成像模型旁标注【高频考点】。随后自然过渡到图像退化与复原：均值滤波是低通，但为何会模糊边缘？教师展示高斯噪声污染图，学生分组尝试中值滤波与高斯滤波效果对比，一名学生投屏代码，教师针对其边界处理未补零的错误进行实时代码复盘，强调“滤波即加权相关”的张量视角【基础】。

第2学时：特征检测启蒙——从角点到边缘。教师展示乐高积木拼图，提问“人眼如何快速定位积木顶点与棱边？”引出角点响应函数（Harris）与梯度幅值方向（Sobel/Canny）。此环节采用POE策略：教师先展示Canny默认参数效果图，让学生预测若调高双阈值上限，边缘图会发生何种变化。预测结果实时投票分布显示于大屏，随后学生动手验证，认知冲突剧烈——部分学生发现边缘断裂，教师顺势引入滞后阈值与边缘连接启发式【重要】。数学推导部分，教师不回避偏导数离散近似，在黑板书推Sobel核的设计原理（中心差分+平滑），强调其可分离性，并与后续CNN卷积核初始化形成类比埋伏笔。

第3-4学时：局部不变特征——SIFT的巅峰与困局（核心攻坚段）。这两学时是第一阶段高潮。教师从“不同视角下同一物体如何匹配”这一终极问题出发，系统拆解SIFT四步曲。不采用PPT翻页，而是逐行解析开源SIFT实现源码（VLFeat简化版），实时修改参数观察尺度空间极值点增减。在尺度空间构建环节，教师引入热力图展示不同σ下同一图像块的响应变化，抽象的高斯金字塔瞬间具象化。关键推导：LoG近似为DoG的数学依据，以泰勒展开证明二者仅差常数倍，此处理被明确标注【难点】【高频考点】。生成特征描述子时，学生极易混淆主方向分配与归一化顺序，教师通过动画逐格演示旋转主方向后坐标变换，并指出该操作赋予旋转不变性，但需插值导致精度损失。此时提出批判性问题：“SIFT在手机AR中表现良好，为何在卫星遥感图像匹配中频频失效？”引导学生思考“不变性”的边界——SIFT对视角变化鲁棒，但对大幅度仿射变形无能为力，从而引出ASIFT、ORB等改进动机，但不过度展开【热点衔接】。学段末布置第一阶项目任务：基于SIFT实现校园地标建筑的多视角匹配，并定量评估光照与缩放干扰下的匹配对数衰减曲线。

（二）第二阶段：数据驱动的范式革命——卷积神经网络与迁移学习（4学时）

本阶段核心命题：“如何让模型自动学习更优的特征表达？”【核心】。

第5学时：从全连接到全卷积——反向传播的局部连接革命。教师以MNIST全连接网络为锚点，计算单层FC参数量（784×256），随即展示同层数ConvNet参数量（3×3×1×256），对比悬殊，学生震撼。随即局部连接与权值共享两大归纳偏置水到渠成。但学生易误解“卷积核就是特征提取器”，教师立即展示Krizhevsky的AlexNet第一层卷积核可视化（边缘、颜色块），再展示深层次核的纹理化、部位化，清晰解构了特征层级性。此时强调感受野计算公式，并要求学生当堂计算VGG16最后一层特征图感受野【重要】。为深化理解，教师设计“盲人摸象”类比：浅层摸到皮肤纹理，中层摸到鼻子耳朵，高层拼出大象全貌。此比喻极大降低认知负荷。

第6学时：现代卷积架构精析——残差学习为何有效。教师摒弃罗列各类网络变体，聚焦ResNet。首先复现VGG19与ResNet50在CIFAR-10上的训练曲线，前者出现明显退化（degradation），学生观察测试精度不升反降。教师提问：“是过拟合吗？”学生判断欠拟合——训练误差也高。此时引入残差映射：用层拟合恒等映射困难，但拟合残差为零容易。数学表达：H(x)=F(x)+x，求导时梯度直连，有效缓解弥散。为可视化残差模块功能，教师取出ResNet中间层特征图，分别展示输入x与输出F(x)+x，学生直观看到输出保留了大量输入轮廓，仅在关键判别区域有增强。此处理使“恒等捷径”不再抽象。教师顺势提出争议性话题：“残差连接是解决了梯度问题，还是让网络变得无限宽？”引导学生课后查阅ICML论文，培养批判性思维【热点】。

第7-8学时：迁移学习——站在巨人肩上。本部分将前续知识与后续项目贯通。教师展示ImageNet预训练的ResNet50在CampusSafe-mini行人检测任务上的收敛速度（仅需5轮）vs随机初始化（30轮仍未饱和）。学生分组讨论迁移学习适用条件。教师从领域自适应理论出发，给出量化指标：源域与目标域数据分布差异度（使用最大均值差异MMD估算）、微调参数量与数据量比率。课堂实战：学生在自己笔记本上执行教师下发的代码片段，冻结ResNet前几层，只训练最后全连接层。比较不同冻结策略在车辆分类子任务上的准确率。一个关键发现：冻结全部卷积层只训FC，效果远不如微调部分高层卷积核。教师点明：低层特征通用（边缘/颜色），高层特征任务专属。此认知极其重要，标注【必考】【核心】。第二阶段项目任务发布：基于ResNet50预训练模型，为CampusSafe-mini的行人类别构建二分类检测器，要求使用Grad-CAM输出热力图并分析误报原因。

（三）第三阶段：场景理解——从检测走向解释（4学时）

本阶段核心命题：“如何让机器不仅看见，而且看懂？”【前沿】。

第9学时：目标检测——从滑动窗口到端到端。教师播放早期行人检测DPM算法演示视频，学生惊叹于部件模型的可解释性，但也意识到手工特征组合的局限。随即切换到YOLOv3实时检测视频流，帧率高达60FPS，认知冲突爆发：为何能这么快？教师深入剖析YOLO“回归思想”：将检测视为张量预测（S×S×（B×5+C））。学生被锚框机制绕晕，教师采用实物教具：不同长宽比的硬纸板框，在投影图像上平移、缩放，动态演示锚框与真实框的IoU计算、正负样本分配。再配合代码可视化训练过程中的锚框激活热区，学生顿悟：锚框本质是预设的回归基准。进而讲解FocalLoss设计动机，针对正负样本极端不平衡问题，调制因子降低易分负样本权重。此为单阶段检测器登顶的关键改进【高频考点】。教师出示RetinaNet与FasterR-CNN在COCO上的AP对比，学生理解“动态权衡”智慧。

第10学时：语义分割——像素级理解。从“无人车需要区分可行驶区域”切入。教师首现FCN反卷积上采样热力图，分辨率粗糙如马赛克。学生即刻发现问题：丢失空间信息。此时U-Net跳跃连接登场，左屏并排显示FCN与U-Net分割边界精细度云泥之别。教师板书画出U-Net对称结构，强调编码器提取“是什么”，解码器定位“在哪里”，跳跃连接补充空间细节。该架构不仅是医学图像分割标配，更启发了后续众多密集预测模型【重要】。学生运行预置代码，在自己分割出的自行车与行人掩膜上叠加伪彩，直观感受mIoU指标的数值意义。教师延展至实例分割MaskR-CNN，但不深究，指出它是检测+分割的并联多任务学习，点到为止。

第11学时：视觉与语言交汇——图像描述生成入门（选修拓展）。此学时作为弹性内容，适配学有余力者。教师展示Show,AttendandTell模型架构，重点讲解软注意力机制：解码每个词时，模型回视图像不同区域。通过可视化注意力权重，学生看到生成“自行车”时高亮车轮，生成“草坪”时聚焦绿地，情感上被这种可解释性打动。教师不展开Transformer，但埋下伏笔：“自注意力即将全面刷新视觉架构”。此处标注【热点】【前沿】。

第12学时：项目中期展演与系统集成。各小组展示前两个阶段成果，并汇报第三阶段设计方案。第一组针对晨雾场景误检率畸高问题，提出暗通道先验去雾+检测后处理，召回率提升12%；第二组发现夜间行人特征受运动模糊干扰，在数据增强环节增加mixup策略，鲁棒性显著增强。教师逐组点评，从实验对照组设置、消融实验完整性、图表规范性提出具体改进意见，并强调任何精度提升必须附带推理速度开销报告，以培养工业部署意识【非常重要】。同时引入“模型窃取”话题，学生惊觉自己训练好的模型可能被恶意查询，教师提醒技术伦理贯穿系统设计全周期。

七、学习评价设计

（一）形成性评价（占比50%）

1.课前交互式预习测验（10%）：每章前置于JupyterHub的自动评分代码练习，考察基础API使用与概念辨析。系统自动记录尝试次数与常见错误，教师据此微调课堂切入点【基础】。

2.课堂代码复盘贡献（15%）：学生在协同编程环节主动投屏分享调试过程，教师与同学共同诊断。每贡献一次有效debug思路或提出高质量质疑，记录一枚数字徽章。

3.小组互评与项目看板活跃度（15%）：依托GitHubProject看板，统计issue开启、commit评论、代码审查参与度，确保边缘学生实质性卷入团队协作【重要】。

4.微型辩论赛表现（10%）：针对“人脸识别应否在校园全面部署”开展15分钟结构式辩论，从技术可行性、隐私让渡、替代方案三个维度评价逻辑严密性与论据支撑度。

（二）终结性评价（占比50%）

1.个人技术闭卷笔试（20%）：聚焦核心概念辨析与简单应用计算，严禁死记硬背。例：给定相机参数与像素坐标反求世界坐标；设计实验证明SIFT尺度不变性；推导ResNet残差块的梯度传播路径。题型含选择题、简答题、小计算题【高频考点全覆盖】。

2.