计算机视觉技术应用 教案 项目3　中文自然场景文字检测及识别

北京新大陆时代教育科技有限公司《AIGC大模型部署与应用》课程教案《《AIGC大模型部署与应用》授课教案授课教案北京新大陆时代教育科技有限公司《AIGC大模型部署与应用》课程教案《计算机视觉技术应用教案》课程教案学年度第学期项目名称项目四中文自然场景文字检测及识别项目实战授课教师授课时间课题名称3.1文字检测所需数据集准备授课班级授课类型新授课课时4教学目标知识目标认识了解光学字符识别（OCR）的基本概念、应用领域及技术分类（传统方法vs.深度学习方法）；掌握图像预处理的关键步骤，如灰度化、二值化、倾斜校正等；了解YOLOv3在文字检测中的应用及CRNN在文字识别中的作用。能力目标能够了解OCR识别技术能够掌握文字检测数据集准备的方法。素质目标具备对复杂问题的分解能力，理解OCR任务如何被拆解多个子步骤；树立严谨的科学态度，认识到数据预处理对后续模型效果的决定性作用。教学重点理解图像预处理（灰度化、二值化、尺寸调整）的原理和目的；实现根据坐标数据在图像上绘制标注框的功能。教学难点理解从原始标注数据（points）到最终切分出文字框（boxes）的系列处理函数的逻辑流程；理解传统OCR中的文本分割（行切分、字符切分）原理。教法与学法讲授法、任务驱动法、讨论法等。教学手段及资源教材、PPT、原码、思维导图、实操视频。学情分析使用教材《计算机视觉技术应用教案》教学环节（时间分配）教学内容与教师活动学生活动设计意图教学手段课前准备（15min）教师说课-课程整体设计1.课程性质与定位；2.课程教学目标；3.课程教学内容；4.课程教学实施；5.课程考核评价。听讲本次课通过教师对课程标准相关内容的介绍（性质与定位、教学目标、教学内容、考核方式等），学生可对本门课程的学习有所了解。PPT课程导入引导案例：文字检测所需数据集准备。1.引导问题：（1）如手机拍照翻译、扫描文档转Word，这些功能背后是什么技术？（引出OCR）（2）为什么有时拍照识别的效果不好？（照片歪了、模糊、光线不好），这说明在识别前需要做什么？（引出数据预处理）自发回答引导问题由案例引出任务，通过引导问题激发学生的学习兴趣和积极性。PPT职业能力目标老师讲解本次任务所要达到的目标。帮助学生梳理各个任务点，为学习指明路径。任务分析1.教师围绕“文字检测所需数据集准备”讲解本任务的要求；2.演示任务4.1的完成效果（展示处理后的图片及预览的标注框）。听讲教师介绍完任务的结构后，演示任务完成效果，学生将对本任务的要求有一个感性的认识，同时也能吸引其注意力，激发其学习的积极性。PPT任务计划1.引导问题：文字检测所需数据集准备可能涉及到哪几个步骤？2.学生以小组为单位研讨并制定任务计划。听讲、做任务计划通过问题和课程结构介绍，引导学生明确实现本任务所需的知识点和技能点。学生分组研讨制定任务计划，培养其职业能力和团队协作能力。PPT知识储备（35min）OCR简介与应用领域引导问题：除了文档扫描，OCR还能用在哪些行业解决什么问题？介绍OCR的定义和技术价值。基于传统算法的OCR讲解图像预处理：灰度化、二值化（阈值法）、噪声去除、倾斜校正。讲解文本分割：基于投影法的行切分和字符切分原理。引导问题：为什么计算机处理黑白图像（二值图像）比处理灰度图像更容易识别文字？基于深度学习的OCR技术介绍现代OCR流程：文字检测+文字识别。简单介绍主流算法（如CTPN,CRNN），为后续课程铺垫。听讲学生通过教师设计的“引导问题”、“练一练”，带着问题学习任务实施所需的知识点，在必要时即时动手实践，可有效地提高其学习的主动性。PPT任务实施（90min）环境准备——讲解讲解pipinstall--upgradepip和pipinstall-rrequirements.txt命令的作用，说明这是所有后续操作的基础。环境准备——实操学生参照PPT，实操更新pip并安装项目所需的全部依赖模块。数据预处理——讲解逐一讲解核心预处理函数的作用：polylines（根据坐标生成掩码）、resize_im（调整图像尺寸）、clean_im（二值化处理）、img_split_to_box（切分字符框）以及集成函数resize_img_box。数据预处理——实操学生参照PPT和教材，在JupyterLab中执行所有定义数据预处理函数的代码单元格。标注预览函数定义——讲解重点讲解plot_box函数，说明其如何利用OpenCV的rectangle函数将boxes坐标绘制到图片上，并以PPT中的最终效果图作为目标进行讲解。标注预览函数定义——实操学生执行定义plot_box函数的代码单元格。查看测试效果——讲解讲解最后调用部分的代码逻辑：如何加载json标签文件，如何调用resize_img_box处理单张图片，最后如何调用plot_box进行可视化，最终得到如PPT所示的效果。查看测试效果——实操学生执行最终的调用代码，加载数据、处理图片并生成带有标注框的预览图。分组开展任务实施教材建议的实施步骤遵循工作过程导向的原则。学生参考此步骤实施，可对其职业能力进行培养。培养学生可养成严谨、认真的工作态度以及善于总结的工作方式。教材、PPT、实操视频任务检查与评价（15min）经验分享当天轮到的小组选派代表分析本组实施经验；自评和互评1.小组各成员参照评价标准完成自评；2.完成对其他小组的评价。各组自评、互评学生通过对自己的实施过程和经验的介绍，锻炼自我展示能力。课堂任务单任务小结（5min）任务小结教师总结本任务所学的知识点与技能点。听讲借助思维导图帮助学生梳理任务学习的主要知识点和技能操作步骤，有助于课后巩固。思维导图任务拓展（20min）布置任务拓展题教师讲解任务拓展题要求。简单分析解题思路教师给出解题思路。做任务拓展题学生现场做任务拓展题。讲解任务拓展题教师讲解拓展题。听、做、讲通过课后任务拓展题检验学生对本任务的重点和难点的掌握情况，培养其举一反三的能力。PPT教学反思《《AIGC大模型部署与应用》授课教案授课教案北京新大陆时代教育科技有限公司《AIGC大模型部署与应用》课程教案《计算机视觉技术应用教案》课程教案学年度第学期项目名称项目四中文自然场景文字检测及识别项目实战授课教师授课时间课题名称3.2使用YOLOv3训练文字检测授课班级授课类型新授课课时4教学目标知识目标认识Darknet-53网络中的残差（Residual）结构及其作用；了解数据增强（DataAugmentation）在模型训练中的意义等；了解YOLOv3文字检测。能力目标能够学习搭建yolo模型;学习图片检测训练。素质目标培养将复杂系统（如YOLOv3）拆解为模块化代码的工程思维；培养耐心和毅力，能够应对和调试模型训练过程中可能出现的各类问题；教学重点搭建YOLOv3神经网络的核心代码实现；配置训练参数并使用fit_generator启动模型训练。教学难点理解YOLOv3模型中多尺度预测（threepredictheads）的网络结构实现；理解data_generator中实时数据增强的逻辑和代码实现。教法与学法讲授法、任务驱动法、讨论法等。教学手段及资源教材、PPT、原码、思维导图、实操视频。学情分析使用教材《计算机视觉技术应用教案》教学环节（时间分配）教学内容与教师活动学生活动设计意图教学手段课前准备（15min）教师说课-课程整体设计1.课程性质与定位；2.课程教学目标；3.课程教学内容；4.课程教学实施；5.课程考核评价。听讲本次课通过教师对课程标准相关内容的介绍（性质与定位、教学目标、教学内容、考核方式等），学生可对本门课程的学习有所了解。PPT课程导入引导案例：使用YOLOv3训练文字检测。1.引导问题：（1）如有了“原料”，我们是不是需要一台“机器”（模型）来加工它？这台机器应该如何搭建？（2）机器搭建好后，如何让它学会加工（训练），并最终把学会的“手艺”保存下来？（引出模型训练与保存）自发回答引导问题由案例引出任务，通过引导问题激发学生的学习兴趣和积极性。PPT职业能力目标老师讲解本次任务所要达到的目标。帮助学生梳理各个任务点，为学习指明路径。任务分析1.教师围绕“使用YOLOv3训练文字检测”讲解本任务的要求；2.演示任务4.2的完成效果（展示成功运行的训练过程截图和最终生成的.h5模型文件）。听讲教师介绍完任务的结构后，演示任务完成效果，学生将对本任务的要求有一个感性的认识，同时也能吸引其注意力，激发其学习的积极性。PPT任务计划1.引导问题：使用YOLOv3训练文字检测可能涉及到哪几个步骤？2.学生以小组为单位研讨并制定任务计划。听讲、做任务计划通过问题和课程结构介绍，引导学生明确实现本任务所需的知识点和技能点。学生分组研讨制定任务计划，培养其职业能力和团队协作能力。PPT知识储备（35min）基于Darknet-53框架的YOLOv3引导问题：除YOLOv3为什么要输出三种不同大小的特征图？这对于检测图片中大小不一的文字有什么好处？讲解YOLOv3的核心思想、优势及其与骨干网络Darknet-53的关系。结合PPT讲解YOLOv3的多尺度预测原理。Darknet-53网络构成引导问题：为什么深层网络容易“学不动”（梯度消失）？残差网络是如何通过“抄近道”来帮助深层网络学习的？讲解Darknet-53的网络结构，重点讲解其通过卷积降采样的特点。讲解构成Darknet-53的核心部件——残差网络，解释其解决梯度消失问题的原理。听讲学生通过教师设计的“引导问题”、“练一练”，带着问题学习任务实施所需的知识点，在必要时即时动手实践，可有效地提高其学习的主动性。PPT任务实施（90min）搭建YOLOv3神经网络——讲解讲解搭建YOLOv3模型的几个核心函数：darknet_body,resblock_body,make_last_layers以及最终的yolo_body，解释各部分在网络结构中的作用。搭建YOLOv3神经网络——实操学生参照和教材，在JupyterLab中执行定义YOLOv3网络结构的代码单元格，并查看模型摘要（model.summary()）。训练图片——讲解整体讲解训练图片的流程：数据预处理与增强、创建数据生成器、设置锚点和类别、配置优化器和损失函数、启动训练、保存模型。训练图片——实操学生跟随指导，分步执行数据增强、数据生成器、模型编译、模型训练及保存权重的相关代码单元格，并观察训练过程的日志输出。分组开展任务实施教材建议的实施步骤遵循工作过程导向的原则。学生参考此步骤实施，可对其职业能力进行培养。培养学生可养成严谨、认真的工作态度以及善于总结的工作方式。教材、PPT、实操视频任务检查与评价（15min）经验分享当天轮到的小组选派代表分析本组实施经验；自评和互评1.小组各成员参照评价标准完成自评；2.完成对其他小组的评价。各组自评、互评学生通过对自己的实施过程和经验的介绍，锻炼自我展示能力。课堂任务单任务小结（5min）任务小结教师总结本任务所学的知识点与技能点。听讲借助思维导图帮助学生梳理任务学习的主要知识点和技能操作步骤，有助于课后巩固。思维导图任务拓展（20min）布置任务拓展题教师讲解任务拓展题要求。简单分析解题思路教师给出解题思路。做任务拓展题学生现场做任务拓展题。讲解任务拓展题教师讲解拓展题。听、做、讲通过课后任务拓展题检验学生对本任务的重点和难点的掌握情况，培养其举一反三的能力。PPT教学反思《《AIGC大模型部署与应用》授课教案授课教案北京新大陆时代教育科技有限公司《AIGC大模型部署与应用》课程教案《计算机视觉技术应用教案》课程教案学年度第学期项目名称项目四中文自然场景文字检测及识别项目实战授课教师授课时间课题名称3.3CRNN文字识别授课班级授课类型新授课课时4教学目标知识目标认识理解文字识别原理理解文字识别模型架构。能力目标能够掌握迁移学习方法实现文字识别模型训练与测试。素质目标培养面对复杂环境依赖时的耐心和解决问题的能力；获得从理论到实践，完整复现一个经典深度学习算法的成就感。教学重点搭建CTC-loss环境；加载预训练模型并配置训练参数；启动并完成CRNN模型的训练。教学难点理解CRNN模型中CNN、双向LSTM和CTC层如何协同工作以识别不定长文本序列；理解模型训练代码中，特别是trainBatch函数中的损失计算和反向传播过程。教法与学法讲授法、任务驱动法、讨论法等。教学手段及资源教材、PPT、原码、思维导图、实操视频。学情分析使用教材《计算机视觉技术应用教案》教学环节（时间分配）教学内容与教师活动学生活动设计意图教学手段课前准备（15min）教师说课-课程整体设计1.课程性质与定位；2.课程教学目标；3.课程教学内容；4.课程教学实施；5.课程考核评价。听讲本次课通过教师对课程标准相关内容的介绍（性质与定位、教学目标、教学内容、考核方式等），学生可对本门课程的学习有所了解。PPT课程导入引导案例：CRNN文字识别。1.引导问题：（1）上节课我们训练了一个YOLOv3模型，成功地在图片上框出了文字的位置,框出来了，但我们还不知道框里写的是什么。如何让计算机“读懂”这些框里的文字呢？（引出文字识别）（2）英文单词有长有短，中文词语也是，如何设计一个模型来识别这些“长度不固定”的文字序列？（引出CRNN+CTC）自发回答引导问题由案例引出任务，通过引导问题激发学生的学习兴趣和积极性。PPT职业能力目标老师讲解本次任务所要达到的目标。帮助学生梳理各个任务点，为学习指明路径。任务分析1.教师围绕“CRNN文字识别”讲解本任务的要求；2.演示任务4.3的完成效果（输入一张图片，输出识别出的文字字符串）。听讲教师介绍完任务的结构后，演示任务完成效果，学生将对本任务的要求有一个感性的认识，同时也能吸引其注意力，激发其学习的积极性。PPT任务计划1.引导问题：CRNN文字识别可能涉及到哪几个步骤？2.学生以小组为单位研讨并制定任务计划。听讲、做任务计划通过问题和课程结构介绍，引导学生明确实现本任务所需的知识点和技能点。学生分组研讨制定任务计划，培养其职业能力和团队协作能力。PPT知识储备（35min）光学字符识别引导问题：为什么检测和识别通常是两个独立的任务？讲解文字识别任务在OCR流程中的位置。CRNN+CTC(CNN+RNN+CTC)讲解CRNN模型的整体架构和端到端的优势。引导问题：为什么CNN层在此模型中作为特征提取器？CNN卷积层讲解CNN层在此模型中作为特征提取器的作用。RNN循环层讲解双向LSTM如何处理CNN提取出的特征序列。引导问题：识别文字时，只看前面的字就够了吗？为什么需要“双向”来看？CTC转录层讲解CTC如何解决序列对齐问题，将RNN的输出转换为最终文本。听讲学生通过教师设计的“引导问题”、“练一练”，带着问题学习任务实施所需的知识点，在必要时即时动手实践，可有效地提高其学习的主动性。PPT任务实施（90min）实验准备——讲解讲解CTC-loss环境的搭建，包括从GitHub克隆warp-ctc项目，以及编译安装的步骤。强调这是训练模型的前提。实验准备——实操学生参照PPT，在JupyterLab中执行命令，完成依赖安装和warp-ctc的编译安装，并重启Notebook。获取预训练模型——讲解讲解如何导入所有依赖、加载数据集、划分训练集/测试集、配置超参数、创建数据迭代器，以及加载预训练模型权重。获取预训练模型——实操学生执行相应代码单元格，完成模型训练前的所有数据和模型的准备工作。模型训练——讲解讲解如何配置优化器和损失函数（CTCLoss），定义trainBatch训练函数，以及启动训练和测试识别结果的流程。模型训练——实操学生执行模型训练代码，观察训练过程，并在训练结束后，随机抽取图片进行识别效果的测试和结果保存。分组开展任务实施教材建议的实施步骤遵循工作过程导向的原则。学生参考此步骤实施，可对其职业能力进行培养。培养学生可养成严谨、认真的工作态度以及善于总结的工作方式。教材、PPT、实操视频任务检查与评价（15min）经验分享当天轮到的小组选派代表分析本组实施经验；自评和互评1.小组各成员参照评价标准完成自评；2.完成对其他小组的评价。各组自评、互评学生通过对自己的实施过程和经验的介绍，锻炼自我展示能力。课堂任务单任务小结（5min）任务小结教师总结本任务所学的知识点与技能点。听讲借助思维导图帮助学生梳理任务学习的主要知识点和技能操作步骤，有助于课后巩固。思维导图任务拓展（20min）布置任务拓展题教师讲解任务拓展题要求。简单分析解题思路教师给出解题思路。做任务拓展题学生现场做任务拓展题。讲解任务拓展题教师讲解拓展题。听、做、讲通过课后任务拓展题检验学生对本任务的重点和难点的掌握情况，培养其举一反三的能力。PPT教学反思《《AIGC大模型部署与应用》授课教案授课教案《计算机视觉技术应用教案》课程教案学年度第学期项目名称项目四中文自然场景文字检测及识别项目实战授课教师授课时间课题名称3.4模型加载及web应用部署授课班级授课类型新授课课时4教学目标知识目标认识了解模型预测后处理;掌握web应用知识。能力目标能够掌握模型加载;实现封装模型。素质目标培养系统工程思维，理解一个AI应用从模型到最终产品的全链路；树立用户导向的开发意识，思考如何将算法能力便捷地提供给用户。教学重点加载训练好的模型并封装成统一的预测函数；启动Web应用服务并实现前后端的数据通信（图片上传、结果返回）。教学难点理解app.py中处理HTTP请求（GET/POST）；掌握解析Base64编码图片、调用模型、后处理、返回JSON结果的完整后端逻辑。教法与学法讲授法、任务驱动法、讨论法等。教学手段及资源教材、PPT、原码、思维导图、实操视频。学情分析使用教材《计算机视觉技术应用教案》教学环节（时间分配）教学内容与教师活动学生活动设计意图教学手段课前准备（15min）教师说课-课程整体设计1.课程性质与定位；2.课程教学目标；3.课程教学内容；4.课程教学实施；5.课程考核评价。听讲本次课通过教师对课程标准相关内容的介绍（性质与定位、教学目标、教学内容、考核方式等），学生可对本门课程的学习有所了解。PPT课程导入引导案例：模型加载及web应用部署。1.引导问题：（1）我们训练好的模型现在只能在我们自己的电脑上运行，如何让没有编程环境的同学也能使用我们的成果？（引出Web应用部署）（2）一个网站是如何让我们上传图片，又是如何把识别结果显示给我们的？（引出前后端交互）自发回答引导问题由案例引出任务，通过引导问题激发学生的学习兴趣和积极性。PPT职业能力目标老师讲解本次任务所要达到的目标。帮助学生梳理各个任务点，为学习指明路径。任务分析1.教师围绕“模型加载及web应用部署”讲解本任务的要求；2.演示任务4.4的完成效果（打开浏览器，上传一张火车票图片，并成功识别出信息）。听讲教师介绍完任务的结构后，演示任务完成效果，学生将对本任务的要求有一个感性的认识，同时也能吸引其注意力，激发其学习的积极性。PPT任务计划1.引导问题：要部署一个Web应用，我们需要做哪些准备和开发工作？2.学生以小组为单位研讨并制定任务计划。听讲、做任务计划通过问题和课程结构介绍，引导学生明确实现本任务所需的知识点和技能点。学生分组研讨制定任务计划，培养其职业能力和团队协作能力。PPT知识储备（35min）图像分割引导问题1：我们在任务4.1中做的二值化处理，把文字和背景分开，这算不算是一种简单的图像分割？引导问题2：为什么说图像分割是图像理解的第一步？它对后续的识别任务有什么帮助？介绍图像分割是计算机视觉的经典难题，其目标是把目标从背景中分离出来。讲解基于阈值、区域、边缘等不同的分割方法听讲