深度学习应用与实践 -教案 项目12基于CRNN的商品信息图片文字识别

《计算机应用开发》教案授课题目基于CRNN的商品信息图片文字识别授课类型新授课授课时长12节课教学内容教学目标知识目标了解文字识别的基本过程能力目标能利用CRNN实现文字识别情感目标使学生了解文字识别的基本过程、优秀模型，树立职业理想。教学重点（1）文字识别的基本过程（2）典型的深度学习文字识别算法——CRNN教学难点典型的深度学习文字识别算法——CRNN教法学法讲授法、讨论法特色学习资源分析、技术手段应用说明学习场所：实训室教学资源：PPT教学设备：电子白板学情分析同学们文字识别的基本过程和典型的深度学习文字识别算法——CRNN了解不深入。板书设计（教学结构图）基于CRNN的商品信息图片文字识别教学环节（时间分配）教学内容及教师活动学生活动设计意图及实施效果【情境导入】【课堂新授】【项目实操】【课堂总结】案例导入当前，各类网络平台上不乏靠夸大其词促销者。2021年，某公司发布了“治疗癌症、增强人体抗病免疫功能、调节身体健康、提高人体免疫力、抑制肿瘤、抗衰老”等宣传内容，并在宣传海报栏中利用国家机关工作人员的名义和形象进行宣传。上述行为违反了《中华人民共和国广告法》第九条的规定，因此有关部门作出了行政处罚。虽然已有相关法律法规对广告进行管控，但是网络平台上依然存在着大量违规的广告图文，但是人工逐张进行审核工作量大，效率低。因此智能审核系统应运而生，其能够自动识别商品图片中的文字信息，根据识别结果判断是否包含敏感词，从而提示工作人员，及时采取有效措施，提升图片审核效率及准确性，针对违反广告法、虚假宣传、“三无产品”等行为进行专项整治。任务描述本次任务要求，从网上爬取照片（如图12-1），然后使用市面上已有的成熟模型，对我们爬取到的照片进行商品文字识别操作，并对识别到的文字进行敏感词语判断，最后对识别后的照片（如图12-2）以及存在敏感词语的图片进行保存。处理前：处理后：三、知识准备（1）文字识别的基本过程1.文本检测定位文本定位是指在图像中定位文本区域的操作。作为图像文本识别的第一步，文本检测与定位的准确性直接决定了最终的识别结果。一般来说，图像中文本的检测和定位方法可以分为如下四类：基于边缘特征的方法，基于纹理特征的方法，基于连通区域的方法，基于深度模型和机器学习的方法。2.字符切分利用字符切割算法获得精确的字符区域，是文本识别算法在将已定位图像转换成可由计算机处理字符串的前提。近年来，在针对文字识别的研究中，一直统一把文本分割和识别放在识别问题上进行处理。不过在实际操作过程中，字符内部的切割也是不容忽视的步骤。如果实验中发生字符切割和拼接错误并且部分字符区域丢失，例如，如果"8”在切割过程中丢失一半，大多数识别算法都会将其识别为“3”。3.字符识别检测到文本、将其定位并分割后就到了识别阶段。一般来说，传统的字符识别方法主要包括以下四个独立的环节：数据预处理、特征提取、特征降维和分类模型设计。传统的研究方法中，提高分类系统整体性能的常用手段是对以上四个模块进行优化，但是由于上述模块互相独立，无法进行优势互补，而且手工设计和提取特征很容易丢失有用的信息。因此，近年来许多研究者在对字符图像进行分类时逐渐开始采用深度学习的方法。（2）典型的深度学习文字识别算法——CRNN主要用于端到端地对不定长的文本序列进行识别，不用先对单个文字进行切割，而是将文本识别转化为时序依赖的序列学习问题，就是基于图像的序列识别。整个CRNN网络结构包含三部分，从下到上依次为：CNN（卷积层），使用深度CNN，对输入图像提取特征，得到特征图；RNN（循环层），使用双向RNN（BLSTM）对特征序列进行预测，对序列中的每个特征向量进行学习，并输出预测标签（真实值）分布；CTCloss（转录层），使用CTC损失，把从循环层获取的一系列标签分布转换成最终的标签序列。数据爬虫（1）导入所需的库（2）获取页面（3）页面解析（4）写入文件或者数据库（5）爬虫调度（6）编写主函数处理数据导入库数据导入与预处理结果展示：教师检查学生的完成情况三、文字识别四、敏感词判断(1)创建敏感词列表(2)筛选出存在敏词语的图片，并将这些图片复制到mg_result文件夹下当一条语句存在敏感词时，会对应的输出存在的敏感词语，并将这张存在敏感词的照片复制到mg_result里。text:销量遥遥领先confidence:0.9987784028053284text_box_position:[[16,903],[488,900],[488,971],[16,975]]存在敏感词语：领先进入mg_result文件夹里，我们可以查看检测到敏感词的照片,可以看到图片中确实存在敏感词“领先”。【学生谈收获】让学生分享在本次课上的所学所得，【总结】教师总结本次课内容。学生回忆并思考学生聆听并思考学生思考并聆听学生按要求导入库学生按要求获取页面学生按要求解析页面写入文件或者数据库爬虫调度编写主函数导入库数据导入与预处理学生将结果进行展示学生加载模型，实现文字识别学生创建敏感词列表学生聆听并思考查看检测到敏感词的照片分享自己在本项目中的收获聆听并思考激发学生兴趣，联系学生已有的关于经验，引入新课。使学生明晰本项目的目标文字识别的过程较为复杂，教师用流程图的形式进行梳理，有利于学生构建自己的知识体系。培养学生抽象建模能力，深度解读CRNN，有助于学生理解为什么项目选用该模型，理解模型的精妙，培养学生对科学的向往之情。教师带领学生实现一个较为困难的任务，故先分析流程，明晰步骤。学生进行此类项目，较为复杂，教师下发操作手册不至于使基础弱的学生迷失方向教师演示，部分学生可顺利完成，对基础薄弱的学生下发操作手册，确保90%的学生不掉队。教师查看是对结果的