【自然场景文本检测与识别系统的设计与实现案例分析2500字】

自然场景文本检测与识别系统的设计与实现案例分析目录TOC\o"1-3"\h\u21287自然场景文本检测与识别系统的设计与实现案例分析 1108511.1开发环境介绍 150981.2系统设计思路 2137181.2.1系统设计流程 2291821.2.2后台服务 3255841.2.3前端界面 4138961.3系统展示与结果分析 41.1开发环境介绍本文所述自然场景下文本检测识别系统的开发环境由GPU(GraphicsProcessingUnit)服务器与工作电脑两部分组成。(1)GPU服务器服务器的处理器为Intel(R)Core(TM)i7-7700，CPU@3.60GHz，4核8线程；内存为64G；GPU为两片NVIDIAGeForceRTX2080Ti；固态硬盘为2T。操作系统为Ubuntu16.04；开发使用的IDE为Pycharm专业版；开发语言是Python3.6；深度学习框架为Pytorch1.7.1；其他配置为：cuda10.1、cudnn7.6.0。主要用于后台算法部署。(2)工作电脑工作电脑，搭载Win10操作，内存16GB，主要作为效果演示的展示机。1.2系统设计思路1.2.1系统设计流程本章系统实现过程主要是将前面两章改进的文本检测和识别算法串联起来，将自然场景下的文本检测和识别过程呈现在整个展示机显示界面中，该系统的设计流程如图1.1所示。首先，需要上传待检测识别的图像，若上传失败，提示用户重新上传，上传完毕后，系统对调用文本检测算法，获取图像中的文本区域，从而实现文本行的检测，并对每一处的文本行的外围矩形框进行标记，再把这些矩形框按照从左到右、从上到下的顺序进行排序，方便实现有序的识别。然后调用文本识别算法来识别这些文本图像，并且依次有序的显示识别结果。图1.1自然场景下的文本检测识别系统设计流程图Fig.1.1Designflowchartoftextdetectionandrecognitionsysteminnaturalscenes本系统根据前文设计的算法，制作了包含可视化界面的演示程序。程序由后台服务和前端界面显示两部分组成。而后台服务与前端界面进行交互的方式为：首先前端上传本地需要进行检测识别的图片，通过Base64编码，把这张图片编码成一串字符，然后包在请求体内，发送请求到后台服务器，这时候本地这个请求会一直等待后台服务器返回结果。后台服务获取到图片后，将该图片加入到等待队列中，队列中图片按顺序送入初始化好的模型中，进行推理得到检测和识别结果，推理完成后，以json形式，返回到本地，这个时候，本地收到了服务器的返回结果，在本地的可视化界面展示。后台服务与前端界面显示的交互过程如图1.2所示。图1.2前端与后端交互过程示意图Fig.1.2Schematicdiagramoffront-endandback-endinteractionprocess1.2.2后台服务后台服务部署在GPU服务器上，服务的工程逻辑包括如下三个部分。(1)接收请求服务使用Python-Flask框架开发，该框架是一个轻量级的框架，旨在保持核心的简单，但同时又易于扩展。接收请求过程是由一个监听端口监测由工作电脑发出的请求。请求体为json格式，内容为图片的Base64编码的Url编码。通过Url解码和Base64解码，最终得到算法模块可以使用的图片格式。(2)算法逻辑服务的算法逻辑由三个模块组成：1)文本检测模块将读入的图片送入文本检测网络对图片中所含有的文字进行定位，输出多个文本框坐标。文本检测网络加载在0号GPU上。2)文本截取与方向识别模块根据获取的文本框坐标，从原图上截取下为多个文本图片，送入文本方向识别网络，判断文本方向。在实际场景中，一张图片可能包括很多个文本，因此为了提高效率，尽管本文设计的网络支持不同尺寸的文本输入，处理过程中仍然选择将所有的文本resize到同一尺寸，作为一个批次(batch)进行方向判断的计算。最终选择将其也加载在0号GPU上，根据第四章的设计，这是一个轻量的网络，因此即使一个批次(batch)包含多个文本，也不会占用过多的显存导致内存溢出。3)文本识别模块将所有的文本图片根据方向识别结果，分为两部分，一是横向文本，二是竖向文本。将其分别作为两个批次(batch)，送入横向和竖向的文本识别网络。得到最终的文本识别结果，以文本框的位置排序参照，从上向下，从左向右排序，以一个列表的形式输出。文本识别的网络选用CRNN特征提取部分为ResNet50，部署在1号GPU上。(3)发送结果将算法逻辑中文本识别模块输出的列表打包，返回给工作电脑。1.2.3前端界面前端界面使用PyQt5开发，主要包括如下两个部分。(1)发送请求在工作电脑通过“添加文件”按钮，选择要识别的图片。点击“文本检测与识别”，读入图片后编码为Base64格式，进行Url编码后，作为请求体发送请求到GPU服务器。(2)展示结果等待服务器的返回结果，将结果列表，两两之间插入换行，展示在前端界面上。1.3系统展示与结果分析自然场景下文本检测与识别的整体初始化界面如下图所示。系统界面主要分为两个区域，其中左侧为图像展示区域，通过点击“添加文件”功能按钮来选取本地需要检测识别的图片，选取完毕点击“文本检测与识别”会上传图片等待模型检测识别结果，将到的文本所在位置通过蓝色文本框框出，显示在图片上，一个文本框代表一个文本内容序列。右侧为识别结果展示区域，将每个文本框的里面的内容识别出来由上到下进行展示。图1.3系统初始化界面Fig.1.3Systeminitializationinterface 为了验证系统的鲁棒性，拍摄了自然场景中带有不同维度的文本信息的图片进行系统测试，通过端到端结果分析证明了该系统对不同类型的图片均具有较好检测识别效果。图1.4中英文混合的文本检测识别结果图Fig.1.4ChineseandEnglishmixedtextdetectionandrecognitionresults图1.5大小文本混合的文本检测识别结果图Fig.1.5Figureoftextdetectionandrecognitionresultsofmixedlargeandsmalltext图1.6暗光模糊情况下的竖直文本检测识别结果图Fig.1.6Theresultofverticaltextdetectionandrecognitioninthedarkandblurredcondition图1.7倾斜长文本检测识别结果图Fig.1.7Obliquelongtextdetectionandrecognitionresultgraph图1.8密集小文本混排的文本检测识别结果图Fig.1.8Textdetectionandrecognitionresultgraphofdensesmalltextmixed通过上面的系统测试结果可以看出，本文设计的系统对于中英文混排文本、多方向文本、小文本以及暗光下模糊不清的文本都具有较好的检测识别效果。尤其是在图1.5中，对于这种大小文本混合排列的场景中，该系统可以很好的关注到“最具人气小吃”这样的小文本，并且有效的检测识别出来，同时对于像“重庆小面”与“闽南咸饭”这样的密集文本也可以很好的对文本区域划分，在图1.7中，对于“后勤服务大厅”这种暗光下的倾斜长文本的边界检测效果也较好。由此可见，本文改进的检测与识别算法性能较好，根据其模型搭建的系统具有较好的鲁棒性，可以很好的应用在自然场景下的文字检测与识别的实际工业领域中。尽管该系统对于不同场景文本检测效果较好，但由于文本识