【《基于CTPN的文字检测模型分析》3500字】

基于CTPN的文字检测模型分析目录TOC\o"1-3"\h\u27690基于CTPN的文字检测模型分析 158841.1问题分析 167301.2传统CTPN模型 194101.3改进CTPN模型 2105271.3.1文本校正模型 2199441.3.2特征提取优化 4128951.3.3RPN网络 449151.4文本检测评价指标 5291771.5文本检测结果 61.1问题分析文本通常从左到右水平排列，长度顺序可变。然而，普通的目标检测进行检测时只会针对一个单一的固定目标。为了检测整行文本，同一行文本上不同字符之间的距离可能不是固定的，因此完整检测比单体检测困难。1.2传统CTPN模型CTPN【16】算法主要检测自然场景中水平排列的字符。将文本位置框拆分为等宽的小文本框，仍然使用了FasterR−CNN的方法，。不同的是，RPN区域被修改，设定anchor时宽度是固定的，只需在y方向回归，避免了感受野不足的问题。RPN不是直接连接到全连接层，而是通过LSTM【17】（LongShort−TermMemory，长短期记忆网络），然后连接到全连接层。传统CTPN模型框架CTPN实现流程：在CNN部分采用VGG16进行特征提取，获得大小为N×C×H×W的特征图。在特征图上取3×3的滑动窗口来获得长度为3×3×C的特征向量，输出N×9C×H×W，转换为(NH)×W×9C。将每一行的所有窗口对应的3×3×C的特征输入到双向LSTM中，按W维度展开成一个序列(W×3×3×C)，得到N×256×H×W的输出；输入到512维的fc卷积层得到N×512×H×W的特征。最后，通过类似于FasterR−CNN的RPN网络，得到密集预测textproposal，并采用非极大值抑制算法滤除冗余框。通过文本行构造算法，将分类文本的细长proposal合并成文本线。1.3改进CTPN模型在实际生活中，由于拍摄角度等原因，我们获得的文本图片通常会存在一定的角度倾斜。而传统的CTPN模型只能检测水平文本。为了使OCR系统能检测存在倾斜角度的文本图片，提高模型的泛化性，我们提出了改进版CTPN模型。CTPN模型框架本文提出的改进版CTPN模型如图所示。带有倾斜角度的文本先进入文本矫正模型进行文本矫正，将文本矫正为水平状态；利用ResNet50的前五个卷积层进行特征提取，获得大小N×C×H×W的特征图；然后，将特征输入到双向LSTM中，输出大小为N×256×H×W的特征图；然后，通过FC卷积层进行候选框回归分类得到2k个文本得分、2k个竖直坐标点和K个anchor的校正偏移量，通过非最大值抑制算法滤除冗余框；通过文本行构造算法，将分类文本的细长proposal合并成文本线。1.3.1文本校正模型采用霍夫变换构建文本图片倾斜校正模型。霍夫变换(HoughTransform)是图像处理中的一种特征提取技术，来检测任意能够用数学公式表达的形状，即使这个形状被破坏或者有点扭曲。fR.Duda和P.E.Hart于1972年提出了广义霍夫变换(GeneralizedHoughTransform)【18】，广义霍夫变换可以用于判别直线。其基本实现思想如下：经过点的直线可用等式表示，其中c为截距，m为直线斜率。但无法描述斜率无穷大，形式如x=c的直线，所以在霍夫空间使用参数(ρ,ρ=其中，ρ为原点到直线的距离，θ为点(x,y)和原点构成向量的夹角。因此，对于经过图像上任意一点的直线，在霍夫空间都可以表示为一条曲线。霍夫变换原理直线在霍夫空间的表示从图中可以看出，如果传统笛卡尔坐标系中的点是共线的，那么它们在Hough空间中对应的曲线也必定在同一点相交。在参数空间中，曲线都是连续的，但是图像的像素是离散的，因此需要对参数空间的坐标轴进行离散化，并用离散网格来表示每条正弦曲线。首先找到满足条件的网格，然后在图像对应的像素空间中找到与网格对应的所有点，由这些点共同构成原始图像中的直线。由此可见，霍夫变换直线检测算法主要分为4个步骤：将参数空间的坐标轴离散化成像素点（2）对图像中的每个非零像素进行映射，得到经过参数空间的网格。（3）计算参数空间中每个正方形网格的次数，选择次数大于某个阈值的正方形网格作为表示直线的正方形。（4）在参数空间中排列正方形网格参数以表示直线，并将其用作图像空间中的直线参数。基于这一思想，提出了一种基于Hough变换的倾斜角检测与校正算法。我们提出了文本校正的思路：首先通过Hough线变换检测出图像中的所有线条；然后计算每条直线的倾角，求其平均值；最后，根据倾斜角度对图像旋转校正。霍夫变换模型结果Hough变换模型具有抗干扰能力强、可以过滤掉图像中线条不完整部分、噪声，对特征边界描述中的间隙容忍度高等优点。1.3.2特征提取优化在传统的CTPN算法中，图像分类任务中VGG16网络的前五个卷积层用作特征提取网络。He【19】等人提出的ResNet50。将网络的深度加深到50层，并使用残差学习来解决网络深度增加时梯度消失的问题。为了提高文本检测的准确性，本文中使用ResNet50而不是VGG16网络从图像中提取特征。表中显示了ResNet50功能提取网络参数。类型隐层数卷积核结构(数量×长度×宽度)Conv1164×7×7Conv2364×1×164×3×3256×1×1Conv34128×1×1128×3×3512×1×1Conv46256×1×1256×3×31024×1×1Conv53512×1×1512×3×32048×1×1ResNet50网络参数1.3.3RPN网络在通过CNN和BLSTM学习到一组“空间序列”后，通过FC卷积层连接RPN网络。RPN在这里实现了与FasterR−CNN类似的功能。CTPN的RPN网络分为两支：左边分支用于边框回归。FC层的特征图的每个点都配备了10个先前提到的锚点（anchor)。同时只回归中心y坐标和高度2个值。右边分支用于softmax分类anchor。用anchor确定文字位置：CTPN以检测水平文字为主，所以采用了10个一组等宽度anchor用于定位文字位置。anchor的宽高为：widthsheights输入时候采用ResNet模型提取特征，那么conv5特征图的宽高都是输入图像原本尺寸的1/16，同时FC层和conv5的宽和高都相等。为FC层的特征图每一个点都配备了10个上述的anchor。CTPN的anchor获得anchor之后，CTPN采取了和FasterR−CNN类似的处理：softmax判断anchor中是否包含文本，即选出大的正anchor；与FasterR−CNN不同的是，Boundingboxregression只修正含有文本的anchor的中心y坐标与高度。回归公式如下：vv其中，v=(vc，vh)是回归以后预测的坐标，v=(vc∗，vh∗)是参考基准（groundtruth），cya和1.4文本检测评价指标文本检测常用的评价指标是AP（AveragePrecision，平均精度），是基于准确率（Precision）和召回率（Recall）计算得出。根据预测标签和实际标签的关系，相关样本类别的定义如下表所示真实样本标签（TrueLabel）10预测样本标签(PredictedLabel）1真正（TruePositive）假正（FalsePositive）0假负（FalseNegative）真负（TrueNegative）样本标签IOU（IntersectionOverUnion，交并比）是目标检测中常见的评价尺度，主要是衡量模型生成的预测检测框（PredictedBoundingBox）和标注框（GroundTruth）之间的重叠程度，计算公式为：IOU准确率（Precision）表示的是预测为正的样本中有多少是真正的正样本。Precision召回率（Recall）表示的是样本中的正例有多少被预测正确。Recall精度是分类器预测的正样本数与实际正样本数之比。精度越高，假正性率越低。召回率是分类器正确预测的正样本在所有样本中所占的比例。二者是相互矛盾，可以合并成一个变量——F1度量：F1采用的是加权调和平均标准进行度量。(Precision和Recall)F1F1越高，则说明试验方法越有效。1.5文本检测结果文本检测实现效果如图文本检测实验结果比较：我们采用了几种常用的文本检测算法和数据集进行交叉实验来验证我们方法的效果，实验数据结果如下：Metho