CN114821620B 基于行文本框纵向合并的文本内容提取识别方法 （浙江理工大学）

基于行文本框纵向合并的文本内容提取识本发明公开了一种基于行文本框纵向合并同时本发明使用目标检测和手部检测识别实现2(2)采用现有的目标检测模型将指向题目的手部区域以矩形框的形式框选出来，进而(3)利用文本框信息以及手指关键节点的位置信息，将手指指向属于同一道题目的所所有文本框中选出满足x_left≤x1≤x_right的文本框；然后在所选出的文本框中找出满3.2根据文本框的位置信息以及内容信息，从初步筛选保存的文本框集合中找出所指x3≤x2≤x4且frame_height≥fra3.3将所指题目的所有文本框合并成一个矩形框，具体地：对于所指题目的所有文本(4)利用现有的文本识别方法识别获取合并成的矩形框中的内容，该内容即为手指所2.根据权利要求1所述的文本内容提取识别方3.根据权利要求1所述的文本内容提取识别方法，于PaddleOCR的文本检测算法将图像中的文字框识别提取出来，在使用Paddle预训练模型4.根据权利要求1所述的文本内容提取识别方法，其特征在于5.根据权利要求1所述的文本内容提取识别方法，其特征在于：所述步骤(2)中采用34程就是首先利用OCR(OpticalCharacterRecognition)将图片中的题目处理识别成文字，[0003]开号为CN113963342A的中国专利提供了一种基于文本框位置和字符信息的行合[0005]鉴于上述，本发明提供了一种基于行文本框纵向合并的5本检测算法将图像中的所有文本框及其信息提取[0008](2)采用现有的目标检测模型将指向题目的手部区域以矩形框的形式框选出来，[0009](3)利用文本框信息以及手指关键节点的位置信息，将手指指向属于同一道题目[0010](4)利用现有的文本识别方法识别获取合并成的矩形框中的内容，该内容即为手[0011]进一步地，所述步骤(1)中对图像进行预处理包括了图像透视变换以及均值滤波集进行训练，可有效提取出包括文字、标点符号、下划线在内的文本框，有效地弥补了[0014]进一步地，所述步骤(2)中采用YOLOv5模型将指向题目的手部区域以矩形框的形[0017]3.2根据文本框的位置信息以及内left≤x1≤x_right的文本框；然后在所选出的文本框中找出满足y_left＜y1的文本框作些文本框四个顶点中最大的x轴坐标值max_x、最大的y轴坐标值max_y、最小的x轴坐标值6视变换矩阵M由拍摄图片的高度和角度自动进行调节，使用此方法，可以提高后续文本检[0040]对进行完预处理的图像进行文本检测，本实施方式采用基于paddleocr的文本检7[0046]本发明在步骤(3)获得的手部区域中使用手指骨骼关键点检测可以得到手部各关[0048]x1＝(M[0][0]*p[0]+M[0][1]*p[1]+M[0][2])/((M[2][0]*p[0]+M[2][1]*p[[2][2]))y1＝(M[1][0]*p[0]+M[1][1]*p[1]+M[1][2])/(frame_distance，若满足该行文本框的框高大于两个文本框之间的框距即frame_height>8[0060]本发明在步骤(5)中符合条件的文本框中，找到这些文本框四个顶点中最大的x[0063]本发明将步骤(6)中获得的文本框最终筛选结果，使用参数微调后的文本识别算[0065]上述对实施例的描述是为便于本技术领域的普通技术人9