CN114283435B 表格提取方法、装置、计算机设备、存储介质 （上海浦东发展银行股份有限公司）

号构提取块根据单元格的单元格信息生成与表格利用表格提取模型对表格图像进行端到端的表2将所述表格图像输入至表格提取模型，所述表格提取模型包括文通过所述文本提取网络块对所述表格图像进行文本提取，得到所述通过所述单元格提取网络块对所述表格图像进行单元格提取，得到所通过所述结构提取块根据所述单元格的单元格信息生成与所述表格区域对应的表格其中，所述表格区域中包括多个单元格，每个所述单元格的所述通过所述结构提取块根据所述单元格的单元格信息生成与所述表格区域对应的通过所述结构提取块对所述表格区域中多个所述单元格的第一坐标进行排获取每个所述第一单元格集合中单元格的第一坐标的平均值、中位通过所述结构提取块对所述表格区域中多个所述单元格的第二坐标进行排获取每个所述第二单元格集合中单元格的第二坐标的平均值、中位根据所述第一参考坐标和所述第二参考坐标进行组合，生成多将对齐处理后的每个所述单元格的第一单元格坐标与多个所述参第一目标参考坐标的标识作为与所述第一单元格坐标对应的第将对齐处理后的每个所述单元格的第二单元格坐标与多个所述参3所述第二目标参考坐标的标识作为与所述第二单元格坐标对应的第二结根据与对齐处理后的每个所述单元格对应的所述第一结构参考坐标和所述第二结构所述单元格在所述第二方向上的第二起始值和第根据每个所述单元格在所述第一方向上的第一起始值和第一结束值确定每个所述单通过所述结构提取块根据对齐处理后的所述单元格的单元格信息对所述表格图像进根据每个所述单元格的结构信息以及所述表格区域的位置信息，生成将所述文本内容的位置信息与所述单元格的单元格信息进行匹配，4.根据权利要求1所述的方法，其特征在于，所述表格提取模型还包括角度检测网络通过所述角度检测网络块对所述表格图像进行文本检测，得到多个对所述文本框的角度进行排序，根据排序后的所述文本框的角度对多根据所述目标文本框集合中的文本框的角度，对所述表格图像进行角度所述通过所述文本提取网络块对所述表格图像进行文本提取，得通过所述文本提取网络块对角度矫正后的所述表格图像进行文本提取通过所述单元格提取网络块对角度矫正后的所述表格图像进行单元格4通过所述角度检测网络块对所述表格图像进行文本检测，得到多个根据每个所述原始文本框的坐标确定每个所述原将面积小于等于面积阈值的原始文本框作为所述文本框，获取每个所述文本框的坐7.根据权利要求1所述的方法，其特征在于，所述表格提取模型还包括方向分类网络通过所述方向分类网络块确定所述表格图像的方向，当所述方向为倒所述通过所述文本提取网络块对所述表格图像进行文本提取，得通过所述文本提取网络块对旋转处理后的所述表格图像进行文本提取通过所述单元格提取网络块对旋转处理后的所述表格图像进行单元格提文本信息提取模块，用于通过所述文本提取网单元格提取模块，用于通过所述单元格提取网络块对所述表格图像进行单元格提取，表格结构生成模块，用于通过所述结构提取块根据所述单元格的单其中，所述表格区域中包括多个单元格，每个所述单元格的第一单元格集合生成单元，用于通过所述结构提取块对所5第一方向对齐单元，用于获取每个所述第一单元格集合中单元格的第一坐标的平均坐标对属于所述第一单元格集合的单元格在所述第一方向上进行第二单元格集合生成单元，用于通过所述结构提取块对所第二方向对齐单元，用于获取每个所述第二单元格集合中单元格的第二坐标的平均坐标对属于所述第二单元格集合的单元格在所述第二方向上进行参考坐标生成子单元，用于根据所述第一参考坐标和所结构参考坐标确定子单元，用于将对齐处理后的每个所述单表格结构生成子单元，用于根据与对齐处理后的每个所述单元格对应每个所述单元格在所述第一方向上的第一起始值和第一结束值确定每个所述单元格在所9.一种计算机设备，包括存储器和处理器，所述存储器存被处理器执行时实现权利要求1至7中任一项所述的6[0008]将所述表格图像输入至表格提取模型，所述表格提取模型包括文本提取网络块、[0011]通过所述结构提取块根据所述单元格的单元格信息生成与所述表格区域对应的[0014]所述通过所述结构提取块根据所述单元格的单元格信息生成与所述表格区域对[0015]通过所述结构提取块根据所述表格区域中多个所述单元格的单元格坐标对多个7[0017]所述通过所述结构提取块根据所述表格区域中多个所述单元格的单元格坐标对[0026]将对齐处理后的每个所述单元格的第一单元格坐标与多个所述参考坐标进行匹[0027]将对齐处理后的每个所述单元格的第二单元格坐标与多个所述参考坐标进行匹[0028]根据与对齐处理后的每个所述单元格对应的所述第一结构参考坐标和所述第二[0030]通过所述结构提取块根据对齐处理后的所述单元格的单元格信息对所述表格图[0032]在其中一个实施例中，所述文本信息包括文本内容以及所述文本内容的位置信8[0035]按照所述表格结构将所述文本内容与对应的所述单元格融合，得到所述电子表矫正后的所述表格图像的表格区域中单元格[0045]通过所述角度检测网络块对所述表格图像进行文本检测[0052]通过所述方向分类网络块确定所述表格图像的方向，当9处理后的所述表格图像的表格区域中单元格[0058]文本信息提取模块，用于通过所述文本提取网络块对所述表格图像进行文本提提取模型中文本提取网络块和单元格提取网络块的训练数据包含了大量不同版式的表格可以是预先存储在数据库的图像。表格图像的格式可以为jpg(JointPhotographic的方式构建表格提取模型。通过将表格图像输入至多GPU表格提取模型对表格图像进行表[0099]一个示例中，文本提取网络块可以采用基于深度学习的文本检测模型实现，如模型(YouOnlyLookOnce，一种单阶段目标检测模型)、FasterR-CNN(FasterRegion-ConvolutionalNeuralNetworks，快速区域卷积神经网络模型)、FSAF模型(Feature与每个单元格对应的第一方向上的第一参数和第二方向上的第二参数。通过结构提取块，表格结构。提取模型中文本提取网络块和单元格提取网络块的训练数据包含了大量不同版式的表格第一个单元格开始，确定与第一个单元格的第二坐标的差值满足坐标差异度阈值的第m个参考坐标进行从小到大排序，得到参考坐标的第二顺序为3，则生成的参考坐标的标识为设备通过结构提取块确定单元格的左上角顶点对应的第一结构参考坐标的标识为(0,0)，右下角顶点坐标对应的第二结构参考坐标的标识为(2,3)，确定该单元格在水平方向上的点的坐标以及第二方向上梯度值存在差异的像素点的坐标，按照确定的多个像素点的坐信息，从而提高后续计算机设备根据表格区域的位置信息对文本信息和单元格融合的效足角度差异度阈值的第i个文本框(i为正整数)，将第一个文本框至第i个文本框进行聚类[0171]具体地，计算机设备通过文本提取网络块对角度矫正后的表格图像进行文本提文本方向上的长度确定过程以及原始文本框在第二文本方向上的长度确定过程的具体实[0182]具体地，计算机设备通过方向分类网络块识别表格图像[0185]具体地，计算机设备通过文本提取网络块对旋转处理后的表格图像进行文本提表格图像进行处理后得到的文本信息以及单元格PSENet模型的角度检测网络块对表格图像进行角度矫正的流[0195]具体地，计算机设备可以采用基于RetinaNet模型的文本提取网络块对旋转处理比对RetinaNet模型的文本信息提取结果发现基于锚Anchor的RetinaNet模型对长字段的文本信息提取效果更好，因此采用RetinaNet模型作为文本提取网络块对旋转处理后的表格图像进行文本提取。以下示例性地对RetinaNet模型的训练方式进行说明：首先将ResNet50作为主干网络生成未训练的RetinaNet模型，将若干张单元格内携带文本框的表尺寸调整为1024*1024。设置RetinaNet模型的锚值，采用FPN的P2-P5层对未训练的采用FSAF模型和RetinaNet模型对表格图像中的单元格进行检测，根据多次实验得到的检测结果发现FSAF模型识别的单元格漏框比RetinaNet模型识别的单元格漏框少，并且FSAF[0214]表格结构生成模块808，用于通过结构提取块根据单元格的单元格信息生成与表[0221]在一个实施例中，表格提取模型还包括角度检测网络块。表格提取装置800还包[0224]在一个实施例中，表格提取模型还包括方向分类网络块，表格提取装置800还包[0225]上述表格提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实机设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过WIFI、设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(Read-Only(ReRAM)、磁变存储器(MagnetoresistiveRandomAccessMemory，MRAM)、铁电存储器(FerroelectricRandomAccessMemory，FRAM)、相变存储器(PhaseChangeMemory，PCM)、石墨烯存储器等。易失性存储器可包括随机存取存储器(RandomAccessMemory，库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等，