CN110796031A 基于人工智能的表格识别方法、装置及电子设备 （腾讯科技（深圳）有限公司）

本公开提供了一种基于人工智能的表格识据所述前景线条图像中的线条关系确定多个表在所述待识别图像中的位置以及所述表格单元2根据所述前景线条图像中的线条关系确定多个表格单对所述待识别图像进行文本识别以得到所述待识根据所述文本信息在所述待识别图像中的位置以及所述表格单元格在所述电子表格根据各个所述图像线条之间的位置关系确定多个由所述图像线条相交形成的线条交根据各个所述线条交点之间的位置关系确定多个以所述线条交点为顶点的表格单元利用横向线条卷积核对所述前景线条图像进在所述横向线条图像中确定多个沿第一方向分别对各个所述第一像素连通区域中的像素点进行线利用纵向线条卷积核对所述前景线条图像进在所述纵向线条图像中确定多个沿第二方向分别对各个所述第二像素连通区域中的像素点进行线获取各个所述图像线条的直线拟合函数并确定各根据所述直线拟合函数确定任意一个横向线条与任意一根据所述线条端点和所述待定交点的位置关系确定由所述横向线条和所述纵向线条条端点和所述待定交点的位置关系确定由所述横向线条和所述纵向线条相交形成的线条获取所述横向线条的第一横向端点、第二横根据所述横向位置距离确定所述横向线条与所述待定交根据所述纵向位置距离确定所述纵向线条与所述待定交在所述横向线条距离和所述纵向线条距离之中的较大3遍历位于所述前景线条图像上的所述多个线条交点，以在所述在所述前景线条图像上存在与所述当前线条交点相关的所述三根据所述前景像素点对所述待识别图像进行图像分割通过所述语义分割模型对所述待识别图像中的像素点进行分类以确定图像线条所在根据所述单元格位置信息在所述电子表格模板上确定与所述表格单元格相对应的模基于多个所述模板单元格建立与所述待识别对所述待识别图像进行表格检测以确定所述待识别图像中的一个或者多个待识别表根据所述多个表格单元格建立与所述待识别表格主体相根据所述主体电子表格确定与所述待识别图按照所述偏转角度对所述待识别图像进行纠偏处理4获取对应于所述文本信息的文本区域在所述待根据所述表格单元格在所述电子表格中的位置以及所述文表格建立模块，被配置为根据所述前景线条图像中的线条关系确定多个表格单元格，文本填充模块，被配置为根据所述文本信息在所其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至13中任一项所5[0003]以图像格式存储的电子文档可以方便地进行传播和存储，但是难以进行内容编识别装置以及电子设备，进而至少在一定程度上克服相关技术中存在的表格结构识别困6别对各个所述第二像素连通区域中的像素点进行线条拟和所述待定交点的位置关系确定由所述横向线条和所述纵置距离确定所述横向线条与所述待定交点之间的横向线条距离；纵向位置距离确定单元，关联线条交点时，确定以所述当前线条交点和所述三个关联线条交点为顶点的表格单元7为根据所述主体电子表格确定与所述待识别图本图像分割模块，被配置为从所述待识别图像中分割得到对应于所述文本区域的文本图序，该计算机程序被处理器执行时实现如以上技术方案中的基于人工智能的表格识别方定包括表格结构和表格内容的表格识别结果。该方法通过对表格结构与表格内容进行分8[0028]图3示意性地示出了本公开一些实施例中基于人工智能的表格识别方法的步骤流[0032]图6示意性地示出了本公开实施例中基于语义分割模型确定前景像素点的步骤流[0038]图11示意性地示出了根据线条端点和待定交点的位置关系确定线条交点的步骤[0039]图12示意性地示出了本公开实施例中根据线条交点的位置关系确定表格单元格[0043]图15B示出了对图15A所示的待识别图像进行纠偏处理以后得到的倾斜纠正的待[0046]图18示意性地示出了在本公开一些实施例中的基于人工智能的表格识别装置的9本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，[0050]附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相[0055]举例而言，当本公开实施例中的基于人工智能的表格识别方法应用于服务端130户可以在客户端110上输入一份如图2A所示的纸质文档的电子图像作为待识别图像。客户到图像中的表格单元格结构并重建得到空白电子表格。服务端130同时可以对该待识别图的位置关系对空白电子表格进行文本信息填充，从而得到与待识别图像相对应的电子表[0056]在一些可选的实施方式中，服务端130上还可以设置基于人工智能技术的机器学[0057]人工智能(ArtificialIntelligence，AI)是利用数字计算机或者数字计算机控[0060]自然语言处理(NatureLanguageprocessing，NLP)是计算机科学领域与人工智[0063]图3示意性地示出了本公开一些实施例中基于人工智能的表格识别方法的步骤流[0066]步骤S320.根据前景线条图像中的线[0070]步骤S340.根据文本信息在待识别图像中的位置以及表格单元格在电子表格中的[0073]对待识别图像进行准确地语义分割是精准获取表格结构的前提，图4示意性地示[0074]步骤S410.基于图像语义对待识别图像中的像素点进行分类以确定图像线条所在[0075]通过对待识别图像进行语义识别可以将待识别图像中的所有像素点划分为两种像素点520是除图像线条以外的其他内容对象所在的像素点。图5A所示的电子图像主要包像进行图像分割。图6示意性地示出了本公开实施例中基于语义分割模型确定前景像素点[0086]步骤S630.以原始图像样本和扩展图像样本作为训练数据训练得到语义分割模[0087]将步骤S610获取到的原始图像样本以及步骤S620通过数据增广得到的扩展图像[0088]步骤S640.通过语义分割模型对待识别图像中的像素点进行分类以确定图像线条包括由多个依次连接的瓶颈模块构成的编码器-解码器网络结构，Enet模型具有参数要求各个线条的线条关系确定多个表格单元格。图7示意性地示出了本公开实施例中确定表格[0093]步骤S720.根据各个图像线条之间的位置关系确定多个由图像线条相交形成的线利用圆形标记对每个线条交点810的位置均做出了标注，但是在本步骤的实际执行过程中可以利用像素坐标或者其他方式记录每个线条交点810的位置[0095]步骤S730.根据各个线条交点之间的位置关系确定多个以线条交点为顶点的表格中确定的各个表格单元格820以相互邻接且共用部分顶点和边线的形式组成了多个表格，向的基础上偏转-10～10度形成的线条，而纵向线条可以是在竖直方向的基础上偏转-10~[0098]步骤S910.利用横向线条卷积核对前景线条图像进行卷积处理以得到横向线条图像中的图像线条对应的像素点的像素值为255，那么本步骤便可以在横向线条图像中检测[0102]步骤S930.分别对各个第一像素连通区域中的像素点进行线条拟合以确定多个横[0104]步骤S940.利用纵向线条卷积核对前景线条图像进行卷积处理以得到纵向线条图线条图像中的图像线条对应的像素点的像素值为255，那么本步骤便可以在纵向线条图像[0108]步骤S960.分别对各个第二像素连通区域中的像素点进行线条拟合以确定多个纵[0110]分别对横向线条图像和纵向线条图像中的图像线条进行拟合可以相应确定沿第[0112]通过对像素连通区域中的像素点进行线条拟合可以得到每个横向直线以及纵向[0113]步骤S1020.根据直线拟合函数确定任意一个横向线条与任意一个纵向线条的待[0115]步骤S1030.根据线条端点和待定交点的位置关系确定由横向线条和纵向线条相[0116]由步骤S1020得到的待定交点包括两种类型，其中由横向线条和纵向线条实际相交形成的交点应当位于横向线条两个端点的内侧，同时也位于纵向线条两个端点的内侧。点与该待定交点的位置关系可以确定该待定端点是否为横向线条与纵向线条实际相交形[0117]图11示意性地示出了根据线条端点和待定交点的位置关系确定线条交点的步骤[0119]以横向线条l1和纵向线条l2为例，本步骤首先可以确定横向线[0121]根据步骤S1110中确定的第一横向端点、第二横向端点以及待定交点两两之间的[0125]本步骤可以确定纵向线条l2的两个端点l2.p2，同时可以确定根据横向线条l1和纵向线条l2的直线拟合函数计算得到的待[0127]根据步骤S1130中确定的第一纵向端点、第二纵向端点以及待定交点两两之间的[0131]由步骤S1120确定的横向线条距离用于表征横向线条与待定交点之间的位置关[0134]步骤S1220.在前景线条图像上存在与当前线条交点相关的三表格单元格左上角的顶点，在前景线条图像上查找位于其右侧最近邻的一个右邻点(右上角的顶点)以及位于其下方的一个最近邻的下邻点(左下角顶点)，然后判断位于其右下方的右下邻点(右下角的顶点)是否存在。若存在符合能够构成最小矩形位置关系的右邻点、[0141]步骤S1330.根据单元格位置信息在电子表格模板上确定与表格单元格相对应的[0144]在通过步骤S1330确定与表格单元格一一对应的模板单元格后，本步骤可以将各待识别图像中的各个表格单元格分别建立与每个待识别表格主体相对应的主体电子表格，然后再将各个主体电子表格按照表格主体的位置关系进行组合以形成与待识别图像相对[0148]基于表格主体识别的电子表格生成方法可以避免表格外部噪声信息对表格识别[0154]步骤S1430.按照偏转角度对待识别图像进行纠偏处理以得到倾斜纠正的待识别像，图15B则相应示出了利用本公开实施例中的纠偏处理方法对其进行纠偏处理后得到的[0157]图16示意性地示出了本公开实施例中对待识别图像进行文本识别的步骤流施例的基础上，步骤S340.根据文本信息在待识别图像中的位置以及表格单元格在电集面积除以二者的并集面积得到相应的位置应地可以将由文本区域进行文本识别得到的文因表格识别方法中各个阶段的累积误差而导致文本信息偏离目标单元格位置而无法正确[0175]利用本公开实施例提供的基于人工智能的表格识别方法在测试数据集上进行测试后得到的测试结果包括：单元格检测的召回率为98.84单元格检测的准确率为施例中的表格识别方法可以以极高的准确率实现对表格结构和表格内[0178]图18示意性地示出了在本公开一些实施例中的基于人工智能的表格识别装置的确定子模块，被配置为获取各个图像线条的直线拟合函数并确定各个图像线条的线条端被配置为对待识别图像进行表格检测以确定待识别图像中的一个或者多个待识别表格主转角度对待识别图像进行纠偏处理以得到倾斜[0191]本公开各实施例中提供的基于人工智能的表格识别装置的具体细节已经在对应[0194]如图19所示，计算机系统1900包括中央处理单元(CentralProcessingUnit，储部分1908加载到随机访问存储器(RandomAccessMemory，RAM)1903中的程序而执行各种适当的动作和处理。在RAM1903中，还存储有系统操作所需的各种程序和数据。CPU器等的输出部分1907；包括硬盘等的存储部分1908；以及包括诸如LAN(LocalArea因特网的网络执行通信处理。驱动器1910也根据需要连接至I/O接口1905。可拆卸介质从其上读出的计算机程序根据需要被安装入存储部分1908。