CN114330234B 版面结构分析方法、装置、电子设备和存储介质 （科大讯飞股份有限公司）

版面结构分析。本发明提供的版面结构分析方2基于所述图像特征，对所述版面图像进行版面要素检测基于所述图像特征，对所述版面图像进行文本行分割，得到所基于所述版面图像中各要素的位置信息和要素类别，确定所述基于所述版面图像中各要素的位置信息以及所述各文本行的位基于所述版面图像中各要素之间的关系，以及所述版面图像中各要素的文本行信息，基于所述图像特征，对所述版面图像进行版面要素检测，得到所基于所述各候选要素的位置信息，从各候选要素中确定出相同基于相同位置处的候选要素的要素类别和要素置信度，对相同位置处的候选要素进行过基于过滤后的候选要素的要素置信度，确定所述版面图在所述相同位置处的候选要素的要素类别为易混淆类别的基于属于所述相邻栏要素中后一栏要素的同类别要素的要素位置和/或包含的要素类5.根据权利要求1至4中任一项所述的版面结构基于多尺度的样本图像，对所述待分析的版面图像进行多尺度6.根据权利要求1至4中任一项所述的版面结构3所述版面结构分析模型是基于标记有要素位置和类别标签的第一版面图像中各要素的位置信息和要素类别；基于所述版面图像中各要素的位置信息和要素类别，确定所述基于所述版面图像中各要素的位置信息以及所述各文本行的位基于所述版面图像中各要素之间的关系，以及所述版面图像中各要素的文本行信息，8.一种电子设备，包括存储器、处理器及存储程序被处理器执行时实现如权利要求1至6任一项所述版面结构分析4[0010]基于所述版面图像中各要素的位置信息和要素类别，以[0013]基于所述各候选要素的位置信息，从各候选要素中确定出相同位置处的候选要5[0023]基于属于所述相邻栏要素中后一栏要素的同类别要素的要素位置和/或包含的要所述版面图像中各要素的位置信息和要素类别；机程序被处理器执行时实现如上述任一种所述版面结构分析方法67[0050]为了自动快速的完成教育图文数据的加工，教育图文版面结构分析变得尤为重范围可以是800pix*1280pix到1600pix*2间关系特征可以表征版面图像中各要素和/各文本行的位置信息特征；语义特征可以表征方图(HistogramofOrientedGradient，HOG)特征提取算法或局部二值模式(Local[0061]在一些优选的实施方式中，可以采用特征金字塔结构(FeaturePyramid[0064]此处的要素是指可以从版面图像中抽取出的具有一定逻辑结构的元素，例如页8[0067]可以采用目标检测算法实现对版面图像的要素检测，例如CascadeRCNN算法和SceneTextDetectionwithDifferentiableBinarization，基于可微分二值化的实时版面图像进行版面结构分析，从而能够同时对版面图像的逻辑结构和布局结构进行全面、仅实现单一能力的版面分析，该方法能够同时对版面图像的逻辑结构和布局结构进行全[0080]基于上述实施例，图2是本发明提供的版面结构分析方法中步骤120的流程示意9素类别的干扰，此处相同位置处的候选要素预测得到的要素类别可能属于同一要素类别，[0086]考虑到如果采用传统的自适应非极大值抑制(NMS)策略，在每个要素类别内进行[0089]将相同位置处的候选要素进行过滤后，即可根据过滤后的候选要素的要素置信[0090]本发明实施例提供的版面结构分析方法，对相同位置处[0091]基于上述任一实施例，步骤122中基于相同位置处的候选要素的要素类别和要素[0108]最后根据版面图像中各要素之间的关系，以及版面图像[0111]步骤410，基于版面图像中各要素之间的关系，确定属于相邻栏要素的同类别要[0114]首先确定属于相邻栏要素的同类别要素，然后根据后一栏同类别要素的位置和/[0130](1)首先将不同来源的数据按照各自场景的数据打包规范完成数据打包，以供各[0131](2)在训练阶段的数据采样步骤中，根据不同来源的数据数量比例实现按比例数[0132](3)在计算各分支训练损失时，根据数据来源标记选择性的保留本分支的损失而[0136]步骤520，基于多尺度目标检测CascadeRCNN算法，对版面图像进行版面要素检三个不同IoU阈值的分类和回归器。骨干网络提取到的特征表示送入RPN，RPN源于Faster[0141]DBNet预测稠密文本行效果较好的主要原因是算法提出可微分的近似二值化函块DB得到近似的二值化分割图，该二值化图中的区域分别表示个文本实例收缩之后的区得到所述版面图像中各要素的位置信息和要素类仅实现单一能力的版面分析，该装置能够同时对版面图像的逻辑结构和布局结构进行全[0156]基于所述各候选要素的位置信息，从各候选要素中确定出相同位置处的候选要[0166]基于属于所述相邻栏要素中后一栏要素的同类别要素的要素位置和/或包含的要[0173]此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单以对前述各实施例所记载的技术方案进行修改，或者对其