基于层级化Transformer的文档理解研究综述

基于层级化Transformer的文档理解研究综述文档理解作为自然语言处理与计算机视觉交叉领域的核心研究方向，旨在让机器自动解析非结构化文档中的文本、布局、视觉元素等多模态信息，实现对文档内容的深度认知与语义抽取。早期文档理解方法多基于规则匹配或卷积神经网络，难以捕捉文档中远距离语义关联与跨层级结构依赖。随着Transformer架构在序列建模任务中的广泛应用，其自注意力机制为长距离依赖建模提供了有效解决方案，但原生Transformer针对扁平序列设计，无法直接适配文档天然存在的层级化结构——从字符、词语、句子、段落，到页面、章节、整个文档，不同层级单元承载的语义粒度与结构关系存在显著差异。在此背景下，层级化Transformer架构应运而生，通过在不同语义层级构建独立注意力模块、设计跨层级信息交互机制，实现对文档多粒度结构与语义的联合建模，成为当前文档理解领域的研究热点。层级化Transformer的核心架构设计思想层级化Transformer的核心逻辑是对文档的天然层级结构进行显式建模，避免将所有元素压缩为单一扁平序列导致的结构信息丢失。传统Transformer将文档中的所有字符或token视为同一层级的序列单元，计算全局自注意力时会混淆不同粒度的语义关联，例如段落间的主题跳转关系与句子内的词语搭配关系在同一注意力矩阵中被同等对待，不仅增加计算冗余，还会引入大量无效注意力权重。层级化Transformer通过“层级拆分-独立编码-跨层交互”的三段式设计，实现结构感知的文档表示学习。在层级拆分阶段，模型首先根据文档的物理结构与语义粒度划分层级单元。常见的层级划分方式包括两类：一类是基于文档天然结构的硬划分，例如扫描文档首先按页面拆分，每个页面进一步按文本块、行、词语的粒度拆分，表格、图片等非文本元素作为独立的块级单元加入对应层级；另一类是基于语义密度的软划分，对于无明确布局标注的纯文本文档，通过语义相似度聚类将语义关联紧密的句子划分为段落级单元，再根据主题一致性将多个段落聚合为章节级单元，无需依赖外部布局标注即可实现层级构建。硬划分方式能够精准匹配文档的物理布局，适用于表单、发票、简历等结构规整的版式文档；软划分方式具备更强的通用性，能够适配小说、论文等长文本内容的层级语义结构。独立编码阶段针对不同层级的单元设计适配的注意力计算方式。对于低层级的词语、行单元，采用局部窗口注意力限制注意力计算范围，仅捕捉相邻单元的语法搭配与局部语义关联，例如同一句话内的词语依存关系、同一文本行内的字符排列关系，大幅降低计算复杂度。对于中层级的段落、块单元，采用扩张窗口注意力或稀疏注意力机制，允许单元与一定步长范围内的其他单元交互，捕捉段落内的句间逻辑关系、相邻文本块的布局关联，例如表格中同一列单元格的语义对应关系、正文段落与旁边注释的引用关系。对于高层级的页面、章节单元，采用全局注意力机制，仅在少量高层级单元之间计算全连接注意力，捕捉文档的整体主题脉络、跨页面的内容关联，例如论文中引言与结论的呼应关系、合同中不同条款的约束关系。这种分层注意力设计既保证了不同粒度语义的精准建模，又将整体计算复杂度从O(n²)降低至与文档长度近似线性的关系，为长文档处理提供了可行性。跨层交互机制是层级化Transformer实现多粒度信息融合的核心。目前主流的交互方式包括自底向上的信息聚合与自顶向下的语义指导两种路径。自底向上聚合过程中，低层级单元的表示通过池化、注意力加权求和等方式向上传递，为高层级单元的表示提供细粒度语义支撑，例如将多个词语的表示融合为句子表示，再将多个句子的表示融合为段落表示，聚合过程中保留低层级的关键语义特征，避免高层级表示过于抽象丢失细节。自顶向下语义指导过程中，高层级单元的全局语义信息向下传递，为低层级单元的歧义消解提供上下文依据，例如在识别“苹果”这一词语时，若高层级章节的主题为“电子产品”，则会引导低层级模型将其语义倾向于“苹果公司”而非“水果”。部分最新研究还引入了跨层注意力连接，允许不同层级的单元直接进行注意力交互，例如词语级单元可以直接关注所在页面的全局主题表示，进一步提升信息流动的效率。层级化Transformer在版式文档理解中的研究进展版式文档（如PDF、扫描件、图片文档）包含文本、布局、视觉样式等多模态信息，是当前文档理解领域的主要应用场景，层级化Transformer针对多模态层级结构的建模能力在这类任务中展现出显著优势。早期版式文档理解方法通常将文本识别结果与布局特征、视觉特征拼接后输入扁平Transformer，忽略了不同模态信息在不同层级的关联差异，例如字体、颜色等视觉特征主要在字符、行层级发挥作用，页面布局、元素位置关系主要在块、页面层级发挥作用，直接拼接的方式无法实现模态信息与层级结构的适配。针对版式文档的多模态层级建模，研究者们首先在输入表征层面实现了层级化的多模态特征对齐。微软提出的LayoutLMv3模型首次将文本token、布局框、图像patch的层级对应关系显式融入输入编码，每个词语级文本token对应其所在文本行的布局坐标与局部图像特征，每个块级单元对应其所在区域的整体视觉样式特征（如背景色、边框类型），每个页面级单元对应整页的布局结构特征（如边距、分栏数量），不同层级的多模态特征在输入阶段就完成了粒度匹配，避免了跨粒度特征拼接导致的信息错位。在此基础上，百度提出的ERNIE-Layout进一步引入了层级化模态交互模块，在低层级只进行文本与局部视觉特征的交互，专注于识别加粗、斜体等字符级样式信息；在中层级进行文本块与布局特征的交互，专注于判断文本块的类型（标题、正文、注释）；在高层级进行页面全局布局与主题语义的交互，专注于理解文档的整体结构，这种分层模态交互策略大幅提升了多模态信息的利用效率。在文档结构解析任务中，层级化Transformer实现了从物理结构到逻辑结构的层级化预测。文档结构解析需要识别文档中的标题层级、段落归属、列表嵌套、表格结构等信息，传统方法通常将其视为序列标注任务，在扁平序列上预测每个单元的结构标签，难以处理复杂的嵌套结构。例如多级列表中，不同层级的列表项存在父子从属关系，扁平序列标注无法捕捉这种层级依赖。华为提出的StructLM采用层级化标注范式，首先在页面层级预测页面的整体结构类型（如封面、目录、正文、参考文献），再在块层级预测每个文本块的结构标签与父子节点ID，最后在行层级预测文本块内的行类型（如列表项前缀、正文内容），通过层级化预测将复杂的嵌套结构解析拆解为不同层级的简单分类任务，在公开的PubLayNet文档结构解析数据集上F1值较扁平Transformer提升了7.2个百分点，尤其在六级以上标题层级识别、多层嵌套列表解析等复杂场景下性能提升超过15%。在关键信息抽取任务中，层级化Transformer通过跨层级注意力关联实现了少样本场景下的性能突破。发票、报关单等行业文档的关键信息抽取面临模板多样、标注数据稀缺的问题，传统方法依赖大量模板匹配规则或标注数据，泛化能力不足。阿里提出的DocParser模型利用层级化Transformer的跨层关联能力，在高层级学习不同类型文档的通用结构模式，例如发票通常包含“购买方信息”“销售方信息”“商品明细”“总金额”等高层级语义模块，在中层级学习模块内的字段关联，例如“纳税人识别号”通常紧跟在“单位名称”下方，在低层级学习字段值的文本模式，例如金额字段通常包含数字与货币符号。通过层级化的模式迁移，模型仅需个位数的标注样本即可适配新的发票模板，在FewDoc少样本关键信息抽取基准上性能超过之前的SOTA方法12.8个百分点。层级化Transformer在长文档理解中的研究进展长文档（如小说、论文、法律条文、合同）通常篇幅达数万字甚至数十万字，包含章节、段落、句子等多层级语义结构，传统扁平Transformer受限于计算复杂度与上下文窗口大小，难以处理长度超过4096token的长文档，层级化Transformer的线性计算复杂度与层级语义建模能力为长文档理解提供了有效解决方案。针对长文档的上下文窗口扩展问题，层级化Transformer通过分层局部注意力与全局记忆单元结合的方式，实现了近乎无限长度的文档处理。谷歌提出的Longformer采用的滑动窗口注意力仅能处理固定长度的局部上下文，无法捕捉跨窗口的远距离语义关联，而斯坦福提出的HierarchicalTransformer（HiT）将长文档按段落拆分为多个局部窗口，每个窗口内部进行局部注意力计算，同时为每个窗口生成一个摘要向量作为高层级记忆单元，所有记忆单元之间进行全局注意力计算，当模型需要访问其他窗口的信息时，首先通过高层级记忆单元定位到相关窗口，再从对应窗口中获取具体的token表示，这种“全局记忆寻址+局部细节访问”的机制将上下文窗口扩展到了百万级token，在长度达10万字的书籍问答任务上准确率较Longformer提升了8.7个百分点，同时推理速度提升了3倍。在长文档的逻辑推理任务中，层级化Transformer的结构感知能力能够有效捕捉长距离逻辑链。法律条文适用、合同风险审查等任务需要模型梳理分散在文档不同位置的条款之间的逻辑关联，例如合同中“违约责任”条款需要与“履行期限”“付款方式”等条款结合判断是否存在风险，扁平Transformer由于注意力分散，容易遗漏关键逻辑节点。北京大学提出的LegalHT模型针对法律文档的层级结构进行了专门优化，首先将法律文档拆分为“编-章-节-条-款-项”六级层级单元，在每个层级设计逻辑关系编码器，专门捕捉同层级单元之间的并列、转折、递进等逻辑关系，跨层级捕捉上位法与下位法、一般条款与例外条款的约束关系，在合同风险点识别任务中，对于涉及3个以上跨章节条款关联的复杂风险点，识别准确率较扁平BERT模型提升了11.4个百分点。在长文档摘要生成任务中，层级化Transformer能够实现多粒度摘要的自适应生成。传统长文档摘要方法通常先截取文档的前部分内容进行摘要，或者对整个文档进行均匀采样，容易丢失文档后半部分的关键信息，也无法根据需求生成不同粒度的摘要。字节跳动提出的HierSumm模型利用层级化Transformer的多粒度表示，根据用户需求的摘要粒度选择对应的层级单元进行生成：当用户需要简短的全文摘要时，直接基于章节级的高层级表示生成摘要，仅包含文档的核心主题与结论；当用户需要详细摘要时，结合段落级中层级表示生成，覆盖每个段落的核心内容；当用户需要针对特定章节的摘要时，结合该章节的句子级低层级表示生成，包含具体的细节信息。在arXiv论文摘要数据集上，该模型生成的摘要在ROUGE得分上超过之前的长文档摘要模型6.3个百分点，同时支持100字到1000字不同粒度的摘要自适应生成。层级化Transformer面临的挑战与未来研究方向尽管层级化Transformer在文档理解任务中取得了显著进展，但当前研究仍然面临多方面的挑战。首先是层级结构的自适应构建问题，现有方法大多依赖固定的层级划分规则，对于结构不规整的文档（如手写笔记、潦草的扫描文档），硬划分方式容易出现层级拆分错误，软划分方式则难以平衡语义聚合的粒度，未来需要研究能够根据文档结构复杂度动态调整层级数量与划分粒度的自适应层级构建方法。其次是跨模态层级的对齐问题，版式文档中的图像、表格、公式等非文本元素的层级划分与文本层级不完全匹配，例如一个跨页表格同时属于两个页面级单元，同时包含多个行、列的块级单元，如何实现不同模态元素的层级对齐与信息交互仍然是未解决的难题。第三是低资源场景下的层级迁移问题，当前层级化Transformer的预训练依赖大量标注了层级结构的文档数据，对于小语种、垂直行业等缺乏标注数据的场景，模型的层级建模能力会出现明显下降，如何将通用领域预训练的层级结构知识迁移到低资源领域是重要的研究方向。未来层级化Transformer的研究可以从多个方向展开。在架构设计层面，可探索动态层级注意力机制，允许模型在推理过程中根据任务需求动态调整不同层级的注意力权重，例如在进行关键词抽取任务时增强低层级词语单元的注意力权重，在进行文档分类任务时增强高层级页面单元的注意力权重，实现架构的任务自适应。在预训练范式层面，可设计层级化的自监督预训练任务，例如低层级的词语复原任务、中层级的块顺序预测任务、高层级的页面主题预测任务，通过不同层级的预训练任务让模型更充分地学习文档的层级结构知识，减少下游任务的标注依赖。在应用拓展层面，