基于层级化Transformer的文档理解研究综述

基于层级化Transformer的文档理解研究综述1层级化Transformer的核心架构范式传统Transformer采用平token序列建模方式，将文档中的所有字符、子词或图像patch输入同一层注意力网络，忽略了文档天然存在的结构分层特征——字符组成词、词组成句子、句子组成段落、段落组成章节，不同层级单元承载的语义粒度和结构信息存在本质差异。层级化Transformer正是针对这一缺陷，通过分层建模、跨层注意力交互两大核心设计，实现对文档多尺度语义与结构信息的联合编码。目前主流的层级化架构可分为三类：第一类是金字塔式层级架构，代表模型包括HiBERT、Longformer-Hier等，这类架构从下到上依次对字符/子词、句子、段落、篇章四个层级进行编码，低层网络聚焦细粒度语义单元的局部依赖建模，高层网络则捕捉粗粒度单元的全局关联，相邻层级间通过池化或注意力聚合实现信息传递。以HiBERT为例，其底层采用12层BERT结构编码句子级语义，中层通过句子级注意力层建模段落内句子间的关联，顶层使用篇章级注意力层整合全文档信息，在文档分类任务上较平层BERT实现了3.7%的准确率提升。第二类是递归式层级架构，以RecursiveTransformer、Tree-Transformer为代表，这类架构不预设固定的层级数量，而是通过递归方式自动学习文档的结构树：先将相邻语义单元合并为更高层级的单元，再对新生成的单元重复合并操作，直至得到整个文档的全局表示，这类架构在层次结构复杂的法律文档、学术论文理解中表现突出，较金字塔架构在法条援引匹配任务上F1值提升2.1%。第三类是异构层级架构，针对多模态文档（包含文本、表格、图片、图表等元素）设计，不同模态信息首先在各自的模态专属层级完成编码，再通过跨模态注意力层实现不同层级、不同模态信息的交互，代表模型如LayoutLMv3、UDOP等，这类架构目前已成为文档理解领域的主流基础架构。层级化Transformer的核心创新点在于注意力机制的分层约束：平层Transformer的全局注意力会引入大量无关单元的交互噪声，而层级化架构中，低层注意力被限制在局部窗口内（如句子内部、段落内部），仅允许高层注意力进行全局交互，既降低了计算复杂度，又符合人类阅读文档时“先局部理解、再全局整合”的认知规律。实验数据显示，对于长度为10000token的长文档，层级化Transformer的计算复杂度仅为平层Transformer的1/6，同时在长文档摘要任务上ROUGE-L得分提升4.2%。2层级化Transformer在文档理解任务中的应用进展层级化Transformer的结构特性使其能够适配不同类型的文档理解任务，目前已在信息抽取、文档分类、文档问答、多模态文档解析四大核心任务领域实现广泛应用，且性能显著超越传统平层模型。在信息抽取任务中，层级化架构能够有效捕捉实体与上下文的多粒度关联。针对实体抽取任务，句子级层级可以精准识别实体的边界和细粒度类型，篇章级层级则能够解决实体指代消解问题——比如文档中多次出现的“该公司”“这一技术”等指代表述，高层注意力可以关联到其对应的具体实体。在2025年发布的HierIE模型中，研究者通过层级化Transformer实现了三层抽取架构：底层抽取实体及属性，中层建模实体间的关系，顶层整合篇章级的事件关联，在金融公告信息抽取数据集上，实体抽取F1值达到92.3%，关系抽取F1值达到89.7%，较平层BERT基线分别提升5.1%和6.3%。针对表格信息抽取任务，层级化架构可以分别对单元格、行/列、整个表格三个层级进行建模，有效捕捉表格的结构信息，在公开数据集TabFact上，基于层级化Transformer的模型准确率已达到94.6%，超过人类平均水平。在文档分类任务中，层级化架构尤其适配长文档、多标签分类场景。传统平层模型处理长文档时往往需要截断内容，丢失尾部关键信息，而层级化架构可以通过段落级编码、篇章级整合的方式覆盖全文档内容。在法律文档分类任务中，需要根据数千字的判决书文本判定其涉及的法条类别，层级化Transformer可以分别对案件事实、证据描述、判决理由等不同段落的语义进行编码，再通过高层注意力关联不同段落与法条类别的关联，在2026年最新的中国法律文书分类数据集上，层级化Transformer模型的宏F1值达到87.2%，较平层Longformer提升4.5%。对于多标签文档分类，层级化架构的高层注意力可以建模不同标签之间的关联，避免标签预测的独立性假设误差，在学术论文多标签分类任务上，HierBERT模型较传统TextCNN模型的微F1值提升7.8%。在文档问答任务中，层级化架构能够实现多跳推理和证据定位。开放域文档问答往往需要在长篇文档中定位多个相关证据片段，再通过跨片段推理得到答案。层级化Transformer的低层可以精准定位答案相关的句子级证据，高层可以整合多个证据片段的信息进行推理。针对医疗电子病历问答任务，患者的病历包含入院记录、检查报告、病程记录、出院小结等多个章节，层级化架构可以分别对不同章节的内容编码，再通过跨层级注意力关联不同章节的信息，比如将检查报告中的“血糖升高”与病程记录中的“糖尿病病史”关联，从而准确回答“患者是否存在糖尿病并发症风险”这类需要多证据支持的问题。在2025年的MEDQA医疗问答数据集上，层级化Transformer模型的准确率达到78.3%，较平层BioBERT提升5.7%。在多模态文档解析任务中，层级化异构架构已经成为行业标准。扫描版文档、PDF文档、网页文档等包含文本、布局、图像多种信息，层级化架构分别对不同模态的信息进行分层处理：文本层按照字符、词、句子、段落层级编码，布局层按照字符位置、文本块位置、页面布局层级编码，图像层按照局部视觉特征、全局页面特征层级编码，再通过跨模态注意力实现不同层级信息的交互。目前主流的多模态文档理解模型如LayoutLMv3、DocFormer、UDOP均采用这类架构，在表单识别、票据识别、文档图像分类等任务上的性能已远超传统OCR+规则的方案。以增值税发票识别为例，基于层级化Transformer的模型可以同时捕捉发票号码的字符特征、发票抬头的文本语义、印章的视觉特征，以及不同字段间的布局关联，识别准确率达到99.8%，较传统OCR方案的错误率降低80%以上。3层级化Transformer面临的关键挑战与研究热点尽管层级化Transformer在文档理解领域已取得显著进展，但仍面临三大核心挑战，相关研究也是当前领域的热点方向。第一个挑战是文档结构的自动感知与层级适配。现有层级化架构大多预设了固定的层级划分（如字符-词-句子-段落），但不同类型文档的结构差异极大：比如诗歌的层级结构是字符-行-节-全诗，表格的层级结构是单元格-行/列-表格，对话式文档的层级结构是话轮-会话片段-完整会话，固定的层级划分无法适配所有文档类型。针对这一问题，动态层级化Transformer成为研究热点，这类模型不再预设层级结构，而是通过结构注意力自动学习不同语义单元的聚合方式，根据文档的实际结构动态生成层级。2025年提出的AdaHier模型，通过可学习的结构门控机制，自动判断哪些相邻单元可以合并为更高层级的单元，在诗歌、表格、对话三类结构差异显著的文档理解任务上，较固定层级架构平均性能提升3.4%。另一个研究方向是弱监督结构学习，无需人工标注文档的结构信息，仅通过文档理解的下游任务反馈自动学习合理的层级划分，降低模型对结构标注数据的依赖。第二个挑战是跨层级信息交互的效率与效果平衡。层级化架构中，跨层级信息传递如果设计不合理，要么会出现低层信息损失，要么会引入过多的计算开销。现有架构大多采用池化或者注意力聚合的方式实现低层到高层的信息传递，但池化会丢失细粒度语义信息，注意力聚合则会增加计算复杂度。2026年最新的研究提出了稀疏跨层注意力机制，仅允许高层单元与对其语义贡献最大的前K个低层单元进行交互，既保留了关键的细粒度信息，又将跨层交互的计算复杂度降低了70%。在长文档问答任务上，采用稀疏跨层注意力的层级化模型，性能与全交互模型相当，但推理速度提升2.3倍。此外，跨层级信息对齐也是研究热点，针对多模态文档，如何实现文本层级、布局层级、视觉层级的信息精准对齐，避免不同模态层级的语义错位，是提升多模态文档理解性能的关键。第三个挑战是低资源场景下的层级化模型泛化。现有层级化Transformer模型大多依赖大规模标注数据进行训练，但在垂直领域（如法律、医疗、工业），标注文档的获取成本极高。针对这一问题，层级化预训练成为研究热点：首先在大规模无标注通用文档上进行层级化预训练，学习通用的层级语义与结构建模能力，再通过小样本微调适配垂直领域任务。2025年发布的HierBERT-base模型，在1000万篇无标注通用文档上进行分层预训练，学习词、句子、段落三个层级的掩码预测任务，在仅使用100条标注数据的法律文档分类任务上，微F1值达到78.2%，较平层BERT的少样本性能提升12.5%。此外，层级化提示学习也是低资源场景下的重要研究方向，通过设计分层提示模板，将层级化结构信息融入提示中，进一步提升小样本场景下的模型性能。4层级化Transformer的未来发展趋势未来层级化Transformer在文档理解领域的发展将呈现三大趋势：一是端到端层级化多模态文档理解框架的统一，现有不同任务（信息抽取、分类、问答、解析）的层级化架构相对独立，未来将出现统一的基础架构，能够适配所有文档理解任务，仅通过少量任务专属输出层即可实现不同任务的切换，大幅降低文档理解系统的开发成本。二是与大语言模型的深度融合，将层级化Transformer作为文档编码器接入大语言模型，解决大语言模型处理长文档时的上下文窗口限制和信息丢失问题，实现百万字级长文档的深度理解与交互。目前已有研究尝试将层级化Transformer的文档编码结果作为外部记忆接入GPT-4，在10万字级书籍问答任务上，答案准确率较直接输入截断文本提升40%以上。三是边缘端轻量化层级化模型的落地，针对移动设