基于层次化图神经网络的文档分类研究综述

基于层次化图神经网络的文档分类研究综述1文档分类任务的演化与层次化建模需求文档分类是自然语言处理领域的经典基础任务，其核心目标是根据文本内容自动为文档分配预定义的类别标签，广泛应用于信息检索、舆情分析、新闻推荐、内容审核等工业场景。早期的文档分类方法主要依赖人工特征工程与传统机器学习模型，例如通过TF-IDF提取文本统计特征，结合支持向量机（SVM）、朴素贝叶斯等分类器实现类别判断。这类方法虽然在小规模数据集上表现稳定，但无法有效捕捉文本的语义信息与长距离依赖关系，面对复杂语义场景时性能瓶颈明显。随着深度学习技术的发展，基于序列建模的方法逐渐成为文档分类的主流。卷积神经网络（CNN）通过局部卷积窗口捕捉文本的n-gram特征，能够高效提取局部语义模式；循环神经网络（RNN）及其变体LSTM、GRU则通过门控机制建模文本的时序依赖关系，更好地保留上下文信息。随后预训练语言模型（如BERT、RoBERTa）的出现进一步推动了文档分类性能的跃升，这类模型通过大规模无标注语料预训练获得了通用的语义表示能力，能够捕捉更丰富的上下文语义关联。然而，传统序列建模方法普遍将文档视为线性的词序列，忽略了文本天然存在的层次化结构——文档由多个段落组成，段落由多个句子组成，句子又由多个词语组成，不同层级的语义单元之间存在复杂的交互关系，简单的线性序列建模难以充分利用这种结构性信息。文本的层次化结构特性为建模带来了新的思路：词语层面的局部语义组合形成句子语义，句子层面的语义聚合形成段落语义，最终多个段落的语义融合得到整个文档的全局表示。不同层级的语义单元在分类任务中贡献的信息权重存在显著差异，例如科技文档的摘要段落往往包含核心主题信息，而案例描述段落的主题相关性相对较低。传统序列模型无法显式区分不同层级单元的重要性，也难以建模跨层级的语义交互，这一缺陷在长文档分类场景中尤为突出——当文档长度超过预训练模型的最大输入限制时，简单的截断或滑动窗口处理会丢失大量关键结构信息，导致分类性能下降。层次化图神经网络的出现为解决这一问题提供了新的技术路径，通过将文档建模为包含词语、句子、段落等不同层级节点的图结构，能够显式捕捉多粒度语义单元之间的关联关系，实现更精准的文档表示学习。2层次化图神经网络用于文档分类的基础框架层次化图神经网络（HierarchicalGraphNeuralNetworks,HGNN）用于文档分类的核心思想是将文档分解为不同粒度的语义单元，构建多阶图结构，通过分层的消息传递机制学习各层级节点的表示，最终聚合得到全局文档表示进行分类。其基础框架通常包含三个核心模块：层次化图构建模块、层级间消息传递模块、多粒度表示聚合模块。2.1层次化图构建模块层次化图构建是整个框架的基础，核心是确定不同层级的节点定义与边的连接规则。目前主流的层次化图结构通常包含2-3个语义层级，最常见的是“词-句子-文档”三层结构：词级节点：以文档中的每个词语作为节点，初始特征通常采用预训练词向量（如Word2Vec、GloVe）或预训练语言模型的词嵌入输出。词节点之间的边主要基于两种规则构建：一是共现关系，即固定窗口内共同出现的词语之间建立连边，捕捉局部语义关联；二是依存句法关系，根据依存句法分析结果在存在句法依赖的词语之间建立连边，显式引入语法结构信息。句子级节点：以文档中的每个句子作为节点，初始特征可通过词级节点的平均池化、最大池化或CNN编码器得到。句子节点之间的边同样包含两类：一是时序邻接关系，即文档中相邻的句子之间建立连边，捕捉上下文的时序依赖；二是语义相似性边，通过计算句子嵌入的余弦相似度，为相似度高于阈值的句子对建立连边，捕捉跨段落的语义关联。部分研究还会引入句子与词语的从属边，即每个句子节点与该句子包含的所有词节点建立连边，实现层级之间的信息交互。更高层级节点：对于长文档，部分研究会额外引入段落级节点，每个段落节点对应文档中的一个段落，初始特征由段落内所有句子节点聚合得到，段落节点之间基于相邻关系或主题相似性建立连边，最终段落节点聚合得到全局文档节点。对于短文本分类场景，也可简化为“词-句子”两层结构，直接聚合句子节点得到文档表示。2.2层级内与层级间消息传递机制消息传递是图神经网络学习节点表示的核心过程，层次化图神经网络的消息传递分为层级内消息传递与层级间消息传递两个阶段：层级内消息传递：在每个语义层级内部独立进行，针对不同层级的图结构特点采用适配的图卷积算子。词级图通常采用图卷积网络（GCN）或图注意力网络（GAT），通过邻域节点的信息更新每个词节点的表示，GAT的注意力机制能够自动区分不同邻接词的重要性，更好地捕捉关键语义信息。句子级图与段落级图除了使用GCN、GAT外，部分研究还会引入门控循环单元或Transformer结构，进一步强化时序依赖的建模。例如在句子级图的消息传递中，除了聚合语义相似的邻接句子信息外，还会通过门控机制保留句子的原始时序特征，避免图结构破坏文本固有的顺序信息。层级间消息传递：实现不同粒度语义单元之间的信息交互，主流的传递方式有两种：一种是自底向上的传递，即下层节点的表示更新后，通过从属边将信息传递到上层节点，例如词节点的表示更新后，聚合得到所属句子节点的初始特征，再进行句子层级的消息传递；另一种是双向传递，即不仅有自底向上的信息流动，还允许上层节点的信息向下传递，例如句子节点的表示更新后，将信息回传给包含的词节点，帮助词节点更好地感知上下文语境，消除一词多义的歧义。研究表明，双向层级间消息传递能够有效提升多义词的表示准确性，尤其在专业领域文档分类场景中效果显著。2.3多粒度表示聚合与分类模块经过多层消息传递后，框架需要将不同层级的节点表示聚合为全局文档表示。常见的聚合策略包括：层级注意力聚合：为每个层级学习一个全局注意力权重，同时在层级内部为每个节点学习注意力权重，通过两级注意力机制实现加权聚合。例如先通过词级注意力得到每个句子的表示，再通过句子级注意力得到整个文档的表示，注意力权重的大小由节点与分类任务的相关性自动学习得到，能够自动突出关键词、关键句子的贡献。池化聚合：包括平均池化、最大池化、分层池化等，其中分层池化是先在每个层级内部进行池化得到层级全局表示，再将不同层级的全局表示拼接得到最终文档表示。这种方法计算效率更高，适合工业级大规模文档分类场景。对比学习辅助聚合：近年来部分研究引入对比学习思想，在聚合过程中最大化同一文档不同层级表示之间的一致性，同时最小化不同文档表示之间的相似性，进一步提升文档表示的区分度，尤其在少样本分类场景中能够显著提升模型鲁棒性。最终得到的全局文档表示输入到全连接层与Softmax激活函数，输出每个类别的概率分布，通过交叉熵损失函数训练模型参数。3层次化图神经网络文档分类的主流研究方向近年来，层次化图神经网络在文档分类领域的研究不断深入，根据建模侧重点的不同，可以分为结构增强型、跨模态融合型、低资源适配型、高效推理型四大主流研究方向。3.1结构增强型层次化图神经网络结构增强型研究的核心是进一步优化图结构的构建方式，引入更多外部知识或细粒度结构信息，提升模型对复杂语义关系的捕捉能力。一类研究方向是引入外部知识图谱增强图结构，例如将文档中的实体链接到维基百科、WordNet等知识图谱，将知识图谱中的实体节点与文档中的词节点、句子节点建立关联边，将外部常识知识融入文档表示过程。例如在医疗文档分类场景中，引入医学知识图谱中的疾病、症状、药物等实体节点与文档中的对应术语建立连边，能够帮助模型更好地识别专业术语之间的关联，提升疾病分类的准确率。另一类研究是引入更细粒度的语法结构信息，除了依存句法关系外，还将语义角色标注、constituency句法树等信息融入图边的构建，例如根据句法树的层次结构为词节点之间建立不同权重的边，显式建模语法层级关系。还有部分研究针对特定领域文档的结构特点定制图结构，例如法律文档通常包含“事实陈述-争议焦点-裁判理由-判决结果”的固定结构，学术论文包含“摘要-引言-方法-实验-结论”的结构，针对这类结构化文档，研究者会根据文档的逻辑结构定制边的连接规则，引入结构先验知识，大幅提升领域文档的分类性能。3.2跨模态融合型层次化图神经网络随着多媒体文档的普及，越来越多的文档同时包含文本、图像、表格、公式等多模态内容，传统纯文本分类方法无法有效利用多模态信息，跨模态融合型层次化图神经网络成为研究热点。这类方法的核心是将不同模态的内容单元作为独立节点融入层次化图结构。例如对于包含图片的网页文档，除了词节点、句子节点外，额外引入图像节点，图像的初始特征通过预训练的CNN模型（如ResNet、ViT）提取，图像节点与其相邻的文本描述句子节点建立连边，通过跨模态消息传递实现文本与图像的语义交互。对于包含表格的科技文档，将表格的表头、单元格作为独立节点，根据表格的结构关系建立边连接，同时将表格节点与其上下文描述的句子节点建立关联，实现表格信息与文本信息的融合。在多模态消息传递过程中，通常会引入跨模态注意力机制，自动学习不同模态节点之间的相关性权重，例如当文本描述提到“如图1所示”时，模型会自动提升对应图像节点的注意力权重，充分利用多模态信息提升分类准确性。目前跨模态层次化图神经网络已经在网页分类、专利文档分类、多媒体新闻分类等场景取得了显著的性能提升。3.3低资源适配型层次化图神经网络在很多垂直领域，标注的文档数据稀缺，训练样本不足导致模型性能下降，低资源适配型研究聚焦于提升层次化图神经网络在少样本、零样本场景下的分类能力。少样本文档分类场景中，主流方法是结合元学习与层次化图神经网络，通过元训练阶段学习通用的层次化表示能力，在Few-shot任务中仅需要少量标注样本即可快速适配。例如在元训练阶段，模型学习不同类别文档的层次化结构共性，掌握“关键词-句子-主题”的通用关联模式，在遇到新类别时，仅需要根据少量标注样本调整分类层参数即可实现较好的分类效果。零样本场景下，研究者通常将类别标签的语义描述引入层次化图结构，将类别标签作为独立节点加入图中，计算文档各层级节点与类别标签节点的语义相似度，通过标签传播机制实现无标注样本的类别预测。此外，半监督学习也是低资源场景下的重要技术路径，通过引入大量无标注文档构建全局异构图，将不同文档的词节点、句子节点根据语义相似性建立跨文档边，利用无标注数据的信息辅助提升少量标注样本的表示质量，相关实验表明，半监督层次化图神经网络仅需要10%的标注数据即可达到全监督模型85%以上的性能。3.4高效推理型层次化图神经网络层次化图神经网络虽然性能优异，但图结构的构建与消息传递过程计算复杂度较高，难以直接应用于工业级大规模实时分类场景，高效推理型研究聚焦于降低模型计算复杂度，提升推理速度。一类研究方向是轻量化图卷积算子设计，例如将传统GCN的全邻域聚合改为采样聚合，每次消息传递仅采样部分邻域节点参与计算，大幅降低计算量；或者采用参数共享的图卷积算子，不同层级、不同节点共享卷积参数，减少模型参数量。另一类研究是层次化图的动态剪枝，在消息传递过程中自动裁剪掉与分类任务相关性低的边与节点，例如计算词节点的注意力权重后，仅保留权重最高的20%的词节点参与后续计算，句子节点也仅保留与主题相关性高的节点，在几乎不损失性能的前提下将推理速度提升3-5倍。还有部分研究采用知识蒸馏方法，以大型层次化图神经网络作为教师模型，训练轻量化的学生模型（如简化的层次化CNN、小型预训练模型），将教师模型学习到的层次化结构知识迁移到学生模型中，使得学生模型在保持较快推理速度的同时，尽可能保留教师模型的性能。目前高效推理型模型已经能够实现每秒处理数千篇文档的推理速度，满足互联网内容审核、实时新闻分类等大规模场景的应用需求。4现有研究的挑战与未来发展方向尽管层次化图神经网络在文档分类领域已经取得了显著进展，但现有研究仍然存在一些尚未解决的挑战，未来的发展方向可以从以下几个方面展开：首先是动态层次化图的构建与自适应学习。现有方法的图结构大多是在预处理阶段静态构建的，边的连接规则基于人工定义的先验知识，无法根据不同文档的特点与分类任务的需求自适应调整图结构。未来可以研究端到端的图结构学习方法，让模型在训练过程中自动学习不同节点之间的连接关系与边权重，无需人工定义规则，进一步提升模型的通用性与适应性。其次是超长篇文档的层次化建模。当前的层次化图神经网络通常最多包含3-4个层级，面对长度达数万字的超长篇文档（如书籍、法律卷宗、学术专著）时，层级数量不足导致无法充分建模细粒度的结构信息，同时节点数量过多带来计算爆炸问题。未来可以研究层级动态扩展的图神经网络，根据文档长度自动调整层级数量，同时结合分层注意力与稀疏采样技术，实现超长篇文档的高效建模。第三是多语言与跨语言文档分类的适配。现有研究大多针对单语言场景，随着全球化信息交互的增多，跨语言文档分类需求日益迫切。未来可以将多语言预训练模型与层次化图神经网络结合，构建跨语言的层次化语义对齐机制，实现不同语言文档的结构信息共享，提升跨语言分类性能。最后是可解