基于层次化图神经网络的文档分类研究综述

基于层次化图神经网络的文档分类研究综述一、层次化图神经网络文档分类的核心基础文档分类作为自然语言处理领域的经典任务，其核心挑战在于如何精准捕捉文本中不同粒度的语义信息以及单元间的关联关系。传统的基于词袋模型、TF-IDF的方法忽略了文本的序列结构与语义层级，而循环神经网络、卷积神经网络等序列模型虽然能够捕捉局部上下文依赖，却难以有效建模长距离语义关联以及文本固有的层次化结构——从字符、词汇、短语、句子到段落、篇章，不同层级的语义单元之间存在复杂的交互关系，且非连续的语义单元往往对文档主题判定起到关键作用。层次化图神经网络（HierarchicalGraphNeuralNetworks,HGNN）的出现为解决这一问题提供了新的范式，其通过将文档建模为包含多粒度节点的图结构，利用图的消息传递机制同时捕捉不同层级单元的语义特征与跨层级关联，显著提升了文档分类的性能。层次化图神经网络用于文档分类的核心假设是：文档的语义信息存在天然的层级分布，且不同层级的语义单元之间存在非序列的关联关系。例如一篇科技论文中，摘要中的关键词可能与结论部分的核心观点直接关联，不同段落中的相同主题表述也存在语义呼应，这类跨层级、长距离的依赖关系是序列模型难以有效建模的。HGNN通常会先构建多粒度的文档图，最常见的是“词-句子-文档”三层图结构：词节点对应文档中的词汇，边表示词汇的共现关系、句法依赖关系或语义相似度；句子节点由其包含的词节点聚合得到，边表示句子间的语义关联、位置关系或逻辑衔接关系；文档节点则由所有句子节点聚合得到，最终用于分类任务。部分研究还会引入短语、段落等中间层级节点，或者引入外部知识图谱中的实体节点作为补充，进一步丰富图的语义信息。消息传递机制是HGNN实现特征学习的核心。与普通GNN不同，层次化图的消息传递通常采用层级间迭代聚合的方式：首先在词层级进行消息传递，学习词节点的上下文表示，接着将词节点的特征聚合到所属的句子节点，在句子层级进行消息传递学习句子的语义表示，再将句子节点的特征聚合到文档节点，最终得到整个文档的向量表示用于分类。部分研究采用跨层级的消息传递机制，允许词节点直接与文档节点进行信息交互，避免层级聚合过程中的信息损失。此外，针对不同层级节点的特征差异，研究者通常会设计适配的聚合函数，例如对词节点采用注意力聚合权重区分不同词汇的重要性，对句子节点采用门控机制过滤冗余信息，从而提升特征学习的精准度。二、层次化图神经网络文档分类的主流技术框架根据图结构构建方式与消息传递机制的差异，现有HGNN文档分类框架可分为三类：层级独立聚合框架、跨层级交互框架与知识增强层次化框架。层级独立聚合框架是最早出现且应用最广泛的HGNN文档分类范式。这类框架的核心特点是各层级的图结构相互独立，消息传递仅在同一层级内进行，层级间通过自底向上的特征聚合实现信息传递。代表性工作是2019年提出的TextGCN的层次化改进版本H-TextGCN，其首先为每个文档构建词级共现图，使用GCN学习词节点的表示，接着通过平均池化将每个句子包含的词节点特征聚合为句子节点初始表示，构建句子级关联图（边的权重由句子余弦相似度决定），再使用GCN学习句子节点表示，最终通过注意力聚合得到文档表示。这类框架的优势是结构简单、计算效率高，适合处理长文档分类任务；但缺点也十分明显：层级间的信息传递仅通过单向聚合实现，底层语义信息的误差会逐层向上传递，且无法建模不同层级单元之间的直接关联，例如某个关键词对整个文档主题的直接影响难以被有效捕捉。为解决层级独立聚合框架的信息传递限制，跨层级交互框架在近年来得到快速发展。这类框架打破了层级间的信息壁垒，允许不同层级的节点直接建立边连接，实现跨层级的消息传递。2021年提出的HierGNN是该方向的代表性工作，其构建的文档图中不仅包含同层级的词-词边、句子-句子边，还增加了词-句子边（表示词汇属于某个句子）、词-文档边（表示词汇在文档中出现）、句子-文档边（表示句子属于文档）。在消息传递阶段，每个节点会同时接收来自同层级节点和跨层级关联节点的信息，通过门控机制对不同来源的信息进行加权融合。实验结果显示，相较于层级独立聚合框架，HierGNN在Reuters、20Newsgroups等标准文档分类数据集上的准确率提升了2.3%-4.1%，尤其在短文本分类任务上效果提升更为显著，因为短文本的词汇量少，跨层级交互能够更好地利用有限的语义信息。后续研究进一步对跨层级交互的效率进行优化，例如采用动态边剪枝策略，仅保留权重高于阈值的跨层级边，将模型的训练速度提升了近3倍，同时性能损失控制在0.5%以内。知识增强层次化框架则通过引入外部知识来弥补文档自身语义信息的不足，进一步提升分类性能。这类框架通常会在传统的多粒度文档图中引入外部知识节点，例如将文档中的实体链接到维基百科、WordNet等知识图谱中的实体节点，或者引入领域知识本体中的概念节点。2022年提出的KG-HGNN是该方向的典型代表，其在“词-句子-文档”三层图的基础上，增加了实体节点层：首先对文档中的实体进行识别并链接到知识图谱，将实体的知识图谱表示作为实体节点的初始特征，接着构建词-实体边（表示词汇对应某个实体）、实体-句子边（表示实体出现在某个句子中）、实体-文档边（表示实体属于文档）。在消息传递过程中，实体节点的知识信息会被传递到关联的词、句子和文档节点，帮助模型更好地理解歧义词汇的语义，例如“苹果”在科技类文档中表示公司，在农业类文档中表示水果，知识图谱的信息能够帮助模型做出准确判断。在财经、法律等专业领域的文档分类任务中，知识增强层次化框架的性能优势尤为明显，相较于普通跨层级交互框架，准确率可提升5%以上。三、层次化图神经网络文档分类的关键技术挑战尽管HGNN在文档分类任务上取得了显著的性能提升，但其实际应用中仍然面临多个关键技术挑战，首要问题是长文档的图构建与计算效率瓶颈。对于长度超过10000字符的长文档（如学术论文、法律文书、政府报告等），词节点的数量通常会超过5000个，加上句子节点、文档节点甚至知识节点，整个图的节点数量会达到数千甚至上万个，边的数量更是呈指数级增长，导致GNN的消息传递计算复杂度极高，普通GPU难以在可接受的时间内完成训练与推理。现有解决方案主要分为两类：一类是子图采样，例如在训练阶段仅采样文档的部分核心节点与边构成子图进行计算，推理阶段采用滑动窗口对长文档进行分段处理；另一类是层次化图稀疏化，例如在图构建阶段仅保留共现次数高于阈值的词-词边、语义相似度高于阈值的句子-句子边，减少冗余边的数量。但这两类方法都会不可避免地损失部分语义信息，如何在效率与性能之间找到最优平衡仍然是当前研究的热点问题。第二个挑战是跨领域迁移的泛化性不足。现有HGNN文档分类模型大多在特定领域的标注数据集上训练，当迁移到其他领域时性能会出现显著下降，主要原因在于不同领域的词汇分布、语义关联模式存在巨大差异，模型在源领域学习到的图结构与消息传递规则难以适配目标领域。例如在新闻领域训练的HGNN模型，词级图的边权重更倾向于给“事件”“时间”“地点”类词汇更高的权重，而迁移到医疗领域时，“症状”“药物”“诊断”类词汇的重要性更高，模型无法自动识别这种领域差异。小样本学习与预训练技术是当前解决该问题的主要思路：一方面，研究者尝试在大规模无标注文本上预训练层次化图神经网络的通用参数，学习不同领域通用的语义关联模式，在目标领域仅需要少量标注数据进行微调即可获得不错的性能；另一方面，领域自适应技术被引入到HGNN中，通过对齐源领域与目标领域的图特征分布，减少领域差异带来的性能损失。2023年的相关研究显示，采用预训练+小样本微调的HGNN模型，在仅使用目标领域10%标注数据的情况下，性能已经可以接近使用全量标注数据训练的基线模型。第三个挑战是模型的可解释性不足。图神经网络本身属于黑盒模型，层次化结构进一步增加了可解释的难度：用户往往只能得到模型的分类结果，却无法了解模型是基于文档中的哪些词汇、句子做出的判断，也无法解释不同层级的语义信息如何影响最终的分类结果。这一问题在医疗、法律等对决策可解释性要求高的领域尤为突出。现有可解释性研究主要从两个方向展开：一是注意力权重可视化，通过展示不同词节点、句子节点在聚合过程中的注意力权重，标记出对分类结果影响最大的关键词汇与关键句子；二是因果扰动分析，通过人为删除或修改文档中的特定节点，观察分类结果的变化，以此推断不同节点对分类结果的贡献。但现有方法大多只能给出局部的解释，无法完整呈现层次化图的信息传递逻辑，如何构建全局可解释的HGNN文档分类模型仍然是未解决的难题。四、层次化图神经网络文档分类的应用场景与未来发展方向当前HGNN文档分类技术已经在多个实际场景中得到落地应用。在政务领域，政府部门每天需要处理大量的公文、报告、信访件，HGNN能够精准捕捉不同层级公文的格式特征与语义特征，实现公文的自动分类归档、信访件的自动归口分派，相较于传统的分类方法，准确率提升了15%以上，大幅减少了人工分类的工作量。在法律领域，HGNN能够对海量的裁判文书、合同文本进行分类，识别合同的类型、风险等级，或者根据裁判文书的内容对案件类型进行自动划分，为法律检索、案例分析提供支撑。在金融领域，HGNN被用于上市公司公告、新闻资讯、研报的分类，快速识别与特定公司、行业相关的信息，为量化投资、风险预警提供数据支持。未来HGNN文档分类的研究方向主要集中在三个方面：第一是多模态层次化图神经网络的融合，当前大多数文档分类研究仅针对文本内容，而实际应用中的文档往往包含图片、表格、公式等多模态信息，如何将这些多模态信息建模为层次化图中的节点，实现多模态特征的融合与交互，是提升复杂文档分类性能的关键。第二是轻量化HGNN模型的研发，针对边缘设备、移动端的文档分类需求，通过模型剪枝、量化、知识蒸馏等技术，在保证性能的前提下大幅压缩模型体积与计算量，实现模型的端侧部署。第三是与大语言模型的深度结合，利用大语言模型强大的语义理解能力