CN115115862B 基于异构图神经网络的高阶关系知识蒸馏方法及系统 （中国科学院计算技术研究所）

orderrelationalknowheterogeneousgraphneuralnetworks.基于异构图神经网络的高阶关系知识蒸馏本发明提出一种基于异构图神经网络的高一阶节点级知识蒸馏和二阶关系级知识蒸馏两2步骤S2、基于该教师模型和该学生模型的模型预测步骤S3、基于该教师模型和该学生模型的中间图卷积步骤S4、整合该一阶节点级软标签知识和该二阶关系级异构该教师模型和该学生模型的中间图卷积层异MLP线性该教师模型和该学生模型的模型预测值包括：Softmax输出层的表达为p，则pt=其中分别是基本的交叉熵损失和蒸馏是带有温度系数τ缩放的sfotmax概率输教师和学生网络模型的相关矩阵MetaCor3其中k是相应异构数据集D对应的异构节点类对中间层嵌入进行非线性变换，然后应用一个共享的注意向量q得到学生模型的注意第一知识提取模块，用于根据该教师模型和该学生模型的模型第二知识提取模块，用于基于该教师模型和该学过关系级知识蒸馏提取该教师模型的二阶关系级训练模块，用于整合该一阶节点级软标签知识和该二4该教师模型和该学生模型的中间图卷积层异MLP线性该教师模型和该学生模型的模型预测值包括：Softmax输出层的表达为p，则pt=其中分别是基本的交叉熵损失和蒸馏是带有温度系数τ缩放的sfotmax概率输教师和学生网络模型的相关矩阵MetaCor其中k是相应异构数据集D对应的异构节点类对中间层嵌入进行非线性变换，然后应用一个共享的注意向量q得到学生模型的注意57.一种存储介质，用于存储执行如权利要求6[0003]近年来，为了解决异构图中节点和边的异质性问题，研究人员提出了许多基于边关系的方法直接利用特定关系矩阵来处理不同度量空间中各种节点类型的边关系，如[0005]近年来，深度学习中的知识蒸馏(KD)技术在提升模型的性能上展现出一定的优[0006]本发明的目的是克服上述现有技术中HGNN面临的数据标注不精确和语义关系建7[0019]其中分别是基本的交叉熵是带有温度系数τ缩放的sfotmax概率输出。[0025]其中k是相应异构数据集D对应的异构节[0026]对中间层嵌入进行非线性变换，然后应用一个共享的注意向量q得到学生模型的8输出层的模型预测值和中间图卷积层异构节点[0042]第二知识提取模块，用于基于该教师模型和该学生模型的中间图卷积层嵌入表[0052]其中分别是基本的交叉熵9是带有温度系数τ缩放的sfotmax概率输凸[0058]其中k是相应异构数据集D对应的异构节[0059]对中间层嵌入进行非线性变换，然后应用一个共享的注意向量q得到学生模型的[0075]图1为本发明实施例提供的基于异构图神经网络进行高阶关系知识蒸馏方法的简[0076]图2为本发明实施例提供的基于异构图神经网络进行高阶关系知识蒸馏方法的原[0077]图3为本发明实施例提供的基于异构图神经网进行高阶关系络知识蒸馏方法的架术方案如下，本文以经典异构数据集如IMDB(包含电影、导演和演员三类异构节点类型)、预训练教师模型的一阶节点级软标签知识转移到学识蒸馏(RKD)将预训练教师模型的二阶关系级高阶异构语义知识转移记MLP线性变换层的输出表达式为z，则教师和学生模型的概率输出分别是zt和zs，记是带有温度系数τ缩放的sfotmax概率输出，超参数τ越大说明类上的概率馏方法将教师模型中的高阶语义关系知识转移到[0095]其中k是相应异构数据集对应的异构节的原因是高斯RBF在捕捉各节点之间复杂的非线性关系方面更加灵活和强大。为了避免维先对中间层嵌入进行非线性变换，然后应用一个共享的注意向量q得到学生模型的注意值w⃞=qf·tanh(ws·(H)"+b;)处理器执行时用于实现本发明的基于异构图神经网络的高阶关系知级知识蒸馏将预训练教师模型的二阶关系级高阶异构语义知识转移到学生模型中；步骤[0112]下面结合附图详细说明本发明，图2展示了本发明提供的一种基于异构图神经网络的高阶关系知识蒸馏方法，图3展示了本发明实施例的教师模型和学生模型构成的基于[0115]计算T和S的输出层模型预测值p和中间图卷积层异构节点嵌入表示h，具体计算[0118]其中分别是基本的交叉熵损失和是带有温度系数τ缩放的sfotmax概率输出，τ越大说明类上的概率分布更馏将预训练T的二阶关系级高阶异构语义知识转移[0123]其中k是相应异构数据集对应的异构节的原因是高斯RBF在捕捉各节点之间复杂的非线性关系方面更加灵活和强大。为了避免维先对中间层嵌入进行非线性变换，然后应用一个共享的注意向量q得到学生模型的注意值经网络模型上，并在ACM、IMDB和DBLP这三种数据集上进行节点分类，其中分类指标是[0147]从表2可以发现通过使用本发明涉及的高阶关系知识蒸馏方案，异构图神经网络％～输出层的模型预测值和中间图卷积层异构节点[0152]第二知识提取模块，用于基于该教师模型和该学生模型的中间图卷积层嵌入表[0162]其中分别是基本的交叉熵损失和是带有温度系数τ缩放的sfotmax概率输出；[0168]其中k是相应异构数据集