CN119397037A 基于大模型的知识图谱模态缺失下的概念推 荐方法及系统 （浙江师范大学）

基于大模型的知识图谱模态缺失下的概念本发明公开了一种基于大模型的知识图谱2S1、基于在线学习平台上每个学生用户的历史S3、针对多模态知识图谱中存在节点特征缺失的S4、在目标学生用户在线学习过程中，通过在线学2.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法，其特征在3.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法，其特征在4.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法，其特征在35.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法，其特征在6.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法，其特征在全多模态知识图谱中该模态的缺失节点特征的近源节点为在被计算特征通道中有特征值且距离被计算多模态学习资料节点最近的多模到另一个特征通道的有向边权重，并将特征通道之间的有向边权重记录于权重邻接矩阵道的平均节点特征扩散至每个特征通道中缺失的多模态学习资料节点中；迭代扩散多次，获得多模态知识图谱中所有多模态学习资料节点的7.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法，其特征在理解主要概念采用的权值为这个未理解主要概念的节点特征表示与多模态学习资料的节概念推荐模块，用于根据所述推荐对象指定模块中指定的学生用户采集模块中获取指定学生用户对应的历史学习记录，然后按照如权利要求1~7任一项所述4计算机程序被处理器执行时，实现如权利要求1~7任一项所述的基于大模型的知识图谱模5何以综合人类知识体系和多模态信息的方式表示概念，避免概念在不同学习语境中的歧6[0009]第一方面，本发明提供了一种基于大模型的知识图谱模态缺失下的概念推荐方7离线知识图谱特征补全方法，补全多模态知识图谱中该模态的缺失节点特征的具体步骤述最近源节点为在被计算特征通道中有特征值且距离被计算多模态学习资料节点最近的信道的平均节点特征扩散至每个特征通道中缺失的多模态学习资料节点中；迭代扩散多[0022]S35、针对多模态知识图谱中在当前模态下存在节点特征缺失的多模态学习资料特征表示与多模态学习资料的节点特征表示之间的[0024]第二方面，本发明提供了一种基于大模型的知识图谱模态缺失下的概念推荐系[0026]推荐对象指定模块，用于通过GUI界面供管理用户指定需要进行概念推荐的学生89建学习资料图谱，且学习资料图谱中的节点特征为相应多模态学习资料的所述多模态特据集上微调过的教育大模型，确保概念定义与具体教育背景匹配。语义知识库可采用用现特征编码以及每个类别、前置概念和后置概念在语义知识库中的解释文本的编码特节点进行边连接，将每个多模态学习资料节点和自身包含的每个主要概念节点进行边连述最近源节点为在被计算特征通道中有特征值且距离被计算多模态学习资料节点最近的信道的平均节点特征扩散至每个特征通道中缺失的多模态学习资料节点中；迭代扩散多[0059]S35、针对多模态知识图谱中在当前模态下存在节点特征缺失的多模态学习资料[0062]由于知识概念推荐的有效性依赖于对学习者状态的深刻理解和知识图谱的全面为这个未理解主要概念的节点特征表示与多模态学习资料的节点特征表示之间的余弦距态知识图谱和在线学习数据提供清晰的推荐解释，从而优化学习者的学习路径和学习体[0069]推荐对象指定模块，用于通过GUI界面供管理用户指定需要进行概念推荐的学生记录采集模块中获取指定学生用户对应的历史学习记录，然后按照上述实施例中S1~S4所[0071]需要说明的是，上述学习记录采集模块可以构建于在线学习平台的后台服务器[0072]另外需要说明的是，上述实施例中S1~S4所述的基于大模型的知识图谱模态缺失的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件供的一种基于大模型的知识图谱模态缺失下的概念推荐方法对应的一种计算机可读存储述实施例中的基于大模型的知识图谱模态缺失下的[0078]可以理解的是，上述的处理器可以是通用处理器，包括中央处理器(Central器(DigitalSignalProcessing，DSP)、专用集成电路(ApplicationSpecific[0080]下面将通过一个具体实施例，来展示上述S1~S4所述的基于大模型的知识图谱模态缺失下的概念推荐方法的具体实现方式以及技[0082]本实施例中，具体展示了上述S1~S4所述的基于大模型的知识图谱模态缺失下的义问题。这是因为同一概念在不同的学科领域或具体上下文中可能具有不同的含义和解[0087]h,=(T";I";V";A")[0089]基于这张学习资料图谱，即可采用GraphGPS编码机制对H()是一个非线性变换函数；Attention()是引入Transformer架构使用softmax函数来捕居嵌入的聚合函数；combine(')表示概念k的上一层表示与聚合结果的组[0094]为了丰富多模态知识图谱（KG通过使用DBpediaSpotlight获取相关概念和类[0098]此外，本实施例计算每个前置后置概念/类别与多模态学习资料之间的余弦相似成一个多模态知识图谱：了主要概念MCP之外其余的类别和概念节点则无需用大语言模型进行解释和编码。另外，多模态学习资料节点的节点特征采用所述融合特征。新的概念。当学习者与多模态学习资料互动时，学习者可以将从多模态学习资料中提取的[0117]恢复通道特征的置信度一般由补全后SPD_S用sia表示[0119]其中s()表示邻接矩阵A(a)上边集v"中第i个节点与最近的源节点之间的最短路据置信度对不同重要度的特征进行聚合，从而对缺失节点的恢复特征进行低置信度聚合，加到""边权值，允许一个节点从它的邻居那里聚合高置信度通道特征多于低置信度通道特j之间的消息传递，[0130]nu=a[0142]本实施例首先准备了相关系数矩阵，给出了所提出方案的每对通道a,b之间的相关的通道应该比不相关的通道相互交换更多的信息;低置信度通道特征应该比高置信度通道特征从其他通道接收更多的信息以进行细化;高置信度通道特征应该比低置信度通道的有向边的权重为[0149]逐节点通道间传播输出恢复特征中节点i的节点特征R:的最终输入特征，本实[0155]知识概念推荐的有效性依赖于对学习者状态的深刻理解以及知识图谱的全面[0157]学习者模型L基于学习者在与多模态学习材料交互时理解和不理解的概念。如学[0161]其中ec是当前学习者对应的主要概念c的嵌入，(c是它在多模态学习资料LM中的每个时间步t的最终表示由嵌入的四个部分编码:[0166]给定一个学习者与多模态学习资源交互的编码序列(X,X2,X3,…X)，本文进一步[0168]式中FFN()为前馈网络；FreRd是时间步长t的输出编码；Atten(')是多头注意力[0171]其中WTeRIK是一个可学习的参数矩阵。优先选取权重最高的路径作为推荐解释的依据。假设学习者尚未掌握主要概念1和主要概念1和主要概念3的前置或后置概念，或者因为它与主要概念1共享同一个前置或后置概念[0176]1）直接前置路径：如果推荐概念在KG中作为学习者尚未掌握的概念的前置知识推荐内容的同时，通过图谱结构中的路径关系看到推荐知识点与现有知识点的直接关联。[0184]为了验证本发明所提出的基于大语言模型的多模态知识图谱在属性缺失下的概概念推荐方法对下一个学习概念进行推荐。实验的评价指标选用AUC（即ROC曲线下的面[0186]异构视角下注意图卷积知识概念推荐ACKRec，其来源于现有技术文献：GongJ,WangS,WangJ,etal.Attentionalgraphconvolutionalnetworksforknowledgeconceptrecommendationinmoocsinaheterogeneousview[C]//Proceedingsofthe43rdinternationalACMSIGIRconferenceonresearchanddevelopmentininformationretrieval.2020:79_88。AinQU,etal.ConceptGCN:KnowledgeconceptrecommendationinMOOCsbasedonknowledgegraphconvolutionalnetworksandSBERT[J].ComputersandEducation:ArtificialIntelligence,2024,6:100[0188]启发式概念构造的协同推荐HCSC，其来源于现有技术文献：LiuZH,ZhaoQ,ZouL,etal.Aheuristicconceptconstructionapproachtocollaborativerecommendation[J].InternationalJournalofApproximateReasoning,2022,146:[0189]本发明方法以及三种对比方法在具有不同属性缺失率的教育数据集上的推荐结68.4675.3371.2891.2661.3370.0564.3387.2667.4161.2374.33[0196]由实验结果可见，本发明所提出的方法在不同属性缺失率下的AUC评价指标上均[0197]此外本实施例中