CN119494388A 面向分布式大模型训练的多粒度语义树构建系统及其方法 （天津大学）

面向分布式大模型训练的多粒度语义树构本发明公开面向分布式大模型训练的多粒信息融合空间将云服务器的样本和文本标签嵌入收集边缘设备的公共数据集信息进行多模的样本和文本标签嵌入采用超图聚类算法获得始簇中心Ol构建语义空间所述云服务器将初始簇中心Ol和语义空间的文本嵌入Rt分发到2所述边缘云信息融合空间将云服务器的样本和文本标签嵌入uc和s:的形式收集边缘所述模型信息交互空间将云服务器的样本和文本标签嵌入uc和s:采用超图聚类算法所述云服务器基于初始簇中心Ol在WordNet中筛选词语所述云服务器将初始簇中心Ol和语义空间的文本嵌入分发到各个边缘设备构建边所述云服务器将初始簇中心Ol下发给各个边缘设备用于初始化各个边缘设备的粒度生所述边缘云协同交互空间将语义空间的文本嵌入Rf下发给各个边缘设备用于指导后即为边缘设备n上部署构建多粒度语义树的本地粒度生2.根据权利要求1所述的面向分布式大模型训练的多粒度语义树构建系统，其特征在所述多粒度语义树采用分布式逐层生成不同的数据粒度，对应不同规模的模型构建Ln∈N+为样本个数在第l层粒度对应的文本标签集合记为所述边缘设3.根据权利要求1所述的面向分布式大模型训练的多粒度语义树构建系统，其特征在3于：所述模型信息交互空间将云服务器的样本和文本标签嵌入uc和s:采用超图聚类算法基于样本嵌入lc通过将Vv与其最近的top_kI个邻居顶点连接，得到样本超边E!ee'即=(V,}U(VUIvuetop-K'(P(V,V),vev)V,)};文本超边通过在当前输入第l层数据粒度上基于文本嵌入的相似性将Vv与其按照如下公式构建超图的归一化拉普拉斯矩其中：令DV=diag(iq,…,bvw)和分别表示顶点度和这些特征向量形成了谱嵌入矩阵表示超图结构的4.根据权利要求1所述的面向分布式大模型训练的多粒度语义树构建系统，其特征在在第l层标签的基础上构建第l+1层标签，利用当前输入第l层的文本标签获得样本通过初始聚类中心Ol的基础上利用Faiss库完善wt:其中：基于w:为每个聚类中心选45.根据权利要求1所述的面向分布式大模型训练的多粒度语义树构建系统，其特征在于：所述边缘云协同交互空间将文本嵌入Rf下发给各个边缘设备联合平衡正则化的一致性损失训练本地的多边缘设备按照如下损失函数对本地优化其粒度生成模型中参数并将其传输到云服务云服务器使用FedAvg方法聚合这些参数经过E轮迭代构建全局的粒度生成模型，并更X=unex为所有边缘设备上的数据总数；所述全局粒度生成模型通过以第一层数据作为输入，最终将第l层数据映6.根据权利要求5所述的面向分布式大模型训练的多粒度语义树构建系统，其特征在于：所述边缘云协同交互空间通过联合平衡正则化的一致性损失训练本地的多粒度语义通过粒度生成模型中参数Φn将嵌入un，i映射到软聚类分配概率即根据样本嵌入和语义嵌入之间的关系按照归一化处理生成样本语义中心映射形成的伪标签，表示嵌入un，i经过本地5根据语义增强损失函数按照如下公式获得平6[0005]1、目前数据集存在的固定粒度无法满足从十亿参数到轻量级的各种模型的匹配7[0011]所述边缘云信息融合空间将云服务器的样本和文本标签嵌入uc和s:的形式收[0015]所述云服务器将初始簇中心Ol和语义空间的文本嵌入分发到各个边缘设备构[0016]所述云服务器将初始簇中心Ol下发给各个边缘设备用于初始化各个边缘设备的[0017]所述边缘云协同交互空间将语义空间的文本嵌入Rt下发给各个边缘设备用于表示边缘设备n上样本的第l层文本标签嵌入，是边缘设备n上样本的第l+1层文本标n即为边缘设备n上部署构建多粒度语义树的本地粒度N={1,.…,n,……,N}和C；n+为样本个数在第l层粒度对应的文本标签集合记为所述边标签利用文本编码器z(·)得到相应的文本嵌入其中：8[0025]基于样本嵌入uc通过将Vv与其最近的top_kI个邻居顶点连接，得到样本超边[0026]文本超边通过在当前输入第l层数据粒度上基于文本嵌入的相似性将Vv[0032]A-D;/2Hwn:'H"D;"2.[0040]通过在WordNet中搜索同义词和上位词来扩展这个集合，创建一个初始语义空间[0041]通过初始聚类中心Ol的基础上利用Faiss库完善其中:基于w:为每个聚类中9其中:T为从WordNet中选择的名词短语的总嵌入下发给各个边缘设备用于指导后续边缘设备本地学习训练构建全局粒度生成模型[0048]边缘设备按照如下损失函数对本地优化其粒度生成模型中参数并将其传输到云[0051]云服务器使用FedAvg方法聚合这些参数经过E轮迭代构建全局的粒度生成模型,[0055]u,xs实现异构边缘设备模型交互。最优传输)理论在图像和语义之间建立软伪标签映射，并设计基于多模态融合的语义增强入了基于超图的多模态聚类方法。云从边缘收集和处理公共数据的多模态特征，并使用全面的初始聚类中心成为了在边缘上对粒度生成模型动态学习的鲁[0074]本发明将基线生成的语义树的单层粒度顺序匹配到特定Cultivator(centralized)通过增强多模态信息融合和语义学习，为不同层和数据集生成Cultivator(centralized)丢失了重要的一般模式，而Cultivator可以通过部分数据更好[0084]本发明的目标是在构建系统中实现多粒度语义树的分布式构建，以适应异构边明需要生成一个多粒度语义树，称为具有L层的MGtree，即L={0,1,…,L-1},其中第l层树节点数记为Ll。在不损失一般性的前提下，本发明假设语义标签的最细粒度构成了[0086]2)边:对于neN的每个边缘设备，本发明定义作为本地样本数据n用样本编码器g(·)生成样本嵌入u-对于每个其中对于边缘neN,本发明定义了本地粒度生[0087]3)云服务器：云服务器收集本发明以MGTree的第1层到第2层数据粒度的构造[0094]获得全局初始样本中心oteR,其中d为嵌入维数，k为簇个[0097]第二层的粒度生成模型。设E表示全局训练的总迭代轮数。对于每轮迭代e∈所示。本发明定义一个加权超图S=(V,E,W),其中为顶点集，其中每个顶点代集，所有与超边相关顶点的并集等价于集合除外，w:E→R+是赋予超边正实数权重的权重函数s的关联矩阵He由函数h定义:Zv,evh(u,Ee),表示其包含的顶点数。该公式使本发明能够对样本之间复杂的高阶关系进[0106]基于上面介绍的超图s,本发明通过构造两类齐次超边:样本超边集εI和文本超边[0108]·文本超边ee",通过在当前输入第l层数据粒度上基于文本嵌入的相似性将Vv[0112]令Dvdiag(oq,…,irw)和De=diag(iz,,…,bisg)分别表示顶点度和征向量fD1,…,DurJ对应于Λ的Ll+1个最小非零特征值。这些特征向量形成了谱嵌入矩阵表示超图结构的低维编码。然后本发明对应用K_入。然后本发明将基于这些最近邻居词汇的并集形成第l层的最终语义空间，即其中T为从WordNet中选择的名词短语的[0123]对于每一个名词TkreT,本发明构造了一个描述性句子模板“aphotoofa数Φ。对于边缘设备n，带有参数Φn的粒度生成器将样本嵌入un,i映射到软衡正则化项并引入了常用的负熵损失。本发明定义带有平衡正则化项的样本一致性损失了一种基于构建的语义空间的语义增强一致性学习方法。该方法利用样本嵌入和语义个样本，并将选择结果存储为二进制值矩阵若选取样本niEa作为簇