CN119397029A 一种基于迁移学习的专利标签信息生成方法及系统 （北京星河智源科技有限公司）

一种基于迁移学习的专利标签信息生成方本申请公开了一种基于迁移学习的专利标本为基础，按照IPC分类体系中的技术领域进行模型设计根据任务配置信息分别设计特征编码2域的配置信息设计编码模型结构，选用基于多层TransformerEncoder结构的BERT模型实基准编码模型基于编码模型结构构建，用于源域和目标域中专利动量编码模型基于编码模型结构构建，用于源域和目标域中专利的嵌入特征表示编编码模型输入的特征向量为n维，第一层隐藏层包含了h1个神经元，使用ReLU作为激活函和h2分布为128和64。3代表型预测模型采用预测模型结构，输入为编码模型输出的特协方差预测模型采用预测模型结构，输入为编码模型输出的特征向量，选择对应优化器，并配置相关的训练超参数，然后对编码器模型和预测模型训练模块，用于针对选定的源域和目标域，使用相应的训练语料8.一种计算机设备，包括存储器和处理器，所述存储器处理器执行时实现权利要求1至6中任一项所述方处理器执行时实现权利要求1至6中任一项所述方4[0003]现有的专利标签信息生成方法一般基于专利特征结合规则或者模型的方式实现。致原有的固定分类测试算法和模型无法适应这种多目标领域5模型参数采用动量编码模型参数更新算法进模型输出的特征向量，输出为二分类高价值预测概率；接收编码模型输入的特征向量为n6利和对应的引文专利，动量编码模型用于通过周期性更新的方式与基准编码模型保持同被处理器执行时实现上述第一方面任一所述的基于迁移学习的专利标签被处理器执行时实现上述第一方面任一所述的基于迁移学习的专利标签7[0040]图7为本申请一个实施例提供的基于迁移学习的专利标签信息生成系统的模块架设备固有的其它步骤或单元，或者基于本发明构思进一步的优化方案所增加的步骤或单8方差预测模型实现协方差矩阵的预测，用来有效缓解不同IPC领域专利数据分布的差异导[0045]在一个实施例中，如图1所示，提供了一种基于迁移学习的专利标签信息生成方[0048]语料构建是分别准备源域和目标域上的训练数据，源域语料通过有标签的专利、9补充部分少量高价值标签。图4为一个示例图表示了标记与未标记的样本空间的目标域和[0059]所述模型设计是基于上述领域及任务配置信息，分别设测模型用于预测源域中专利的协方差矩阵；目标域上的无标签专利通过代表型的kNN方式[0060]编码模型：根据源域和目标域的配置信息设计编码模型结构，选用基于多层W1x+b1[0078]代表型为P维特征向量，通过该类集合中特征向量的平均值来计算。表型预测模型输出该类中查询点x在嵌入式空间中距离d上的softm表示的嵌入特征向量空间距离能够学习嵌入空间的类和方向依赖的距离度量。实际应用[0096]模型体系：模型体系动态机制包括动量编码模型与基准编码模型的同步更新模[0100]初始化:使用有标签数据集上训当前实例的协方差矩阵。将上述所有生成的所有特征向[0105]4.对无标签实例生成伪标签：如果，则生成伪标签。分别为源域和目标域上引文专利数据的标签。,通过交叉熵损失函数计算交叉熵损失在向量库Q中计算目标域上无标签样本xu以及对应的引文数据特征向量fu和的对比损失：更新基准编码器F和初始化动量编码[0114]5.6.应用公式更新所有Q中所有类别c的代表型[0115]5.7.应用协方差公式计算Q中所有特征向量[0123]在一个实施例中，如图7所示，提供了一种基于迁移学习的专利标签信息生成系利和对应的引文专利，动量编码模型用于通过周期性更新的方式与基准编码模型保持同