CN119474383B 非结构化文本数据的计算方法及系统 （北京科杰科技有限公司）

本发明提供非结构化文本数据的计算方法采用不同卷积核尺寸的特征提取单元提取特征2对输入的非结构化文本数据进行多层级处理，根据词频分布动态调采用不同卷积核尺寸的特征提取单元对所述层次化语义标签序列进行特征提取得到计算所述多模态语义特征矩阵中相邻的融合特征向量的语义相似度得到相似度矩阵，对输入文本采用滑动窗口进行扫描，计算窗口内的字符序列的频率和标准化互信息获取所述初始分词单元的向量表示，计算相邻分词单元向量的相关度，将满足相关度合并阈值且组合频率超过预设的词频最小阈值的相邻分词单元合基于所述优化后的分词单元构建词频统计窗口记录已处理文档基于所述特征信息中的词性信息构建词性共现矩阵，并利用词性间的转信息的层次结构生成语义标签序列。3在训练过程中计算特征提取损失对特征向量的梯度得到特征计算所述对抗样本与原始特征向量的余弦相似度得到构建动态加权的对抗训练损失函数，所述动态加权获取训练过程中特征向量对特征提取损失的梯度值，根据所述计算局部重要性，所述局部重要性通过特征梯度的绝对值与局部敏感度函数的乘积获得，所述局部敏感度函数基于特征扰动前后的梯度差异计算得基于所述局部重要性计算全局重要性，所述全局重要性通过构建特征交互图对特征间的动态关联性进行建模，将要性和全局重要性进行更新得到特征重要性将所述特征重要性得分输入非线性映射函数得到噪声强度系数包含双曲正切项和sigmoid项的乘积形式，所述双曲正切项用于控制整体噪声范围，所述sigmoid项用于构建特征重要性得分与噪声强度系数的反比关系；在所述噪声强度系数中4获取相邻融合特征向量的局部结构距离和全局语义距离，所述局在所述相似度矩阵的基础上，对融合特征向量进行局部邻域密基于局部邻域密度估计结果计算节点代表性分数，所述节点代表性对所述层次化特征类簇分别计算结构复杂度、语义一致性和边界模糊度的难度指标，将所述难度指标输入元学习模块得到难度权重，通过所述难度权重所述类别概率分布和类簇中心距离的加权组合得到最终分类结果。设计双层变换的元学习网络，其中通过第一层变换将所述难度指标对基于分类器在特征类簇划分的验证集上的交叉熵损失构建第一损习网络参数更新和分类器参数更新过程直至特征类簇划分的验证集性能收敛得到最终的难度权重；利用训练得到的难度权重对难度特征向量进行加权得到类簇的综合难度分数；针对不同难度级别训练分类器，针对第一难度级别引5对分类器的预测结果进行预处理，采用局部敏感哈希方法构建类簇内样本的近邻索基于所述候选正样本对集合构建多层异构图结构，将样本针对所述多层异构图结构设计多粒度对比损失函数，包括将所述多粒度对比损失函数与分类器输出的交叉熵损失组合形成优化第一单元，用于对输入的非结构化文本数据进行多层级处理第二单元，用于采用不同卷积核尺寸的特征提取单元对所矩阵和语义增强向量在特征维度上串联组合得到多模态语第三单元，用于计算所述多模态语义特征矩阵中相邻的融6其中，所述处理器被配置为调用所述存储器存储的指令，以执行程序指令被处理器执行时实现权利要求1至7中任意7[0009]对输入的非结构化文本数据进行多层级处理，根据词频结合上下文语义信息构建词性共现矩阵进行词性标注，从文本数据中识别并提取实体信[0010]采用不同卷积核尺寸的特征提取单元对所述层次化语义标签序列进行特征提取得到特征表示，通过计算所述特征表示中不同语义层次间的余弦相似度建立关联权重矩语义增强向量在特征维度上串联组合得到多[0011]计算所述多模态语义特征矩阵中相邻的融合特征向量的语义相似度得到相似度8[0013]对输入的非结构化文本数据进行多层级处理，根据词频结合上下文语义信息构建词性共现矩阵进行词性标注，从文本数据中识别并提取实体信词频统计窗口内的文档重新计算词频分布和调整互信息切分阈值，计算分词效果评估指标，当所述分词效果评估指标下降时对所述窗口评分函数中各分量的权重进行动态调整，属性信息的层次结构生成语义标签序列。[0019]在所述特征表示中插入预设比例的随机噪声生成对抗样本进行对抗训练的步骤9部重要性和全局重要性进行更新得到特征重述sigmoid项用于构建特征重要性得分与噪声强度系数的反比关系；在所述噪声强度系数中引入震荡项得到最终噪声强度，所述震荡项通过正弦函数对特征重要性得分进行调制，[0032]计算所述多模态语义特征矩阵中相邻的融合特征向量的语义相似度得到相似度部结构距离和全局语义距离通过时变权重系数进行行加权得到类簇的综合难度分数，基于所述综合难度分数对类簇进行排序构建难度序列，本特征向量与类簇中心向量的差值，与类簇协方差矩阵的逆矩阵相乘得到类簇中心距离；基于所述类别概率分布和类簇中心距离的加权组合得到最终分类行加权得到类簇的综合难度分数，基于所述综合难度分数对类簇进行排序构建难度序列，针对所述难度序列中不同难度级别的类簇分别训练分类器第二层变换将隐层特征映射至权重空间得到难度权重，第二层变换采用softmax归一化函元学习网络参数更新和分类器参数更新过程直至特征类簇划分的验证集性能收敛得到最[0042]针对不同难度级别训练分类器，针对第一难度级别引入难度依赖的损失权重函所述层次化语义标签序列进行大小写统一和特殊字权重矩阵和语义增强向量在特征维度上串联组合得到多模态语[0069]S1.对输入的非结构化文本数据[0070]S2.采用不同卷积核尺寸的特征提取单元对所述层次化语义标签序列进行特征提语义增强向量在特征维度上串联组合得到多[0071]S3.计算所述多模态语义特征矩阵中相邻的融合特征向量的语义相似度得到相似[0073]对输入的非结构化文本数据进行多层级处理，根据词频结合上下文语义信息构建词性共现矩阵进行词性标注，从文本数据中识别并提取实体信词频统计窗口内的文档重新计算词频分布和调整互信息切分阈值，计算分词效果评估指标，当所述分词效果评估指标下降时对所述窗口评分函数中各分量的权重进行动态调整，属性信息的层次结构生成语义标签序列。互信息值。如果切分前后的标准化互信息值的比值超过预设的互信息切分阈值，则在该位如果分词效果评估指标下降，则动态调整窗口评分函数中各分量的权重，例如降低频率分量的权重，提高标准化互信息值分量的权重。最终输出经过优化的分词序列以及每个分词现矩阵表征的词性组合模式和词性转移概率矩阵预测的词性序列与实体信息识别结果融[0084]在所述特征表示中插入预设比例的随机噪声生成对抗样本进行对抗训练的步骤高于0.8的对抗样本才会被添加到样本库中。当对抗样本库超出预设容量时，例如容量为提取的验证集准确率自适应调整筛选阈值更新对抗部重要性和全局重要性进行更新得到特征重述sigmoid项用于构建特征重要性得分与噪声强度系数的反比关系；在所述噪声强度系数中引入震荡项得到最终噪声强度，所述震荡项通过正弦函数对特征重要性得分进行调制，得分进行调制，将其作为震荡项添加到噪声强度系数中，得到最终的噪声强度，例如[0112]计算所述多模态语义特征矩阵中相邻的融合特征向量的语义相似度得到相似度部结构距离和全局语义距离通过时变权重系数进行行加权得到类簇的综合难度分数，基于所述综合难度分数对类簇进行排序构建难度序列，本特征向量与类簇中心向量的差值，与类簇协方差矩阵的逆矩阵相乘得到类簇中心距离；基于所述类别概率分布和类簇中心距离的加权组合得到最终分类的类簇分别训练分类器，计算输入样本与每个难度级别的隶属度，并将隶属度作为各级别分类器预测结果的组合权重。类簇中心距离的计算方法是，计算样本特征向量与类簇中心向量的差值，并与类簇协方差矩阵的逆矩阵相乘。最终分类结果是基于类别概率分布和类行加权得到类簇的综合难度分数，基于所述综合难度分数对类簇进行排序构建难度序列，针对所述难度序列中不同难度级别的类簇分别训练分类器第二层变换将隐层特征映射至权重空间得到难度权重，第二层变换采用softmax归一化函元学习网络参数更新和分类器参数更新过程直至特征类簇划分的验证集性能收敛得到最[0127]针对不同难度级别训练分类器，针对第一难度级别引入难度依赖的损失权重函[0128]示例性的，本实施例的核心思想是利用元学习模块学习函数得到5维的隐层特征。第二层变换将5维的隐层特征映射到10维的权重空间，使用[0133]利用训练得到的难度权重对难度特征向量进行加权，得到类簇的综合难度分[0155]采用程序开发语言Java/Scala编写ETL处理程序（数据提取转换加载处理程序[0156]