CN119417268A 一种基于多层交叉重组注意力的国标采标评估评价方法 （中国标准化研究院）

一种基于多层交叉重组注意力的国标采标本发明公开了一种基于多层交叉重组注意将提取的每一份文本数据输入多层交叉重组注标准化文件中所有文本数据对应的预测指示特用深度学习算法自动化准确地评估国际标准与2提取待评估的国际标准化文件中的文本内容，将文本内容按句子维度进将提取的每一份文本数据输入多层交叉重组注意力指标分类模型，所述数据编码与特征映射模块用于接收文本数据，并对文本数据进行编码和根据同一份国际标准化文件中所有文本数据对应的预测指示特征对国际标准化文件2.根据权利要求1所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其其中，所述BERT预训练模型用于对输入的文本数据进行维度映射特征；所述第一维度映射特征和第二维度映射特征同时输入所述矩阵相乘单元，3.根据权利要求1所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其其中，所述拆分单元用于将数据编码与特征映射模块输出所述第一交叉注意力单元用于接收所述维度特征，并将所述维度特征中连续所述第二交叉注意力单元用于接收所述第一交叉运算特征，并将所述第一算特征中连续的任意三个维度特征，ae{2,3,…,9}进行交叉注意3所述第三交叉注意力单元用于接收所述第二交叉运算特征，并将所述第二算特征中连续的任意三个维度特征，ae{2,3,…,7}进行交叉注意4.根据权利要求3所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其连续任意三个维度特征分别记为将连续任意三个维度特征中的第一将连续任意三个维度特征中的第一个维度特征和第二个维度特征输入第一矩输出得到特征A4；将连续任意三个维度特征中的第三个维度特征和特征A4输入第二矩阵相乘单元将第一维度重塑单元的输出特征A2和第二维度重塑单元的输出特征A7进行矩阵相加将连续任意三个维度特征中的第一个维度特征和特征Ag输入第三矩阵相乘单元;将连续任意三个维度特征中的第二个维度特征和特征Ag输入第四矩阵相乘单元进;将连续任意三个维度特征中的第三个维度特征和特征A12输入第五矩阵相乘单将特征A1和特征A13输入矩阵相乘单元进行矩阵相乘，输出得到特征A14，特征A145.根据权利要求1所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其其中，所述多尺度融合交叉注意力模块中的第一卷积单元用4将第一卷积运算结果，依次经过所述多尺度融合交叉注意力模块中的第五卷积单元、将第一卷积运算结果，依次经过所述多尺度融合交叉注意力模块中的第二卷积单元、将第一卷积运算结果，依次经过所述多尺度融合交叉注意力模块中的第二卷积单元、将第一卷积运算结果，依次经过所述多尺度融合交叉注意力模块中的第二卷积单元、将得到的所述第四卷积运算结果、第七卷积运算结果和第九卷积运将得到的所述第十卷积运算结果、第七卷积运算结果和第九卷积运得到第一单维度注意力特征和第二单维度注意力特征同时输入复合特征注意力单元将复合特征注意力单元特征处理结果，依次经过三个卷积单元进行6.根据权利要求5所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其构建单维度特征注意力单元，构建的所述单维度特征注意力单元包括一个最大池化B,B,将特征和特征经过形状变换后输入矩阵相乘单元进行矩阵相乘，输出得到特征;7.根据权利要求5所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其构建复合特征注意力单元，构建的复合特征注意力单元包5将特征C3和特征C4输入所述复合特征注意力单元中的拼接单元进行特征拼接，输出得到特征cs；将特征C3和特征C4拼接后得到的特征CS依次输入所述复合特征注意力单元中的第二将特征和特征C,经过形状变换后输入矩阵相乘单元进行矩阵相乘，输出得到特征;8.根据权利要求1所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其其中，注意力交叉重组模块中的第一拆分单元用于将深度交注意力交叉重组模块中的第一卷积单元用于将深度交叉注意力模块的特征处理结果注意力交叉重组模块中的第二卷积单元用于将多尺度融合交叉注意力模块的特征处注意力交叉重组模块中的第二拆分单元用于将多尺度融合交叉注意力模块的特征处注意力交叉重组模块中的第一拼接单元用于对第一卷积单元输出的特征和第二卷6注意力交叉重组模块中的第二拼接单元用于对第三卷积单元输出的特征和第五卷注意力交叉重组模块中的第三拼接单元用于对第四卷积单元输出的特征和第六卷将第二拼接单元输出的拼接特征和第三拼接单元输出的拼接特征进行形状变将第一拼接单元输出的拼接特征和特征FS进行形状变换后输入矩阵相乘单元进行矩阵相乘，经过形状变换后输出得到特征所述特征即为注意力交叉重组模块交叉重组后的交叉重组特9.根据权利要求1所述的一种基于多层交叉重组注意力的国标采标评估评价方法，其其中，指标指示模块中的第一卷积单元用于对注意力交叉重指标指示模块中的第七卷积单元用于对注意力交叉重组模块交叉重组后的交叉重组指标指示模块中的第二卷积单元用于对所述第一拼接单元输出的特征进行卷积运指标指示模块中的第八卷积单元用于对所述第三拼接单元输出的特征进行卷积运将得到的特征依次通过四个卷积单元进行卷积运算后7将得到的特征依次通过四个卷积单元进行卷积运算后;中的第i个元素；vj表示第j个句子的指标筛选向量；A表示根据不同指标对国标采标评估8[0007]有鉴于此，本发明提供了一种基于多层交叉重组注意力的国标采标评估评价方[0010]提取待评估的国际标准化文件中的文本内容，将文本内9[0013]根据同一份国际标准化文件中所有文本数据对应的预测指示特征对国际标准化叉运算特征中连续的任意三个维度特征，ae{2,3,…,9}进行交叉叉运算特征中连续的任意三个维度特征，ae{2,3,…,7}进行交叉[0025]将连续任意三个维度特征中的第三个维度特征和特征A4输入第二矩阵相AgAgAgA2AgAgAgA2Ag[0026]将第一维度重塑单元的输出特征和第二维度重塑单元的输出特征进行矩[0027]将连续任意三个维度特征中的第一个维度特征和特征输入第三矩阵相[0028]将连续任意三个维度特征中的第二个维度特征和特征输入[0029]将连续任意三个维度特征中的第三个维度特征和特征输入第五矩阵相即为连续的任意三个维度特征进行交叉注意力运算后的交叉运算特[0039]得到第一单维度注意力特征和第二单维度注意力特征同时输入复合特征注意力[0044]将特征依次输入所述单维度特征注意力单元中的最大池化层和第一全连接[0045]将特征依次输入所述单维度特征注意力单元中的平均池化层和第二全连接[0046]将特征依次输入所述单维度特征注意力单元中的卷积层和第三全连接层，输[0047]将特征和特征经过形状变换后输入矩阵相乘单元进行矩阵相乘C,C,[0054]将特征和特征输入所述复合特征注意力单元中的拼接单元进行特征拼接，[0055]将最大池化层输出得到的特征输入所述复合特征注意力单元中的第一全连接[0056]将特征和特征拼接后得到的特征依次输入所述复合特征注意力单元中[0057]将平均池化层输出得到的特征输入所述复合特征注意力单元中的第三全连接[0058]将特征和特征经过形状变换后输入矩阵相乘单元进行矩阵相乘果和所述多尺度融合交叉注意力模块的特征处理结果，并进行交叉重组得到交叉重组特[0063]注意力交叉重组模块中的第一卷积单元用于将深度交叉注意力模块的特征处理[0064]注意力交叉重组模块中的第二卷积单元用于将多尺度融合交叉注意力模块的特[0065]注意力交叉重组模块中的第二拆分单元用于将多尺度融合交叉注意力模块的特[0066]注意力交叉重组模块中的第三卷积单元用于对特征进行卷积运算，输出特征;[0067]注意力交叉重组模块中的第四卷积单元用于对特征进行卷积运算，输出特征;[0068]注意力交叉重组模块中的第一拼接单元用于对第一卷积单元输出的特征和第[0069]注意力交叉重组模块中的第五卷积单元用于对特征进行卷积运算，输出特征;[0070]注意力交叉重组模块中的第六卷积单元用于对特征进行卷积运算，输出特征;[0071]注意力交叉重组模块中的第二拼接单元用于对第三卷积单元输出的特征和第[0072]注意力交叉重组模块中的第三拼接单元用于对第四卷积单元输出的特征和第[0073]将第二拼接单元输出的拼接特征和第三拼接单元输出的拼接特征进行形[0074]将第一拼接单元输出的拼接特征和特征FS进行形状变换后输入矩阵相乘单元进行矩阵相乘，经过形状变换后输出得到特征所述特征即为注意力交叉重组模块交叉重组后的交叉重组特[0078]指标指示模块中的第七卷积单元用于对注意力交叉重组模块交叉重组后的交叉[0079]指标指示模块中的第一拼接单元用于对[0080]指标指示模块中的第三拼接单元用于对[0081]指标指示模块中的第二卷积单元用于对所述第一拼接单元输出的特征进行卷[0082]指标指示模块中的第八卷积单元用于对所述第三拼接单元输出的特征进行卷[0083]指标指示模块中的第二拼接单元用于对[0084]指标指示模块中的第四拼接单元用于对[0085]将得到的特征依次通过四个卷积单元进行卷积运算后，再经过一个全连接层[0086]将得到的特征依次通过四个卷积单元进行卷积运算后，再经过一个全连接层[0088]根据同一份国际标准化文件中每一份文本数据得到的预测指示特征，n为待评估国际标准化文件中的句子文本总个数；wi表示预测指示特征[0107]提取待评估的国际标准化文件中的文本内容，将文本内[0109]根据同一份国际标准化文件中所有文本数据对应的预测指示特征对国际标准化[0113]下面结合图3图8对多层交叉重组注意力指标分类模型中的每个模块进行进一步[0114]数据编码与特征映射模块对国际标准化文件拆分后的文本数据进行编码和映射元中，输出得到特征。将特征和特征输入矩阵相乘单元中，输出得到，。[0117]深度交叉注意力模块如图4所示，包括依次连接的拆分单元、第一交叉注意力单ae{2,3,…,9}进行交叉注意力运算，输出8个第二交叉处理结果。意力特征。将第三交叉注意力单元输出的6个第三交叉运算特征进行特征拼接即可得Ai进行表示）输入第一矩阵相乘单元中进行矩阵相乘，输出得到特征A3，将特征A3经特征（图中使用Ait1进行表示）和特征A4输入第二矩阵相乘单元进行矩阵相出特征A2和第二维度重塑单元的输出特征A7进行矩阵相加操作，输出得到特进行矩阵相乘，输出得到特征A,；将特征A,经Softmax激活模块进行激活，输矩阵相乘单元进行矩阵相乘，输出得到特征A13。将特征A1和特征A13输入矩阵相乘单元征映射模块输出的映射特征输入多尺度融合交叉注意力模块中的第一卷积单元，输出得到特征Ff,。将特征、特征和特征r输入多尺度融合交叉注意力模块中的第r和特征Ff,依次输入第二。[0123]本发明中多尺度融合交叉注意力模块通过一系列卷积单rr征注意力单元的具体情形具体的在该单维度特征注意力单元中特征B1输入最大池化征注意力单元对输入的第一单维度注意力特征Ff、第二单维度注意力特征Ff进行特征[0126]本发明实施例中注意力交叉重组模块用于接收深度交叉注意力模块的特征处理[0127]将多尺度融合交叉注意力模块输出的特征输入注意力交叉重组模块中的和特征经过形状变换后输入矩阵相乘单元，经过形状变换后输出得到特征，集通过独立的卷积单元进行特征提取。第一拼接单元整合来自第一和第二卷积单元的特[0129]在得到注意力交叉重组模块的输出结果后利用指标指示模块对接收的交叉重组卷积单元，得到特征。将特征输入指标指示模块中的第一全连接单元，得到特征[0131]需要指出的是在使用多层交叉重组注意力指标分类模型对待评估的国际标准化i[0140]在训练和验证过程中，采用SGD优化器对多层交叉重组注意力指标分类模型进行指标映射为数据标签一，将国标采标评估评价指标体系中的二级指标映射为数据标签二。为与相关规划和产业等政策制度的符合B={[0,a,文本1],