CN116450844B 面向非结构化数据的威胁情报实体关系抽取方法 （江苏大学）

面向非结构化数据的威胁情报实体关系抽体涉及一种面向非结构化数据的威胁情报实体命名实体识别方法和融合多元实体信息的威胁情报实体关系抽取方法来对非结构化文本中的型实体填入模板句子生成新的包含特定类型实添加到BERT句向量中以帮助模型更好地进行关2S3：在原始标注数据集中寻找包含待增强类型所述步骤S4的模板句子填充算法具体包括S4.2将模板句子的BIO标注结果和威胁情报领域词汇知识库作为输入，对于模板句子3对输入序列的时序关系进行编码并输出隐状态序列；S5.3使用CRF条件随机场对S5.2输出的隐状态序列进行解码并输出句子对应的标签序S5.4对输入序列R的所有可能标签序列进行softmax得到预测标签y，得到的预测标签ttio4P2.3对组成实体的每个单词的词向量求平均得到该实体0RL为关系集合；P2.6取P中值最大的项所对应的关系即是5(APT)攻击时也表现出一些不足。人们开始把目光投向威胁情报以寻求解决网络安全问题[0005]然而，威胁情报的发展仍然面临诸多挑战。荷兰政府高级网络威胁情报分析师KrisOssthoek在《国际情报与反情报杂志》上撰文指出威胁情报的开发利用具有如下难的威胁情报实体关系抽取方法来对非结构化文本中的网络威胁情报实体关系进行准确抽6[0014]S5：利用BERT_BiLSTM_CRF模型对步骤S4输出的增强数据集中的句子进行实体抽[0023]S4.2将模板句子的BIO标注结果7后向)对输入序列的时序关系进行编码并输出[0029]S5.3使用CRF条件随机场对S5.2输出的隐状态序列进行解码并输出句子对应的标[0032]S5.4对输入序列R的所有可能标签序列进行soio8[0048]P1.4进入循环直到使用关键字bre,,,,,,″作为模板句子，将知识库中同类型实体填入模板句子生成新的包含特定类型实体的句子，将新生成的句子加入训练集以实现数据增强从而9[0068]2.本方法在威胁情报实体关系抽取任务中在将实体语义信息和实体边界信息进行融合的基础上将实体类型信息添加到BERT句向量中以帮助模型更好地进板句子在增强数据中出现的次数以防止过拟合。每个模板句子在增强数据中出现的次数N[0084]S5：利用BERT_BiLSTM_CRF模型对步骤S4输出的增强数据集中的句子进行实体抽[0085]2)实体识别完成后进行威胁情报关系抽取，整体威胁情报关系抽取流程如图5所[0089]应用于知识图谱领域的威胁情报本体时，部用。对于STIX2.1中的18类威胁实体是否适用于本发明提出的威胁情报本体，需要进行取意软件名称和功能等基本描述，不包括对该恶意软件的分析，因此将Malware和Malware告中AttackPattern会被细化为APT组织所使用的技术和相应攻击流程的描述，因此使用[0092]进一步，考虑CourseofAction、Vulnerability、Identity和Location。[0093]进一步，考虑Grouping、Report、Note和Opinion。STIX2.1中没有明确定义[0095]作为本发明的优选实施例，步骤S2中的原始数据集源自非结构化的APT报告，对APT报告文本进行人工标注得到原始标注数据集；原始标注数据集经由模板句子填充算法[0096]作为本发明的优选实施例，威胁情报领域词汇知识库由[0099]S4.2将模板句子的BIO标注结果[CLS]通过自注意力机制来获取句子级别的信息表示，它对应的向量为包含句子语义信息后向)对输入序列的时序关系进行编码并输出[0106]S5.3使用CRF条件随机场对S5.2输出的隐状态序列进行解码并输出句子对应的标[0109]S5.4对输入序列R的所有可能标签序列进行soio[0125]P1.4进入循环直到使用关键字bre,,,,″