CN119474510A 一种基于大语言模型的开源威胁情报获取方法及系统 （中国科学院高能物理研究所）

一种基于大语言模型的开源威胁情报获取本发明公开了一种基于大语言模型的开源用户提出的问题，基于大语言模型解析所述问行选择；Toolkits模块依据Agent模块选择的工模块记录用户与Agent模块之间的交互过程，以及Agent模块与Toolkits模块之间的交互过程，骤2进行操作，当用户提出的问题被记录过时，memory模块通过提供历史上下文参与Agent模块工具或查询相关的网站和平台就能够基于用户2步骤2、Toolkits模块依据Agent模块选择的工具对开源威胁情报信息进行收集及处户提出的问题被记录过时，memory模块通过提供历史上下文参与Agent模块和Toolkits模Agent模块的查询功能根据关键信息设置要传给Toolkits模块的查询参数以及对工具进行Toolkits模块接收查询参数并按照Agent模块选择的工具，执行开源信息的搜集和处在每次接收到结果后，Agent模块的查询功能评估是否解决了用户的问题，如果否，Agent模块的查询功能会重新选择工具，使用重新选择的工具执行开源信息的搜集和处理3.根据2所述的一种基于大语言模型的开源威胁情报获取方法，其特征在于，所述Agent模块包括大语言模型和调度模组，所述大语言模型基于思维链技术理解和处理用户取出键为"action_input"的值作为实际的查询发送搜索请求：发送包括HTTP请求头和请求参数的请求到Bing解析参数并验证CVE编号格式：在接收到Agent模块传递的JSON格式的查询参数之后，本地数据库查询：若满足CVE编号格式，在本地漏洞信息数据库中查询解析到3保存并返回结果：按照设计好的格式将最终结果反馈给Agent模块并存入本地漏洞信建立本地情报数据库和向量数据库之间关于情报在Agent模块查询许可证信息时基于索引表对memory模块，用于记录用户与Agent模块之间的交互过程，以及Agent模块与T与Agent模块和Toolkits模块4[0003]Spiderfoot作为一种自动化开源网络情报收集工具，具备自动检索超过100个公5[0010]步骤3、memory模块记录用户与Agent模块之间的交互过程，以及Agent模块与作，当用户提出的问题被记录过时，memory模块通过提供历史上下文参与Agent模块和具，Agent模块的查询功能根据关键信息设置要传给Toolkits模块的查询参数以及对工具[0013]Toolkits模块接收查询参数并按照Agent模块选择的工具，执行开源信息的搜集[0014]在每次接收到结果后，Agent模块的查询功能评估是否解决了用户的问题，如果[0017]解析查询参数：接收Agent模块提供的字符串形式的查询参数，并解析为JSON格[0019]发送搜索请求：发送包括HTTP请求头和请求参数的请求到Bing[0023]本地数据库查询：若满足CVE编号格式，在本地漏洞信息数据库中查询解析到的[0025]保存并返回结果：按照设计好的格式将最终结果反馈给Agent模块并存入本地漏6[0033]Toolkits模块，用于依据Agent模块选择的工具对开源威胁情报信息进行收集及[0034]memory模块，用于记录用户与Agent模块之间的交互过程，以及Agent模块与上下文参与Agent模块和Toolkit源信息的工具，Agent模块的查询功能根据这些信息设置要传给Toolkits中工具的查询参[0047]Agent模块把查询参数传给所选择的工具，该工具将执行开源信息的搜集和处理7过选择性地调用这些工具来有针对性地搜索相关信息，获取所需的情报或执行特定的操中提取出键为"action_input"的值作为实际的查询关键[0056]（2）准备搜索请求：定义了搜索请求的URL为BingWeb搜索API的端点地址头headers和请求参数params，其中包括访问BingAPI所需的订阅密钥（subscription8[0059]漏洞信息搜索工具的作用是获取Agent查询的漏洞信息，为此，定义了函数get_用json.loads()将其转换为字典，并从中提取出目标CVE编号。使用正则表达式cve_等，对这些多源异构信息进行清洗、筛选和整合，按照设计好的格式将最终结果反馈给[0065]许可证信息搜索工具用于供Agent查询想要的许可证信息，由于从TLDRLegal把该网站上的许可证相关信息爬取下来，存到本地情报数据库中，以外挂知识库的形式供库和向量数据库之间关于情报信息的索引表；在Agent查询许可证信息时对向量数据库进量索引来处理文本数据，定义了一个名为faiss_db的息检索任务。中英双语同时出现的情况，经过调研之后选择使用支持中英双语的文本向量模型jina_9ALBiALBi通过传入参数datas_embedding.shape来确定向量的维度，确保索引能正确容纳特定大小内容query通过预训练的模型转换为向量表示，然后调用faiss_index行搜索，返回最相似的k个数据的Index，由于数据在向量数据库和本地情报数据库中的换为嵌入向量datas_embedding，并通过faisdb.data_recall()函数从向量数据库中检索与输入内容content最相似的许可证信息[0072]如图1所示，所述方法还包括步骤3、memory模块记录用户与Agent之间的交互过当用户提出一个问题时，memory模块通过提供历史上下文与Agent和Toolkits模块进行交[0075]Toolkits模块，用于依据Agent模块选择的工具对开源威胁情报信息进行收集及[0076]memory模块