《安全行业大模型SecLLM技术白皮书 2023》

绿盟科技集团股份有限公司（以下简称绿盟科技），成立于2000为避免合作伙伴及客户数据泄露,所有数据在进行分析前都已经5894.2情报：信息整合，情报挖掘4.3攻防：模拟演练，辅助决策4.4运营：人机协作，提升效率在ChatGPT呈现全球现象级热度时，通用大语言模型（LargeLanguageModel,LLM）技术成为了推动创新和变革的关键驱动力。但由于安全行业的特殊性和复杂性，LLM并不能满足其应用需求。因此，绿盟科技基于“人工智能+安全”多年积累的安全专业经验和高质量数据，稳扎稳打地推出安全可信的安全行业大模型(SecurityLargeLanguageModel,SecLLM）。SecLLM目标是智能化解决攻防实战场景中所面临的复杂安全问题，提供更专业、高效和定制化的威胁应对绿盟科技同步推出安全行业大模型技术白皮书《大模型赋能网安新范式，人工智能安全可信护航》，分享绿盟在SecLLM研发过程中所积累的最佳实践和经验教训，并探讨其在安全领域的重要性和价值。本技术白皮书从SecLLM的研究新趋势、新范式、新技术、新实践和新安全几方●大模型赋能网安新范式：SecLLM应用于安全行业，充分利用其强大的学习和适应能力，能够在复杂的攻防实战中逐步学习并提升威胁检测和防御能力，为网络安全提供更智能和更高效的解决方案。SecLLM引领了一系列技术突破，解决了传统安全方法在应对复●高质量数据助力成功落地：安全行业真正有价值的安全数据和知识无法从公开渠道获取。绿盟科技所特有的安全经验、知识和数据的积累，有助于训练大模型更好地理解和学习各种安全特征和行为模式，从而提高威胁检测和防御的准确性和效率，更好地适应●实战化攻防推动学习成长：SecLLM实践出真知，从实验室走入实战化的安全攻防场景中，参与常态化的安全运营，辅助安全监测中复杂问题的解决。通过不断助力解决实际难题，促进SecLLM自我学习和安全能力的持续提升，增强其在实际应用中的可靠性和●人机协作增强安全动能：SecLLM转化为安全人员的“伙伴”，快速融入已有的智能安全运营、威胁情报分析、零日攻击和新型威胁应对等日常安全处置工作流中，提升安全信息处理和分析、智能安全建议和反馈等能力，与安全人员紧密协作，共同应对不断升●云端服务结合本地部署：SecLLM提供云端服务和本地私有部署两种方式。云端MaaS服务享受节约资源、简化管理和覆盖全球等优势；本地化部署提供了更高的定制性、控●人工智能护航安全可信：大模型自身安全的保障是应用LLM和SecLLM等大模型的必要条件，保护用户隐私和数据安全，防止大模型被滥用，预防新型攻击和未知威胁，从而保障大模型自身的安全可靠性，推动SecLLM成为安全护航的可信之选。绿盟科技将持续投入研发和创新，不断优化SecLLM的功能、性能和自身安全性，提供更具创新型和实用性的安全解决方案。SecLLM作为每一个用户定制化的安全协作“伙伴”，致力于成为各行业持久可信的安全护卫。在该过程中，绿盟科技愿意贡献自身能力，与各行业合作伙伴共同应对日益复杂的安全挑战，携手促进安全行业大模型生态建设。通过积极交流合作，共享安）：够模拟、模仿和执行人类智能活动的技术和系统，使其具备像人类一样的智能。人工智能按发展）：能系统。它具有感知、认知、思考、学习和创造等能力，能够在各种不同领域和任务上表现出类）：处理模型。这类模型利用深度学习技术，能够在大规模的文本数据上进行预训练，并通过微调等学习特定行业的特征和规律，以实现在该行业中高准确性和可靠性的分析和预测，能够更好地适）：方式进行预训练的语言模型。在大量的未标记数据上进行预训练，大模型得以学习数据的内在表）：）：模型即服务（ModelasaService，MaaS）：是指基于云为可重复使用服务的方式，实现模型的快速部署、弹性伸缩和按需使用，允许用户不需要硬件设）：6李NSFOCU51安全行业大模型SecLLM技术白皮书ChatGPT爆火背后的推动力是通用大语言模型（LargeLanguageModel,LLM）。LLM是指具有巨大参数量和复杂结构的自然语言处理模型。这类模型是深度学习在自然语言处理领域的典型技术范式，能够在大规模的文本数据上进行预训练，并通过微调等技术完成各种自然语言处理任务。“读书破万卷，下笔如有神”在一定意义上反映了LLM的运作模式。LLM的关键发展可以追溯到2018年，彼时Google推出了BERT模型。BERT采用了预训练加微调的方法，通过在大规模数据上进行预训练，模型学习到了广泛的语言知识，然后在特定任务上微调模型参数。BERT在多个任务上取得了优异的表现，引发了全球各大公司、研究机构对通用大模型的普及应用。同时，ChatGPT作为现象级的LLM，为学术界和工业界呈现了一种通用大模型技术实现的技术路径。ChatGPT的发展（图1）经过了多个版本的技术迭代演化，在保持Transformer核心特征抽取结构框架的同时，模型的整体参数规模、训练数据规模呈现爆炸式增长。现阶段，典型LLM的参数规模已达到千亿级别。这些模型不仅在表现上超越了之前的模型，同时也具备更高效的训练和推理能力，可以处理更加复杂的随着模型参数规模和训练数据规模的爆炸式增长，通用大语言模型LLM的涌现能力7新趋势：ChatGPT技术加速安全革命（EmergentAbility）凸显。相对于经典规模尺度较小的机器学习或深度学习模型，LLM在上●知识语义增强：通过在大规模通用文本数据上进行训练，LLM得以掌握广泛的语言知识和语义理解能力。相较于小模型，LLM能够更全面地理解词汇、句法和语用，助于理解和分析安全领域特定的数据内容，如安全威●逻辑分析增强：LLM可以理解和应用逻辑原则来推理和分析输入文本中的信息。相较于小模型，LLM经过训练可以更好地理解和应用逻辑规则，能够产生更为合乎逻●交互决策增强：LLM在与用户的交互过程中表现出更高水平的决策能力和响应性能。相较于小模型，LLM可以更好地根据输入的上下文和目标指令，综合利用所学习到求并提供个性化的安全指导和辅助决策，协助安全有助于提升安全系统的感知、分析和决策能力。通过从特殊的安全数据中提取关键信息、识别潜在威胁，并能够提供恰当处理建议，LLM可以进一步提高安全系统的效率和准确性，使9本章首先介绍安全模型的发展困境和研究新范式，接下来阐述安全行业大模型的必要性2.1安全模型发展面临困境安全模型发展面临多重困境，其中包括威胁演化速度快、数据量和复杂性增加、数据偏差和不均衡，隐私和合规性问题、自适应能力缺乏，以及对抗攻击挑战等。克服这些困境对传统安全模型如机器学习小模型已在网络安全中得到了部分应用，但是其发展却不尽人意。《DosandDon'tsofMachineLearninginComputerSecurity》[2]总结了安全行业的机器学习模型的十大陷阱，这些陷阱普遍存在于恶意样本识别、网络入侵检测、漏洞分析挖掘、网站攻击监测、社交网络滥用、二进制代码分析和代码归因等安全场景中，导致关键结果出现严重偏差、一系列的性能劣化和不可解释性难题，进而影响安全模型在安全行业的应用推ChatGPT一经推出便引起轰动，安全行业研究员和工作者也纷纷就ChatGPT在安全行业恶意代码编写等攻防场景中。从探索的实际效果来看，ChatGPT背后的LLM大模型技术在●安全专业数据和知识缺乏：LLM模型使用广泛的通用语料库进行训练，同时安全行业的数据通常是特殊且有限的。这导致LLM缺乏安全相关数据和专业知识，缺乏对●零日攻击和新型威胁挑战：LLM的训练数据只能基于过去的安全事件和攻击行为。然而，威胁攻击是不断演变和改变的，面对零日攻击和新型威胁等未知的威胁，LLM●模型低成本和实时性难题：安全行业需要对威胁事件进行及时响应，因此模型最好能够本地部署和学习，具备实时性能。然而，由于LLM的计算复杂性，推理过程需要●数据隐私和安全性问题：LLM在训练过程中使用的大量数据可能包含敏感信息，同李NSFOCU51安全行业大模型SecLLM技术白皮书●可解释和可信限制：LLM往往被视为黑盒模型，其决策过程和判断依据难以解释。在安全行业中，可解释和可信度对于分析和决策的重要性不容忽视。因此，在应用LLM时，需要考虑如何增强安全行业对LLM模型的信任度，并使分析和决策过程更为了有效应对上述LLM大模型技术在安全行业应用中的挑战，有必要探索新的方法和技术来提高模型对特定安全问题的理解能力和专业解释能力。因此，构建一个专用于安全行业的大模型（SecurityLargeLanguageModel，缩写为SecLLM）是非常有必要的。期望攻击技术、漏洞利用等方面的更深入理解，从而提供更准确的威胁分析和安全决策的智能化2.2安全模型的研究新范式解决这些困境有必要构建安全行业专用的大模型SecLLM。针对输入网络流量、系统日志不同数据开展数据标注、特征构建和算法选择等工作；接着分别训练小模型；训练完毕后，不同小模型各自只能预测单一的入侵行为或恶意攻击。如图2因此，传统安全模型的研究思路会限制其学习和泛化能力，所以并不适用于SecLLM的构建。不同于传统安全模型，通用的大语言模型LLM采用“预训练-微调”的研究新范式，该然后通过有监督学习或强化学习进行特定任务的精细调整和优化，提升了模型的泛化和学习能力。那么是否可以借鉴LLM的“预训练-微调”新范式来构建SecLLM？加密代理等恶意恶意样本监测加密流量加密流量分类恶意恶意样本…SQL注入等可检测编号………Web攻Web攻击分析Web…恶意样本监测加密流量分类Web攻击恶意样本监测加密流量分类Web攻击分析下游任务……安全大模型预训练微调在这个新范式下开展SecLLM的研究，如图2右侧所示，安全大模型是利用大规模无标注安全数据通过无监督学习预训练安全模型的基座，然后在基座模型上利用下游不同安全任●无监督预训练：通过大规模的无监督预训练来学习安全领域的专业知识和编码。这一阶段通常使用Transformer架构，在海量多源异构安全数据上进行预训练，使模型具备对安全词汇、攻击上下文和威胁语义的理解能●下游任务微调：无监督预训练完成后进入微调阶段。微调是在特定下游安全任务上使用有监督学习或强化学习方法，将预训练模型的参数进行游安全任务需求和特定数据集中的标注信息，使模型适应微调对齐安全专家的威胁处置后，安全模型在各种攻防处SecLLM借鉴“预训练-微调”的研究范式，融合通用语言和安全专业的理解能力，消除了手工构建特征的需要，提高传统安全模型的准确性和适应性。当有新型威胁出现时，只需要微调模型而不是重新训练。在SecLLM的构建过程中，“预训练-微调”范式将使模型更具适应性和智能性，具有应对不同新型攻击和未知威胁的处理能力，以确保在实际安全行业2.3安全行业大模型的升级技术基于“预训练-微调”的研究新范式，SecLLM的目标是构建易用、高效、准确和可信的“快”、“准”、“安”四方面开展技术升级（如图3所示），为安全行业提供智能化的威图3SecLLM四大技术升级李NSFOCU51安全行业大模型SecLLM技术白皮书传统软件图形用户接口GUI采用固定的布局和设计，其功能和外观很难进行灵活修改。随着数字产品功能的不断增加，GUI界面在某些情况下变得越来越复杂，需要用户理解和记为了解决GUI的上述问题，通过将安全语料输入大模型，可以获得一个能够“懂安全”的自然语言交互全新接口LUI。LUI接口支持用户用自然语言和SecLLM直接对话，即使用户没有学习安全技能，也可以直接提问“如何保护我的网络免受DDoS攻击？”；“懂安全”是指SecLLM能够理解用户问题意图并给出相应的安全专业答复，包括相关的安全知识、建议和决策支持等。可见，SecLLM通过简单LUI接口就可以为用户提供个性化且智能化的安●“快”：专业知识快速接入，动态安全服务提供及时ChatGPT背后通用大模型LLM训练需要耗费大量的计算资源和时间，训练数据受到时间限制。如果用户需要实时信息或最新动态等内容，ChatGPT可能无法直接提供。对于安全分析的需求，需要可靠实时数据源的接入和安全领域专家的指导，以确保获取最新和准确的信SecLLM可以通过不同外接数据源或安全知识库来提供可靠的实时数据和专业领域知识。一方面，通过外接查询接口，SecLLM可以向特定的数据源发送请求并获取实时数据，例如查询各种威胁情报平台获取最新的安全事件和漏洞公告，并与用户分享相关的警报、建议或解决方案。另一方面，SecLLM无需等待训练，通过连接到安全领域的专业知识库获取更深入的高质量知识，为用户提供专业领域知识质询服务。上述两种方式可以弥补LLM本身训练数据时间限制的不足，并使其能够获取最新的安全信息和专业的安全知识。SecLLM注重提高安全数据和服务的高效性，通过实时查询情报源或安全知识库实现实时●“准”：工具协同功能扩展，复杂安全问题解决有方LLM有自然语言理解、推理和逻辑能力。但对于安全特定或复杂任务，需要专门设计和训练不同模型，提升其安全知识，也需要定制额外功能完成复杂安全任务。如何使大模型更SecLLM通过提供插件和工具调用能力，使开发者和用户能够将自定义的专业功能集成到模型中。例如威胁检测算法、漏洞扫描工具等专业功能的集成可以使SecLLM功能更加多样化。SecLLM根据用户的实际需求来扩展特定的安全功能，智能调度所需的安全专业工具、插件和安全小模型等。可见，SecLLM与不同专业安全工具间的协作，可以辅助用户分析和●“安”：模型可信安全保障，数字世界护航无忧LLM作为一项人工智能算法应用，不仅具备传统算法的复杂、不可解释等固有属性，还可能引入安全和隐私保护方面的风险。同时，黑客也可以利用LLSecLLM需要构建算法治理框架、模型操作风险防控及模型全生命周期质量管控体系。一方面考虑模型内生安全，保证模型计算任务的执行过程中的全流程安全，包括对模型和数据的存储、传输、训练、推理等环节进行安全保护；另一方面考虑模型衍生安全，通过采用加密、权限管理、访问控制等措施，确保模型使用的用户的数据得到充分保护，并且模型本身不会受到恶意攻击或滥用。SecLLM提倡保证模型内生和衍生安全，以有效应对大模型自并同时确保数据隐私和模型安全。这使得SecLLM将成为安全行业的重要工具，帮助用户应对各种挑战，并为安全领域提供高效、可靠的支持。SecLLM能够更好地应对复杂的安全攻2.4安全行业大模型的分层框架通过上述四大技术升级，SecLLM致力于通过安全专业知识和工具增强大模型LLM，具备针对安全领域的智能问答、问题解决和决策支持的专业能力，支持采取智能化的行动来化解不断发展的威胁，不仅确保各企业等保合规的安全需求，而且保障用户可以安全可信地使用通用大模型LLM技术和相关产品。SecLLM的五层框架如图4所示。李NSFOCU51安全行业大模型SecLLM技术白皮书2.4.1基础层SecLLM的基础层为大模型训练和推理提供了必要的基础设施和高效的管理，涵盖数据●数据集成和理解：多源异构安全数据接入技术允许从不同类型的数据源中汇集信息，●高效计算：CPU/GPU资源调度技术允许优化计算资源的使用，确保模型训练和推理●模型效率优化：大模型的XOps管理技术可以降低模型的计算复杂度，减少计算资源●分布式高速训练：安全行业大模型能够利用多台计算机进行并行训练，加快模型的训●应用场景适应性：模型部署推理加速技术允许在云环境或私有网络中高效地部署模2.4.2模型层SecLLM的模型层引入多个关键技术进行大模型的增量预训练和微调，使其能够更深入●安全数据预处理：通过安全数据预处理，可以将原始安全数据进行清洗和标准化，从●安全预训练模型增量训练：通过安全预训练模型的增量训练，模型能够在通用预训练基础上，进一步融合安全领域的语义和知识。这使得●下游任务微调：在具体的下游安全任务中优化和微调模型，提高模型在特定任务上的●安全知识增强模型：安全知识增强模型允许将领域专业知识注入模型，使其更准确地●人类对齐微调：通过人类对齐微调，模型能够与人类专家的知识进行融合，提高模型2.4.3能力层针对安全复杂问题的解决，SecLLM需要能够更好地理解、分析和应对安全问题，所需●安全意图理解：安全意图理解技术可以帮助模型更好地理解用户和攻击者的意图。这●安全日志解析：安全日志解析技术能够自动解析和分析大量的安全日志，从中提取关●告警分析研判：告警分析研判技术使模型能够对告警事件进行深入分析和判断。通过李NSFOCU51安全行业大模型SecLLM技术白皮书●人机协同学习：人机协同学习技术能够将人类专业知识和模型的分析能力相结合，实2.4.4服务层这些服务和保障措施为客户提供了多样化的部署和应用选择，并确保模型在安全、隐私和伦●云端MaaS服务：云端MaaS服务将SecLLM部署在云端，为客户提供基于订阅和API的服务。这种服务模式使客户无需自行部署和维护模型，而是通过云服务提供商●客户定制本地部署：SecLLM支持在客户自己的本地环境中部署，可以实现更高的数●大模型安全伦理保障：大模型安全伦理保障包括一系列措施，如确保大模型的使用符2.4.5应用层SecLLM应用层的目标是解决安全场景中复杂的实际问题，涉及威胁检测、安全决策、●安全运营助手：SecLLM可以作为安全运营助手，协助安全运营人员监测网络活动，识别潜在的威胁，生成告警和报告，并提供针●安全Copilot：SecLLM可以作为一个协作式工具置入已有系统中，担任团队的“安李NSFOCU51安全行业大模型SecLLM技术白皮书为了解决攻防实战场景中所面临的复杂安全问题，SecLLM助力提供更为全面、高效、智能的安全防护能力。通过定制化模型训练和优化，提高模型的专业性、准确性和适应性。结合安全知识库和协作其他安全工具，提高模型对特定安全问题的意图理解和专业分析。通用大模型LLM在安全领域应用难题首先是缺乏安全领域的专业知识。安全知识包括安全术语、复杂的攻防技战术、应急措施解决方案、漏洞及利用代码、攻击特征等。例如安全事件分析任务中需要具备理解和分析网络攻击流量、降噪海量告警日志等能力，这些能力需要大量漏洞知识库、攻击技术识别、威胁情报数据等不同类型的安全知识储备。然而，现有LLM大多基于通用领域而非安全领域的语料库进行预训练，所以无法提供准确的安全领域知安全语料库的构建是安全行业大模型SecLLM构建中不可或缺的一环。安全数据双飞轮自运转机制（如图5）通过双线持续收集和处理安全数据构建高质量安全语料，循环迭代优一方面，双数据飞轮为两条线的数据飞轮，包括安全知识图谱的离线增量数据和安全运营服务的在线反馈数据。由于部分安全数据的敏感性，合法获取足够规模的安全数据是一项具有挑战性的任务。为了获取足够规模和多样性的安全语料，从离线和在线两种方式收集高质量安全原始数据。离线数据从历史积累的安全知识图谱中获得，《绿盟安全知识图谱技术取实践，提供高质量安全专业知识。在线数据来自绿盟在线安全服务的反馈数据，这些数据另一方面，通过自运转机制逐步构建高质量、多样化的安全语料库，通过增量训练整合到SecLLM中。同时，SecLLM可以从复杂安全场景反馈中不断学习和改进，逐步提升性能和效果。由此可见，双数据飞轮的运转通过持续供给高质量安全语料，加强模型自我学习和更新，适应变化的需求和新的应用场景，提供更准确和专业的响应，从而提高安全行业大模随着LLM参数量倍数级的增长，低资源服务器因资源不足已无法支撑模型训练过程。一方面LLM参数量较多，单个GPU显存有限，难以容纳大模型；另一方面LLM中运算操作的数量较多，训练时间会大幅度增加。这导致LLM的训练越来越需要强大的计算能力来支撑其存储和经济资源来支持训练过程。要提升SecLLM构建效能，需要合理分配资源，充分利用计算资源和数据资源。分布式并行训练能够充分利用计算资源来训练参数量更大的模型，降构可以提升SecLLM的训练效率。采用更有效的优化算法和合适的模型结构，可以在有限资目前，LLM的训练过程中采用分布式训练的方式进行高效训练。分布式训练是将训练数据或者模型分配到单台机器的多张GPU卡上或者多台机器的多张GPU卡上进行并行训练的过程，支持数据和模型两大并行方式。数据并行对数据进行上进行训练，可以有效缩短训练时长。模型并行将模型进行点间的通信方式（包括ParameterServer和AllReduce等架构的通信方式）。20李NSFOCU51安全行业大模型SecLLM技术白皮书在SecLLM分布式训练过程中，从不同的硬件资源及训练需求角度出发，有多种分布式训练方案可供选择，如图6所示，当训练集数据量较大时，可以通过数据并行方式提高训练效率，缩短训练时间；当SecLLM模型参数量较大时，可以通过张量并行、流水线并行以及随着模型变得越来越大，传统方法的全参数微调方法会产生数量庞大的梯度，尤其对于Transformer模型中的注意力层，其产生的梯度数量不仅与模型参数数量有关，还与输入长度呈平方相关。伴随庞大的梯度数量而来的，便是优化器状态产生的巨大RAM消耗和Backward操作的时间开销。21为了缓解资源开销问题，就有了各种各样的参数高效微调（Parameter-efficientFine-tuning，PEFT）技术。例如，LoRA（低秩自适应）方法在原本的模型权重上叠加了一组“旁路”的结构，每个结构包括两个低秩矩阵的乘法，直观看来就像一个没有偏置的、只有一个隐层的稀疏自编码又例如，Prompt-Tuning实际实现中大致分为以下三步：1、为每项微调目标任务指定对应的提示文本（一般为前缀提示文本可以人工设计，也可添加新词（扩充tokenizer词表和嵌入层维度2、冻结预训练模型中的全部参数，但保留提示文本相关的嵌入层权重；3、运行模型并进行训练，专门优化这些提示文本对应token的嵌入向量。除此之外，还有Prefix-Tuning、P-Tuning等典型方法。参数高效微调方法能够极大降低训练资源开销，以LoRA为例，在2*A100配置的GPU主机上进行测试，对比添加适配器前后的ChatGLM2模型SFT训练过程RAM开销，如表1DeepSpeedZeRO3+CPUOffload21.824.764.1110.6LoRA(rank=8)16.823.232.772.7注：由于offload机制的影响，部分模型权重和优化器状态等会在GPU和CPU内存中各LLM在安全领域应用的前提是模型部署和实时推理。模型实时推理使用训练好的模型对新数据进行预测分析等任务。随着业务规模的不断扩大，算法模型复杂度不断增加，输入模型的数据量不断增大，如何完成大模型的推理变得越来越重要。由于推理任务通常对响应时间有较高的要求，如何在这些计算资源密集型的任务中进行快速的模型推理，是LLM应用到除了分布式技术加速推理外，还可通过减少模型的存储和计算需求来提高大模型推理速度和效率，例如剪枝、量化技术等。此外，在硬件方面也可以通过图形处理器（Graphics22李NSFOCU51安全行业大模型SecLLM技术白皮书ProcessingUnit，GPU）、现场可编程门阵列（FieldProgrammableGateArray，FPGA）、专用集成电路（Application-SpecificIntegratedCircuit，ASIC）等执行模型推理的任务，以提量化技术通过把浮点数的模型参数转换为低位精度的定点数来减少模型的存储空间和计算开销，包括权重量化和激活量化。网络结构设计的方法是设计轻量级的网络，与传统的网络模型对比，结构轻便，计算简单，易于移植到移动设备。剪枝技术删除模型中冗余的连接和参数以减小模型的规模，不仅可以加速模型推理，还可以提高泛化能力，常见的剪枝方式包括权重裁剪、通道裁剪、核裁剪等。知识蒸馏是获取高效小规模网络的方法，在2015年由Hinton[5]等人首次提出，该方法是将迁移到轻量级的学生模型中，利用教师模型的知识训练学生模型，提高参数量小、学习能力FPGA是大模型推理加速的另一种硬件加速器，根据需求重新配置硬件电路适应不同的计算将模型映射到FPGA上进行高效的推理计算；专用集成电路（Application-SpecificIntegratedCircuit，ASIC）是定制化的芯片设计可以用于执行特定的计算任务，通过专用电路设计和优面临着诸多挑战。其中，实时性对于安全分析模型的应用至关重要，在威胁检测方面及时地发现威胁，更利于企业保护其自身安全，减少或者避免损失。因此，只有在真实的场景中实安全数据稀缺和不平衡导致没有足够多的样本来进行大模型的微调，这会对模型的泛化23能力带来挑战，需要特殊的处理方法来解决。此外，攻防实战环境的动态和复杂性使大模型需要返回精准答案变得困难。而安全行业不同于一般通用领域，错误的威胁研判或处置可能导致严重的后果。最后，安全领域中的威胁和攻击方式不断发展和演变，为了保持模型的有效性和可靠性，需要实现模型的持续学习和演化机制，以及灵活的更新和迭代过程。因此，安全行业大模型通过引入人类反馈强化学习（Rein专用领域或场景的文本数据对同一问题的不同回答的排序预训练模型专用领域或场景的文本数据对同一问题的不同回答的排序预训练模型B预训练模型A奖励模型奖励模型监督微调（SFT监督微调（SFT）模型改进的改进的SFT模型在安全运营场景中，将训练好的奖励模型RM作为SecLLM训练中的指导信号，引导SecLLM在分析安全告警日志时输出更优的结果。安全运营人员在日常安全运营过程中根据对于正确表述真实安全威胁或误报的情况，可以给予正向奖励，对于错误表述或表述模糊的情况可以给予负向奖励。奖励模型RM将根据安全运营人员的奖励反馈，学习SecLLM输出在训练过程中，SecLLM将根据奖励信号调整自己的策略，以获得更高的奖励。这里训练过程使用强化学习算法ProximalPolicyOptimization（PPO）。通过RLHF训练，安全运营人员可以有效地引导SecLLM在安全告警日志场景下的行为，优化安全分析和威胁检测效果，24李NSFOCU51安全行业大模型SecLLM技术白皮书网络空间安全防御和分析任务是网络安全的关键环节，包括了网络威胁情报收集、威胁情报分析、网络攻击监测、网络安全事件响应等方面。在这个过程中，需要对各种网络攻击多源数据、多分析方法等综合的自动化能力，需要将复杂的安全任务分解为较小、可管理的子任务，并灵活地操作工具来完成每个子任务。大语言模型LLM作为连接多种安全工具或插典型的工具协同和学习范式主要包括几个核心逻辑单元，即工具集（ToolSet）、环境（Environment）、控制器（Controller）以及感知器（Perceiver）。其中，工具集是工具学习的目标和基础，是一组在领域内的专用能力集合，例如在安全运营场景下可以是各类分析工具、扫描工具、响应工具等等；环境是工具执行的基础平台及可交互的所有实体集合，例如安全运营中心及相关平台系统；控制器，是工具学习框架的“大脑”，通常使用基础模型控制器应当理解用户的意图以及意图与可用工具之间的关系，然后制定计划选择合适的工具来完成任务，在查询复杂且针对高级任务的情况下，控制器可能需要将任务分解为多个子任务，这需要基础模型具有强大的规划和推理能力；感知器作为交互界面和收集接口，接收用大安全领域目前已积累大量的专用模型/工具来解决告警降噪、告警研判、溯源调查等25任务，这类专家模型通常在应对细分场景中有着较好的效果。LLM具有优秀的语言理解、生因此在应对复杂的AI任务时，综合两者的优势，通过使用有安全知识的SecLLM来管理现有的安全专家模型/工具，将SecLLM作为意图理解和工具协同是解决复杂安全任务的一个可基于私有数据定制化本地大模型方案将安全行业大模型直接部署于用户生产环境中，接入用户私有数据资源进行智能问答。私有数据是指用户私有的数据、文档、数据库或知识图谱等，这部分数据可能涉及用户的私有信息和商业机密等，不方便传入互联网中。定制化本地大模型是通过安全大模型整合用户私有数据资源库，结合向量索引和内容相似度算法匹配召回相关答案分块内容，从而减少大模型出现事实问题错误，实现对用户提问进行私密精准问答。同时，安全行业大模型部署在用户本地生产环境中，而非云端大模型服务商处，可以本地文档本地文档 ><外部web数据<>>数据库 <>>数据库 <><知识图谱<意图理解>><<获得分块答案<<获得分块答案反馈收集 >>优化与迭代反馈收集 >>优化与迭代安全行业大模型本地部署接入用户私有数据资源进行智能问答，私域私密交互的详细流程如图11。26李NSFOCU51安全行业大模型SecLLM技术白皮书●用户或企业的私有数据加载导入后，对数据进行分块处理和向量化索引编号，便于后●意图识别对用户输入问题进行语义判断，自动●Prompt模板化对各类不同任务、不同场景、不同语种的Prompt进行管理和调优。将分块答案注入Prompt模板中，并使用提示功能发送到安全行业大模型完成答案的●反馈及优化迭代，通过记录用户反馈信息，分析有问题的答案和方案存在的问题，及指标包括①问题与答案的相似度；②答案文本与大模型推理使用的相关文本的相似度；③答案文本在数据库召回的相关文本列表，28李NSFOCU51安全行业大模型SecLLM技术白皮书在关键技术突破的同时，绿盟科技开展了SecLLM在安全研究、情报分析、攻击检测与防御以及安全运营等多个应用场景的实践。验证其是否可以提高效能、准确性和响应能力，是否可以为安全行业提供更强大的工具和支持。如下以研究驱动、情报指引、攻防合一、运营精益构建基于SecLLM的安全应用体系，从而促进SecLLM在应用实践中的持续学习成长，SecLLM通过持续积累和更新安全领域的数据和知识，实现安全专业经验和知识沉淀，下面简述SecLLM两个应用案例：基于SecLLM开展代码漏洞挖掘，通过学习大量代码和漏洞案例，积累了丰富的漏洞代码分析经验和专业知识；同时基于SecLLM提供智能问答服务，无论是有关网络攻击的常见手段，还是关于数据隐私保护的最佳实践，SecLLM都能漏洞挖掘和代码审计是两种密切相关的安全实践，在软件开发和安全领域中都有重要作代码审计重在对代码的静态分析，以查找可能存在的漏洞、弱点和安全风险，从而提高代码SecLLM可以高效地处理大量的代码数据，利用自身强大的学习能力和推理能力，快速发现代码中的潜在漏洞，根据上下文和目标，自动地提供合适的代码建议和修改方案，提高基于SecLLM的代码审计和漏洞挖掘的应用方案如下图12所示：●数据收集和预处理：负责从不同的数据源收集和清洗大量的代码数据，这些数据●大模型训练和微调：SecLLM在代码数据上增量训练，并根据代码审计和漏洞挖29●人机交互代码分析：负责提供一个友好和易用LUI问答界面，让用户可以方便地上传或输入代码，查看和下载分析报告，与SecLLM进行交互和反馈。对于在语料中的已知威胁，SecLLM已经可以较好地进行检测。如下图13，请求参数id的值被直接拼接入SQL查询语句中并随后被执行，SecLLM正确地指出其中存在的SQL注入30李NSFOCU51安全行业大模型SecLLM技术白皮书用户输入代码或代码片段时，SecLLM进行代码审计分析，返回分析结果和建议，如漏洞类型、风险等级、修复方案等。如下图14，给定代码中同时存在三个问漏洞、任意文件上传漏洞、异常详细信息泄露漏洞。SecLLM正确地指出了全部问题，并给智能问答是大语言模型的基本应用场景。智能问答系统能够理解用户的提问，在答案中进行检索或者生成答案以满足用户的需要。在安全领域，智能问答系统的价值体现在其可以基于SecLLM为安全专业人员和普通用户提供高质量、高效率、智能化的安全问题解答31SecLLM如图15所示，首先需要引入安全语料库针对安全领域进行专门训练，让模型具备深度的安全专业知识。相比通用语言模型，它更了解安全术语、威胁模式、攻击技术和防同时，安全专业问答中涉及的语言理解、信息查询、语言组织等诸多重要环节，都需要语言知识、常识知识以及领域知识的指导。安全知识图谱为绿盟科技多年积累的安全知识，非常适合作为外部知识源注入到SecLLM中。SecLLM可以利用知识图谱辅助问句理解，借助知识图谱中节点的属性及关系，通过相应技术发现问句中的实体，进而更好地理解用安全行业领域中的专业问答系统支持对用户所输入的安全问题进行意图理解，根据问题的上下文，分析输入问题的语义结构信息以及词语间的依存关系，准确把握问题的意图，提SecLLM完成意图理解后，通过图匹配从安全知识图谱检索相关的实体作为应答，同时攻击技术、防御方法、安全最佳实践等，能够回答涉及复杂安全问题的专业性知识。同时，SecLLM可以深入理解安全产品信息和解答各种安全产品相关的问题。用户通常希望得到实际的安全产品应用指导，SecLLM可以根据用户的需求提供个性化的建议和实用的操作指导。如下图16所示，SecLLM以图文并茂的方式给出安全产品RSAS的操作指导。32李NSFOCU51安全行业大模型SecLLM技术白皮书当涉及安全语境理解时，SecLLM可以从上下文中理解特定安全问题的含义，提供更准确的回答和建议。SecLLM从用户提供的信息中识别潜在的安全威胁或攻击行为。例如，识别恶意软件行为、网络入侵迹象或社交工程攻击尝试等。SecLLM能够根据问题的上下文，理解问题的意图，并提供更准确和有针对性的回答。例如当用户咨询“发现漏洞CNNVD-201703-501怎么办？”，在回答关于安全漏洞的问题时，它会考虑到漏洞的严重SecLLM在安全语境理解方面具有强大的能力，可以为安全专业人员和企业提供更准确、全33从中识别出威胁指示、攻击者行为模式、受影响的实体等有价值情报，帮助安全团队更好地应对各种安全挑战。这种信息整合和情报挖掘的能力可以提升情报工作的效率和准确性，为互联网上无时不刻涌现着海量的信息，包括新闻报道、社交媒体内容、论坛帖子、博客整合多个不同来源的安全情报信息，对提供更准确、全面的威胁情报，帮助组织更好地应对基于SecLLM的多源情报融合解决方案是将不同来源、不同形式的情报信息进行整合和分析的方法。SecLLM安全语义理解能力有助于信息总结、情报归类、实体标定等。信息总结功能主要涉及到跨平台信息整合、垃圾信息过滤、要点提炼等。SecLLM通过对信息进行语义分析和关联性识别，将来自不同渠道的多种形式的信息汇聚为有机的整体，消除信息碎片化问题，从而提高信息整理的效率和全面性。接下来，SecLLM情报之间的关联点、相似括但不限于设备、人员、组织、漏洞、事件等），分析其性质、热度、上下文，以及实体之间的关联性，综合考量后给出初步判断（包括其风险度、紧急度等内容），为情报分析提供基于SecLLM的多源情报融合在多来源多模态信息上有着出色的智能归纳和综合分析能力，有效地提高了情报信息的利用效率和价值，为决策者提供更全面、准确的情报信息34李NSFOCU51安全行业大模型SecLLM技术白皮书<<情报智能整理情报1情报2情报3…情报n………自然语言检索相关情报推荐多源情报分析情报汇总成文图18基于SecLLM的多源情报处理下面展示了一个应用实例，在新闻网站、社交媒体、个人博客、暗网论坛等渠道上收集到了大量的信息后，结合历史经验和多源数据，挖掘一些有价值的情报判断，可以帮助决策者快速决策。使用传统的情报收集与分析方法，可能需要耗费大量的人力物力成本，以及依赖安全专家；而SecLLM可以完全自动化进行。•C地区停电事件可能与新漏洞有关•C地区停电事件可能与新漏洞有关•历史上其他国家出现过类似情况，在半年后遭受大规模网络攻击•……《B国家遭受网络攻击》《震惊！C地区发生大规模停电，20万人受影响》《50万台设备遭到勒索软件劫持》《千万不要买某公司新产品》黑客1在社交账号上发布多条消息《某地节日氛围浓厚》《有图有真相，某明星地下恋情曝光》《电力行业常用软件发现新漏洞》某黑客组织网站活跃……图19基于SecLLM自动化情报整理35传统方式SecLLM能够实现自然语言查询。用户无需牢记大量查询规则和语法，只需要使用自然语言描述出其需求。下面是一个交互实例降低查询门槛，用户想要查询A公司最近几天的0day漏洞，需要先从其他渠道搜索到具体的漏洞编号，才能进行查询，而在这个过程中往往会面对大量杂乱的网站和信息，降低了搜索效率；集成大语言模型后，只需要直接输入自然传统方式A公司0day漏洞A公司官网2018年7月A公司产品介绍CVE-XXXX-XXXXX大模型集成Q这几天A公司产品的0day漏洞图20基于SecLLM情报查询SecLLM可以作为情报整理助手，高效汇总多源信息，智能归纳整理，生成有价值的情威胁特征分析和洞察等难题，还需要能够挖掘、揭示攻击者的策略和行为模式，预测可能的安全分析团队需要借助大模型技术提高对勒索威胁情报的分析能力，更好地保护网络和数据的安全。如图21展示了利用SecLLM做勒索威胁情报追踪的基本流程，SecLLM具备强36李NSFOCU51安全行业大模型SecLLM技术白皮书大的安全语义理解和内容生成能力。SecLLM在勒索情报分析的主要应用可以分为：对收集的威胁情报进行文本主题分类、勒索相关情报的关键信息提取和提供勒索智能分析问答三个●威胁情报文本主题分类：通过勒索情报主题分类的方法，帮助快速定位和识别与勒索软件相关的情报，以帮助安全团队更好地了解勒索软件的种类和演变趋势，勒索情报地址和IOCs（IndicatorsofCompromise）等数据。这些信息可以帮助●勒索智能分析问答：SecLLM作为一个强大的语言模型，可以为用户提供更全面、深入的答案。它可以理解用户的问题，并生成更具体、细致的回答，帮助用户深图21SecLLM勒索情报分析流程SecLLM在勒索威胁情报分析中的应用为决策者和安全团队提供更全面的威胁情报深入洞察，可以帮助决策者制定相应的安全策略和措施，优化安全防御，提高整体安全水平。针对上述勒索威胁情报收集和整合、关键信息抽取以及复杂威胁特征智能分析三个场景，SecLLM在勒索情报分析的应用效果如下所述。通过SecLLM模型对收集的威胁情报进行文本主题分类的过程。首先，将文本进行粗粒度分类，将其划分为不同的主题，如APT情报、勒索情报和战略情报等多个话题。这样可以37将威胁情报按照其所属领域或类型进行初步归类。接下来，在勒索情报主题中，还可以进一步进行家族多分类。在这一步骤中，将勒索软件相关情报细分为多个家族，如图22所示按照LockBit、Hive和REvil等勒索家族进行整合和可视化分析，展示的近期活跃的勒索软件家族，根据活跃时间排序并展示对应威胁报告数量，这样可以更精确地识别和归类不同类型的勒索情报信息抽取是对分类后的勒索情报进行进一步处理的过程，利用SecLLM模型从中提取勒索相关情报的关键信息。如图23展示了勒索软件家族通过勒索情报信息抽取的过程，安全分析团队可以更高效地从海量的勒索情报中提取出有价值的信息，帮助他们更好地了解勒索威胁的特征和演变趋势，从而为安全决策和威胁应对提38李NSFOCU51安全行业大模型SecLLM技术白皮书整合SecLLM大模型进一步增强了智能问答平台的能力。如图24所示，勒索报告智能分析平台将SecLLM从勒索威胁报告中提取的关键信息进行梳理，并用思维导图的方式进行展示，使安全分析人员更直观更便捷地获取对勒索报告的深入了解，另外基于SecLLM安全大模型开发的ChatReport提供了与勒索报告的智能问答应用，安全人员可以就勒索报告中的疑39SecLLM可以应用于攻防模拟中，协助防御团队分析攻击者的意图，提高防御的针对性，多角度的全面防御体系。SecLLM在攻防模拟中的作用包括：●可以利用SecLLM的生成能力，产生多样化的攻击载荷、攻击路径、攻击策略等，●利用SecLLM的理解能力，分析目标系统的脆弱点、风险点、防御措施等，提高攻击效率和精准度，示例见下文4.3.2企业安全EASM评估；●通过不断攻防演练，SecLLM从历史数据和实时反馈中不断优化和更新攻击和防御技软件供应链安全的需求涵盖了软件从源代码审查到交付和部署的整个过程，以确保软件SecLLM的软件供应链安全分析解决方案是将SecLLM应用到软件供应链知识图谱的方法。SecLLM通过预训练获得了丰富的先验知识和强大的语义理解能力，结合知识图谱和SecLLM，不仅能有效融合软件供应链领域中的多源信息，还能运用LLM的语义理解能力来深入分析实体的上下文信息，进而提升模型对于软件供应链中实体与关系的语义理解水平。结合SecLLM和供应链知识图谱可以实现多种智能应用，如自动生成风险报告、知识图谱智图25是SecLLM应用于软件供应链安全的三层架构图，包括数据层、模型层和应用层。为知识图谱构建和SecLLM的微调提供了数据基础。●模型层实现了知识图谱与SecLLM的互补增强。SecLLM一方面使用软件供应40李NSFOCU51安全行业大模型SecLLM技术白皮书链语料进行微调，使模型能理解和分析软件供应链子领域的知识，另一方面SecLLM使用其强大语义理解能力从语料中提取实体、关系数据，对图谱中的知识进行补全。知识图谱一方面将多源异构数据整合成便于关联分析的图数据，另一方面使用其高质量的领域知识数据对SecLLM进行训练，综合提升了模型的知●应用层结合知识图谱和SecLLM两大AI技术提供了三大应用，分别为风险报告生图25SecLLM应用于软件供应链安全41SecLLM在软件供应链安全中的应用可以完成信息抽取、供应链健康评分、供应链敏感4.3.1.1信息抽取SecLLM具备的海量先验安全知识可以实现信息抽取任务。软件供应链领域涉及众多的SecLLM可以自动化将多源数据处理成结构化数据存入知识图谱中，从而对知识图谱中的缺4.3.1.2供应链健康评分版本维度频率、安全风险等结构化数据，其二为开源软件的issue文本、版本描述、更新信42李NSFOCU51安全行业大模型SecLLM技术白皮书息等非结构化文本。SecLLM先对非结构化文本进行向量化操作，获取非结构化文本中的语义特征，然后融合语义特征和结构化字段构建健康评分模型，最后，SecLLM分别考虑了社区热度、安全风险、影响范围、版本维护等多维信息，为供应链软件的健康程度提供了综合4.3.1.3供应链敏感信息发现敏感信息是资产脆弱性分析的重要维度。SecLLM可以对开源供应链的git仓库、组件官URL、域名、MAC、IPV6、jdbc等敏感实体类型，以扩充供应链图谱的敏感信息，进而有利434.3.1.4智能问答SecLLM可以提高软件供应链知识图谱智能问答能力（如图29基于图谱的智能问答包括自然语言理解、图查询语言生成、答案生成三个步骤。首先将多模态的图片、文字等问题转化机器可理解的语义表示，该步骤可以使用SecLLM来进行问题编码；然后SecLLM将用户的提问转化为图上的查询语言实现图上的查询操作，如Cypher、Gremlin等查询语言，得到查询输出的节点或关系数据；最后SecLLM将图查询得到的节点和关系数据重构成自然图29基于SecLLM的供应链图谱智能问答4.3.2案例6：企业EASM评估外部攻击面管理（ExternalAttackSurfaceManagement,EASM）是企业安全评估中不可忽视的能力。企业安全EASM评估对企业的外部攻击面进行全面的管理和评估，包括发现、监测和缓解外部攻击可能的入口。EASM确保企业的应用程序在安全性、合规性、风险管理利用SecLLM开展EASM外部攻击面管理是一种创新尝试，希望更好地识别、评估和管44李NSFOCU51安全行业大模型SecLLM技术白皮书理外部攻击面，从而提高网络安全的整体防御能力。如图30所示，SecLLM站在潜在攻击者●持续监控和全面收集数据：能够帮助组织监控和处理多种数据，包括社交媒体、不同数据整合到SecLLM，快速识别和清理无效信息，收集和整理与组织相关的●SecLLM与威胁情报分析：将SecLLM与威胁情报数据相结合，对外部攻击面进行威胁分析。通过与威胁情报数据的对比，可以及时发现可能受到攻击的系统和SecLLM将合适的数据和技术工具起来，对各种风险进行排序，可以发现潜在的图30SecLLM应用于EASM更好理解并生成企业供应链情报信息。如图31所示，SecLLM对招投标公告进行梳理分析获得详细的关系信息，评估组织的供应链和第三方有关的脆弱性及可见性，以支持评估组织的45对目标企业进行细致的ICT资产暴露信息分析，不局限于IT资产，还包括在云、物联网和进行实时维护。除了漏洞，EASM还强调对修复和暴露面的收敛，将配置不当、开放端口、46李NSFOCU51安全行业大模型SecLLM技术白皮书SecLLM基于持续监控和全面收集数据的分析，预测可能的攻击链路，自动排列优先级。如图33所示，利用SecLLM对外部攻击面中的系统和服务进行安全漏洞分析，可以帮助提高漏洞扫描的效率和准确性，快速发现潜在的漏洞问题，并分析潜在攻击路径，对风险和漏47通过SecLLM生成智能化的外部攻击面评估报告，帮助发现和解决潜在的安全威胁，降低系统被攻击的风险，从而保护组织的重要数据和业务不受损害。SecLLM将发现的安全问题和建议措施呈现给安全团队和决策者，帮助组织更好地了解自身的安全状况，及时采取措攻防演练是模拟真实攻击和防御情景的训练活动。场景涵盖网络入侵、恶意代码、数据泄露等多种攻击，并验证团队的应急反应，以使组织能够迅速、高效地应对真实威胁。通过基于大模型的智能体通过自动对抗，形成长期自主进化的攻防对抗能力。这一能力源于模型在复杂攻防环境中的训练和学习，它能够识别并适应新的威胁，不断调整策略以有效应输入攻防演练需求，通过模拟各类攻击和防御情景，基于SecLLM的智能体不仅学习攻击方法，还能掌握多种防御策略，从而逐步形成多样化的应对能力。SecLLM智能体可以快速感知威胁，做出智能决策，并将决策转化为实际行动，从而提高安全防御和响应的效率和48李NSFOCU51安全行业大模型SecLLM技术白皮书准确性，最后输出演练报告进行总结和复盘。SecLLM有感知和决策能力，如图34所示。●感知能力：通过SecLLM深度网络能够从环境中获取丰富的目标观测信息。这种感●决策能力：基于SecLLM强化学习根据当前环境的状态信息进行规划和决策。它可决策能力可以帮助系统根据当前威胁情况制能够更好地应对日益复杂的安全威胁，同时也促使其在攻防领域持续进步。这种基于大模型的自主进化方法为安全领域的攻防能力提供了更高的灵活性和适应性，以更好地保护系统免图34基于SecLLM的攻防智能体攻防演练在攻防演练中，SecLLM在提升组织的全面攻防对抗能力和安全策略优化中发挥着重要攻击模拟规划：SecLLM可以模拟各种复杂的攻击手法和威胁情景，帮助组织识别安全49并模拟攻击的紧急情况（如下图所示），让安全团队在模拟的攻击中进行实时应对。组织可李NSFOCU51安全行业大模型SecLLM技术白皮书新型威胁预测与检测：SecLLM可以学习不断变化的攻击方式和趋势，预测未来可能出现的新型威胁。通过持续的学习和分析，SecLLM能够提前发现新的攻击模式，帮助组织做攻防博弈过程中通过模拟真实攻击，可以帮助组织发现内部和外部的潜在威胁，包括已基于SecLLM的智能安全运营能够自动解析和解读复杂的日志数据，并提供智能研判告推荐最佳的响应方案，实现人机协同，进一步增强安全防御的智能化和及时性。同时，智能运营Copilot功能将SecLLM融入日常运营中，为安全团队提供实时的辅助决策，推荐最佳传统的安全信息和事件管理（SIEM）系统，包括安管平台、SOC平台等，日志解析是一个关键卡点，目标整合来自多个安全设备和应用程序的日志数据，并提供集中化的监控、分在已有的SecLLM上进行训练和微调，深入了解新型日志的结构、语义，使其能够更准标注和划分训练集、验证集和测试集等步骤后，送入SecLLM中进行有监督微调SFT。如图39所示，有监督微调后的SecLLM可以给出比较正确的解析列项。李NSFOCU51安全行业大模型SecLLM技术白皮书图39SecLLM日志解析SecLLM需要在应对前所未见的日志时稳定发挥解析能力，帮助保障网络安全，防范新型威胁的侵害。通过数据增强方法增加训练日志数据的多样性，从而增强模型的泛化能力。由于训练集中未包含这种攻击类型，SecLLM并未给出攻击的具体类型描述，但这并不影响基于规则将各种日志的解析内置SIEM系统，遇到新的日志时就需要补充新的解析规则。为了减少这部分工作量，一种方案是，可以把目前SIEM系统的解析日志和规则的收集收集起来进行SecLLM的微调，使得SecLLM可以自动化生成解析规则用于新的日志。实验发现这部分规则数据量并不大，微调效果并不是很多，后续有待在微调数据和微调方案上进一步理应可以直接跳过现有解析规则，直接把解析完毕的日志结果转化为JSON格式对接SIEM系统，使其能够准确地提取有用的信息，并将其转化为可供安全分析和威胁检测的形式，也即将SecLLM加强日志解析的能力直接输入到SIEM系统，由SIEM系统提供日志检索和进图41日志自动解析为JSON格式同时生成JSON直接入库，减少SIEM系统规则化过程和对安全分析专家的依赖。类SIEM平台系统面临着告警无效无关、误报率居高不下、缺乏研判上下文、告警处置为了能够将SecLLM应用于安全事件分析研判，协助安全专家快速、准确、全面地识别和评估威胁攻击事件，解决安全领域中的安全告警和日志数据处理难题、多维度数据关联复杂和复杂威胁识别难题等，SecLLM实践中需要注意以下事项：●训练样本的多样化：在准备训练样本时，应当尽可能覆盖各种类型的安全事件。在仿真环境中采集黑样本是必要但远远不够的。而从真实环境中采集数据时应注意，安全事件数据分布会随网络环境、业务种类、防护策略等因素差异很大，应李NSFOCU51安全行业大模型SecLLM技术白皮书却是唯一实际有效的方法。人工标注中一般需要进行抽样，需要首先设计并验证抽样方法的有效性。需要特别注意的是，标注数据集应当平衡正负样本数量，尤其需要尽可能完善各类正常业务活动产生的日志及其标注，而不能只关注攻击事●特征工程：由于安全事件数据本身并非自然语言，如果直接输入以自然语言语料训练的基础模型，将无法有效利用预训练模型中的知识。需要设计并持续优化一通过扩展事件的多样化后，SecLLM可以对不同编码和混淆的告警信息进行事件的准确研判（如图42和图43提高了研判的精准性。同时，如图44SecLLM对训练集中不包含的正常业务的识别也是正确的，说明SecLLM泛化能力也得到了有效提升。图42SecLLM对包含Base64编码块的事件分析研判图43SecLLM对常规RCE事件的分析研判图44SecLLM对训练集中不包含的正常业务的识别通过RLHF，SecLLM从告警信息中提取较为深层次的抽象信息，如攻击者所使用的攻击手法、期望达到的目的、可能造成的影响等，然后将其转化为通俗易懂的描述形式。全面结果图45所示，SecLLM可以对请求体内容和行为分析，并给出危害程度和影响分析，最后给图45SecLLM对事件研判分析的全面结果目前关于SecLLM的实验表明：SecLLM在应对重度混淆措施和高级攻击手法的事件研判方面取得了一定的效果，能够有效区分出正常业务和不同重要/紧急程度的攻击事件。SecLLM的应用可以为安全事件分析研判赋能，降低对预置安全知识的依赖，并促进有价值的安全知识的产生和积累。这有助于安全运营团队更准确地做出决策、实施响应措施，以及积累宝贵的经验。特别是对于初级安全工程师，SecLLM可以起到有益的辅导作用。4.4.3案例10：智能安全运营Copilot面对安全运营工作压力大、人员不足的困境，亟需智能化安全运营工具提升运营效率。李NSFOCU51安全行业大模型SecLLM技术白皮书智能运营Copilot功能实现了人机协同，进一步增强安全防御的智能化和及时性。这些功能共同构建起智能安全运营的基础，提升了威胁检测、响应和决策的能力，助力安全团队更有SecLLM能够调用相关工具执行运营人员的决策和规划。通过将决策转化为实际行动，SecLLM可以更好地应对不同情况下的挑战。同时，SecLLM还能够获取工具执行后的反馈基于SecLLM的安全工具学习与协同智能运营框架如图46所示。其中，SecLLM作为决策中枢，接收交互界面采集的用户自然语言输入，进而完成用户意图理解以及任务管理调度的核心决策逻辑，进而调用告警数据查询、分析统计报告、告警智能分诊、告警上下文溯源图46基于SecLLM的安全工具学习与协同框架在上述协同框架下，交互式查询需要分析的告警日志数据，识别“#告警查询”任务并李NSFOCU51安全行业大模型SecLLM技术白皮书为了加速分诊过程，给出对事件告警进行全量自动化智能分诊的命令，SecLLM会识别最终，结合详细的分诊结果，专家可对指定的IP等数据进行攻击日志的时序分析与关联随着大模型能力的不断增强和适用范围的延伸，大模型中存在的微小安全隐患会造成巨大损害，各界对大模型潜在的安全风险、可能引起的道德伦理问题十分重视，当前全球各国自监督训练特定领域数据集下游模型3推理4预测结果大模型内外面临多重安全风险。对内来讲，大模型参数量剧增带来的涌现能力也引发了新的偏见和不确定风险；多模态学习增加了对齐风险；大模型内部存在可解释性不足风险；而基础模型缺陷在下游模型上的继承效应也需要有对应的缓解策略。对外而言，大模型则面临着来自恶意攻击者的对抗攻击、后门攻击、成员推断攻击、模型窃取等影响模型性能、侵自监督训练特定领域数据集下游模型3推理4预测结果自监督训练大规模数据集预训练模型1122预训练微调●基础模型的安全性会影响到下游模型的安全性。基础模型的脆弱性会被下游模型继承，基础模型鲁棒也会使下游模型更可靠；基础模忆”，则下游模型也面临相同的风险。由于微调所李NSFOCU51安全行业大模型SecLLM技术白皮书本章首先从多个维度构建大模型安全框架，接着对大模型中潜在的安全风险及对应的防5.1大模型安全框架大模型安全框架从大模型安全风险来源、大模型可信属性、大模型安全性质三个维度综5.1.1大模型安全风险来源：●参与人：参与到大模型生命周期中的人员是安全风险来源之一。大模型强大的语言理解和生成能力离不开大数据喂养，模型提供商因用户数据作为模型调优的语料，致使隐私数据面类反馈强化学习阶段提供奖励/惩罚信号的人员也会因其文化背景、认知差异在大模数据成为大模型不可忽视的风险之一。而通过模删除难以验证等问题对数据本身也是一种安全隐包括数据漂移、多模态对齐、提示注入、投毒攻●框架平台：大模型开发和部署依赖的框架和平台也面临着安全风险。常见的开源深度学习框架（如Tenserflow、Pytorch、Caffe）以及相关第三方SDK被曝出存在多个安全漏洞，漏洞类型包括但不限于拒绝服务攻在数据存储、模型开发、模型运行维护等阶段5.1.2大模型安全性质：●完整性：保障模型一致性和模型预测结果不遭到破坏，确保入模数据未遭受篡改。具体包括避免入模数据中的恶意异常数据、自然5.1.3大模型可信属性：●鲁棒性：模型承受可能导致其故障或提供不准确结果的干扰或外部因素的能力，要求模型在各类环境扰动下保持输出的准确性，例如●隐私性：保护数据和模型信息的能力，确保未得到授权的用户无法访问或推断入模数李NSFOCU51安全行业大模型SecLLM技术白皮书受教育程度的群体，没有明显的政治立场或引导致歧视性风险。标签偏见、训练数据分布不等难以避免的不公平因素，可能导致性别歧视●可靠性：也即正确性，描述模型在现实世界环境中一致工作、正确地完成目标任务的●可解释性：可解释性是人类理解模型如何做出复杂决策、模型背后运作原理的关键属性，是实现人机对齐的重要前提。模型缺乏可解释5.2大模型安全风险●后门攻击后门攻击（BackdoorAttack）是一类隐蔽性很强的威胁，攻击者首先通过投毒等方式在目标模型中植入后门；在推理阶段，当攻击者在干净样本上添加一个触发器后会被目标模型分类错误，而未添加触发器的干净样本依然被目标模型正常分类。后门攻击最常见的实施方式是数据投毒，但投毒对象不局限于训练数据，也可以对模型参数、模型架构、代码库进行基础模型在海量多源异构的数据上进行训练时，采用的是自监