《安全行业大模型SecLLM技术白皮书 2023》

绿盟科技集团股份有限公司(以下简称绿盟科技)，成立于2000为避免合作伙伴及客户数据泄露,所有数据在进行分析前都已经型核心框架型关键技术赋能应用589333951险与防护策略62646875参考文献77在ChatGPT呈现全球现象级热度时，通用大语言模型(LargeLanguageModel,LLM)技术用需求。因此，绿盟科技基于“人工智能+安全”多年积累的安全专业经验和高质量数据，稳扎标是智能化解决攻防实战场景中所面临的复杂安全问题，提供更专业、高效和定制化的威胁应对绿盟科技同步推出安全行业大模型技术白皮书《大模型赋能网安新范式，人工智能安全可信重要性和价值。本技术白皮书从SecLLM的研究新趋势、新范式、新技术、新实践和新安全几方能够在复杂的攻防实战中逐步学习并提升威胁检测和防御能力，为网络安全提供更智能和更高效的解决方案。SecLLM引领了一系列技术突破，解决了传统安全方法在应对复●高质量数据助力成功落地：安全行业真正有价值的安全数据和知识无法从公开渠道获取。绿盟科技所特有的安全经验、知识和数据的积累，有助于训练大模型更好地理解和学习各种安全特征和行为模式，从而提高威胁检测和防御的准确性和效率，更好地适应●实战化攻防推动学习成长：SecLLM实践出真知，从实验室走入实战化的安全攻防场景中，参与常态化的安全运营，辅助安全监测中复杂问题的解决。通过不断助力解决实际难题，促进SecLLM自我学习和安全能力的持续提升，增强其在实际应用中的可靠性和●人机协作增强安全动能：SecLLM转化为安全人员的“伙伴”，快速融入已有的智能安全运营、威胁情报分析、零日攻击和新型威胁应对等日常安全处置工作流中，提升安全信息处理和分析、智能安全建议和反馈等能力，与安全人员紧密协作，共同应对不断升●云端服务结合本地部署：SecLLM提供云端服务和本地私有部署两种方式。云端MaaS服务享受节约资源、简化管理和覆盖全球等优势；本地化部署提供了更高的定制性、控条件，保护用户隐私和数据安全，防止大模型被滥用，预防新型攻击和未知威胁，从而绿盟科技将持续投入研发和创新，不断优化SecLLM的功能、性能和自身安全性，提供更具创新型和实用性的安全解决方案。SecLLM作为每一个用户定制化的安全协作“伙伴”，致力于成为各行业持久可信的安全护卫。在该过程中，绿盟科技愿意贡献自身能力，与各行业合作伙伴共同应对日益复杂的安全挑战，携手促进安全行业大模型生态建设。通过积极交流合作，共享安人工智能(ArtificialIntelligence，AI)：是计算机科学的一个分支领域，旨在研究和开发能够模拟、模仿和执行人类智能活动的技术和系统，使其具备像人类一样的智能。人工智能按发展通用人工智能(ArtificialGeneralIntelligence，AGI)：是指一种具有类似于人类智能的智能系统。它具有感知、认知、思考、学习和创造等能力，能够在各种不同领域和任务上表现出类大语言模型(LargeLanguageModel，LLM)：是指具有巨大参数量和复杂结构的自然语言处理模型。这类模型利用深度学习技术，能够在大规模的文本数据上进行预训练，并通过微调等学习特定行业的特征和规律，以实现在该行业中高准确性和可靠性的分析和预测，能够更好地适预训练语言模型(Pre-trainedLanguageModel，PLM)：是指在大规模语料库上以无监督方式进行预训练的语言模型。在大量的未标记数据上进行预训练，大模型得以学习数据的内在表微调(Fine-Tuning，FT)：是指基于已经训练好的预训练语言模型，在有标注数据上进行有推理(ModelInference，MI)：是指使用训练好的模型对新的数据进行预测或分析的过程。模型即服务(ModelasaService，MaaS)：是指基于云计算提供一种将人工智能模型转换为可重复使用服务的方式，实现模型的快速部署、弹性伸缩和按需使用，允许用户不需要硬件设人工智能安全(ArtificialIntelligenceSecurity)：是指针对人工智能算法和系统在设计、实ChatGPT技术6安全行业大模型SecLLM技术白皮书ChatGPT爆火背后的推动力是通用大语言模型(LargeLanguageModel,LLM)。LLM是指具有巨大参数量和复杂结构的自然语言处理模型。这类模型是深度学习在自然语言处理领域的典型技术范式，能够在大规模的文本数据上进行预训练，并通过微调等技术完成各种自然语言处理任务。“读书破万卷，下笔如有神”在一定意义上反映了LLM的运作模式。加微调的方法，通过在大规模数据上进行预训练，模型学习到了广泛的语言知识，然后在特BERT异的表现，引发了全球各大公司、研究机构对通用大模型的普及应用。同时，ChatGPT作为现象级的LLM，为学术界和工业界呈现了一种通用大模型技术实现的技术路径。ChatGPT的发展(图1)经过了多个版本的技术迭代演化，在保持Transformer核心特征抽取结构框架的同时，模型的整体参数规模、训练数据规模呈现爆炸式增长。现阶段，典型LLM的参数规模已达到千亿级别。这些模型不仅在表现上超越了之前的模型，同时也具备更高效的训练和推理能力，可以处理更加复杂的大语言模型发展历程[1]随着模型参数规模和训练数据规模的爆炸式增长，通用大语言模型LLM的涌现能力7 (EmergentAbility)凸显。相对于经典规模尺度较小的机器学习或深度学习模型，LLM在上gM●知识语义增强：通过在大规模通用文本数据上进行训练，LLM得以掌握广泛的语言LLM能够更全面地理解词汇、句法和语用，●逻辑分析增强：LLM可以理解和应用逻辑原则来推理和分析输入文本中的信息。相LLM的决策能力和响应性能。相较于小模型，LLM可以更好地根据输入的上下文和目标指令，综合利用所学习到有助于提升安全系统的感知、分析和决策能力。通过从特殊的安全数据中提取关键信息、识LMLLM全行业向9新范式：安全行业大模型核心框架本章首先介绍安全模型的发展困境和研究新范式，接下来阐述安全行业大模型的必要性安全模型发展面临困境安全模型发展面临多重困境，其中包括威胁演化速度快、数据量和复杂性增加、数据偏差和不均衡，隐私和合规性问题、自适应能力缺乏，以及对抗攻击挑战等。克服这些困境对传统安全模型如机器学习小模型已在网络安全中得到了部分应用，但是其发展却不尽人学习模型的十大陷阱，这些陷阱普遍存在于恶意样本识别、网络入侵检测、漏洞分析挖掘、网站攻击监测、社交网络滥用、二进制代码分析和代码归因等安全场景中，导致关键结果出现严重偏差、一系列的性能劣化和不可解释性难题，进而影响安全模型在安全行业的应用推ChatGPT背后的LLM大模型技术在●安全专业数据和知识缺乏：LLM模型使用广泛的通用语料库进行训练，同时安全行业的数据通常是特殊且有限的。这导致LLM缺乏安全相关数据和专业知识，缺乏对●零日攻击和新型威胁挑战：LLM的训练数据只能基于过去的安全事件和攻击行为。够本地部署和学习，具备实时性能。然而，由于LLM的计算复杂性，推理过程需要●数据隐私和安全性问题：LLM在训练过程中使用的大量数据可能包含敏感信息，同业Web攻击分析 Web恶意样本监测 加密流量分类Web攻击分析下游任务……Web攻击分析 Web恶意样本监测 加密流量分类Web攻击分析下游任务……●可解释和可信限制：LLM往往被视为黑盒模型，其决策过程和判断依据难以解释。在安全行业中，可解释和可信度对于分析和决策的重要性不容忽视。因此，在应用LLM时，需要考虑如何增强安全行业对LLM模型的信任度，并使分析和决策过程更为了有效应对上述LLM大模型技术在安全行业应用中的挑战，有必要探索新的方法和技术来提高模型对特定安全问题的理解能力和专业解释能力。因此，构建一个专用于安全行业的大模型(SecurityLargeLanguageModel，缩写为SecLLM)是非常有必要的。期望攻击技术、漏洞利用等方面的更深入理解，从而提供更准确的威胁分析和安全决策的智能化安全模型的研究新范式LLM境，，针对输入网络流量、系统日志不同数据开展数据标注、特征构建和算法选择等工作；接着分别训练小模型；训练完毕后，不同小模型各自只能预测单一的入侵行为或恶意攻击。如图2不同于传统安全模型，通用的大语言模型LLM采用“预训练-微调”的研究新范式，该M然后通过有监督学习或强化学习进行特定任务的精细调整和优化，提升了模型的泛化和学习0/1恶意样本监测 恶意样本加密代理等可分类编号加密流量分类 加密流量SQL注入等…可检测编号…… adad安全大模型微调预微调安全模型研究范式的变化新范式：安全行业大模型核心框架在这个新范式下开展SecLLM的研究，如图2右侧所示，安全大模型是利用大规模无标注安全数据通过无监督学习预训练安全模型的基座，然后在基座模型上利用下游不同安全任●无监督预训练：通过大规模的无监督预训练来学习安全领域的专业知识和编码。这一Transformer型具语义的理解能力。通过在海量安全语料上的预训练●下游任务微调：无监督预训练完成后进入微调阶段。微调是在特定下游安全任务上使了手工构建特征的需要，提高传统安全模型的准确性和适应性。当有新型威胁出现时，只需具适应性和智能性，具有应对不同新型攻击和未知威胁的处理能力，以确保在实际安全行业安全行业大模型的升级技术“快”、“准”、“安”四方面开展技术升级(如图3所示)，为安全行业提供智能化的威SecLLM升级安全行业大模型SecLLM技术白皮书传统软件图形用户接口GUI采用固定的布局和设计，其功能和外观很难进行灵活修改。随着数字产品功能的不断增加，GUI界面在某些情况下变得越来越复杂，需要用户理解和记为了解决GUI的上述问题，通过将安全语料输入大模型，可以获得一个能够“懂安全”没有学习安全技能，也可以直接提问“如何保护我的网络免受DDoS攻击？”；“懂安全”是指SecLLM能够理解用户问题意图并给出相应的安全专业答复，包括相关的安全知识、建MLUIT析的需求，需要可靠实时数据源的接入和安全领域专家的指导，以确保获取最新和准确的信SecLLM可以通过不同外接数据源或安全知识库来提供可靠的实时数据和专业领域知例如查询各种威胁情报平台获取最新的安全事件和漏洞公告，并与用户分享相关的警报、建议或解决方案。另一方面，SecLLM无需等待训练，通过连接到安全领域的专业知识库获取更深入的高质量知识，为用户提供专业领域知识质询服务。上述两种方式可以弥补LLM本身训练数据时间限制的不足，并使其能够获取最新的安全信息和专业的安全知识。SecLLM注重提高安全数据和服务的高效性，通过实时查询情报源或安全知识库实现实时LLM有自然语言理解、推理和逻辑能力。但对于安全特定或复杂任务，需要专门设计和训练不同模型，提升其安全知识，也需要定制额外功能完成复杂安全任务。如何使大模型更SecLLM通过提供插件和工具调用能力，使开发者和用户能够将自定义的专业功能集成新范式：安全行业大模型核心框架到模型中。例如威胁检测算法、漏洞扫描工具等专业功能的集成可以使SecLLM功能更加多插件和安全小模型等。可见，SecLLM与不同专业安全工具间的协作，可以辅助用户分析和LLM作为一项人工智能算法应用，不仅具备传统算法的复杂、不可解释等固有属性，还风险。同时，黑客也可以利用LLM技术开发智能恶意软件程SecLLM需要构建算法治理框架、模型操作风险防控及模型全生命周期质量管控体系。一方面考虑模型内生安全，保证模型计算任务的执行过程中的全流程安全，包括对模型和数据的存储、传输、训练、推理等环节进行安全保护；另一方面考虑模型衍生安全，通过采用加密、权限管理、访问控制等措施，确保模型使用的用户的数据得到充分保护，并且模型本身不会受到恶意攻击或滥用。SecLLM提倡保证模型内生和衍生安全，以有效应对大模型自并同时确保数据隐私和模型安全。这使得SecLLM将成为安全行业的重要工具，帮助用户应对各种挑战，并为安全领域提供高效、可靠的支持。SecLLM能够更好地应对复杂的安全攻安全行业大模型的分层框架通过上述四大技术升级，SecLLM致力于通过安全专业知识和工具增强大模型LLM，具备针对安全领域的智能问答、问题解决和决策支持的专业能力，支持采取智能化的行动来化解不断发展的威胁，不仅确保各企业等保合规的安全需求，而且保障用户可以安全可信地使安全行业大模型SecLLM技术白皮书图4安全行业大模型五层框架2.4.1基础层SecLLM的基础层为大模型训练和推理提供了必要的基础设施和高效的管理，涵盖数据●数据集成和理解：多源异构安全数据接入技术允许从不同类型的数据源中汇集信息，●高效计算：CPU/GPU资源调度技术允许优化计算资源的使用，确保模型训练和推理●模型效率优化：大模型的XOps管理技术可以降低模型的计算复杂度，减少计算资源。●应用场景适应性：模型部署推理加速技术允许在云环境或私有网络中高效地部署模新范式：安全行业大模型核心框架2.4.2模型层SecLLM的模型层引入多个关键技术进行大模型的增量预训练和微调，使其能够更深入2.4.3能力层针对安全复杂问题的解决，SecLLM需要能够更好地理解、分析和应对安全问题，所需●安全意图理解：安全意图理解技术可以帮助模型更好地理解用户和攻击者的意图。这●告警分析研判：告警分析研判技术使模型能够对告警事件进行深入分析和判断。通过安全行业大模型SecLLM技术白皮书2.4.4服务层这些服务和保障措施为客户提供了多样化的部署和应用选择，并确保模型在安全、隐私和伦aSSecLLMAPI的服务。这种服务模式使客户无需自行部署和维护模型，而是通过云服务提供商●客户定制本地部署：SecLLM支持在客户自己的本地环境中部署，可以实现更高的数2.4.5应用层SecLLM应用层的目标是解决安全场景中复杂的实际问题，涉及威胁检测、安全决策、SecLLM可以作为安全运营助手，协助安全运营人员监测网络活动，●安全Copilot：SecLLM可以作为一个协作式工具置入已有系统中，担任团队的“安安全行业大模型SecLLM技术白皮书为了解决攻防实战场景中所面临的复杂安全问题，SecLLM助力提供更为全面、高效、智能的安全防护能力。通过定制化模型训练和优化，提高模型的专业性、准确性和适应性。结合安全知识库和协作其他安全工具，提高模型对特定安全问题的意图理解和专业分析。绍。通用大模型LLM在安全领域应用难题首先是缺乏安全领域的专业知识。安全知识包括安全术语、复杂的攻防技战术、应急措施解决方案、漏洞及利用代码、攻击特征等。例如安全事件分析任务中需要具备理解和分析网络攻击流量、降噪海量告警日志等能力，这些能力需要大量漏洞知识库、攻击技术识别、威胁情报数据等不同类型的安全知识储备。然而，现有LLM大多基于通用领域而非安全领域的语料库进行预训练，所以无法提供准确的安全领域知图5双线数据飞轮构建流程安全语料库的构建是安全行业大模型SecLLM构建中不可或缺的一环。安全数据双飞轮自运转机制(如图5)通过双线持续收集和处理安全数据构建高质量安全语料，循环迭代优一方面，双数据飞轮为两条线的数据飞轮，包括安全知识图谱的离线增量数据和安全运新技术：安全行业大模型关键技术营服务的在线反馈数据。由于部分安全数据的敏感性，合法获取足够规模的安全数据是一项具有挑战性的任务。为了获取足够规模和多样性的安全语料，从离线和在线两种方式收集高取实践，提供高质量安全专业知识。在线数据来自绿盟在线安全服务的反馈数据，这些数据另一方面，通过自运转机制逐步构建高质量、多样化的安全语料库，通过增量训练整合和效果。由此可见，双数据飞轮的运转通过持续供给高质量安全语料，加强模型自我学习和更新，适应变化的需求和新的应用场景，提供更准确和专业的响应，从而提高安全行业大模随着LLM参数量倍数级的增长，低资源服务器因资源不足已无法支撑模型训练过程。一。这导致LLM的训练越来越需要强大的计算能力来支撑其存储和经济资源来支持训练过程。要提升SecLLM构建效能，需要合理分配资源，充分利用计算资源和数据资源。分布式并行训练能够充分利用计算资源来训练参数量更大的模型，降构可以提升SecLLM的训练效率。采用更有效的优化算法和合适的模型结构，可以在有限资分配到单台机器的多张GPU卡上或者多台机器的多张GPU卡上进行并行训练的点间的通信方式(包括ParameterServer和AllReduce等架构的通信方式)。20安全行业大模型SecLLM技术白皮书图6分布式训练方案在SecLLM分布式训练过程中，从不同的硬件资源及训练需求角度出发，有多种分布式训练方案可供选择，如图6所示，当训练集数据量较大时，可以通过数据并行方式提高训练效率，缩短训练时间；当SecLLM模型参数量较大时，可以通过张量并行、流水线并行以及随着模型变得越来越大，传统方法的全参数微调方法会产生数量庞大的梯度，尤其对于Transformer模型中的注意力层，其产生的梯度数量不仅与模型参数数量有关，还与输入长度呈平方相关。伴随庞大的梯度数量而来的，便是优化器状态产生的巨大RAM消耗和A21新技术：安全行业大模型关键技术为了缓解资源开销问题，就有了各种各样的参数高效微调(Parameter-efficientFine-例如，LoRA(低秩自适应)方法在原本的模型权重上叠加了一组“旁路”的结构，每个结构包括两个低秩矩阵的乘法，直观看来就像一个没有偏置的、只有一个隐层的稀疏自编码应的提示文本(一般为前缀)，提示文本可以人工设计，也可添加新词(扩充tokenizer词表和嵌入层维度)；2、冻结预训练模型中的全部参数，但保留提示文本相关的嵌入层权重；3、运行模型并进行训练，专门优化这些提示文本对应token的嵌入向量。除此之外，还有参数高效微调方法能够极大降低训练资源开销，以LoRA为例，在2*A100配置的GPU器前后的ChatGLM2模型SFT训练过程RAM开销，如表1MGBLLM在安全领域应用的前提是模型部署和实时推理。模型实时推理使用训练好的模型对新数据进行预测分析等任务。随着业务规模的不断扩大，算法模型复杂度不断增加，输入模型的数据量不断增大，如何完成大模型的推理变得越来越重要。由于推理任务通常对响应时源密集型的任务中进行快速的模型推理，是LLM应用到除了分布式技术加速推理外，还可通过减少模型的存储和计算需求来提高大模型推理速度和效率，例如剪枝、量化技术等。此外，在硬件方面也可以通过图形处理器(Graphics22安全行业大模型SecLLM技术白皮书SIC图8模型推理加速方案图量化技术通过把浮点数的模型参数转换为低位精度的定点数来减少模型的存储空间和计算开销，包括权重量化和激活量化。网络结构设计的方法是设计轻量级的网络，与传统的网络模型对比，结构轻便，计算简单，易于移植到移动设备。剪枝技术删除模型中冗余的连接和参数以减小模型的规模，不仅可以加速模型推理，还可以提高泛化能力，常见的剪枝方式包括权重裁剪、通道裁剪、核裁剪等。知识蒸馏是获取高效小规模网络的方法，在2015年迁移到轻量级的学生模型中，利用教师模型的知识训练学生模型，提高参数量小、学习能力FPGA是大模型推理加速的另一种硬件加速器，根据需求重新配置硬件电路适应不同的计算将模型映射到FPGA上进行高效的推理计算；专用集成电路(Application-SpecificIntegratedCircuit，ASIC)是定制化的芯片设计可以用于执行特定的计算任务，通过专用电路设计和优面临着诸多挑战。其中，实时性对于安全分析模型的应用至关重要，在威胁检测方面及时地发现威胁，更利于企业保护其自身安全，减少或者避免损失。因此，只有在真实的场景中实安全数据稀缺和不平衡导致没有足够多的样本来进行大模型的微调，这会对模型的泛化23专用领域或场景的文本数据预训练模型B对同一问题的不同回答的排序专用领域或场景的文本数据预训练模型B对同一问题的不同回答的排序能力带来挑战，需要特殊的处理方法来解决。此外，攻防实战环境的动态和复杂性使大模型需要返回精准答案变得困难。而安全行业不同于一般通用领域，错误的威胁研判或处置可能导致严重的后果。最后，安全领域中的威胁和攻击方式不断发展和演变，为了保持模型的有效性和可靠性，需要实现模型的持续学习和演化机制，以及灵活的更新和迭代过程。因此，an预预训练模型A奖励模型 奖励模型 模型改进的改进的SFT模型图9指令微调流程在安全运营场景中，将训练好的奖励模型RM作为SecLLM训练中的指导信号，引导SecLLM在分析安全告警日志时输出更优的结果。安全运营人员在日常安全运营过程中根据对于正确表述真实安全威胁或误报的情况，可以给予正向奖励，对于错误表述或表述模糊的情况可以给予负向奖励。奖励模型RM将根据安全运营人员的奖励反馈，学习SecLLM输出SecLLM自己的策略，以获得更高的奖励。这里训练过程使用强化学习算法ProximalPolicyOptimization(PPO)。通过RLHF训练，安全运营人员可以有效地引导SecLLM在安全告警日志场景下的行为，优化安全分析和威胁检测效果，24安全行业大模型SecLLM技术白皮书网络空间安全防御和分析任务是网络安全的关键环节，包括了网络威胁情报收集、威胁情报分析、网络攻击监测、网络安全事件响应等方面。在这个过程中，需要对各种网络攻击多源数据、多分析方法等综合的自动化能力，需要将复杂的安全任务分解为较小、可管理的来完成每个子任务。大语言模型LLM作为连接多种安全工具或插图10大模型协同的智能运营技术框架典型的工具协同和学习范式主要包括几个核心逻辑单元，即工具集(ToolSet)、环境 (Environment)、控制器(Controller)以及感知器(Perceiver)。其中，工具集是工具学习的目标和基础，是一组在领域内的专用能力集合，例如在安全运营场景下可以是各类分析工具、扫描工具、响应工具等等；环境是工具执行的基础平台及可交互的所有实体集合，例如安全运营中心及相关平台系统；控制器，是工具学习框架的“大脑”，通常使用基础模型控制器应当理解用户的意图以及意图与可用工具之间的关系，然后制定计划选择合适的工具来完成任务，在查询复杂且针对高级任务的情况下，控制器可能需要将任务分解为多个子任务，这需要基础模型具有强大的规划和推理能力；感知器作为交互界面和收集接口，接收用大安全领域目前已积累大量的专用模型/工具来解决告警降噪、告警研判、溯源调查等25数据加载数据分块向量化索引本地文档反馈收集新技术：安全行业大模型关键技术数据加载数据分块向量化索引本地文档反馈收集M的安全专家模型/工具，将SecLLM作为意图理解和工具协同是解决复杂安全任务的一个可基于私有数据定制化本地大模型方案将安全行业大模型直接部署于用户生产环境中，接入用户私有数据资源进行智能问答。私有数据是指用户私有的数据、文档、数据库或知识图谱等，这部分数据可能涉及用户的私有信息和商业机密等，不方便传入互联网中。定制化本地大模型是通过安全大模型整合用户私有数据资源库，结合向量索引和内容相似度算法匹配召回相关答案分块内容，从而减少大模型出现事实问题错误，实现对用户提问进行私密精准问答。同时，安全行业大模型部署在用户本地生产环境中，而非云端大模型服务商处，可以查询语句转换外部web数查询语句转换数据库知识图谱意图理解相似度算法匹配查询语句转换意图理解相似度算法匹配查询语句转换A答案获得分块答案获得分块答案优化与迭代优化与迭代图11安全行业模型私域私密交互流程安全行业大模型本地部署接入用户私有数据资源进行智能问答，私域私密交互的详细流安全行业大模型SecLLM技术白皮书26●Prompt模板化对各类不同任务、不同场景、不同语种的Prompt进行管理和调优。将分块答案注入Prompt模板中，并使用提示功能发送到安全行业大模型完成答案的指标包括①问题与答案的相似度；②答案文本与大模型推理使用的相关文本的相似28安全行业大模型SecLLM技术白皮书在关键技术突破的同时，绿盟科技开展了SecLLM在安全研究、情报分析、攻击检测与防御以及安全运营等多个应用场景的实践。验证其是否可以提高效能、准确性和响应能力，是否可以为安全行业提供更强大的工具和支持。如下以研究驱动、情报指引、攻防合一、运SecLLM通过持续积累和更新安全领域的数据和知识，实现安全专业经验和知识沉淀，下面简述SecLLM两个应用案例：基于SecLLM开展代码漏洞挖掘，通过学习大量代码和漏洞案例，积累了丰富的漏洞代码分析经验和专业知识；同时基于SecLLM提供智能问答服务，无论是有关网络攻击的常见手段，还是关于数据隐私保护的最佳实践，SecLLM都能需求场景：漏洞挖掘和代码审计是两种密切相关的安全实践，在软件开发和安全领域中都有重要作。代码审计重在对代码的静态分析，以查找可能存在的漏洞、弱点和安全风险，从而提高代码●解决方案：SecLLM可以高效地处理大量的代码数据，利用自身强大的学习能力和推理能力，快速发现代码中的潜在漏洞，根据上下文和目标，自动地提供合适的代码建议和修改方案，提高●数据收集和预处理：负责从不同的数据源收集和清洗大量的代码数据，这些数据●大模型训练和微调：SecLLM在代码数据上增量训练，并根据代码审计和漏洞挖29新实践：安全行业大模型赋能应用●人机交互代码分析：负责提供一个友好和易用LUI问答界面，让用户可以方便地上传图12代码漏洞挖掘应用方案●提升效果：对于在语料中的已知威胁，SecLLM已经可以较好地进行检测。如下图13，请求参数id30安全行业大模型SecLLM技术白皮书用户输入代码或代码片段时，SecLLM进行代码审计分析，返回分析结果和建议，如漏型、风险等级、修复方案等。如下图14，给定代码中同时存在三个问题：文件路径注入SecLLM全部问题，并给图14代码审计分析需求场景：智能问答是大语言模型的基本应用场景。智能问答系统能够理解用户的提问，在答案中进行检索或者生成答案以满足用户的需要。在安全领域，智能问答系统的价值体现在其可以●解决方案：基于SecLLM为安全专业人员和普通用户提供高质量、高效率、智能化的安全问题解答31新实践：安全行业大模型赋能应用SecLLM如图15所示，首先需要引入安全语料库针对安全领域进行专门训练，让模型具备深度的安全专业知识。相比通用语言模型，它更了解安全术语、威胁模式、攻击技术和防同时，安全专业问答中涉及的语言理解、信息查询、语言组织等诸多重要环节，都需要语言知识、常识知识以及领域知识的指导。安全知识图谱为绿盟科技多年积累的安全知借助知识图谱中节点的属性及关系，通过相应技术发现问句中的实体，进而更好地理解用安全行业领域中的专业问答系统支持对用户所输入的安全问题进行意图理解，根据问题的上下文，分析输入问题的语义结构信息以及词语间的依存关系，准确把握问题的意图，提SecLLM完成意图理解后，通过图匹配从安全知识图谱检索相关的实体作为应答，同时图15安全专业问答方案●提升效果：攻击技术、防御方法、安全最佳实践等，能够回答涉及复杂安全问题的专业性知识。同时，SecLLM可以深入理解安全产品信息和解答各种安全产品相关的问题。用户通常希望得到实32安全行业大模型SecLLM技术白皮书图16安全产品知识问题当涉及安全语境理解时，SecLLM可以从上下文中理解特定安全问题的含义，提供更准确的回答和建议。SecLLM从用户提供的信息中识别潜在的安全威胁或攻击行为。例如，识别恶意软件行为、网络入侵迹象或社交工程攻击尝试等。SecLLM能够根据问题的上下文，理解问题的意图，并提供更准确和有针对性的回答。例如当用户咨询“发现漏洞CNNVD-201703-501怎么办？”，在回答关于安全漏洞的问题时，它会考虑到漏洞的严重SecLLM在安全语境理解方面具有强大的能力，可以为安全专业人员和企业提供更准确、全图17安全语境理解的答复新实践：安全行业大模型赋能应用33从中识别出威胁指示、攻击者行为模式、受影响的实体等有价值情报，帮助安全团队更好地应对各种安全挑战。这种信息整合和情报挖掘的能力可以提升情报工作的效率和准确性，为需求场景：互联网上无时不刻涌现着海量的信息，包括新闻报道、社交媒体内容、论坛帖子、博客整合多个不同来源的安全情报信息，对提供更准确、全面的威胁情报，帮助组织更好地应对●解决方案：基于SecLLM的多源情报融合解决方案是将不同来源、不同形式的情报信息进行整合和分析的方法。SecLLM安全语义理解能力有助于信息总结、情报归类、实体标定等。信息总结功能主要涉及到跨平台信息整合、垃圾信息过滤、要点提炼等。SecLLM通过对信息进行语义分析和关联性识别，将来自不同渠道的多种形式的信息汇聚为有机的整体，消除信息碎片化问题，从而提高信息整理的效率和全面性。接下来，SecLLM情报之间的关联点、相似括但不限于设备、人员、组织、漏洞、事件等)，分析其性质、热度、上下文，以及实体之间的关联性，综合考量后给出初步判断(包括其风险度、紧急度等内容)，为情报分析提供基于SecLLM的多源情报融合在多来源多模态信息上有着出色的智能归纳和综合分析能力，有效地提高了情报信息的利用效率和价值，为决策者提供更全面、准确的情报信息34黑客1疑似某黑客组织成员•C地区停电事件可能与新漏洞有关•A国家近期需加大防护力度•某黑客组织多次提到A国家•黑客1疑似某黑客组织成员•C地区停电事件可能与新漏洞有关•A国家近期需加大防护力度•某黑客组织多次提到A国家•A国公民信息泄露•历史上其他国家出现过类似情况，在半年后遭受大规模网络攻击•……史经验M情报智能整理情报1•情报1•关键字•摘要情报2•关键字•摘要情报n•关键字•摘要…情报3•关键字•摘要…………相关情报推荐多源情报分析情报汇总成文ecLLM●提升效果：下面展示了一个应用实例，在新闻网站、社交媒体、个人博客、暗网论坛等渠道上收集到了大量的信息后，结合历史经验和多源数据，挖掘一些有价值的情报判断，可以帮助决策者快速决策。使用传统的情报收集与分析方法，可能需要耗费大量的人力物力成本，以及依《《B国家遭受网络攻击》《50万台设备遭到勒索软件劫持》D拟举办某大型会议》《千万不要买某公司新产品》黑客1在社交账号上发布多条消息《某地节日氛围浓厚》《有图有真相，某明星地下恋情曝光》《电力行业常用软件发现新漏洞》某黑客组织网站活跃量售卖A国公民数据信息……35大模型集成XXA的惊天漏洞是怎么回事大模型集成XXA的惊天漏洞是怎么回事编号为CVE-XXXX-XXX惊传统方式CVE-XXXX-XXXXXSecLLM能够实现自然语言查询。用户无需牢记大量查询规则和语法，只需要使用自然语言描述出其需求。下面是一个交互实例降低查询门槛，用户想要查询A公司最近几天的day他渠道搜索到具体的漏洞编号，才能进行查询，而在这个过程中往往会面对大量杂乱的网站和信息，降低了搜索效率；集成大语言模型后，只需要直接输入自然A公司0day漏洞A司官网A公司产品介绍XX震惊！A公司软件曝出惊天漏洞！程XX这几天A公司产品的0day漏洞M生成有价值的情需求场景：威胁特征分析和洞察等难题，还需要能够挖掘、揭示攻击者的策略和行为模式，预测可能的●解决方案：安全分析团队需要借助大模型技术提高对勒索威胁情报的分析能力，更好地保护网络和36安全行业大模型SecLLM技术白皮书大的安全语义理解和内容生成能力。SecLLM在勒索情报分析的主要应用可以分为：对收集的威胁情报进行文本主题分类、勒索相关情报的关键信息提取和提供勒索智能分析问答三个●威胁情报文本主题分类：通过勒索情报主题分类的方法，帮助快速定位和识别与勒索软件相关的情报，以帮助安全团队更好地了解勒索软件的种类和演变趋势，勒索情报地址和IOCs(IndicatorsofCompromise)等数据。这些信息可以帮助深入的答案。它可以理解用户的问题，并生成更具体、细致的回答，帮助用户深SecLLM分析流程●提升效果：SecLLM在勒索威胁情报分析中的应用为决策者和安全团队提供更全面的威胁情报深入洞察，可以帮助决策者制定相应的安全策略和措施，优化安全防御，提高整体安全水平。针对上述勒索威胁情报收集和整合、关键信息抽取以及复杂威胁特征智能分析三个场景，通过SecLLM模型对收集的威胁情报进行文本主题分类的过程。首先，将文本进行粗粒APT报和战略情报等多个话题。这样可以新实践：安全行业大模型赋能应用37将威胁情报按照其所属领域或类型进行初步归类。接下来，在勒索情报主题中，还可以进一步进行家族多分类。在这一步骤中，将勒索软件相关情报细分为多个家族，如图22所示按族，根据活跃时间排序并展示对应威胁报告数量，这样可以更精确地识别和归类不同类型的图22勒索软件家族概览勒索情报信息抽取是对分类后的勒索情报进行进一步处理的过程，利用SecLLM模型从通过勒索情报信息抽取的过程，安全分析团队可以更高效地从海量的勒索情报中提取出有价值的信息，帮助他们更好地了解勒索威胁的特征和演变趋势，从而为安全决策和威胁应对提38安全行业大模型SecLLM技术白皮书图23勒索软件家族关键信息析平台将SecLLM从勒索威胁报告中提取的关键信息进行梳理，并用思维导图的方式进行展示，使安全分析人员更直观更便捷地获取对勒索报告的深入了解，另外基于SecLLM安全大图24勒索报告智能分析问答39新实践：安全行业大模型赋能应用●可以利用SecLLM的生成能力，产生多样化的攻击载荷、攻击路径、攻击策略等，●利用SecLLM的理解能力，分析目标系统的脆弱点、风险点、防御措施等，提高攻●通过不断攻防演练，SecLLM从历史数据和实时反馈中不断优化和更新攻击和防御技。需求场景：软件供应链安全的需求涵盖了软件从源代码审查到交付和部署的整个过程，以确保软件●解决方案：SecLLM的软件供应链安全分析解决方案是将SecLLM应用到软件供应链知识图谱的方法。SecLLM通过预训练获得了丰富的先验知识和强大的语义理解能力，结合知识图谱和SecLLM，不仅能有效融合软件供应链领域中的多源信息，还能运用LLM的语义理解能力来深入分析实体的上下文信息，进而提升模型对于软件供应链中实体与关系的语义理解水平。结合SecLLM和供应链知识图谱可以实现多种智能应用，如自动生成风险报告、知识图谱智●模型层实现了知识图谱与SecLLM的互补增强。SecLLM一方面使用软件供应40安全行业大模型SecLLM技术白皮书链语料进行微调，使模型能理解和分析软件供应链子领域的知识，另一方面SecLLM使用其强大语义理解能力从语料中提取实体、关系数据，对图谱中的知识进行补全。知识图谱一方面将多源异构数据整合成便于关联分析的图数据，另一方面使用其高质量的领域知识数据对SecLLM进行训练，综合提升了模型的知●应用层结合知识图谱和SecLLM两大AI技术提供了三大应用，分别为风险报告生SecLLM供应链安全41新实践：安全行业大模型赋能应用●提升效果：SecLLM在软件供应链安全中的应用可以完成信息抽取、供应链健康评分、供应链敏感4.3.1.1信息抽取SecLLM具备的海量先验安全知识可以实现信息抽取任务。软件供应链领域涉及众多的SecLLM可以自动化将多源数据处理成结构化数据存入知识图谱中，从而对知识图谱中的缺图26网络安全实体信息抽取效果4.3.1.2供应链健康评分版本维度频率、安全风险等结构化数据，其二为开源软件的issue文本、版本描述、更新信42安全行业大模型SecLLM技术白皮书息等非结构化文本。SecLLM先对非结构化文本进行向量化操作，获取非结构化文本中的语义特征，然后融合语义特征和结构化字段构建健康评分模型，最后，SecLLM分别考虑了社区热度、安全风险、影响范围、版本维护等多维信息，为供应链软件的健康程度提供了综合图27报告生成中的健康评分4.3.1.3供应链敏感信息发现息是资产脆弱性分析的重要维度。SecLLM可以对开源供应链的git仓库、组件官图28供应链安全敏感信息发现43新实践：安全行业大模型赋能应用4.3.1.4智能问答SecLLM可以提高软件供应链知识图谱智能问答能力(如图29)，基于图谱的智能问答包括自然语言理解、图查询语言生成、答案生成三个步骤。首先将多模态的图片、文字等问器可理解的语义表示，该步骤可以使用SecLLM来进行问题编码；然后SecLLM将用户的提问转化为图上的查询语言实现图上的查询操作，如Cypher、Gremlin等查询语言，得到查询输出的节点或关系数据；最后SecLLM将图查询得到的节点和关系数据重构成自然。SecLLM答需求场景：外部攻击面管理(ExternalAttackSurfaceManagement,EASM)是企业安全评估中不可忽视的能力。企业安全EASM评估对企业的外部攻击面进行全面的管理和评估，包括发现、监测和缓解外部攻击可能的入口。EASM确保企业的应用程序在安全性、合规性、风险管理●解决方案：SecLLMEASM种创新尝试，希望更好地识别、评估和管安全行业大模型SecLLM技术白皮书44●持续监控和全面收集数据：能够帮助组织监控和处理多种数据，包括社交媒体、不同数据整合到SecLLM，快速识别和清理无效信息，收集和整理与组织相关的●SecLLM与威胁情报分析：将SecLLM与威胁情报数据相结合，对外部攻击面进行威胁分析。通过与威胁情报数据的对比，可以及时发现可能受到攻击的系统和SecLLM将合适的数据和技术工具起来，对各种风险进行排序，可以发现潜在的●提升效果：得详细的关系信息，评估组织的供应链和第三方有关的脆弱性及可见性，以支持评估组织的新实践：安全行业大模型赋能应用45图31招投标信息分析对目标企业进行细致的ICT资产暴露信息分析，不局限于IT资产，还包括在云、物联网和M46安全行业大模型SecLLM技术白皮书图32服务潜在漏洞高危漏洞推荐如图33所示，利用SecLLM对外部攻击面中的系统和服务进行安全漏洞分析，可以帮助提高漏洞扫描的效率和准确性，快速发现潜在的漏洞问题，并分析潜在攻击路径，对风险和漏47新实践：安全行业大模型赋能应用图33潜在攻击路径分析通过SecLLM生成智能化的外部攻击面评估报告，帮助发现和解决潜在的安全威胁，降组织的重要数据和业务不受损害。SecLLM将发现的安全问题和建议措施呈现给安全团队和决策者，帮助组织更好地了解自身的安全状况，及时采取措需求场景：攻防演练是模拟真实攻击和防御情景的训练活动。场景涵盖网络入侵、恶意代码、数据泄露等多种攻击，并验证团队的应急反应，以使组织能够迅速、高效地应对真实威胁。通过●解决方案：基于大模型的智能体通过自动对抗，形成长期自主进化的攻防对抗能力。这一能力源于模型在复杂攻防环境中的训练和学习，它能够识别并适应新的威胁，不断调整策略以有效应输入攻防演练需求，通过模拟各类攻击和防御情景，基于SecLLM的智能体不仅学习攻击方法，还能掌握多种防御策略，从而逐步形成多样化的应对能力。SecLLM智能体可以快速感知威胁，做出智能决策，并将决策转化为实际行动，从而提高安全防御和响应的效率和48安全行业大模型SecLLM技术白皮书●感知能力：通过SecLLM深度网络能够从环境中获取丰富的目标观测信息。这种感●决策能力：基于SecLLM强化学习根据当前环境的状态信息进行规划和决策。它可能够更好地应对日益复杂的安全威胁，同时也促使其在攻防领域持续进步。这种基于大模型的自主进化方法为安全领域的攻防能力提供了更高的灵活性和适应性，以更好地保护系统免SecLLM练●提升效果：在攻防演练中，SecLLM在提升组织的全面攻防对抗能力和安全策略优化中发挥着重要攻击模拟规划：SecLLM可以模拟各种复杂的攻击手法和威胁情景，帮助组织识别安全49新实践：安全行业大模型赋能应用图35攻击模拟目标规划并模拟攻击的紧急情况(如下图所示)，让安全团队在模拟的攻击中进行实时应对。组织可图36攻防策略分析安全行业大模型SecLLM技术白皮书新型威胁预测与检测：SecLLM可以学习不断变化的攻击方式和趋势，预测未来可能出现的新型威胁。通过持续的学习和分析，SecLLM能够提前发现新的攻击模式，帮助组织做攻防博弈过程中通过模拟真实攻击，可以帮助组织发现内部和外部的潜在威胁，包括已C行中的操作以及与代理相。图38攻防模拟攻击新实践：安全行业大模型赋能应用基于SecLLM的智能安全运营能够自动解析和解读复杂的日志数据，并提供智能研判告推荐最佳的响应方案，实现人机协同，进一步增强安全防御的智能化和及时性。同时，智能运营Copilot功能将SecLLM融入日常运营中，为安全团队提供实时的辅助决策，推荐最佳需求场景：传统的安全信息和事件管理(SIEM)系统，包括安管平台、SOC平台等，日志解析是一个关键卡点，目标整合来自多个安全设备和应用程序的日志数据，并提供集中化的监控、分●解决方案：在已有的SecLLM上进行训练和微调，深入了解新型日志的结构、语义，使其能够更准T●提升效果：安全行业大模型SecLLM技术白皮书SecLLM日志解析SecLLM需要在应对前所未见的日志时稳定发挥解析能力，帮助保障网络安全，防范新型威胁的侵害。通过数据增强方法增加训练日志数据的多样性，从而增强模型的泛化能力。由于训练集中未包含这种攻击类型，SecLLM并未给出攻击的具体类型描述，但这并不影响图40训练集中不包含的日志解析结果为了减少这部分工作量，一种方案是，可以把目前SIEM系统的解析日志和规则的收集收集SecLLMSecLLM自动化生成解析规则用于新的日志。实验发现这部分规则数据量并不大，微调效果并不是很多，后续有待在微调数据和微调方案上进一步新实践：安全行业大模型赋能应用理应可以直接跳过现有解析规则，直接把解析完毕的日志结果转化为JSON格式对接SIEM系统，使其能够准确地提取有用的信息，并将其转化为可供安全分析和威胁检测的形式，也即将SecLLM加强日志解析的能力直接输入到SIEM系统，由SIEM系统提供日志检索和进需求场景：类SIEM平台系统面临着告警无效无关、误报率居高不下、缺乏研判上下文、告警处置●解决方案：为了能够将SecLLM应用于安全事件分析研判，协助安全专家快速、准确、全面地识别和评估威胁攻击事件，解决安全领域中的安全告警和日志数据处理难题、多维度数据关联复●训练样本的多样化：在准备训练样本时，应当尽可能覆盖各种类型的安全事件。在仿真环境中采集黑样本是必要但远远不够的。而从真实环境中采集数据时应注意，安全事件数据分布会随网络环境、业务种类、防护策略等因素差异很大，应安全行业大模型SecLLM技术白皮书却是唯一实际有效的方法。人工标注中一般需要进行抽样，需要首先设计并验证抽样方法的有效性。需要特别注意的是，标注数据集应当平衡正负样本数量，尤其需要尽可能完善各类正常业务活动产生的日志及其标注，而不能只关注攻击事●特征工程：由于安全事件数据本身并非自然语言，如果直接输入以自然语言语料训练的基础模型，将无法有效利用预训练模型中的知识。需要设计并持续优化一●提升效果：通过扩展事件的多样化后，SecLLM可以对不同编码和混淆的告警信息进行事件的准确研判(如图42和图43)，提高了研判的精准性。同时，如图44SecLLM对训练集中不包含新实践：安全行业大模型赋能应用SecLLM不包含的正常业务的识别手法、期望达到的目的、可能造成的影响等，然后将其转化为通俗易懂的描述形式。全面结SecLLM判分析的全面结果目前关于SecLLM的实验表明：SecLLM在应对重度混淆措施和高级攻击手法的事件研判方面取得了一定的效果，能够有效区分出正常业务和不同重要/紧急程度的攻击事件。SecLLM的应用可以为安全事件分析研判赋能，降低对预置安全知识的依赖，并促进有价值的安全知识的产生和积累。这有助于安全运营团队更准确地做出决策、实施响应措施，以及需求场景：面对安全运营工作压力大、人员不足的困境，亟需智能化安全运营工具提升运营效率。安全行业大模型SecLLM技术白皮书智能运营Copilot功能实现了人机协同，进一步增强安全防御的智能化和及时性。这些功能共同构建起智能安全运营的基础，提升了威胁检测、响应和决策的能力，助力安全团队更有●解决方案：SecLLM能够调用相关工具执行运营人员的决策和规划。通过将决策转化为实际行动，SecLLM可以更好地应对不同情况下的挑战。同时，SecLLM还能够获取工具执行后的反馈策中枢，接收交互界面采集的用户自然语言输入，进而完成用户意图理解以及任务管理调度的核心决策逻辑，进而调用告警数据查询、分析统计报告、告警智能分诊、告警上下文溯源SecLLM同框架●提升效果：在上述协同框架下，交互式查询需要分析的告警日志数据，识别“#告警查询”任务并新实践：安全行业大模型赋能应用图47告警日志搜索任务示意图安全行业大模型SecLLM技术白皮书图48告警日志统计分析任务示意图为了加速分诊过程，给出对事件告警进行全量自动化智能分诊的命令，SecLLM会识别新实践：安全行业大模型赋能应用图49告警智能分诊任务示意图最终，结合详细的分诊结果，专家可对指定的IP等数据进行攻击日志的时序分析与关联图50告警关联溯源任务示意图新安全：大模型安全风险与防护策略随着大模型能力的不断增强和适用范围的延伸，大模型中存在的微小安全隐患会造成巨大损害，各界对大模型潜在的安全风险、可能引起的道德伦理问题十分重视，当前全球各国大模型内外面临多重安全风险。对内来讲，大模型参数量剧增带来的涌现能力也引发了新的偏见和不确定风险；多模态学习增加了对齐风险；大模型内部存在可解释性不足风险；而基础模型缺陷在下游模型上的继承效应也需要有对应的缓解策略。对外而言，大模型则面临着来自恶意攻击者的对抗攻击、后门攻击、成员推断攻击、模型窃取等影响模型性能、侵推理自监督训练推理自监督训练44下游模型预测结果预训练模型2下游模型预测结果预训练模型2大规模数据集13微调预训练微调图51大模型安全风险总览●基础模型的安全性会影响到下游模型的安全性。基础模型的脆弱性会被下游模型继风险。由于微调所需的敏感数据较传统端到端模型会安全行业大模型SecLLM技术白皮书本章首先从多个维度构建大模型安全框架，接着对大模型中潜在的安全风险及对应的防大模型安全框架从大模型安全风险来源、大模型可信属性、大模型安全性质三个维度综图52大模型安全框架●参与人：参与到大模型生命周期中的人员是安全风险来源之一。大模型强大的语言理类反馈强化学习阶段提供奖励/惩罚信号的人员也会因其文化背景、认知差异在大模新安全：大模型安全风险与防护策略一。而通过模型反演攻击恢复训练数据、训练数据是一种安全隐患。大模型入模数据面临的多种风险注入、投毒攻击、对抗样本、对抗重编程、数据删●框架平台：大模型开发和部署依赖的框架和平台也面临着安全风险。常见的开源深度学习框架(如Tenserflow、Pytorch、Caffe)以及相关第三方SDK被曝出存在多个护等阶段依托的操作系统、软硬件设备中存在的据、自然缺陷数据对大模型的训练过程和推理性据、模型自身信息。破坏隐私性的行为包括模型反演(基于大模型对训练数据的记忆能力恢复私密数据)、数据删除验证(大模型巨大的参数量极大地增加了机器遗忘的安全行业大模型SecLLM技术白皮书据分布不均衡、数据抽样偏差、数据预处理偏见●可解释性：可解释性是人类理解模型如何做出复杂决策、模型背后运作原理的关键属、●后门攻击后门攻击(BackdoorAttack)是一类隐蔽性很强的威胁，攻击者首先通过投毒等方式在目标模型中植入后门；在推理阶段，当攻击者在干净样本上添加一个触发器后会被目标模型分类错误，而未添加触发器的干净样本依然被目标模型正常分类。后门攻击最常见的实施方式是数据投毒，但投毒对象不局限于训练数据，也可以对模型参数、模型架构、代码库进行基础模型在海量多源异构的数据上进行训练时，采用的是自监督学习(Self-Supervised可能会引入的偏见，但训练数据量之大、数据类型之复杂，也给异常数据的检测和清洗带来了巨大挑战，后门攻击在这种场景下会更加容易实施。研究证明，在自监督学习中成功实施后门攻击所需的投毒率并不高，如Zhang等人[6]在对比学习过程中实施了基于数据投毒的新安全：大模型安全风险与防护策略总的来说，后门攻击是大模型不可忽视的安全威胁之一，在预训练和微调阶段大模型都存在后门植入的风险。大模型训练所使用的互联网公开数据中可能存在投毒样本，公开的预训练模型也可能是后门模型。而当基础模型被植入后门并被用于下游任务时，模型的脆弱性会被下游模型继承，对于一些对安全性要求较高的下游任务(如自动驾驶、人脸识别等)会●投毒攻击投毒攻击(PoisoningAttack)通过操控训练数据，降低模型在推理阶段的准确率。投毒●任意投毒攻击(IndiscriminatePoisoningAttack)。如图53(b)所示，攻击者●目标投毒攻击(TargetedPoisoningAttack)。如图53(c)所示，攻击者在一部●后门攻击(BackdoorAttack)。如图53(d)所示，在训练集中添加带有特定触53投毒攻击类型[7]大模型预训练时所使用的海量多源异构数据包含了多种模态信息，而针对图像、文本、音频等模态的扰动方式不一，增大了投毒攻击的风险。除了最常见的针对有监督学习的投毒学习的投毒方案的困扰，如He等人[8]提出的对比投毒(ContrastivePoisoning)被证明针对对比学习的投毒攻击会影响到模型在下游任务上安全行业大模型SecLLM技术白皮书●对抗样本对抗样本(AdversarialExamples)是在输入数据上添加人眼难以察觉的微小噪声，致使亿级至万亿级别的参数、在无标签数据上训练一定程度上缓解了大模型遭受对抗样本的大模型对于对抗样本不再那样敏感，面对对抗攻击表现出了不错的鲁棒性[9]，但当前大模型的鲁棒性和泛化能力尚无法达到完全不受对抗扰动影响的程度。在实际应用中，对抗样本对大模型依然是不可忽视的威胁，不同领域、不同类型的大模型都将面临对抗样本的困量名)，就会导致预训练代码模型的代码理解出现偏差。为攻击对象，通过在Prompt中添加微小扰动构建对抗提示误导模型输出。例如，在黑盒场景下，基于TokenSpaceProjection生成的对抗提示足以改变模型在情感分析任务上的预测●提示注入提示注入(PromptInjection)是2022年9月出现的一种安全漏洞形式。攻击者精心构tPrompts除了直接在大模型的输入中执行提示注入攻击外，也可以通过间接的方式进行提示注入攻击。以微软NewBingChat为代表的、结合使用检索和API调用功能的应用程序集成大模型(ApplicationIntegratedLLMs)，其引入的新组件带来了间接提示注入的风险，如检索到mpt●成员推断攻击成员推断攻击(MembershipInferenceAttack，MIA)是针对训练集隐私的一种攻击方式，是机器学习隐私风险领域的一种主流攻击。成员推断攻击基于模型输出判断某些特定数据是否在目标模型的训练集里，从而推断数据是否具备某些属性。当前Transformer、BERT已被披露难以抵挡成员推断攻击，该类攻击对大模型是不可忽视的威胁，例如，Misra[13]证明了在查询受限的黑盒场景下，即便攻击者不知晓训练数据的真实值或统计信息，Transformer模型也难以抵抗攻击者发起的成员推断攻击，揭示了Transformer存在训新安全：大模型安全风险与防护策略练数据隐私泄露风险●模型反演模型反演攻击(ModelInversionAttack)旨在通过目标模型的输出，反推和恢复部分或●模型窃取模型窃取(ModelExtractionAttacks)是一类侵犯模型版权的攻击。模型窃取的对象是可以免于目标模型的收费或以此作为服务或获取收益，甚至可以基于窃取到的模型对目标模安全行业大模型SecLLM技术白皮书●其他●深度学习框架、依赖库中的安全漏洞：人工智能项目中常使用的Tensorflow、攻击、缓冲区溢出、代码执行、系统损害攻击、内存越界等漏洞类型。框架和依赖库中的漏洞会在调用组件、模型加载、算法运行等过程被触发并破坏大模型的但多模态表达的不一致性可能会导致模型在预测时受到非重要特征和噪声的干扰，例如在大模型执行图像分类任务时，可能会受到图像中的文字信息干扰而忽视图像重千亿级别。当用户要求大模型提供商在训练集中删除个人隐私数据时，大模型的海量参数会导致机器遗忘(MachineUnlearning)的难度很高，且验证大模型在●数据漂移：随着时间推移，数据分布较大模型训练时会发生变化，部署中的大模型需要保证在变化数据上输出的准确性，对数据变化、模型性能进行监控和检测●模型滥用：通过对抗重编程[17]使大模型被用于执行其目标任务之外的任务，攻●合法合规：确保大模型的数据采集、数据处理、训练过程、输出内容符合所在国家和地区的法律条款和相关规定，如欧洲GDPR、加州CCPA以及我国的《新一略大模型的可信属性主要包括鲁棒性、隐私性、公平性、可靠性和可解释性。本节从可信新安全：大模型安全风险与防护策略图55大模型安全评估和防护●鲁棒性大模型鲁棒性的评估旨在测试大模型在异常/有毒数据上的预测结果是否正确。主流策略是直接使用公开数据集(如AdvGLUE、RealToxicityPrompts、BotAdversarialDialogueDataset等)对大模型鲁棒性进行评估；或是通过直接执行攻击得到的攻击成功率反映大模检测数据中的异常值。检测方式有多种选择，基于统计分析、特征分析、熵值等●数据清洗：通过数据清洗剔除训练集中的异常数据，如用启发式检测方法过滤样。●数据增强：数据增强对于对抗攻击、后门攻击、投毒攻击来讲都是相当有效的防70安全行业大模型SecLLM技术白皮书御机制，通过对图片、文本等数据实施各种变换，在丰富数据集多样性的同时，●知识蒸馏(KnowledgeDistillation)[19]：在干净无标签数据上训练学生模型，由于在蒸馏过程中不会遇到触发器，因此学生模型不会在触发器和特定类别之间建●鲁棒训练：通过改进训练过程来降低恶意数据的影响，如AdversarialFine-tuning●模型清洗：模型检测技术被用于判断模型是否被植入了后门，对于毒化模型，可●可靠性可靠性是描述模型在现实世界环境中一致工作、正确地完成目标任务的属性，确保模型和性能差异；Shen等人[20]提出的可靠性评估框架覆盖多领域测试样本和多种问答类型，能够较为全面地评估大模型输出的可靠性。大模型在分布外数据上的泛化能力也属于可靠性响。提升数据集质量的方式有异常数据检测和清的数据集(如YFCC100M[21]、LAION-5B[22]等)或为用对应的数据集强化工具对现71新安全：大模型安全风险与防护策略可靠性时具备更强的目标性。相关研究如TongshanWu团队提出的AIChains方案●隐私性隐私性是模型保护隐私数据的能力，确保未得到授权的用户无法接触到入模数据和大模型的隐私信息。具体地讲，机密性的保障需防止未经授权的用户尝试访问或推断入模数据以评估大模型隐私性的主流思路是从攻击视角反映大模型的隐私泄露情况，如成员推断攻击可以评估大模型训练数据的隐私泄露