2025年能源网络安全大赛暨能源网络安全和信息化大会：智御未来-“大模型安全护栏”破局AI安全治理难题

大模型安全挑战与风险大模型应用安全解决方案大模型应用安全实践2025年1月24日，DeepSeek-R1在国外大模型排名Arena上基准测试升至全类别大模型第三，在风格控制类模型分类中与OpenAIo1并列第一。2025年1月26日，DeepSeek应用登顶苹果中国和美国应用商店免费下载排行榜，在美区下载榜超越ChatGPT。2025年1月27日，《纽约时报》评价发文高度评价DeepSeek持续霸榜，引发英伟达股价重挫，市值蒸2025年2月，苹果、微软、Meta、阿斯麦等科技nn用户交互访问下的数据泄露风险倍增企业级AI系统高频交互的办公场景中：员工主动或误操作上传敏感数据。此类行为多因员工追求效率而绕过传统安全策略，导致敏感数据通过API调用、文件解析等途径流入第三方模型训练池；多模态交互数据渗透风险：除文本外，员工可能通过图像上传、语音输入等渠道泄露数据。例如，工程师调试AI模型时上传含地理标记的工厂图纸，或客服人员将通话录音输入语音分析工具；提示词Prompt泄露：提示词中的敏感信息（如客户数据、代码片段）会无意识泄露。企业员工的大模型合法合规使用企业员工的大模型合法合规使用合规性风险治理：提示词中的行业违禁术语与价值观偏差会触碰行业领域（如金融、医疗等）监管红线；违反公司使用管理规定：非授权行为引发的公司管理风险，包括违规使用、非工作场景使用等操作溯源问责：确保所有提示词操作具备可验证、不可篡改的追溯路径办公场景下影子办公场景下影子AI安全管理真空当员工在办公场景中私自接入外部大模型时，核心业务数据（如客户隐私、研发代码）通过API交互直接暴露于第三方模型训练链路，使用脱离了企业的安全管控范围，形成监管飞地，导致合规失控提示词注入攻击者通过精心设计的输入操控提示词注入攻击者通过精心设计的输入操控AI系统输出，使其绕过LLM预设规则或产生非预期结果。模型拒绝服务攻击者使用特定输入，导致LLM在输出时资源消耗过大甚至无响应。供应链漏洞大模型系统暴露面的软件漏洞为攻击者提供传统的SQL注入、命令注入等攻击突破口。过度代理LLM在调用工具时，未对用户的输入进行严格限制，导致调用工具执行敏感信息披露LLM在处理数据时，可能无意中泄露包含个人隐私、商业秘密或其他敏感信息的内容。不当输出处理LLM生成的输出被传递到其他组件和系统之前，没有进行充分的验证、系统提示泄露攻击者使用特定输入，强制LLM泄露其systempromt。导致特定领域智能体的关键技术泄露。大模型安全防御大模型安全防御大模型异常风险评估大模型异常风险评估持续信任评估对所有的用户和设备等实体进行周期性的信任评估持续信任评估通过实时监控和数据挖掘等方法，迅速获取和处理大量信息，并为运维人员提供决策通过实时监控和数据挖掘等方法，迅速获取和处理大量信息，并为运维人员提供决策为管理平台的异常分析和关联分析功能提供数据支为管理平台的异常分析和关联分析功能提供数据支撑大模型安全防御的3个方面：提示注入攻击检测：利用循环神经网络的提示注入检测技术，准确拦截大模型所可能遭遇到的提示注入攻击，确保大模型数据安全样本对抗防御：•特征移除：大模型防火墙对于检测到的对抗特征，会通过局部编辑的方式将其移除或减弱•内容丢弃：根据对抗特征的强度或数量设定阈值，当超过该阈值时，丢弃整个内容不进一步处理样本对抗防御：大模型生成内容后，立即启动检查机制。利用经过监督微调的毒性词检测技术，对输出内容进行逐词、逐句的检查单次通信产生较大流量的用户两次访问之间的间隔过短，如使用爬虫对系统进行了网络和端口扫描多次对同一资源多次访问的数据，如多次尝试登录系统、频繁发起网络请求用户在不同URI之间的过多连续访问次数，如使用爬虫程序进行URI自动访问、暴力破解攻击等行为试进行访问，如身份验证无效或过期的用户尝试访问、用户访问一个没有被授权的资源基于终端安全状态、用户身应用安全、功能授权、应用分级授权及网络安全的评估结果，通过实时、多维度的安全评估，将权限控制细化到功能、数据、操作级别，功能授权功能授权终端安全终端安全身份合法性应用安全应用安全网络安全行为安全基于大模型生成告警处置预案，领域内的专家进行审批或调整，确保预案的专业性和可信性终端环境分析感知终端潜伏威胁、攻击行为、用户操作行为大模型预案基于异常事件和安全事件生成专家审批从专业性和可行性优化大模型处置建议知识库专家审批预案反馈回模型知识库，进一步优化模型生成预案的质量预案执行根据自动或手动处置建议来定位问题根源并采取适当的措施进行修复物联网、飞控协议345234521当前大模型面临的最大挑战是提示注入攻击，大模型防火墙检测输入内容，对于用户输入内容提供多维度内容审核能力、并针对恶意诱导，大模型生成违规内容做毒性有效控制新型风险有效控制新型风险随着大模型在关键领域如自动驾驶、金融风险评估、医疗诊断、能源电力等的应用越来越广泛，它们的安全性变得至关重要。对抗样本能够误导这些模型做出错误的决策，导致严重的后果。双重数据安全保障双重数据安全保障大模型安全防火墙可以为生成内容提供包含违法违规内容审核、违反价值观、存在偏见歧视、内容侵权等风险内容过滤服务，过滤输出内容中的敏感数据和违反价值观等违规内容。确保输出内容合规确保输出内容合规LLAMA、Baichuan、ChatGLM、光明、九天等常见大模型的适配工作基于身份的访问控制：零信任理念，所有访问经过严格身份验证和授权应用权限精细化管理：根据身份、角色、设备状态、环境等多因素进行动态授多类型适配极大降低网络攻击风多类型适配险某单位数据高度敏感，包含生产经