版权说明:本文档由用户提供并上传,收益归属内容提供方,若内容存在侵权,请进行举报或认领
文档简介
人工智能浪潮席卷全球,正以前所未有的速度、广度和深度改变生产生活方式。世界主要国家纷纷将推进人工智能技术创新与应用作为国家战略的重要方向。党中央高度重视人工智能发展,习近平总书记指出,人工智能是新一轮科技革命和产业变革的重要驱动力量。(一)人工智能发展态势习近平总书记指出:“人工智能是引领新一轮科技革命和产业变革的重要驱动力,正深刻改变着人们的生产、生活、学习方式,推动人类社会迎来人机协同、跨界融合、共创分享的智能时代。”习近平总书记指出:“中国高度重视人工智能发展,积极推动互联网、大数据、人工智能和实体经济深度融合,培育壮大智能产业,加快发展新质生产力,为高质量发展提供新动能。”自20世纪50年代以来,人工智能经历了从理论到实践的漫长发展过程,目前已经被广泛应用到图像识别、自然语言处理等领域,重塑传统行业模式。以ChatGPT为代表的生成式人工智能技术对传统搜索引擎、知识整理、数据挖掘等底层技术带来变革,推进了各行业的数字化智能化发展进程。(一)人工智能发展态势(二)人工智能网络安全研究方向攻击链从“人工编排”转向“算法驱动”。生成式人工智能等技术滥用也催生漏洞自动挖掘、恶意软件及钓鱼邮件自动生成等新型风险,提高攻击效率,降低攻击门槛,对网络安全防护提出新的挑战。提升攻击能力
02防御体系向多智能体协同演进。人工智能具有强大的数据处理能力、实时威胁检测与自动化响应等功能,能够迅速识别潜在安全漏洞、恶意行为及异常模式,快速识别定位新型安全威胁,通过多智能体协同,可以实现更高效、更灵活、更智能的网络安全防御。赋能安全防御
01大模型本体安全防护成为研究重点。针对人工智能算法模型、系统平台的攻击手段也层出不穷,攻击者可通过数据投毒、后门攻击、对抗攻击、提示词攻击等手段,导致模型决策失准、隐私数据泄露等,对人工智能应用的安全可靠性带来新的挑战。模型本体安全03生成式人工智能正重塑网络攻防对抗范式,推动攻防两端向智能化自主化演进。随着生成对抗网络与多模态大模型技术的突破,攻防对抗已进入“AI对抗AI”的深度博弈阶段。(一)网络安全大模型发展现状大模型作为新质生产力,正在重塑网络安全安全体系,赋能网络安全运营能力有提升。微软、谷歌等国际科技巨头在安全领域加大了大模型的投入,相关研究已取得初步成效,国内安全厂商如安恒、奇安信、深信服和360也相继推出了安全大模型,积极探索和布局大模型在提升安全运营中的应用。目前大模型已经在安全运营、威胁检测、数据安全、邮件安全、自动化渗透
、漏洞挖掘、安全开发等场景中展开了实际应用。(一)网络安全大模型发展现状(二)电力行业网络安全大模型—发展等级(二)电力行业网络安全大模型—技术路径在国网公司发布电力“光明”大模型基础上,结合电力行业海量资产信息、漏洞数据、威胁情报等十类网络安全核心预料数据进行专项训练与微调,初步构建电力行业首个网络安全垂直大模型。通过强化学习机制,能够快速理解电力系统复杂业务场景下的安全风险,精准识别威胁特征。通用基础大模型光明电力大模型弥补电力行业空缺行业知识预训练行业语义增强微调专家反馈强化学习电力通用能力验证行业无标注数据数据配比高质量标注数据模型评测体系随机指令业务专家参与理解行业任务需求形成行业思维模式学习行业专业知识模型蒸馏压缩电力网络安全大模型学习网络安全特定知识强化学习网络安全特定知识业务指令构建专业场景分析业务专家参与随机指令部署环境评估网络安全专业能力验证网络安全
专家反
任务 馈强化知识精调 学习提升网络安全防护效率情报分析代码分析风险监测风险运营(二)电力行业网络安全大模型—情报分析智能体打造电力安全情报分析智能体应用,通过情报打标分析聚合智能体对上级动态、暗网情报、安全厂商情报等多源情报进行情报打标和聚合分析,结合国网公司网络安全态势感知平台告警日志和威胁情报,通过总结分析智能体实现攻击行为的智能研判,减轻一线分析人员工作负担。(二)电力行业网络安全大模型—漏洞治理智能体探索电力系统漏洞综合治理智能体应用,通过威胁情报分析智能体获取漏洞情报,通过空间测绘智能体获取资产信息,通过对漏洞情报和资产数据的关联匹配自动化发现潜在的漏洞隐患,利用漏洞验证智能体进行漏洞验证形成报告,进行闭环整改。(二)电力行业网络安全大模型—应用成效电力行业网络安全大模型已在情报分析、风险监测、安全运营板块取得实效。在重大活动保电任务中,依托多种智能体,实现大模型在实际网络安全业务场景的深度应用。亚冬会“汇智”网安大模型智能助手架构 情报、数据、风险智能化分析结果展示大屏漏洞隐患验证智能体互联网&暗网情报研判智能体边界智能响应分析智能体资产暴露面分析智能体汇智网络安全大模型Qwen网络安全小模型工具调用电力网络安全知识工具调用知识库检索能源行业网络安全领域知识库黑客工具集(一)人工智能安全风险愈加受到重视习近平总书记在2025年中共中央政治局第二十次集体学习时指出,人工智能带来前所未有发展机遇,也带来前所未遇风险挑战。要把握人工智能发展趋势和规律,加紧制定完善相关法律法规、政策制度、应用规范、伦理准则,构建技术监测、风险预警、应急响应体系,确保人工智能安全、可靠、可控。我国高度重视大模型安全风险中法关于人工智能和全球治理的联合声明中明确指出,中法两国充分致力于促进安全、可靠和可信的人工智能系统,坚持“智能向善”的宗旨,通过全面和包容性的对话,挖掘人工智能的潜力,降低其风险。2023年8月15日,我国《生成式人工智能服务管理暂行办法》正式施行,是世界首部生成式人工智能管理规定,针对生成式AI带来的社会问题,限制违法内容生成、防止模型歧视、鼓励提高生成内容的准确性和可靠性。中国信息通信研究院依托中国人工智能产业发展联盟(AIIA)安全治理委员会,联合360等17家单位发起大模型安全基准测试,以提高内容安全、数据安全和科技伦理等安全能力为目标,帮助大模型技术提供方提升安全风险防范能力。2024年,全国网络安全标准化技术委员会发布了《人工智能安全治理框架》,以有效防范化解人工智能安全风险为出发点和落脚点,提出了包容审慎、确保安全,风险导向、敏捷治理,技管结合、协同应对,开放合作、共治共享等人工智能安全治理的原则。2025年,工信部发布《工业和信息化领域人工智能安全治理标准体系建设指南(2025)(征求意见稿)》,进一步加强人工智能安全领域标准化工作系统谋划,加快构建保障人工智能产业高质量发展和实现高水平安全的标准体系。《GB/T
42888-2023信息安全技术
机器学习算法安全评估规范》《GB/T
45225—2025人工智能
深度学习算法评估》等国家标准相继发布,进一步规范人工智能安全要求。此外,中国信通院制《网络安全大模型能力要求及评估方法》,用于规范网络安全大模型的设计、开发与应用。(二)人工智能安全风险分析2024年全国网络安全标准化技术委员会发布的《人工智能安全治理框架》,人工智能风险主要分为内生安全风险和应用安全风险两类。内生安全主要包括模型算法安全、数据安全和系统安全三类,应用安全风险主要包括网络域、现实域、认知域、伦理域等风险
。(三)电力行业大模型安全风险传统人工智能和网络安全防护手段难以适应大模型训练语料复杂、海量参数、决策不透明等特点,导致模型存在自身防护脆弱、输出内容违规、滥用盗用、生态链漏洞等风险,这带来诸多挑战。(四)电力行业大模型本体安全防护聚焦电力大模型安全评估与本体防护,团队建立电力行业大模型安全评估体系,研发大模型本体安全检测平台、专用安全防护网关,构建大模型安全的攻、测、防、治能力,形成内外协同的全方位安全防御体系。(四)电力行业大模型本体安全防护-大模型本体安全检测平台研发行业首个大模型本体安全检测平台,重点关注大模型安全中的内容安全、本体安全和生态链安全,结合电力行业专属内容构建测试语料,形成覆盖模型训练、部署、应用全生命周期的闭环安全防护。大模型本体安全检测平台(四)电力行业大模型本体安全防护-样本恶意攻击及敏感内容识别组件研发样本恶意攻击及敏感内容识别组件,基于大模型典型攻击恶意样本检测技术、电力敏感数据语料库构建技术、敏感数据识别技术,实现对模型输入输出有害内容的识别过滤,提升大模型本体安全的输入输出防护能力。混合专家选择门控模块
上下文语义关联分析模型敏感样例
索引引擎 实体名称识别模型敏感内容语料库异常词识别困惑度计算单词级投毒样本检测可疑度分析文本语句重建语句级投毒样本检测特征提取数据增强越狱样本检测预处理模块输出内容分片数据片分词词语特征化敏感信息识别模块识别结果矫正模块生成内容调整模块过滤后的样本调整后的生成内容恶意样本检测模块敏感内容识别模块敏感性推理目标类别识别++大模型
输出内容大模型输入样本(四)电力行业大模型本体安全防护-“外置式”安全防护网关内容安全防护模块输出模型输出避免生成错误、敏感、违规内容内容安全机制多层级敏感词过滤对抗性样本检测安全护栏避免生成无关或误导性信息话题控制知识边界约束动态话题引导提升结果准确性、逻辑性、专业性输出质量评估多维度质量指标专家审核与反馈闭环经过权重对齐的电力大模型模型外围对齐器协同辅助对齐研发“外置式”安全防护网关,基于推理阶段权重调整对齐技术、输出阶段的外围语义对齐技术,确保电力大模型在各种复杂场景下输出内容合规。(四)电力行业大模型本体安全防护-生态链安全测评工具研发生态链安全测评工具,面向大模型训练、推理相关软件生态链,构建漏洞知识图谱,开展自动
温馨提示
- 1. 本站所有资源如无特殊说明,都需要本地电脑安装OFFICE2007和PDF阅读器。图纸软件为CAD,CAXA,PROE,UG,SolidWorks等.压缩文件请下载最新的WinRAR软件解压。
- 2. 本站的文档不包含任何第三方提供的附件图纸等,如果需要附件,请联系上传者。文件的所有权益归上传用户所有。
- 3. 本站RAR压缩包中若带图纸,网页内容里面会有图纸预览,若没有图纸预览就没有图纸。
- 4. 未经权益所有人同意不得将文件中的内容挪作商业或盈利用途。
- 5. 人人文库网仅提供信息存储空间,仅对用户上传内容的表现方式做保护处理,对用户上传分享的文档内容本身不做任何修改或编辑,并不能对任何下载内容负责。
- 6. 下载文件中如有侵权或不适当内容,请与我们联系,我们立即纠正。
- 7. 本站不保证下载资源的准确性、安全性和完整性, 同时也不承担用户因使用这些下载资源对自己和他人造成任何形式的伤害或损失。
评论
0/150
提交评论