人工智能安全与治理现状（中文）

©2025CloudSecurityAlliance-保留所有权利您可以下载、存储、在您的计算机上显示、查看、打印和链接到云安全联盟，但须遵守以下规定a）草案仅可用于您的个人、信息、非商业用途;（b）草案不得以任何方式修改或更改;（c）草案不得重新分发;以及（d）商标、版权或其他声明不得删除。您可以引用美国版权法合理使用条款所允许的草案部分，前提是您将这些部分归因于云安全联盟。©版权所有2025，云安全联盟。Allrightsreserved.主要作者希拉里·巴伦贡献者斯蒂芬·劳顿杨永锵斯蒂芬·伦佩关于赞助商让Google成为您的安全团队的一员，提供无与伦比的威胁可见性、统一的安全平台和Mandiant前线专家（由人工智能提供支持）。组织可以通过Google使用的相同网络安全专家、功能和安全的企业平台来降低数字风险并确保其AI转型，以确保比世界上任何其他人都更多的人和组织的在线安全，并由我们行业领先的威胁情报提供支持。人工智能增强了所有这些组件，使安全团队能够检测到更多威胁，最大限度地减少工作量，并将生产力提高到新的水平。©版权所有2025，云安全联盟。Allrightsreserved.致谢 3主要作者 3贡献者 3平面设计3关于赞助商 3 4执行摘要.5人工智能安全快照5关键见解 61.治理是成熟度倍增器 62.安全成为早期的AI攻击者63.LLM多模式策略 中的整合64.执行AI热情，关于安全 能力的问题65.AI所有权分散-安全性正在加强 66.数据风险占据中心位置-但模型风险安全仍落后于6下一步是什么 7主要调查结果 8关键发现18关键发现2 主要结论.3 关键结论4 关键结论5 主要结论6 结论 人口 20调查方法 研究 该调查揭示了一个明显的分歧：拥有既定人工智能治理的组织正在充满信心地加速采用，而其他组织正在迅速采取行动，但没有管理新兴风险所需的结构。随着人工智能从试点扩展到生产，治理“拥有者”和“没有者”之间的差距正在成为准备就绪的最强预测因素。今年的CSA-GoogleCloud调查显示，安全领导者正在进入一个决定性的时刻-即使他们开始使用AI来加强安全本身，也要努力保护AI系统市场正在以惊人的速度发展随着组织从实验转向运营部署，强大的安全性和成熟的治理是人工智能采用的关键区别。-医生AntonChuvakin，GoogleCloud首席信息安全官办公室安全顾问在调查的每个行业和地区，组织现在都将AI嵌入到核心运营和安全工作流程中。然而，确保这种采用所需的治理结构和人才管道仍在迎头赶上。按数字-AI安全快照©版权所有2025，云安全联盟。Allrightsreserved.关键见解拥有正式AI治理的组织要先进得多：●采用人工智能的可能性增加2倍●培训员工使用AI安全工具的可能性增加3倍●对保护AI系统的信心提高两倍这加强了治理作为负责任创新的基础与过去的技术周期相比，安全团队是人工智能的最早采用者之一。超过90%的受访者正在测试或计划将AI用于威胁检测、红色团队和访问控制，这凸显了从一开始就将AI嵌入安全的紧迫性和机会组织正在追求多模型策略-平均使用2.6个模型-但部署越来越集中在“四大”中：Gemini、Claude、GPT和LLaMA。虽然这标志着运营日益成熟，但它也引入了新的弹性、互操作性和供应商锁定性问题4.执行AI热情，关于安全能力的问题高管对人工智能的热情仍然很高，但大多数受访者（72%）对其组织的安全能力要么没有信心，要么持中立态度。虽然70%的受访者表示领导层对人工智能安全影响的认识是中等到完全的，但这一差距凸显了更深入的治理、教育和跨职能协作的必要性。人工智能部署的责任分布在各个职能部门，但安全团队现在在53%的组织中领导人工智能保安全不再是事后的想法-它正在成为负责任的人工智能实施的利益相关者和先驱。置，但模型风险安全仍然组织正在优先考虑众所周知的风险：52%的组织将敏感数据暴露列为他们最关心的问题，其次是法规遵从性（50%）。这些传统问题远远超过了新的AI特定威胁，如模型漂移，即时注入和模型盗窃-这些仍然得到承认，但很少被列为顶级威胁。值得注意的是，今天的数据泄露带来的全球平均成本为4.88美元这使得将人工智能安全仅仅视为现有隐私和合规框架的延伸的风险太高了。然而，一个更深层次的问题隐藏在表面之下：只有21%的受访者指出模型级别的风险-包括数据中毒，即时注入或其他形式的模型操纵-作为关键问题。这在一定程度上反映了成熟度的差距，但它也突出了一个实际的现实：以模型为中心的风险是新的，许多组织仍在开发使用最近才上市的新兴工具所需的技能和熟悉度下一步是什么？本报告呼吁各组织：●使用CSA的AICM或Google的SAIF等框架加速人工智能治理，然后在适当的情况下提供独立评估或咨询服务。●通过培训、技能提升和团队间协作，投资人工智能+网络安全技能建设●将安全设计原则嵌入AI开发工作流●衡量重要事项-从模型完整性到策略遵守总而言之，调查揭示了人工智能发展更快，安全性也在迎头赶上的情况。差异化的制造者是治理成熟度：今天实施其政策的组织将成为明天采用值得信赖的人工智能的领导者。人工智能的采用仍处于早期阶段，但正在迅速加速，今年的结果表明，组织正在从实验转向有意义的运营使用。突出的不仅仅是部署的速度，还有随之而来的意识的提高：领导者参与，治理工作正在出现，团队正在努力平衡创新与问责制。在调查的两个方面-保护人工智能系统和使用人工智能来加强安全性-组织正在取得早期进展，即使他们继续应对风险理解，数据保护，人员配备和政策方面的基本挑战。强大的AI治理与信心、风险意识和负责任的创虽然组织继续建立其人工智能安全能力，但正式治理政策的存在是成熟度和准备程度最明确的预测因素之一。只有26%的组织报告说他们已经制定了全面的人工智能安全治理政策但另有64%的组织表示他们已经制定了一些指导方针或正在制定这些指导方针。这些数字表明，虽然全面治理仍然是例外情况，但大多数组织都认识到其重要性，并正在采取措施使其正规化。数据揭示了一个一致的模式：成熟的治理与人工智能采用和安全性多个维度的更好结果密切相关。治理成熟度还与领导意识和组织信心有关。在董事会完全理解人工智能安全影响的组织中，55%的组织拥有全面的治理政策。那些已经建立治理的人也报告说对保护人工智能系统有更高的信心-48%的人表示自己有信心，相比之下，23%的人有部分指导方针，16%的人仍在发展治理。这些结果表明，正式的治理有助于协调领导可见性、风险理解和运营保证。65%拥有全面治理政策的组织已经在培训员工使用人工智能工具，而只有27%的部分政策和14%的制定政策正在做同样的事情。培训是一个关键的推动力，这些数字表明，治理可以帮助组织从意识到行动-确保员工知道如何安全有效地使用AI工具。最后，强大的治理可以帮助组织避免“影子AI”（未经批准或未经管理的AI使用，引入合规性和数据隐私风险）的兴起。随着组织将其治理形式化，人工智能的采用变得受到鼓励和结构化，而不是受到限制，从而减少了员工使用未经批准的工具的这种方法与早期的云和SaaS采用周期形成了鲜明对比，在早期的云和SaaS采用周期中，缺乏治理往往导致不受控制的使用和安全盲点。这些发现强调了治理在推进人工智能安全成熟度方面的核心作用。早期投资于全面治理框架的组织能够更好地进行负责任的创新，保持领导层的一致性，并建立员工的信心。治理为可持续的人工智能采用提供了基础，弥合了热情和执行之间的差距，并确保创新安全地向前发展。安全成为人工智能的早期推动者-从落后转向领今年的结果标志着一个转折点：安全团队正在成为人工智能的早期采用者，而不是追随者。从历史上看，安全功能一直专注于保护新兴技术的实现。然而，与过去的技术相比，“安全人工智能”用例如此引人注目，这显然增加了人们对新技术进行实验的兴趣，这反过来将有助于加速“安全人工智能”的成熟事实上，13%的组织报告说，安全是采用人工智能的原因。在这种新的范式中，安全性有机会嵌入到人工智能的采用中，而不是事后的想法。近一半的组织（48%）表示他们已经测试了AI在安全方面的能力，另有44%的组织计划在明年内这样做。这意味着超过90%的受访者至少在探索人工智能如何改善检测、调查或响应过程。这些数字对于代理人工智能（用于事件响应、红色团队或自适应访问控制的自主或半自主系统）来说更加令人鼓舞。19%的受访者已经在使用这些工具，另有47%的受访者计划在明年内采用这些工具。只有10%的人表示没有投资计划，这代表了一个重大的转折点：人工智能不仅仅是网络安全的未来概念，它正在成为一个近期的实际操作。人工智能用于安全的增长与2024年形成鲜明对比，当时资源限制和人员短缺是人工智能在安全领域实施的最常见障碍。一年前，三分之一的组织表示技能差距和缺乏知识。目前的结果表明，组织已经朝着实施的方向迈出了切实的步伐：90%的组织正在积极提供或计划提供综合的安全意识，以及人工智能工具的网络安全培训。在安全领域使用人工智能的信心也在上升，特别是在拥有全面治理框架的组织中--54%拥有正式治理政策的组织表示对自己在安全领域利用人工智能的能力有信心，而在拥有部分指导方针的组织中，这一比例仅为25%。这一变化的影响是重大的。安全对人工智能的早期拥抱可以帮助缩小安全与运营之间长期存在的差距，从而对安全性产生共同的理解。技术推动企业创新。随着人工智能不断改变数字环境，使用人工智能的安全专业人员将更好地了解其风险、能力和运营依赖性，使他们成为整个组织中更有效的合作伙伴。这些发现表明，安全领域的AI已经达到了一个拐点。经过多年的谨慎追随，安全团队现在是人工智能的最早采用者之一，表现出好奇心和信心。这种积极主动的姿态不仅提高了防御能力，还重塑了安全的角色-从对新技术做出反应的功能，到帮助领导和塑造安全部署的功能。企业LLM采用加速走向由少数供应商主导的多模式未来大型语言模型（LLM）的采用已经从实验转向企业级部署，标志着AI战略演变的一个重要转折点。超过一半的组织（54%）报告使用公共前沿模型，如GPT-4，Claude或Gemini，而近一半（47%）正在通过GoogleVertexAI，AzureOpenAI或AmazonBedrock等服务使用供应商托管的私有模型。另有44%的企业在自己的云或内部部署环境中利用自托管或开源模型，只有12%的企业表示没有使用LLM的计划到2024，只有22%的组织积极使用生成式人工智能，55%的组织仍在计划采用。一年后，这一意图显然已转化为行动。GenAI已从前瞻性投资转向运营能力。然而，这种扩张并不是均匀分布的。采用率正在迅速巩固在少数主要供应商周围。GPT（OpenAI）领先，70%的组织报告使用或评估，其次是Gemini（Google），48%，Claude（Anthropic），29%，LLaMA（Meta），20%。总之，这“四大”占了企业部署的绝大多数，这表明生态系统越来越多地由少数主导者定义。采用的集中与云计算早期的模式相呼应，早期的创新让位于围绕大型超大规模企业的整合。各组织还报告说，平均使用2.6种不同的模式，这表明许多组织正在追求多种模式。他们不是在单一平台上进行标准化，而是针对特定的业务用例组合不同的模型。这反映了更广泛的云战略，混合了公共、私有、多和混合环境，使组织能够平衡创新、数据治理和风险。这些趋势说明了企业AI成熟度的关键时刻。LLM不再是一种新兴技术，它们正在成为基础数字基础设施。然而，这种增长带来了新的集中风险，因为对少数供应商的依赖在弹性，互操作性和治理方面带来了潜在的挑战。随着组织继续将LLM整合到核心业务中，多元化战略、风险框架和开放标准对于确保下一阶段的人工智能采用不仅是可扩展的，而且是可持续的和安全的至关重要随着LLM成为基础设施，组织现在面临着保护日益复杂的多模型环境的挑战。领导层对人工智能的热情超过了对潜在安全风险的虽然人工智能在整个企业中的采用速度加快，但许多领导者仍然对其潜力充满热情，而不是意识到其风险。大多数受访者（72%）对其组织执行人工智能安全策略的能力持中立态度或缺乏信心，而51%的受访者持中立态度，21%的受访者表示他们没有信心。在2024年，只有4%的人表示他们没有信心，大多数人认为自己有信心（25%）或非常有信心（26%）。这些适度的信心水平表明，作为AI安全挑战的严并意安全挑战的严并意们可能还与此同时，领导层仍在大力投资于推动人工智能的采用。在2024年，82%的组织表示他们的行政领导层正在积极推动人工智能计划。虽然70%的组织报告称，领导层对人工智能的安全影响有中度到完全的认识，但考虑到技术变革的速度，管理层对人工智能的热情继续超过对管理其风险的信心，强调了随着时间的推移加强治理能力的重要性。了组织准备的关键转折点人没有以同了组织准备的关键转折点人没有以同的速度成熟为缩这能风险的管理者，促与更入合理中。这种不确定性的部分原因可能还在于围绕人工智能部署和保护的所有权结构仍在不断发展。AI部署的责任分散在团队中，但安全所有权显然正在出现组织内人工智能的所有权仍然是分散的，这反映了实施的复杂性和运营成熟度的早期阶段。当被问及哪个团队主要负责AI部署时，20%的人确定了专门的AI或ML团队，其次是IT部门（19%）和跨职能团队（16%）。其余的分配给安全团队（13%）、高级领导层（9%）和数据科学或分析团队（8%）。虽然人工智能治理责任仍然分布在各个职能部门，但合并的早期迹象可能正在出现。到2024年，74%的组织计划建立专门负责管理人工智能安全使用的团队这一趋势表明，随着时间的推移，今天的分散结构可能会成熟为更正式的治理由于该技术仍处于采用的早期阶段，不过，安全责任似乎界定得更为明确。超过一半的受访者（53%）表示，安全团队主要负责保护人工智能系统，另有18%的受访者表示是跨职能团队，11%的受访者表示是IT团队。与部署所有权相比，这代表着与传统网络安全结构的更强一致性。在许多组织中，人工智能安全正在被集成到现有的治理框架中，而不是单独处理-反映早期的技术过渡，如云和SaaS采用，一旦技术成熟，安全团队就会逐渐承担责任。供资模式提供了对问责制如何形成的进一步了解。近一半（49%）的受访者表示，首席信息安全官（CISO）负责监管人工智能安全工具的资金，其次是CTO（36%）和CIO（33%）。业务部门所有者（25%）和新兴的人工智能领导角色，如首席人工智能官（11%），也发挥了作用，这表明人工智能安全的财务责任由运营和战略领导者分担这种混合反映了不断发展的治理模式，其中人工智能安全被视为技术和业务投资。总的来说，这些发现表明，组织仍在完善人工智能如何适应现有的运营和治理结构。安全自主权在已建立的小组下得到巩固，但部署和供资责任仍然分散。专门的AI/ML团队的兴起反映了去年创建正式治理小组的意图取得的进展，但目前的碎片化表明需要更明确的问责制和协调。安全团队在人工智能成熟的早期承担主要责任的事实可能标志着一个显着的转变-安全本身正在成为早期采用者，为负责任的人工智能创新塑造护栏。了解AI风险和缩小技能差距是保护AI的最大挑即使出现了更清晰的所有权，组织在建立有效保护人工智能所需的技能和风险理解组织认为理解AI风险（61%技能差距（53%）和现有员工缺乏知识（52%）是开始实施AI安全的主要障碍。其他障碍包括法规和数据隐私合规性（50%与现有安全基础设施的集成（43%）以及成本（29%）和计算/资源分配（26%）等实际限制排名较低的是了解人工智能的好处（23%寻找可行的用例（20%）和不确定人工智能的有效性（14%）-这表明大多数组织看到了价值，但受到风险理解，技能和合规执行的限制，而不是缺乏业务需求。当被要求对他们最关心的安全问题进行排名时，绝大多数组织都将敏感数据暴露列为他们的主要风险，52%的组织将其列为他们最关心的问题。这远远超过了所有其他风险，其次是合规性挑战，仅占16%，其次是模型完整性妥协（12%）和数据中毒（10%）。很少有受访者认为及时注射（5%）或模型盗窃（5%）是顶级威胁的相对端上模型盗窃最常被评为最不受关注（37%这表明组织目前更关注数据泄露和监管风险，而不是技术或理论上的AI攻击载体。数据和合规风险的优先顺序表明，许多组织正在将人工智能安全视为现有隐私和治理框架的扩展，这强化了这样一种看法：最直接的危险不仅在于对抗性攻击，而且在于通过人工智能系统失去对敏感信息的控制和集成。50%的受访者认为隐私和法规遵从性是他们面临的最大挑战，只有21%的受访者强调了影响模型可靠性和完整性的风险，包括数据中毒或快速注入等威胁。这揭示了数据保护和安全治理之间的持续差距。组织应该进行人工智能安全评估，并确定扩展其隐私控制的最佳方法，以包括设计安全原则，例如内容完整性评估，幻觉缓解和TEVV（测试，评估，验证和确认）工作流程中的偏见测试。这些安全措施支持Google的安全AI框架（SAIF）和CSA的AI控制矩阵（AICM）。虽然许多从业者仍然将人工智能工作负载作为云环境的扩展，但潜在的风险格局正在发生变化。传统的云原生问题-配置错误，网络暴露和访问控制弱点-现在与AI特定的威胁交叉，例如提示注入，模型输出数据泄漏和模型漂移。这些风险引入了行为和数据流的不确定性，超出了传统云控制设计的管理范围。调查结果表明，组织认识到他们的主要风险-特别是围绕数据暴露和合规性-即使他们继续建立有效的人工智能安全所需的技能，工具和治理扩展现有的隐私和安全控制仍然是必要的，但还不够;仅仅基于控制的方法无法解决人工智能系统的不确定性和行为驱动的性质。缩小这一工具差距将需要基于自适应推理的防御和能够大规模管理人工智能行为的专用操作实践。今年的调查提供了一个全面的视角，展示了组织如何保护人工智能系统并在安全运营中采用人工智能，揭示了一个快速发展但仍在巩固其基础的生态系统。调查结果显示，人工智能的采用正在迅速但有意识地发展：人工智能的采用已经从实验转向企业规模，治理结构正在形成，安全团队正在成为早期采用者，即使对人工智能风险和技能差距的理解不断成熟，领导热情仍然很高。在所有关键发现中，治理成熟度是准备就绪和负责任创新的最强预测因素。目前，只有少数组织报告了全面的人工智能安全治理，但在统一框架到位的情况下，结果会不断改善-更早的实验，更高的董事会意识，对保护人工智能系统更有信心，以及更强大的员工培训。组织必须从分散的政策转向统一的治理模式，涵盖所有参与AI的团队CSA人工智能控制矩阵（AICM）和谷歌的安全人工智能框架（SAIF）等框架提供了这样做的结构，使组织能够将政策与新兴的监管义务保持一致，同时继承云治理的关键经验教训。组织还可以从聘请独立安全顾问来评估AI治理准备和实施中受益-利用内部和外部来源的专业知识与此同时，安全团队正在成为人工智能的早期采用者，这与以前的周期相比是一个显著的转变几乎所有的组织都在测试或计划测试AI的检测、调查和响应，而代理AI正在获得真正的动力。培训项目正在扩大，当治理建立起来时，信心急剧上升-进一步加强了政策成熟度和运营能力之间的联系。LLM的采用也在加速，围绕少数主要提供商进行整合，同时组织追求多模式战略以平衡创新，控制和风险。随着人工智能成为基础设施，治理和供应商风险管理对于确保日益复杂和相互关联的人工智能环境的弹性