2024年AI安全报告（中文）

ThreatLabz2024AI安全报告AIAI采用，洞察AI驱动的威胁和防御这些威胁的关键策03执行摘要04主要结论05GenAI和ML的主要使用趋势09医疗保健和AI区域细分：EMEA区域细分：APAC18个企业AI风险和现实威胁场景20AI驱动的威胁场景人工智能模仿：深度伪造，错误信息等等21人工智能生成的网络钓鱼活动从查询到犯罪：使用ChatGPT创建钓鱼登录页面22黑暗聊天机器人：在黑暗网络上发现WormGPT和FraudGPT23整个攻击链24AI蠕虫攻击和“病毒式”AI越狱25AI和美国选举26关注AI法规28AI威胁预测31案例研究：如何在企业33Zscaler如何提供AI+ZeroTrust并保护生成AI34在整个攻击链35Zscaler的AI注入产品37附录37ThreatLabz研究方法37关于Zscaler威胁Labz©2024Zscaler，Inc.Allrights2024年危险品报告02©2024Zscaler，Inc.Allrights2024年危险品报告03reserved.执行摘要人工智能不仅仅是一项开创性的创新人工智能不仅仅是一项开创性的创新-它现在一切如常。随着像ChatGPT这样的生成式人工智能工具在大大小小的方面改变业务，人工智能正在深入到企业生活的结构中然而，关于如何安全地采用这些人工智能工具，同时防御人工智能驱动的威胁的问题尚未解决。他们必须平衡人工智能工具带来的众多风险，以获得最大的回了释放人工智能的变革潜力，企业必须启用安全控制来保护其信息泄露，缓解“影子人工智能”蔓延，并确保人胁的驱动力。事实上，人工智能工具允许网络更快、更大规模地发动复杂的攻击。尽管如此，人工智能有望成为《ThreatLabz2024AI安全报告》为这些关键的AI挑战和机遇提供了重要见解。从2023年4月到2024年1月，通过ZscalerZeroTrustExchange™进行了超过180亿笔交易，ThreatLabz分析了当今企业如何使用AI和ML工具。这些见解揭示了各个业务部门和地区的关键趋势，即企业如何适应不断变化的人工智能环境并保护其人工智能工具。在整个过程中，您将深入了解最重要的人工智能主题，包括业务风险，人工智能驱动的威胁场景和对手战术，监管考虑因素以及对2024年及以后人工智能格局的预测。同样重要的是，这份报告提供了两个方面的最佳实践：企业如何在保护关键数据的同时安全地接受生成式人工智能转型，以及人工智能工具如何努力提供分层的零信任安全性，以应对人工智能驱动的威胁的新格局。©2024Zscaler，Inc.Allrights2024年危险品报告04reserved.主要结论AI/ML工具的使用量飙升了594.82%，从2023年4月的5.21亿笔AI/ML驱动的交易增加到2024年1月的每月31亿笔。企业正在阻止所有AI/ML交易的18.5%-在九个月内被阻止的交易增加了577%-反映了对AI数据安全的日益担忧以及公司不愿制定AI政策。20.9%，其次是金融和保险（19.9%）和服务（16.8%）。ChatGPT的使用量继续飙升，增长了634.1%，尽管它也是企业最受阻碍的人工智能应用程序，基于Zscaler云洞察。按交易量计算，使用最广泛的AI应用程序是ChatGPT、Drift、OpenAI*、Writer和LivePerson。按交易量计算，前三名被阻止的应用程序是ChatGPT、OpenAI和F。产生最多AI和ML交易的前5个国家是美国、印度、英国、澳大利亚和日本。企业正在向AI工具发送大量数据，2023年9月至2024年1月期间，AI/ML应用程序之间交换的数据总量为569TB。人工智能正在以前所未有的方式为威胁行为者提供包括人工智能驱动的网络钓鱼活动、深度伪造和社会工程攻击、多态勒索软件、企业攻击面发现、自动化漏洞利用生成等。注意：ZscalerZeroTrustEx关键GenAI和ML使用趋势企业人工智能交易激增近600%，而且没有放缓的迹象。尽管如此，人工智能应用程序被阻止的交易也增加了577%。AI交易持续加速从2023年4月到2024年1月，企业AI和ML交易增长了近600%，1月份在零信任交易所的月交易量超过30亿这强调了一个事实，即尽管与企业人工智能采用相关的安全事件和数据风险越来越多，但其变革潜力太大，不容忽视。请注意，虽然人工智能交易在12月假期期间短暂平静，但交易在2024年初继续以更快的速度然而，即使人工智能应用程序激增，大多数人工智能交易也是由相对较少的市场领先的人工智能工具驱动的。总体而言，ChatGPT占所有AI和ML交易的一半以上，而OpenAI应用程序本身来自排在第三位，占所有交易的7.82%。与此同时，流行的人工智能聊天机器人Drift产生了近五分之一的企业人工智能流量（LivePerson和BoldChat企业聊天机器人也突破了第5和第6位的顶级应用程序）。同时，Writer仍然是创建书面企业内容的首选生成AI工具，例如营销材料。最后，Otter是一种经常用于视频通话的AI转录工具，AI流量的重要组成部分。©2024Zscaler，Inc.Allrightsreserved.AI和ML交易趋势交易NovJan4000M3000M2000M1000M0M可JulSep月图12023AI和ML交易趋势交易NovJan4000M3000M2000M1000M0M可JulSep月图12023年4月至2024年1月的AI交易热门AI应用Drift52.23%百分之OtterAI 2.78% 2.06%1.29%82%图2按交易量划分的交易AI/ML流量传输的数据[2023年9月-2024年1月]交易AI/ML流量传输的数据[2023年9月-2024年1月]图3按总传输被阻止的AI交易趋势[2023年4月-2024年1月800M600M400200M0M可JulSep月NovJan©2024Zscaler，Inc.Allrightsreserved.与此同时，企业从人工智能工具发送和接收的大量数据为这些趋势增添了细微差别。HuggingFace是一个开源的人工智能开发平台，通常被称为“人工智能的GitHub”，占人工智能工具传输的企业数据的近60%。由于HuggingFace允许用户托管和训练AI模型，因此它可以从企业用户那里捕获大量数据。虽然ChatGPT和OpenAI预计会出现在这个列表中，但两个值得用于添加字幕，图像和其他内容的AI视频编辑器。文本到的工具，以及其他用途。由于与其他类型的请求相比，视频和图像需要较企业阻止的AI交易比以往任何时候都即使企业人工智能的采用继续激增，组织也越来越多地全问题。如今，企业所有AI交易的18.5%，从4月到1月增长了577%，总共有更多超过26一些最受欢迎的AI工具也是最受欢迎的。事实上，ChatGPT持有它是最常用和最受阻碍的AI应用程序。这表明，尽管--或者甚至是因为--这些工具的流行，正在积极努力，以确保其使用，防止数据丢失和隐私问题。另一个值得注意的趋势是，拥有人工智能Copilot功能的从4月到1月被封锁。事实上，占所有被阻止的AI和ML域名交易的25.02%。最高最高-02OpenAI04深谋远虑05HuggingFace06ChatBot05Compose.ai06O09T图5按交易行业AI细分企业行业垂直行业在人工智能工具的整体采用以及他们阻止的人工智能交易比例方面表现出显着差异。制造业是明显的领导者，在零信任交易所推动了超过20%的人工智能和机器学习交易。尽管如此，金融和保险，技术和服务部门紧跟在后面。总之，这四个行业已经领先于其他行业，成为最积极的人工智能采用者。©2024Zscaler，Inc.Allrightsreserved.教育1.7%能源，石油和天然气政府3.3%零售商WhoLesaLe健康5教育1.7%能源，石油和天然气政府3.3%零售商WhoLesaLe健康5.5%别人制造百分之二十点九金融&保险百分之十九点九技术百分之十五点六服务百分之十六点八图6推动AI交易制造业金融保险技术服务零售业卫生保健政府教育800M600M400米可JulSepNovJan图7交易量最大的行业中的AI/ML交易趋势，2023年4月至2024年保护AI/ML交易按垂直行业划分大比例的人工智能交易：37.2%，而全18.5%。这可能在很大程度上是由于该与此同时，制造业阻止了15.7%的人工智能交易，尽管它在推动整体人工智能交易方面发挥了巨大作用。技术部门是人工智能最早和最热切的采用者之一，它采取了一种中间道路，阻止了高于平均水平的19.4%的人工智能交易，itworks作品toscale规模AI采用adopti讶的是，医疗保健行业阻止了低于平均水平的17被阻止的人工智能交易百分比垂直金融保险制造被阻止的人工智能交易百分比垂直金融保险制造15.65服务技术19.36医疗保健零售批发10.52别人能源，石油天然气14.24政府运输7.90教育通信4.2937.1613.1717.238.936.752.921.33建设基础材料、化学品&基础材料、化学品&采矿娱乐食品，食品，饮料烟草3.66酒店，餐馆休闲3.16宗教组织宗教组织6.06农业0.18所有垂直行业的平均值18.53所有垂直行业的平均值18.53©2024Zscaler，Inc.Allrights2024年危险品报告08©2024Zscaler，Inc.Allrights2024年危险品报告09reserved.医疗保健和AI作为第六大AI/ML用户，医疗保健行业阻止了所AI医疗保健从目前Zscaler云中AI/ML流量的5%贡献来看，人工智能事实上，人工智能不仅可以帮助节省时间，还可以拯救生命。人工智能技术已经在增强诊断和病人护理。通过以极高的准确性分析医学图像，人工智能可01ChatGPT03OpenAI01ChatGPT03OpenAI齐烯酮Pypestream混合管理任务也可以通过生成式人工智能自动化团队的负担。这些进步强调了人工智能改变健康提VEED1.Statista，AI在医疗保健中的未来用例，2023年9月©2024Zscaler，Inc.Allrights2024年危险品报告010reserved.金融AI01ChatGPT03OpenAI01ChatGPT03OpenAI07HuggingFace08奥特艾金融机构在AI上的银行业占近Zscaler云中四分之一的AI/ML流量。更重要肯锡预计，银行业的人工智能计划可能带来2000亿至3元的年收入，这主要是由于生产力的提高。人工智能确实为银虽然人工智能驱动的聊天机器人和虚拟助手对金融业来说并不是什么新鲜事（美国银行的“Erica”于2018年推出），但生成式人工智能的增强正在将这些客户服务工具提升到新的水平，个性化。预测建模和数据分析等其他人工智能功能有将人工智能集成到金融服务和产品中也会引发准确性的安全和监管担忧。ThreatLabz报告的3.McKinsey，CapturingtheFullValueofGenerativeAIinBanking，2023年12月©2024Zscaler，Inc.Allrights2024年危险品报告011reserved.政府与AI聊天GPT03OpenAI聊天GPT03OpenAI*至少有100万笔交易全球政府引导人工智能实践和政策政府中出现了两个关键的人工智能讨论：一个是关于实施人工智能技术，另一个是关于建立治理以安全地管理它们。政府和公共部门实体采用人工智能的优势是巨大的，特别是在聊天机器人和虚拟助手可以让公民更快地访问公共交通和教育等部门的基本信息和服务的地方。AI驱动的数据分析可以通过数据驱动的决策过程帮助应对社会挑战，从而更有效地制定政策和分配资源。已经取得了显著进展。例如，美国司法部任命了其首任首席人工智能官，确认了使用人工智能系统的承诺。ThreatLabz的数据表明，政府客户越来越多地使用ChatG尽管存在这些趋势，但对人工智能相关风险和数据隐私的主要担忧强调了联邦组织对监管框架和治理的持续需求。总的来说，过去一年，全球政策制定者在人工智能监管方面采取了重大措施，这表明他们正在共同努力推动负责任的人工智能/机器学习技术的开发和部署©2024Zscaler，Inc.Allrights2024年危险品报告012reserved.制造业和AI作为最大的AI制造业和AI作为最大的AI/ML垂直行业，制造业垂直行业阻止了所有AI/ML应用的15.65%。不出所料，我们研究中AI/ML流量最高的流入量（18.2%）来自制造业客户。人工智能在制造业中的应用是工业4.0的基石。第四次工业革命--以数字技术和工业流程融合为标志的时代。01ChatGPT谷歌搜索齐烯酮0301ChatGPT谷歌搜索齐烯酮03OpenAIPypestreamHuggingFaceFotor至于制造业客户从AI/ML应用程序中阻塞的16%的流量，一些制造商正在谨慎地接近生成AI/ML。这可能是由于对制造企业数据安全性的担忧，以及需要选择性地审查和批准一组较小的人工智能应用程序，同时阻止风险更大的应用程序©2024Zscaler，Inc.Allrights2024年危险品报告013reserved.教育与AI在整体AI/ML使用中排名第11位，教育垂直AI/ML流量的2.98%04深谋远虑教育将教育将AI作为学习工具虽然教育部门不是人工智能流量的主要生产者，但它阻止了相对较低比例（2.98%）的人工智能和机器学习交易：大约900万，而总交易量超过3.09亿。很明显，尽管流行的说法是教育机构通常会在学生中阻止ChatGPT等人工智能应用程序，但该行业大多将人工智能应用程序作为学习工具。值得注意的是，教育领域最受欢迎的五款AI应用（ChatGPT、Character.AI、Pixlr和OpenAI）都明确或经常专注于写作和图像生成的创意输出，而Forethought则可以用作教学聊天机器人的辅助工具。为这种说法增加细微差别，也可能是许多教育工作等工具作为课堂政策的问题，但教育机构在实施D解决方案方面落后于其他部门，这些解决方案允许迪派迪派OpenAI在教育领域，随着该行业继续采用人工智能工在教育领域，随着该行业继续采用人工智能工具，特别是围绕对学生个人数据的十有八九，©2024Zscaler，Inc.Allrights2024年危险品报告014reserved.ChatGPT使用趋势ChatGPT的采用率飙升。自2023年4月以来，全球ChatGPT交易增长超过634%，明显快于人工智能交易595%的总体增长率。从这些调查结果以及业界对OpenAI作为首要人工智能品牌的广泛看法来看，ChatGPT显然是最受欢迎的生成式人工智能工具。OpenAI产品的采用率很可能会继续增长，部分原因是预计将发布新的ChatGPT版本和该公司的文本到视频生成AI产品SoraChatGPT的行业使用与AI工具的总体采用模式密切相关。在这种情况下，制造业是明显的行业领导者，其次是金融和保险。在这里，技术部门略微落后于第四位，ChatGPT交易占比为10.7%，而第三位为14.6%。这可能在一定程度上是由于科技行业作为快速创新者的地位，这可能意味着科技公司更愿意接受更广泛的生成性人工智能工具。通信2.6%娱乐制造21制造21.2%米二点八厘米健康4.3%政府4.3%金融保险零售批发金融保险运输服务百分之十三点四服务百分之十三点四技术10.7%图92023年4月至2024年1月的ChatGPT交易图10推动ChatGPT交易©2024Zscaler，Inc.Allrights2024年危险品报告015reserved.各国AI使用情况人工智能的采用趋势在全球范围内存在明显差异，受到监管要求、技术基础设施、文素的影响。以下是在Zscaler云中推动AI正如预期的那样，美国在人工智能交易中占据了最大份额。与此同时，印度已成为人工智能流量的主要来源，这得益于该国对技术创新的加速承诺。印度政府也提供了一个有用的例子，说明人工智能监管的发展速度有多快，其最近的努力是制定-然后放弃-一项计划，该计划要求在推出人工智能模型之前获得监管部门的批准。菲律宾新加坡马来西亚美国40.9%百分之一点九加拿大40.9%德国百分之三点四法国澳大利亚16.0%16.0%联合王国图11推动人工智能交易4.TechCrunch，印度改变AI立场，要求政府批准模型发布，2024年3月地区细分：EMEA仔细看看欧洲，中东和非洲（EMEA）地区，各国之间的AI和ML交易率存在明显差异。虽然英国仅占全球人工智能交易的5.5%，但它占EMEA地区人工智能流量的20%以上，使其成为明显的领导者。虽然法国和德国在EMEA地区的人工智能流量中排名第二和第三，但阿拉伯联合酋长国的快速技术创新巩固了该国作为该地区顶级人工智能采用者的地位。交易区域百分比联合王国德国阿拉伯联合酋长国荷兰西班牙©2024Zscaler，Inc.Allrightsreserved.交易（百万）叙利亚土耳其1.3%波兰2.6%瑞士百分之三点五联合王国百分之二十点四法国交易（百万）叙利亚土耳其1.3%波兰2.6%瑞士百分之三点五联合王国百分之二十点四法国德国阿联酋西班牙荷兰图13欧洲、中东和非洲国家（EMEA）各地区人工智能交易总额的百分比8,0006,0004,0002,0000四月五月六月七月八月九月十月十一月一月图14EMEA地区人工智能交易量随时间的增长交易（百万）印度尼西亚泰国1.5%中国2.1%香港PhiLippines4MaLaysia5.4%交易（百万）印度尼西亚泰国1.5%中国2.1%香港PhiLippines4MaLaysia5.4%新加坡澳大利亚图16亚太地区国家在AI交易总额中所占百分比10,0007,5005,0002,5000四月五月六月七月八月九月十月十一月一月图17亚太地区人工智能交易量随时间的©2024Zscaler，Inc.Allrightsreserved.区域细分：APAC深入研究亚太地区（APACThreatLabz的研究显示了AI采用的明确和值得注意的趋势。尽管该地区代表的国家要少得多，但TheatLabz观察到亚太地区的人工智能交易比EMEA多出近13亿（135%）。这一增长几乎是由印度一手推动的，印度产生了亚太地区近一半的人工智能和机器学习交易。交易区域百分比新加坡马来西亚香港©2024Zscaler，Inc.Allrights2024年危险品报告018reserved.企业AI风险和现实威胁场景企业AI风险生成式AI工具可能会导致敏感和机密数据的无意泄漏。安全项目（OWASP）十大人工智能应用。.过去一年中，出现了许多意外数据泄露或人工智能训练数据泄露的情况，包括来自云配置错误，来自一些最大的人工智能工具提供商-其中一些暴露了TB客户的私人数据。在一个例子中，研究人员通过利用一个名为提示注入的漏洞（使用旨在操纵AI的AI查询来泄露训练数据），从GitHub的CopilotAI中暴露了数千个GitHub秘密，这也是OWASP十大风险之一。5.OWASP，OWASP十大LLM应用程序，版本1.1，2023年10月6.黑客新闻，三个提示，以保护您的秘密从AI事故，2024年27.TheHackerNews，2024年3月5日，超过225，000个受损的ChatGPT凭据在暗网市场上出售一个相关的风险是模型反演的威胁，攻击者使用LLM的输出与关于其模型结构的知识来推断并最终提取其训练数据。当然，AI公司本身也有被攻破的风险。曾经有过人工智能公司员工的证书直接导致数据泄露的案例。与此同时，攻击者有可能发动二次恶意软件攻击，使用Redline程序窃取员工登录信息并获取其AI帐户的访问权限。事实上，最近有消息披露，大约有225，000个ChatGPT用户凭据在暗网上出售，这是由于这种类型的攻击。隐私和数据安全仍然工智能工具提供商的首要任务，但这些风险仍然存在，并且同样延伸到较小的人最后，还有来自企业AI用户自身的风险。用产权或非公开信息暴露到用于训练LLM的数据集中。例如，开发人员请求优化源代码），接入控制和细分风险访问控制，例如基于角色的访问控制（RBAC），可能会被错误配置或可能会导致这样的情况，例如，AI聊天机器人为CEO生成与任何其他企业用当聊天机器人根据用户输入的历史数据进行训练时，有关高管使用AI聊天机器人发送的查询的信息。在这里，企业要注意适当配置AI应用访问©2024Zscaler，Inc.Allrights2024年危险品报告019reserved.所有人工智能应用程序都是不平等的。条款和条件可能因AI/ML应业必须考虑他们的查询是否会用于进一步训练语言第三方。此外，这些应用程序的安全实践以及其背后公司的整体安最后，用于训练人工智能应用程序的数据的质量和规模必须始终受到审查，因为它与人工智能输出的价值和可信度直接相关。虽然像OpenAI这样的大型AI供应商在公共互联网等广泛可用的资源上训练他们的工具，但在专业或垂直化行业（包括网络安全）中拥有AI产品的供应商必须在高度特定的，大规模的，通常是私有的数据集上训练他们的AI模型，以驱动可靠的AI结果。因此，企业在评估任何人工智能解决方案时都需要仔细考虑数据质量问题，因为“垃圾输入”确实会转化为“垃圾输出”。更广泛地说，企业应该意识到数据中毒的风险--当数据中毒时，影响人工智能输出的可靠性或可信度。无论使用哪种人工智能工具，企业都应该建立强大的安全基础，为此类可能性做好准备，同时不断评估人工智能训练数据和GenAI输出是否符合其质量标准。8.SC杂志，对人工智能数据质量的担忧为这句话赋予了新的含义：“垃圾进，垃圾出”，2024年2月企业正处于一个十字路口：让人工智能应用程序改变生产力，还是阻止它们保护具以及这些工具的企业流量。就像“影子IT”一样，“影子AI”工02我们可以为AI应用程序创建粒度访问控制吗？企业应该能够在部门，团队和用户级别为指定的，批准的AI工具启用粒度访问和细分。相反，企业应该使用URL过滤来阻止访问不安全的不需要的AI应用程序。03特定的AI应用程序可以实现哪些数据安全措施？有成千上万的AI日常使用的工具。企业应该了解各自提供的数据安全措施。在某种程度上，某些人工智能工具可以在企业环境中实现私有的、安全的数据服务器，这是一种最佳实践，而其他工具将保留所有用户数据，使用输入数据进一步训练LLM，甚至将用户数据出售给第三方。04是否启用DLP以保护关键数据不被泄露？务、法律、客户和个人数据）离开企业，甚至进入人工智能聊天机器人，特别05我们是否有适当的人工智能提示和查询记录？最后，企业应该收集详细的日志，以了解其团队如何使用AI工具-包括ChatGPT等工具中使用的提示和数据。©2024Zscaler，Inc.Allrights2024年危险品报告020reserved.AI驱动的威胁场景企业面临着持续不断的网络威胁，今天，这包括人工智能驱动的攻击。人工基本上是无限的：攻击者正在使用人工智能来生成复杂的网络钓鱼和社会工程活动的恶意软件和勒索软件，识别和利用企业攻击面中的薄弱入口点，并整体提高攻击多样性。这使企业和安全领导者处于双重困境：他们必须熟练地驾驭快速发展的人获得其革命性的潜力，但他们还必须面对前所未有的挑战，即防御和减轻人工智人工智能模仿：深度伪造，错误信息等等人工智能生成的视频、实时化身和语音模拟的时代已经到来，这些都与现实几2023年，Zscaler成功挫败了一个AI钓鱼和钓鱼场景，其中威胁行为者模仿Zscaler首席声音JayChaudhry在WhatsApp消息中试图欺骗员工购买礼品卡并泄露更多信息。ThreatLabz随后将其确定为针对其他科技公司的广泛活动的虽然这些攻击通常可以通过简单的方法阻止，例如通过单独的效性，但它们可以很有说服力在一个引人注目的例子中，攻击者能深度伪造，说服一家香港跨国公司的员工将相当于2500万美元的资金汇到一个外这名员工怀疑网络钓鱼，但在参加了包括公司首席财务官、其他员工和外部人士会议后，他们的恐惧得到了平息。这次电话会议的与会者都是AI威胁将以多种形式出现。随着2023年vishing（语音vishing）的显著趋势，一个关键的趋势将是使用人工智能进行身份驱动的社会工程攻击，以寻求管理用户凭据。最近由BlackCat/ALPHV勒索软件的附属组织ScatteredSpider发起的勒索软件攻击显示了语音通信在目标环境中获得立足点以随后部署进一步勒索软件攻击的有效性。人工智能生成的攻击将在检测和防御这些攻击方面带来更大的挑战。企业必须在2024年实现安全，预计员工将成为AIdeepfake和网络钓鱼活动网络安全难题的重要组成部分，使立即报告任何可疑活动成为常态。作为这场企业还应该评估快速发展的人工智能网络防御系统，这些系统可以将人工智能生注意：出于演示目的，此示例在显示最终呈现的网络钓鱼页面之前，显示了略微缩短的提示，并包含一个查询的ChatGPT代码响应。©2024Zscaler，Inc.Allrights2024年危险品报告021reserved.人工智能生成的网络钓鱼活动以类似的方式，威胁行为者正在使用生成式人工智能以更快的速度工程攻击。在最简单的层面上，像ChatGPT这样的人工智能聊天机器人允许网络犯罪分子立即以电子邮件，具有说服力的语言可以模仿任何说话者，无论攻击者的母语是什么。也就是说，典型的网络钓鱼电子邮件（例如，不正确的语法、笨拙的句法或不合时宜的语言）将从查询到犯罪：使用ChatGPT创建钓鱼登录不仅如此：LLM还使网络犯罪分子更容易进行复杂的网络钓鱼攻击的多个阶段，即使他们的编几个提示中，使用像ChatGPT这样的生成式人工智能聊天机器人，创建模仿流行的企业应用程序来窃取员工登录凭据。以下来自ThreatLabz的示例展示了只需几个对话提用户提示：创建HTML登录页面ChatGPT：当然，这是HTML登录页面的基本示例：这是这是第一个结果：图18使用ChatGPT代码响应接下来，ThreatLabz提供了一系列简短的提示，以在呈现最终的Micro络钓鱼登录页面之前改进页面。这些包括要求ChatGPMicrosoft登录，调整徽标大小，以及在提交最终查询以生成最终代码输出之用户提示：添加与Microsoft登录页聊天GPT：在7个问题中，最终结果是：图19使用ChatGPT代码响应的©2024Zscaler，Inc.Allrights2024年危险品报告022reserved.黑暗聊天机器人：在黑暗网络像ChatGPT这样流行的人工智能聊天生成式人工智能的限制较少的版本，即所谓的“黑暗聊天机器和FraudGPT在内的最受欢迎的黑暗聊天机器人的销售，已经在暗网上扩散了虽然这些工具中有许多被宣传为安全研究人员的辅助工具，它们主要被威胁行为者用于生成恶意代为了揭示获取这些工具的容易程度，ThreatLabz深入研究了暗网列表。威胁Labz何恰当地利用生成式AI聊天机器人使他们的购买变得出奇简单：例如，在WormGPT购用户被提示通过向比特币钱包发送付款来购买试用版。请注意，创建者特别指出，理论上，然而，通过一次下载，任何人都可以访问一个功能齐全的生成AI代码，包括恶意软件和勒索软件，没有安全护栏。虽然研究人员已经表明，像ChatGPT这样的流行人工智能工具可以越狱，对于恶意的行为，他们的防御能力不断增强。因此，像WormGPT和FraudGPT这样的工具只会继续增长，以及如何在暗网上的威胁行为者社区中有效创建和图20黑暗聊天机器人WormGPT©2024Zscaler，Inc.Allrights2024年危险品报告023reserved.整个攻击链人工智能正在帮助威胁行为者和国家支持的对手在攻击链的多个阶段更轻松、更复杂地发起勒索软件攻击。出现之前在发动攻击时，威胁行为者必须花费相当企业的攻击面以及服务和应用程序中面向互联网的漏洞现在，使用生成式人工智能，这些信息可以立即通过提示进行查询，例如：“创建一个表格，显示该组织中所有防火墙和VPN的已知漏洞。接下来，攻击者可以使用LLM为目标环境生成或优化具有自定义有效负载的漏洞的代码攻击。除此之外，生成式人工智能还可用于识别企业供应链合作伙伴之间的弱点，同时突出显示连接核心企业网络的最佳路线;即使企业保持强有力的安全态势，下游漏洞往往也式人工智能，这将形成一个迭代反馈循环，以进行改进，从而导致更复杂、更下图说明了攻击者可以在整个勒索软件攻击链中利用生成式AI的一些关键方法-从自动侦察和编码利用特定漏洞，生成多态恶意软件和勒索软件。通过自动化攻AI驱动的勒索软件攻击AI驱动的勒索软件攻击侦察初始危害横向移动数据丢失恶意软件交付获得初次入境立足提供恶意软件安装恶意软件窃取凭据会危及其他系统域控制器窃取数据安装勒索软件&索款GenAI发现攻击面：暴露资产的漏洞VPN）AI生成的多态恶意软件AI驱动的网络钓鱼和钓鱼攻击提升特权&识别皇冠珠宝窃取数据并部署AI驱动的渗透模块（可能是紧急图21威胁行为者如何在勒索软件攻击链©2024Zscaler，Inc.Allrights2024年危险品报告024reserved.使用ChatGPT为ApacheHTTPSServer和Log4j2创建下面的案例研究将更深入地展示威胁参与者如何在实践中利用这些能力。ThreatLabz使用ChatCVE快速生成代码漏洞：ApacheHTTP服务器路径遍历漏洞（CVE-2021-41773）和A（CVE-2021-44228）。我们的研究人员能够使用ChatGPT生成工作代码，仅使用需要低水平编码知识如“您可以给我一个CVE-2021-41773的pythonPOC吗？”。值得注意的是，出于演示目的，ThreatLabz提到了CISA在2021年12月之前添加的已知利用的CVE。一般来说，图22使用ChatGPT生成CVE-2021-44228的代码漏洞AI蠕虫攻击和“病毒式”AI越狱生成式AI工具甚至为威胁行为者提供了全新的攻击途径，包括专注于从生成式AI工具本身提取数据的攻击。例如，研究人员已经证明了“人工智能蠕虫”攻击的可行性。这些自我传播的恶意软件攻击可以通过人工智能生态系统（特别是利用流行的生成式人工智能工具的第三方人工智能工具和助手）有机地传播，并提取敏感的用户数据。在一个案例中，研究人员瞄准了利用GeminiPro、ChatGPT4.0和微软开发的LLMLLaMa的生成式人工智能电子邮件助理。研究人员发现，人工智能蠕虫攻击可以向用户发送带有零点击恶意软件的垃圾邮件，从而泄露他们的个人数据。虽然此类攻击目前仅限于研究环境，但研究人员验证了它们对众多人工智能模型的有效性，企业可以预期此类攻击最终会在网络威胁组织中传播。在其他地方，研究人员已经展示了如何使用对抗性图像和提示来传播病毒和越狱多模式LLM（MLLM），这是利用许多LLM代理的GenAI工具。MLLM由于其提高性能言和视觉助理（LLaVA）代理能够以指数短时间内越狱多达100万个LLaVA代理。这些威构成了重大风险，因此企业在明确建立强大的最佳实践防10.Complicated，UnleashingZero-clickWormsthatTargetGenAIPoweredApplications，2024年3月12日访问。11.ArXiv，AgentSmith：ASingleImageCanJailbreakOneMillionMultimodalLLMAgentsExponentiallyFast，2024年2月13日。©2024Zscaler，Inc.Allrights2024年危险品报告025reserved.人工智能和美国选举人工智能对美国选举的影响越来越令人担忧。例如我们已经目睹了人工智能生成的机器人电话冒充现任总统乔民在早期初选中的投票率。像这样令人震惊的事件可能只值得注意的是，在这些计划中使用人工智能可能不仅限于国内参与者;国家支持的实体也可以利用人工智能制造混乱，破坏对选举过程的信任。在提交给参议院情报委员会的报告中，美国情报机构警告说，俄罗斯和中国可能会利用人工智能来影响美国选举。公司正在采取措施帮助减轻这种风险;例如，谷歌双子座已经制止用户询问任何国家即将举行的选举。随着人工智能的不©2024Zscaler，Inc.Allrights2024年危险品报告026reserved.关注AI监管鉴于其巨大的经济影响潜力，世界各国政府都在积极努力监管人工智能鉴于其巨大的经济影响潜力，世界各国政府都在积极努力监管人工智能并促进其安全使用。到目前为止，来自69个国家和欧盟的至少1,600项人工智能政策倡议涵盖了人工智能法规，国家战略，赠款和投资等。从广义上讲，这些努力旨在了解人工智能的影响，刺激创新，并通过政策塑造其负责任的发展。人工智能法规将继续快速发展和演变，但最近的一些法规变化可以为寻求了解这些趋势的企业提供有用的快照。美国在美国，重点是白宫关于安全，可靠和值得信赖的发展的行政命令和人工智能的使用，这迫使最大的人工智能系统的开发人员向商务部报告安全测试结果，并披露何时使用大型新计算资源来训练人工智能模型。它还要求9个联邦机构对关键基础设施影响的风险评估。白宫还关注人工智能创新：作为EO的一部分，美国政府建立试点计划，将美国研究人员与计算能力，数据和其他工具联系起来，以开发人工智能。美国政府是否会寻求围绕人工智能制定更具约束力的法规，还有待观察。截至目前，至少有15家领先的人工智能公司和近30家医疗保健公司签署了白宫保护人工智能的自愿承诺。同时，联邦贸易委员会已禁止使用人工智能冒充政府机构或企业，并计划扩大该规则，以包括对私人和机构的保护。报道，白宫也在探索对人工智能生成的内容要求水印的可能性。15.Deloitte，TheAIregulationsthataren'tbeentalkedabout，2024年3月12日访问16.白宫，关于安全，可靠和值得信赖的人工智能开发和使用的行政命令，2023年10月17.NAIRR试点，国家人工智能研究资源（NAIRR）试点，2024年3月12日访问。18.医疗保健提供商将加入美国管理人工智能风险的计划-白宫，2023年12月14日。19.宾夕法尼亚州总检察长办公室，FTC禁止使用AI冒充政府机构和企业，2024年2月26日。©2024Zscaler，Inc.Allrights2024年危险品报告027reserved.欧洲联盟欧洲议会最近批准了《人工智能法案》，该法案将建立世界上第一个全面的人工智能立法，为不同类型的人工智能应用提供一套严格的法律和指导方针，并根据许多行业的风险进行分类。这些法律预计将于2026年生效，例如，ChatGPT等通用人工智能工具将符合透明度要求，例如内容由人工智能生成，培训模型旨在防止生成非法内容，以及公司提供用于培训的版权材料摘要。该法规将对“高风险”人工智能应用程序实施更严格的政策，例如使用影响特定领域的人工智能，如关键基础设施，就业，法律事务，移民等。与此禁止被视为风险不可接受的人工智能应用程序，包括那些使用敏感生物识别信操纵人类行为以规避自由意志，将情感识别用于招聘和教育，或从互联网或CC许多国家也在优先考虑人工智能投资。例如，新加坡宣布了一项7.4亿美元的人工智能投资计划，作为该国国家人工智能战略2.0的一部分。这该计划将致力于推动人工智能创新，使人们能够获得人工智能所需的先进芯片，同时确保企业能够利用新加坡人工智能卓越中心的人工智能革命。20.欧洲议会，《欧盟人工智能法案：第一个人工智能法规》，2023年12月21.CNBC，新加坡的人工智能雄心得到了7.4亿美元投资计划的推动，2024年2月©2024Zscaler，Inc.Allrights2024年危险品报告028reserved.AI威胁预测根据《世界经济全球风险报告》，根据《世界经济全球风险报告》，人工智能产生的错误信息和网络攻击在2024年全球十大风险中分别占第二和第五位。22随着人工智能领域的持续快速发展，包括在人工智能生成的视频和图像领域，这些风险只会增加，我们利用人工智能来减轻这些风险的能力也会增加。展望2024年及以后的时间，这些是我们即将看到的最重要的人工智能风险和威胁预测。1民族国家的人工智能困境：推动人工智能威胁，同时阻止人工智能访问显著增长。来自微软和OpenAI的报告证实了这一担忧，显示俄罗斯、中国、持的威胁行为者团体积极深入研究并利用ChatGPT功能。这扩展到各种用尽管有针对性的干预已经阻止了其中一些攻击，但企业应该为国家支持的人工智能计划的持续性做好准备。其范围包括部署流行的人工智能工具，创建专有的LLM，以及出现不受约束的ChatGPT变体，例如恰当命名的FraudGPT或WormGPT。不断发展的格局描绘了一幅具有挑战性的画面，其中国家支持的参与者继续以新颖的方式利用人工智能来创造复杂的新网络威胁。2黑暗聊天机器人和AI驱动的攻击：“AI为坏”的祸害将增长人工智能驱动的攻击可能会在全年激增，因为暗网作为这是WormGPT和FraudGPT等网络犯罪分子的讨论有所增加，他们深入研究非法部署ChatGPT和其他生成AI工模仿使用生成式AI提高效率的开发人员，威胁行为者使用这些工具来发现和利威胁参与者组织ScatteredSpider最近使用了Meta的LLaMa2LLM利用MicrosoftPowerS能，允许未经授权下载用户凭据。这些进展的轨迹表明，网络威胁将开始比以往任何时候都更快地演变，并呈现出新的形式，传统的网络威胁将更难识22.2024年1月10日，世界经济论坛《23.ZDNet，网络犯罪分子正在使©2024Zscaler，Inc.Allrights2024年危险品报告029reserved.3用AI对抗AI：安全路线图和支出将包括AI驱动的防御企业将越来越多地采用人工智能技术来对抗人工智能驱动的网络攻击，包括专注于使用深度学习和人工智能/机器学习模型来检测隐藏的恶意软件和勒索软件。在加密的交通。传统的检测方法将继续与新的人工智能驱动的零日攻击和多态勒索软件（可以进化其代码以逃避检测）作斗争，因此基于人工智能的指标在识别潜在威胁方面至关重要。人工智能还将在快速识别和阻止令人信服的人工智能生成的网络钓鱼和其他社会工程攻击方面发挥至关重要的作用。企业将越来越多地将AI纳入其网络安全战略。AI将被视为作为一种重要手段，可以了解网络风险，并创建可操作、可量化的行动手册，以确定安全漏洞的优先级并进长期以来，信号一直是CISO面临的最大挑战，因为在数十种工具中关联风险和威个月或更长时间。因此，在2024年，企业AI供应链中的数据中毒：垃圾AI数据的风险将增长随着人工智能供应链攻击势头强劲，数据中毒将成为最令人担忧的问题。人工智能公司及其培训LLM应用程序的OWASP前10名强调了培训数据中毒和供应链攻击是重大风险，存在损害AI应用程序的安全性，可靠性和性能的风险。与此同时，人工智能应用程序供应链中的漏洞-包括技术合作伙伴，第三方数据集和人工智能工具插件或API-已经成熟，可以利用。依赖人工智能工具的企业将面临更严格的审查，因为他们认为这些工具是安全的结果。提高警惕，确保训练数据集的质量、完整性和可扩展性至关重要，特别是在©2024Zscaler，Inc.Allrights2024年危险品报告030reserved.5束缚或释放：企业将权衡生产力与安全使用AI工具到目前为止，许多企业已经度过了人工智能工具采用和集成的早期阶段，许多人会仔细考虑他们的人工智能安全政策。即便如此，对于大多数公司来哪些AI工具，他们将阻止哪些工具，以及他们将如何保护他随着人工智能工具的数量持续飙升，企业将需要密切关注每个人的安全问题，至少要深入了解员工的人工智能使用情况，并能够按部门、团队甚至用户级别实现粒度访问控制。企业还可能寻求对人工智能应用程序本身进行更精细的安全控制，例如在人工智能应用程序中实施数据丢失预防策略-防止敏感数据泄露-或防止复制和粘贴等用户操作。6人工智能驱动的欺骗和扭曲：病毒性深度伪造将助长选举干扰和虚假信息活动6像deepfakes这样的新兴技术构成了重大威胁，包括选举干扰卷入美国选举期间的误导性策略，例如生成冒充候选人的机器人电话以阻止选民此外，在这些计划中使用人工智能可能不仅限于国内行为者。国家支持的实体也可以制造混乱，破坏对选举过程。在一个值得注意的案例中，攻击者利用人工智能生成的deepfakes员工转移2500万美元，展示了这项技术的现实影响。同样，泰勒·斯威夫特（TaylorSwift）等名人的非法Deepfake图像在社交媒体上疯传，引起人们关注在内容审核措施赶上之前，操纵内容的传播是多么容易。©2024Zscaler，Inc.Allrights2024年危险品报告031reserved.案例研究：在企业为例集成和保护生成式AI为例集成和保护生成式AI工具的5个步骤AI集成和企业安全策略的最佳实践。到目前为止，企业已经有了大量的人工智能工具。但是，随着人工智增长，采用率继续快速增长，企业可以采用某些最佳实践来保护其数据，员工寻求安全采用人工智能应用程序的企业应该采取一种可衡量的方法。从广先屏蔽所有AI应用，以消除数据的风险然后采取深思熟虑的步骤，采用人工智能应用程序，并采取严格的安全控制和访问控制措施，以保持对企业为了简单起见，下面的旅程重点关注OpenAI的LLM步骤1：阻止所有AI和ML领域和应用程序为了消除与数千个可用AI应用程序相关的已知和未知风险，企业可以采取在全球企业级阻止所有AI和ML域和应用程序。通过这种方式，他们可以专注于第三第三在企业/DC环境中创建私有ChatGPT服务器实例为了确保对数据的完全控制，组织应该在完全托管在内部的专用安全AzureAI为了确保对数据的完全控制，组织应该在完全托管在内部的专用安全©2024Zscaler，Inc.Allrightsreserved.或客户数据，也不会使用企业用户查询来训练ChatGPT。这确保该组织保留对其训练数据的控制权，或客户数据，也不会使用企业用户查询来训练ChatGPT。这确保该组织保留对其训练数据的控制权，允许为企业用户提供高度相关、准确的答案，同时最大限度地降低一般来说，企业在将人工智能工具集成到业务中时可以采用一SSO）之后通过强大的多因素身份验证（MFA）将SSO）之后接下来，组织应该将ChatGPT移到零信任云代理架构之后，例如ZscalerZeroTrustExchange，对ChatGPT的访问实施零信任安全控制。这可能还包括将ChatGPT移到具有SSO身将ChatGPT放置在像ZeroTrustExchange这样的云代理之后，将ChatGPT放置在像ZeroTrustExchange这样的云代理之后，检查人工智能政策指南步骤5：强制执行ZscalerDLP引擎以防止数据泄漏最后，组织应该为ChatGPT实例实施DLP引擎，以防止关键信息的意外泄漏，包括专有最后，组织应该为ChatGPT实例实施DLP引擎，以防止关键信息的意外泄漏，包括专有据、个人数据、财务和法律数据等。这确保了任何高度敏感的数据永远不会通过这一旅程，企业用户可以获得ChatGPT等生成式AI工具的全部好处，同时消除采用AI应