2024年面向未来的前沿AI监管：前沿AI模型未来算力预测报告-新美国安全中心

VCNAS2024年3月面向未来的前沿AI监管关于作者器系统自主性的政策。他拥有伦敦大学国王学院的战争研究博济学和公共政策硕士学位，以及圣华盛顿大学的物理学学士学关于技术与国家安全计划CNAS技术与国家安全计划探讨了与新兴技术相关的政关于人工智能安全与稳定项目CNASAI安全与稳定项目是一项为期多年、多项目的工智能相关的既定和新出现的风险。这项工作的重点是预测智能故障，改善美国S.国防部的人工智能测试和评估流程Acknowledgments助于进一步向政策制定者展示他们的见解。这份报告建立在LeartHeim和JaimeSevil。作为一家致力于组织，知识和个人诚信的最高标准的研究和政策保持严格的知识独立性和对其思想，项目，出版物，活动和其他容仅反映其作者的观点。根据其使命和价值观，CNAS不参与游全遵守所有适用的联邦、州和地方法律。CNAS不会代表任何实TABLEOFCONTENTS01执行摘要03Introduction0607080912成本和对AI模型的访问对政策制定者的影响了解成本和计算增长相关工作当前最佳估计和假设第二部分：分析172123272832成本和计算预测成本增长限制硬件改进的限制增殖硬件受限演员的成本计算监管阈值35Conclusion36附录44精选参考书目技术与国家安全|2024年3月执行摘要用于训练前沿AI模型的计算机随着时间的推移而出现用于训练前沿AI模型的计算机随着时间的推移而出现到2020年代末或2030年代初,用于训练前沿AI模型的计算量可能会增加到GPT-4的1000倍左右，即使考虑到成本和硬件限制。训练计算(FLOP)20222024202620282030203220342036203820402042 计算(会计成本高低计算估计和硬件约束)(95%置信区间)12@@CNASDC通过算法改进，有效的计算随时间增长（2022FLOP等效）GPT-4估计计算计算算法进度，使用的有效计算量到2020年代末或2030年代初，训练前沿AI模型的GPT-4可能是100万倍。有效计算(考虑成本和硬件限制)（95%置信区间）模型的成本随着时间的推移而上升最终培训运行的成本模型的成本随着时间的推移而上升最终培训运行的成本（2022美元）目前，培训前沿AI模型的成本大约每10个月翻一番。随着成本接近私营公司的极限,成本增长预计将放缓，目前成本高达数百亿美元。在此预测中，在此预测中，任意假设成本倍增期每年增加1.5个月，从而减慢了成本增长率。$1T$10B$1B$100M20222024202620282030203220342036203820402042培训费用(任意锥形成本增长预测)高-低成本估算（95%置信区间）技术与国家安全|2024年3月 Introduction 2培训当前前沿模型的成本3当前的趋势表明，未来的AI系统将比当今的技术水平强大得多。3@@CNASDC研究问题AI模型的计算量和训练成本将如何随着时间的推进近45技术与国家安全|2024年3月成本和对AI模型的访问了潜在危害最大和最有能力的大型语言模型具有两用功能。@@CNASDC,一旦模型是开源的，它就会迅速扩散。。反补贴趋势增加模型访问23 对政策制定者的影响 TT7技术与国家安全|2024年3月 了解成本和计算增长 T例用更多的计算量和更多的训练数据训练更大的模型可以提高性能。34计算长算法效率9@@CNASDC36改进和计算费用的增加，未来的前沿模型将使用更多的计算。算法的改进使研究人员能够更有效地使用这种计算，从而获得更好的性能。本文将增加的计算和算法改进的综合效果显示为的有效计算能力）表示。38相关工作@@CNASDC训练计算训练计算(FLOP) 增量ed硬件 改进 20222024202620282030203220342036203820402042有效计算有效计算（2022FLOP等效）算法改进增加计算 20222024202620282030203220342036203820402042@@CNASDC41算法的改进会影响模型使用计算的效率。技术与国家安全|2024年3月475558当前最佳估计和假设@@CNASDC硬件性能成本增长62算法效率64当前成本当前计算256725Assumptions技术与国家安全|2024年3月第二部分第二部分：分析技术与国家安全|2024年3月成本和计算预测图2.1|训练前沿AI模型的成本随着时间的推移而上升（当前趋势的正向投影）最终培训运行的成本（2022美元）训练前沿人工智能模型的成本是随着时间的推移而预测的，从最初估计的5000万美元用于训练GPT-42022年，使用9.7个月成本倍增率（95%CI：7.3至13.5个月）。$10T$1T$10B$1B$100M20222024202620282030203220342036203820402042@@CNASDC训练计算(FLOP)图2.2|用于训练前沿AI模型的计算机随着时间的推移而出现训练计算(FLOP)计算是随着时间的推移而预测的，从最初的估计开始FLOP将在计算是随着时间的推移而预测的，从最初的估计开始FLOP将在2022年训练GPT-4，使用7.0个月的计算倍增率(95%CI：5.7至8.6个月)。20302032203420362022202420262028204220382040203020322034203620222024202620282042有效计算（2022FLOP等效）有效计算（2022FLOP等效）20222024202620282030203220342036203820402042用于训练前沿模型的有效计算是随着时间的推移而向前预测的，从2022年训练GPT-4，并使用7.0个月率(95%CI：5.3 至13个月）。 技术与国家安全|2024年3月（当前趋势的正向投影）202420272030203320362022年的最终培训费用美元$280M$50B$600BFinding。（当前趋势的正向投影）202420272030203320362022年的最终培训费用美元$280M$3.6B$50B$600B$8T2022年的最终培训费用美元Finding成本增长限制大公司可能会以数十人的顺序集结每年数十亿美元的培训费用。渐缩的成本增长预测@@CNASDC(任意缩编成本增长项目)最终培训运行的成本（2022美元）$10T$10B使用锥形成本增长模型预测培训成本。培训成本最初每9.7个月翻一番，但翻一番的速度被任意假设为每年增加1.5个月，1.5个月，减缓了速度成本增长。显示了一个恒定的9.7个月成本倍增率，用于比较。$100M20222024202620282030203220342036203820402042训练计算(FLOP)训练计算(FLOP):" 20222024202620282030203220342036203820402042 使用锥形成本增长模型预测用于训练前沿AI模型的计算量。任意假设培训成本的倍增期每年增加1.5个月，减缓了成本和计在渐缩的成本增长预测下计算 硬件改进的限制 @CNASDC技术与国家安全|2024年3@CNASDC巨大的成本和大量的计算仍然是训练计算最密集的前沿模型的入门代价。84技术与国家安全|2024年3月图4.2|前沿模型培训成本图4.1|单独由于硬件改进而导致的计算增长图4.2|前沿模型培训成本(任意缩编成本增长项目)最终培训运行的成本（2022美元）训练计算（2022美元）$10T10$10T10$1T10×$1T1010$10B×$10B10$1B10$1B10$100M20222024202620282030203220342036203820402042使用锥形成本增长模型预测培训成本。培训成本最初每9.7个月翻一番，但翻一番率被任意假设为每年增加1.5个月，减缓了成本增长率。显示了一个恒定的9.7个月成本翻一番率，用于比较。仅由于硬件改进而导致的计算增长在两种情况下显示使用锥形成本增长模型预测培训成本。培训成本最初每9.7个月翻一番，但翻一番率被任意假设为每年增加1.5个月，减缓了成本增长率。显示了一个恒定的9.7个月成本翻一番率，用于比较。番率；（2）硬件性能增长从2027年开始放缓，到2035年完全停止，导致最终的每美元FLOP/s水平大致相当于2031年硬件性能改进的突然停止。图4.3|培训计算(2031年前后缩减成本预测和硬件限制图4.3|培训计算(2031年前后缩减成本预测和硬件限制)（折线成本项目和硬件限制周围2031)训练计算恒定的计算增10训练计算恒定的计算增1010101010101010×由于成本和硬件限× GPT-4估计计算——202220242026202820302032203420362038204020421010101010101010有效计算（2022FLOP等效）44用于训练前沿AI模型的计算量是使用锥形成本增长模型并考虑硬件性能限制来预测的。任意假设培训成本的倍增期每年增加1.5个月，从而减慢了成本的速度用于训练前沿AI模型的有效计算使用锥形成本增长模型并考虑硬件性能的限制。显示使用7.0个月的计算倍增率和8.4个月的算法效率倍增率的恒定增长率进行比较.和计算增长。假设硬件性能增益在2027年开始放缓，用于训练前沿AI模型的有效计算使用锥形成本增长模型并考虑硬件性能的限制。显示使用7.0个月的计算倍增率和8.4个月的算法效率倍增率的恒定增长率进行比较.为了比较，显示了倍增率。ff@@CNASDC表2.1|前沿模型培训成本和随时间的计算20242027203020332036$30BFindingTABLE2.2|前沿模型训练成本和有效计算随时间变化202420272030203320362022年的最终培训费用美元$220M$30B2022年FLOP等效有效计算growth)Finding增殖型，从而减缓了扩散。然而，随着时间的推,最终培训成本变得足够低，以至于愿意开源该模型的参与者可以负担得起。例如，第一个版本的Stable最终培训运行的成本（2022美元）$100B由于硬件和算法的改进，训练具有曾经前沿模型同等能力的模型的成本随着时间的推移而降低$10B$9B效率。从2022年培训前沿模型的费用开始（5000万美元），2024年（300美$10B$9B 百万2026（15亿美元2028（90$1B$300M亿美元）和2030（500亿美元），由于硬比假设每2.1年翻一番（95%CI：1.6至2.91年算法效率假设每8.4个月翻一番（95%CI：5.3至13个月）。阴影蓝色$1B$300M$100M$1000万202220242026202820302032@CNASDC技术与国家安全|2024年3@CNASDC。FINDINGFINDING 了算法效率的进步将使训练模型与曾经的前沿模型具有同等能力，仅在几年内就可以负担得起。@@CNASDC最终培训运行的成本（2022美元）$100B$10B$1B$100M$1000万202220242026202820302032硬件受限的参与者在2022年之后无法获得任何硬件改进的情况下训练前沿AI模型的成本(例如Procedre，由于出口控制)显示，其中包括使用最新硬件训练前沿AI模型的成本进行比较。蓝色阴影区域的不确定性完全来自硬件改进（95％CI)增长率的不确定性，硬件限制的参与者被拒绝。@@CNASDC$120B$100Bafter2022,hardwarrestrictedactorsarebenefitfromalgorithmicprogress.由于算法效率的提高。从硬件受限演员在2022年训练前沿模型的成本开始(1亿美元)，2024年(10亿美2026（$10B）和2028由于算法改进而随着时间的推移而减少。假设算法效率每8.4个月翻一番$100M$100M$1000202220242026202820302032最终培训运行的成本（2022美元）$10B$1B技术与国家安全|2024年3月FINDING在前沿AI模型中。即使不考虑工程挑战，使用更多的得负担不起。然而，算法效率的进步将使训练模型具有与当的能力，仅在几年内就可以负担得起。如果算法改进仍硬件限制的最可能影响将使这些参与者对任何给定级别的FINDING在前沿AI模型中。即使不考虑工程挑战，使用更多的得负担不起。然而，算法效率的进步将使训练模型具有与当的能力，仅在几年内就可以负担得起。如果算法改进仍硬件限制的最可能影响将使这些参与者对任何给定级别的 计算监管阈值 262626技术与国家安全|2024年3月图7.1|火车费用A10随着时间的推移，FLOP调节阈值模型递减最终培训运行的成本（2022美元）$100$10$1$155MMMM培训监管门槛模型的成本(10FLOP）,估计2024年为1.55亿美元，由于机器学习GPU价格-性能每翻一番而减少2.91年）。$100K20242025202620272028202920302031203220332034图7.2|训练容量等于A10的模型的成本2024年的FLOP模型随着时间的推移而下降最终培训运行的成本 $155M$100M$10MM$1M$10020242025202620272028202920302031203220332034训练能力相当于10的模型的成本2024年的FLOP模型假设在2024年耗资1.55亿美元，由于硬件和算法效率的改进而迅速下降。ffi机器学习GPU价格-性能假设每2.1年翻一番(9526252626@CNASDC技术与国家安全|2024年3@CNASDCConclusion量性技术与国家安全|2024年3月 硬件限制22到数据限制@@CNASDC工程挑战技术与国家安全|2024年3月观察到的增长率多年来达到10多年来达到10×改进来源每年的订单(OOMs/yr)公制训练计算(FLOP)用于训练大型模型的计算(FLOP)机器学习GPU性价比(FLOP/s/美元）大型语言模型算法效率@@CNASDC 估算计算成本 为40技术与国家安全|2024年3月成本预测的不确定性对初始起始成本的敏感性对增长率的敏感性图A.1|前沿模型训练成本随时间变化(灵敏度分析)$100M最终培训运行的成本（2022美元）$50M起始成本$90M起始成本$30M起始成本5000万美元的起始成本,高低成本增长估计(95%CI)2034203620382026202820302034203620382026202820302032202220242022年三种不同的初始起始成本下的前沿模型培训成本的直接预测：3000万美元，5000万美元和9000万美元。假设成本增长每9.7个月翻一番（95％CI：7.3至13.5个月）。@@CNASDC表A.2|2022年美元培训成本的中，高和低估计（直进投影）20242027202420272030203320369.7个月成本加倍$50B$600B7.3个月成本加倍$490M$450B$400T13.5个月成本加倍$40B表A.3|随着时间的推移训练计算的中、高和低估计（直进投影）20242027203020332036表A.4|实现培训成本增长的中，高和低估计的培训成本里程碑的年份（直进投影)$10B$10B$20B$20B2022年培训成本$5亿美元$5B$5B9.7个月成本加倍20257.3个月成本加倍13.5个月成本加倍20262030表A.5|实现中，高，低估计训练计算增长的训练计算里程碑的年份（直进投影）FLOP1026中的训练计算10271028102910307.0个月计算加倍202420305.7个月计算加倍202320308.6个月计算加倍2024技术与国家安全|2024年3月 附录E：逐步成本增长预测 图A.2|前沿模型随时间变化的培训成本(缩减成本增长项目)$10T$1T$100B$10B$1B$100M最终培训运行的成本（2022美元）20222024202620282030203220342036203820402042训练前沿模型的成本在四种不同的锥形成本增长情景下进行预测，成本倍增率分别提高0.5、1、显示9.7个月的倍增率作为比较。表A.6|成本增长的各种情况下的模型培训成本和成本倍增率20242027203020332036恒定成本倍增率9.7个月$50B$600B翻番率增加+0.5月/年$90B$400B倍增率增加+1.0$2.4M$30B$80B月/年)翻番率增加+1.5$4B$30B月/年))翻番率增加+2.5$200M$800M$4B月/年))))模型培训成本按2022美元计算。成本在几个月内翻番。@@CNASDC精选参考书目AI趋势-参议院武装部队委员会，网络安全小组委员会，第118号。https://www.rand.org/pubs/testmo。.Dorner,FlorianE.MeasuringProgressinDeep.Grace,Katja.AlgorithmicProgressinSixDomains.44技术与国家安全|2024年3月.何安森等。语言建模的算法进展。即将出版。.Hoffman,Jordan,etal.TrainingCompute-OptimalL.Kaplan,Jared,etal.ScalingLawsforNeuralLanguage丛。2023年。高级信息科学家JeffAlstott的声明；Pardee.Sevilla,Jaime,etal.ComputeTrendsacrossThreeErasofMachineLearning.arXiv.org,March9,2022https:///abs/2202.05924.@@CNASDC美国政府政策46@@CNASDC1.JaimeSevilla等人，“机器学习的三个时代的计算趋势”，arXiv.,opeai-ceo-sam-altma-wats-to-bild-ai-speritelligece-gece/。另请参阅DavidTayar（@davidtayar5），“注意），“Athropic的5亿美元，4年计划承接OpeAI”，TechCrch，2023处理单元（GPU）。MadhumitaMurgia等人，“沙特阿拉伯和阿联酋竞相购买Nvidia芯片以推动AI野心”，《金融时报》，。。 openai.com/papers/www.anthropic.com/news/anthropicepdf.技术与国家安全|2024年3月www-files.anthropic.com/production/images/Model-Card-Claude-2.pdf；HugoTouvron等人，“Llama2：开放式基础和微调research/publications/llama-2-open-foundation-and-fine-research/publications/llama-2-open-foundation-and-fine-德-商务部长-alan-f-estevez.chinsights-finds-smic-7nm-n2-huawei-mate-60-pro。room,"LLaMA1vsLLaMA2:AdeepdiveitoMeta'sLLM",Ar'sgeorgetown.edu/publication/the-ai-triad-and-what-it-means-for-national-securitHoffmann等人，TrainingCom-pute-OptimalLargeLanguage@@CNASDC36.KonstantinPilz等人，“提高计算效率和AI能力的扩散”，38.一些研究人员将这种计算时间算法效率的度量称为“有效计算有效FLOP”。“见AjeyaCotra，“用生物锚预测TAI”，2020年7gPeXdSJgFlwIpvavc0atjHGM82Q-jIfUSBGQ;TomDavidso，“以-compte-cetric-framewor-says-abot-taet-speeds/;和Jaime39.DarioAmodei和Dann。。google.com/document/d/1qjgBkoHO_kDuUYq42.AndrewJ.Lohn和MicahMusser，《人工智能与计算：计算能publication/ai-and-compute/。AlgorithmicProgress.pdf.49技术与国家安全|2024年3月构件/d/1EKI7nU1LiknojKm68SIUBnP35iZZJPO1W-G8eLPiZTk0zxyING/核试验历史/曼哈顿项目/google.com/drive/1O99z9b1I5O66bT78r9ScsscrollTo=CytB-eruRSGB。26FLOP.Epoch,Epochdata/epochdb/table;Epoch,Gemini_compute,访问时间为20241sfG91UfiYpYpYzxy75.JohnCuratola，“交付原nationalww2museum.org/war/articles/delivery-atomic-boms-silverplate-b-29。Budget_Appropriations.htm。@@CNASDC理等长期费用。NetaC.Crawford，“9/11后战争的美国预算成