新加坡-生成式AI的治理框架模型

1生成式人工智能的AI治理框架模型培育可信赖的生态系统翻译人：洪延青2Recognisingtheimportanceofcollaborationandcrowdinginexpertise,SingaporeVerifyFoundationtoharnessandcontributionsoftheglobalopen-sourcecommunitytobuildAIgThemissionoftheAIVerifyFoundationistocontributetothedevelopmentofAItestiframeworks,codebase,standaexchangeofideasandopencollaboration,aswellasnurtureadiversenetworkofadvocattestinganddrivebroathatwillcontributetothebroadergoodofhumanity,byenablingtnusteddevelopmentofAI.新加坡认识到合作和汇聚专业知识的重要性，因此成立了人工智能验证基金会，以利用全球开源社区的集体力量和贡献来构建人工智能治理测试工具。人工智能验证基金会的使命是培养和协调一个开发者社区，为人工智能测试框架、代码库、标准和最佳实践的开发做出贡献。它将为思想交流和开放合作建立一个中立的空间，并培育一个多样化的人工智能测试倡导者网络，通过教育和外联活动推动广泛采用。我们的愿景是建立一个社区，通过促进人工智能的可信发展，为人类的更广泛利益做出贡献。Singapore'sDigitalFuture.WecoverthegovemmentagencyinhdigitalisationtofundingR&3govemanceofAInotinisolaBybringingthethreehatsbetterpushboundarieenablingthesafeandt在IMDA,我们将自己视为新加坡数字未来的架构师。作为一个政府机构，我们的独特之处在于同时拥有三顶帽子——经济发展者(从企业数字化到资助研发)、建立可信生态系统的监管者(从数据/人工智能到数字基础设施)以及社会平衡者(推动数字包容性并确保没有人掉队)。因此，我们不是孤立地看待人工智能的治理，而是将其与经济和更广泛的社会联系起来。通过将三顶帽子结合在一起，我们希望不仅在新加坡，而且在亚洲和其他地区都能更好地突破界限，为实现安全、可信赖的使用这一新兴的动态技术做出贡献。4EXECUTIVESUMMARY执行摘要transformativepotential,italsocomeswithrisks.Buildingatrustedeisthereforecritical-ithelpspeoplemaximalspaceforinnovation,andservesasaco生成式人工智能吸引了全世界的想象力。虽然它具有巨大的变革潜力，但也伴随着风险。因此，建立一个值得信赖的生态系统至关重要--它能帮助人们充满信心地拥抱人工智能，为创新提供最大空间，并成为利用人工智能造福大众的核心基础。AI,asawhole,isatechnologythathasbeendevelopingovertheyears.PriorgroundworktopromotetheresponsibleuseoftraditionalAI,SingaporereleasedthefirstversionoftheModelAIGovernanceFrameworkin2019,andupdateditsubsequentlyin2020.TherecentadventofgeneratireinforcedsomeofthesameAIrisks(e.g.bias,misuse,lackofexplandintroducednewones(e.g.hallucination,copalignment).TheseconcemswerehighlightedinourearlierDiscussioGenerativeAI:ImplicationsforTrustandGovernance,3issuedinJune2023.Thediscussionsandfeedbackhavebeeninstruc人工智能作为一个整体，是一项经过多年发展的技术。之前的开发和部署有时被称为传统人工智能1。为了奠定基础，促进负责任地使用传统人工智能，新加坡于2019年发布了第一版《人工智能治理框架范本》,并随后于2020年进行了更新。最近出现的生成式人工智能2强化了一些相同的人工智能风险(如偏见、滥用、缺乏可解释性),并引入了新的风险(如幻觉、侵犯版权、价值一致性)。我们早前于2023年6月发布的《生成式人工智能：对信任和治理的影响》讨论文件3中就强调了这些问题。讨论和反馈都很有启发性。Existinggovemanceframeworksneedtobereviewedtofecosystem.Acarefulbalanceneedstobestruckbetweenprotectingusersanddrivinginnovation.Therehavepullingintherelatedandpertinenttopicsofaccountability,copyright,misinformation,amongothers.Theseissuesareinterconnectviewedinapracticalandholisticmanner.No传统人工智能是指利用从历史数据中获得的洞察力进行预测的人工智能模型。典型的传统人工智能模型包括逻辑回归、决策树和条’生成式人工智能是能够生成文本、图像或其他媒体的人工智能模型。它们学习输入训练数据的模式和结构，并生成具有类似特征的新数据。基于transformer的深度神经网络的进步使生成式人工智能能够接受自然语言提示作为输入，包括GPT-4、Gemini、Claude1TheDiscussionPaperwasjointlypublishedbytheIVerifyFoundation.Seehttps://aiverifyfoundation.sg/downloads/Discussio5需要对现有的管理框架进行审查，以促进更广泛的可信生态系统。需要在保护用户和推动创新之间达成谨慎的平衡。国际上还就问责制、版权、错误信息等相关议题进行了各种讨论。这些问题相互关联，需要以务实和全面的方式加以看待。任何单一的干预措施都不是灵丹妙药。ThisModelAIGovernanceFrameworkforGenerconcernswhilecontinuingtofacilitateinnovation.Itrequirestakeholders,includingpolicymakers,industry,theresearchcommbroaderpublic,tocollectivelydotheirpart.Thereareninedim因此，本《生成式人工智能治理框架范本》旨在提出一种系统、平衡的方法，以解决生成式人工智能的问题，同时继续促进创新。它要求所有主要利益相关者，包括政策制定者、产业界、研究界和更广泛的公众，共同发挥各自的作用。该框架建议从九个方面进行综合考虑，以建立一个可信的生态系统。1.Accountability-AccountaplayersalongtheAIdevelopdoingso,werecognisethatdevelopment,involvesmultiplelayersinthetechstack,andhencetallocationofresponsibilitymaynotbeimmediatelyclear.WhilegenerativeAIdevelopmenthasuniquecharacteristics,usefulparallelscanstillbedrawnwithtoday'scloudandsoftw责任——责任是激励人工智能开发链上的参与者对最终用户负责的关键因素。在此过程中，我们认识到，生成式人工智能与大多数软件开发一样，涉及技术堆栈的多个层面，因此责任分配可能不会立即明确。虽然生成式人工智能开发有其独特性，但仍可与当今的云计算和软件开发堆栈进行有益的比较，并采取初步的实际步骤。2.Data-Dataisacoreelementofmodeldevelopmimpactsthequalityofthemodeloutpimportantandthereisaneedtoensuredatauseoftrusteddatasources.Incaseswheretheuseofdataformodeltrainingispotentiallycontentious,suchaspersonaldataamaterial,itisalsoimportanttogivebusinessclarity,ensurefair数据——数据是模型开发的核心要素。它对模型输出的质量有重大影响。因此，提供给模型的数据非常重要，有必要通过使用可信数据源等方式确保数据质量。在使用数据进行模型训练可能会引起争议的情6况下，如个人数据和版权材料，同样重要的是要让业务清晰化，确保公平对待，并以务实的方式进行。3.TrustedDevelopmentandDeployment-Modeldevelopment,andtheapplicationdeploymentontopofit,areatthecoreofAI-drinnovation.Notwithstandingthelimitedvisibilitythatend-usemeaningfultransparencyaroundthebaselinesafetyandhygienemeasuresundertakeniskey.Thisinvolvesindustryadoptingbestpradevelopment,evaluation,andthereafter"foodlabel"-typetransparencyanddisclosure.Thiscan可信的开发和部署——模型开发以及在其基础上的应用部署是人工智能驱动创新的核心。尽管最终用户的能见度可能有限，但围绕所采取的基本安全和卫生措施进行有意义的透明化是关键所在。这就需要行业在开发、评估以及随后的"食品标签"式透明和披露方面采用最佳实践。随着时间的推移，这将提高更广泛的认识和安全性。4.IncidentReporting-Evenwiththemostrobustdevelopmentandsafeguards,nosoftsameappliestoAI.Incidentreportingisanestablishedpracticallowsfortimelynotificationandremediation.EstablishingstructprocessestoenableincidentmThisalsosupportscontinuousimp事件报告——即使有最健全的开发流程和保障措施，我们今天使用的任何软件都不可能完全万无一失。人工智能也是如此。事件报告是一种既定做法，可以实现及时通知和补救。因此，建立事故监控和报告的结构和流程至关重要。这也有助于不断改进人工智能系统。suchasfinanceandhealthcare,toenableindepadoptthird-partytest测试和保证——对于可信生态系统而言，第三方测试和保证起着补充作用。如今，我们在金融和医疗保健等许多领域都在这样做，以实现独立验证。虽然人工智能测试是一个新兴领域，但公司采用第三方测试和保证来向其最终用户展示信任是非常有价值的。同样重要的是，围绕人工智能测试制定通用标准，以确保质量和一致性。6.Security-GenerativeAIintroducesthepotentialfornewthreatbeinjectedthroughthemodelsthemselves.Thisgoesbeyondsecurframeworksforinformationsecurityne安全性——生成式人工智能有可能通过模型本身注入新的威胁载体。这超出了任何软件堆栈固有的安全风险。虽然这是一个新兴领域，但需要对现有的信息安全框架进行调整，并开发新的测试工具来应对这些风险。7.ContentProvenance-AI-generatedcontent,becauseoftheeasewithwhichitcanbecreated,canexahowtoconsumeonlinecontentinaninformedmanner.Golookingtotechnicalsolutionslikedigitalwatermarkingaprovenance.Thesetechnologiesneedtobeusedintherightcontext.内容出处——人工智能生成的内容由于易于创建，可能会加剧信息错误。内容生成地点和方式的透明化可以让最终用户决定如何在知情的情况下消费在线内容。各国政府正在寻求数字水印和密码出处等技术解决方案。这些技术需要在正确的背景下使用。8.SafetyandAlignmentResearch&Development(R&D)-ThestateAcceleratedinvestmentinR&Disrequiredtoimprovemodewithhumanintentionandvalues.GlobalcooperationamongAIsaR&Dinstituteswillbecriticaltooimpact,andkeeppacewithcommerciallydrivengrowthinmodel安全性和一致性研究与开发(R&D)——当今模型安全性的科学水平并未完全涵盖所有风险。需要加快研发投资，以提高模型与人类意图和价值观的一致性。人工智能安全研发机构之间的全球合作对于优化有限资源以产生最大影响以及跟上商业驱动的模型能力增长至关重9.AIforPublicGood-ResalsoaboutupliftinganAI-enabledfuture.DemocratisingAIAIadoption,upskilling人工智能促进公益——负责任的人工智能不仅仅是降低风险。负责任的人工智能不仅要降低风险，还要提升我们的人民和企业的能力，使其在人工智能化的未来茁壮成长。实现人工智能使用的民主化、改善公共部门对人工智能的采用、提高工人的技能以及可持续地开发人工智能系统，都将有助于引导人工智能向公益方向发展。8 AlsystemdevelopmentlifecycletosAddressingnewthreatve Transparencyoboutwherecontent fromasuselulsi improvemodelalignmen improvingpublicsectoradoption,upskillingworkersanddevelopi9ThisdraftFrameworkbuildsontonGenerativeAIanddrawsfrominsightsanddiscussionswinternationalorganisations,researchcommunitiesandleadingAIorecommendationsherewillevolveastechnologyandpolicydiscussionsdevelop.welcomefeedbacktoenhanceandrefinethisModelGovernanceFramew本框架草案以我们的《生成式人工智能讨论文件》中强调的政策理念为基础，并借鉴了与主要司法管辖区、国际组织、研究团体和领先的人工智能组织的见解和讨论。这里的建议将随着技术和政策讨论的发展而不断变化。我们欢迎反馈意见，以加强和完善本《新一代人工智能示范治理框架》。AccountabilityisakeyconsiderationinfosteringatrustedecoalongtheAIdevelopmentchainneedtoberesponsibletowardsend-users,andthestructuralincentivesshouldalignwiththisneed.TheseplayersincloftenprovideplatformsonwhichAlapplicationsarehosted).GenerativeAI,likemostsoftwaredevelopment,involvesmultiplelayWhiletheallocationofresponsibilitymaynotbeimmediatelyclear,usefulparallelscanbedrawnwithtoday'scloudan问责制是培育可信生态系统的关键因素。人工智能开发链上的参与者需要对最终用户负责，结构性激励措施也应符合这一需求。这些参与者包括模型开发者、应用部署者4和云服务提供商(通常提供托管人工智能应用的平台)。生成式人工智能与大多数软件开发一样，涉及技术堆栈的多个层面。虽然责任分配可能不会立即明确，但可以从当今的云计算和软件开发中找到有益的相似之处，并采取切实可行的措施。Todothiscomprehensively,thereshouldbeconsiderationforhowreisallocatedbothupfrontinthedevelopmentprocess(ex-ante)asbestpractice,andguidanceonhowredres要全面地做到这一点，就应考虑如何在开发过程的前期(事前)分配责任，将其作为最佳做法，并指导如何在之后发现问题时进行补救(事事前-预先分配stakeholderhasinthegenerativeAIdevelopmtakesnecessaryactiontoprotectend-users.Asareference,whiletheremaybevariousstakeholdersinthedevelopmentchain,thecloudindustrcodifiedcomprehensivesharedresptoensureoverallsecurityofthecloudenvironment.Thesemodelsallocateresponsibilitybyexplainingthecontrolsandmeasuresthatcloudproviders(whoprovidethebaseinfrastructurelayer)andtheircustomers(whostapplicationsonthelayerabove)respectivelyundertake.可根据各利益相关方在生成式人工智能开发链中的控制水平分配责任，以便有能力的一方采取必要行动保护最终用户。作为参考，虽然开发链中可能存在不同的利益相关者，但云行业⁵随着时间的推移已经建立并编纂了全面的责任分担模型。其目的是确保云环境的整体安全性。这些模式通过解释云服务提供商(提供基础架构层)及其客户(在上层托管应用程序)分别承担的控制和措施来分配责任。providershaverecentlyextendedsomeelementsoftheircloudsharedresponsibilitymodelstocoverAI,placinginitialfocusonsecuritconcerns.TheAIsharedresponsibilityapproachmayalsoneedtoconsidifferentmodeltypes(e.g.closed-source,open-source7oropen-weights8),giventhedifferentlevelsofmodeltype.Responsibilityinthiscase,forexamplewhenusingopen-source/weightsmodels,shoulmodelsfromreputableplatformstominimisetheriskoftamperedmodels.Beingthemostknowledgeableamanner.Thiswillprovidestakeho将这种方法推广到人工智能开发中是有价值的。云服务提供商最近已将其云分担责任模式的某些要素扩展至人工智能，并将最初的重点放在安全控制上。6鉴于应用程序部署者对每种模式的控制程度不同，人工智能责任分担方法可能还需要考虑不同的模式类型(如封闭源代码、开放源代码?或开放权重8)。在这种情况下，例如在使用开源/权重模型时，应要求应用包括谷歌云、微软Azure和亚马逊网络服务。‘微软既是云服务提供商，也是模式服务提供商，它已经启动了这方面的一些要素。参见https://N/en-us/azure/security/fundamentals/shared-respon’开放源代码可提供从头开始重新训练模型所需的全部源代码和信息，包括模型架构代码、训练方法和超参数、原始训练数据集和文档。更接近于这一极端(但不是完全开放)的模型包括Dolly和BLOOMZ。’开放权重模型提供模型本身的预训练参数或权重，但不提供训练代码、数据集和方法等。现有的开放权重模型包括LlaMa2、程序部署者从信誉良好的平台下载模型，以尽量减少模型被篡改的风险。模型开发人员最了解他们自己的模型及其部署方式，因此他们完全有能力以协同的方式来领导这一开发工作。这将为利益相关者提供更大的前期确定性，并促进更安全的生态系统。Sharedresponsibilitymodelsserveasan分担责任模式是问责制的重要基础——它们明确了问题发生时的补救措施。然而，它们可能无法涵盖所有可能出现的情况。当出现新的或意料之外的问题时，分配责任也可能具有实际挑战性。值得考虑采取更多措施，包括围绕赔偿和保险的概念，以更好地为最终用户提供保障。Thisexistsinalimitedformtoday.Incleareindustryhasmoved.Somemodeldevelopers9havebeguntounderwritecertainrisks,suchasthird-partycopyrightclaimsAIproductsandserviceresponsibilityformodeltraini如今，这种形式还很有限。在需要补救的更明确领域，该行业已经有所行动。一些模型开发商9已经开始承保某些风险，例如因使用其人工智能产品和服务而引起的第三方版权索赔。这样做，开发者默认了他们对模型训练数据和模型使用方式的责任。updatinglegalframeworkstomakethemmoreflexible,andtoriskstobeeasilyandfairlyaddressed.Thisisakinproductstodayenjoysafetyprotections.OneexampleofsucheffortsistheproposedAILiabilityDirectiveandRevisedProductLiabilityDirective.Ifadopted,theDirectivesaimtomakeitsimplerfocausedbyAI-enabledproductsandservices.Thisensuresthatnopartyisunfairlydisadvantagedbythecompensationprocess.不可避免的是，还有一些领域没有那么明确，也没有被很好地涵盖。这可能包括对整个社会产生过大影响的风险，而这些风险可能只会随着人工智能的使用而出现。因此，有必要考虑更新法律框架，使其更加灵活，并使新出现的风险能够轻松、公平地得到解决。这类似于今天实体产品的最终用户享受安全保护的方式。欧盟提出的《人工智能责任指令》和《修订产品责任指令》就是这方面努力的一个例子。如果获得通过，这两项指令旨在让最终用户更容易证明人工智能产品和服务造成的损害。这将确保任何一方都不会在赔偿过程中处于不公平的不利地位。最后，必然会有一些遗留问题漏掉。这是一个刚刚开始的讨论，可以考虑将无过失保险10等替代解决方案作为安全网。2.Data数据Dataisacoreelemento数据是模型和应用开发的核心要素。需要大量的数据才能训练出稳健可靠的人工智能模型。鉴于其重要性，企业需要明确和确定如何在模型开发中使用数据。这包括可能存在争议的领域，如公开的个人数据和版权材料，这些通常包含在网络抓取的数据集中。在这种情况下，重要的是要认识到相互竞争的问题，确保公平对待，并以务实的方式做到这一点。此外，模型的良好开发需要高质量的数据，在某些情况下还需要有代表性的数据。确保现有数据集的完整性也很重要11。Trusteduseofpersonaldata个人数据的可信使用Aspersonaldataoperateswithinexistinglegalregimes,aforpolicymakerstoarticulatehowexistinprotectstherightsofindividu由于个人数据是在现有法律制度下运行的，因此政策制定者的一个有益出发点是阐明现有的个人数据法律如何适用于生成式人工智能。这将有助于以仍然保护个人权利的方式使用个人数据。例如，政策制定者和监管者可以明确同意要求或适用的例外情况，并为人工智能中的数据使用提供良好商业实践指导。Anemerginggroupoftechnologies,knowncollectivelyasPrivacyEnhancingdevelopmentofAImodelswhileprotectingdataconfidentialityandprivacy.SomePETsarenotnew,suchastechnologiesarestillnascentandevolving12.TheunderstandingofhowPETs一组新出现的技术统称为"隐私增强技术"(PET),有可能在开发人工智能模型时使用数据，同时保护数据的机密性和隐私。有些PETs并不是新技术，如匿名技术，而其他技术仍处于萌芽和发展阶段12。了解如何将PET应用于人工智能将是一个需要推进的重要领域。Balancingcopyrightwithdataacc平衡版权与数据获取Fromamodeldevelopmentperspective,theuseofcopyrightmaterialinoutput-someofwhichmimicthestylesofexistingcreaconsiderationsofwhetherthiswouldconstitutefairuse.13从模型开发的角度来看，在训练数据集中使用版权材料以及版权所有者的同意问题已开始引起关注。模型也越来越多地被用于产生创造性产出——“IMDA的PETs沙盒有助于促进基于真实世界使用案例的实验，包括将PETs用于人工智能。这使行业能够探索这一新兴技术的创新应用，同时确保以安全、合规的方式部署PET。https//wwwimdagovsg/how-we-can-help/data-innovation/privacy-enhancing-其中一些模型模仿了现有创作者的风格，这就需要考虑是否构成合理使用。13Giventhelargevolumeofdatamanner.Today,legalframeworkshavenotyetapproach.Somecopyrightownershavelegislativesolutionssuchascopy鉴于人工智能训练涉及大量数据，因此有必要制定明确有效的方法来解决这些难题。如今，法律框架尚未围绕这种方法形成合力。一些版权所有者已在美国和英国法院对人工智能生成公司提起诉讼。各国也在探索非立法性的解决方案，如版权指南14以及针对开发者和最终用户的操作规范15。amongstallrelevantstakeholders,tounderstandtheimpactofthefast-evolvgenerativeAItechnology,andensurethatpotenlinewithmarketrealities.考虑到其中涉及的各种利益，决策者应促进所有相关利益攸关方之间的公开对话，以了解快速发展的人工智能生成技术的影响，并确保潜在的解决方案是平衡的，符合市场现实。为获取高质量数据提供便利adoptgeneralbestpracticesindatagovernance,includingannotati作为组织层面的整体卫生措施，人工智能开发人员应采取数据质量控制措施，并采用数据管理方面的一般最佳做法，包括一致、准确地注释训练数据集，以及使用数据分析工具来促进数据清理，这将是一项良好的纪律。Globally,itisworthconsideringacoftrusteddatasets.ReferenceGovernmentscanalsoarepositoryofrepresentativetrainingdatasets(e.g.inlowresourcelanguages).Thishelpstoimprovetheavailabilityofquadatasetsthatreflecttheculturasupportsthedevelopmentofsaferandmoreculturallyrepresentativemodels.在全球范围内，值得考虑共同努力扩大可用的可信数据集库。参考数据集是人工智能模型开发(如用于微调)以及基准设定和评估的重要工具。16各国政府还可考虑与当地社区合作，针对其具体情况(如使用低资源语言)建立具有代表性的训练数据集库。这有助于提高反映一国文化和社会多样性的高质量数据集的可用性，进而支持开发更安全、更具文化代表性的模型。3.TrustedDevelopmentandDeployment可信的开发和部署Modeldevelopment,andtheapplicationdeploymentontopofit,areatofAI-driveninnovation.Today,however,thereisalackofinformationontheapproachesbeingtakento模型开发以及在此基础上的应用部署是人工智能驱动创新的核心。然而，如今却缺乏有关确保模型可信赖的方法的信息。即使在"开源"模型的情况下，一些重要信息，如方法和数据集，也可能无法公开。Goingforward,itisimportantthattheindustrycoalescesaroundbesttransparencyaroundbaselinesafetyandhygienemeasuresundertakenwillalsobekey.Thiswillneedtobebalancedwithlegitimateconsideratsafeguardingbusinessandproprietaryinform展望未来，重要的是，业界应围绕最佳实践进行开发，进而进行安全评估。此后，在所采取的基线安全和卫生措施方面实现有意义的透明也将是关键所在。这需要与合理的考虑因素相平衡，如保护业务和专有信息，以及不允许坏人玩弄系统。”这类似于制药业的参考标准，用作评估药物的依据。SafetybestpracticesneedapplicationdeployersacrosstheAIdevelop模型开发人员和应用部署人员需要在整个人工智能开发生命周期内，围绕开发、披露和评估实施安全最佳实践。Development-BaselineSafetymeasuresaredevelopingdeployersarebestplacedtodeterminewhattouse.Evenso,industryp安全措施的发展日新月异，模型开发者/应用部署者最有资格决定使用什么安全措施。即便如此，行业实践已开始围绕一些常见的安全实践而形成合Forexample,afterpre-training,fine-tuningtechniquessuchasReinforcestepforsafetyisalsotoconsiderthecontexassessment.Forexample,furtherfine-tu(suchasinputandoutputfilters)canhelptoreducelikeRetrievalcommonlyusedtoreducehallucinationsandimproveaccuracy.例如，在预训练之后，微调技术(如从人类反馈中强化学习(RLHF)17可引导模型生成更安全的输出，使其更符合人类的偏好和价值观。安全的关键步骤还包括考虑使用案例的场景并进行风险评估。例如，进一步微调或使用用户交互技术(如输入和输出过滤器)有助于减少有害输出。检索增强生成(RAG)18和少量学习等技术也常用于减少幻觉和提高准确性。Disclosure-"FoodLabels"披露——"食品标签"Transparencyaroundthesesafetymeasuresundertakenprovidingrelevantinformationtodownstreamusers,theycanmakemoreinformeddecisions.Whileinformation,standardisingdmodelsandpromotesafermodeluse.Relevantareasmayinclude:这些安全措施是人工智能模型构成的核心，因此，其透明度是关键所在。这就好比"食品/成分标签"。通过向下游用户提供相关信息，他们可以做出更明智的决定。虽然领先的模型开发商已经披露了一些信息，但将披露标准化将有助于模型之间的可比性，并促进更安全地使用模型。相关领域可能包括1.Dataused:Anoverviewofthetypesoftrainingdatasourcesandhwasprocessedbeforetraining.使用的数据：训练数据源类型以及训练前如何处理数据的概述。2.Traininginfrastructure:Anoverviewofthetraininginfrastructureusedand,wherepossible,estimatedenvironmentalimpact'9.培训基础设施：概述所使用的培训基础设施，并在可能的情况下，估计对环境的影响19。3.Evaluationresults:Overviewofevaluationsdon评估结果：已完成的评估和主要结果概览。4.Mitigationsandsafetymeasures:Safetymeasuresimplementedcorrectiontechniques).缓解和安全措施：已实施的安全措施(如偏差纠正技术)。5.Risksandlimitations:Model'sknownrisksand风险和局限性：模型的已知风险和应对这些风险的措施。6.Intendeduse:Clearstatementsettingoutthescopeofthemodel'sinten预期用途：明确说明模型的预期用途。7.Userdataprotection:Outlininghowusers'd用户数据保护：概述如何使用和保护用户数据。transparentvis-a-visprotectingproprietaryinforprovidedaspartofgeneraldisclosuretoallparties.Thisinvomodeldevelopersandapplicationdeployers.Adevelopmentofsuchabaselineca披露的详细程度可以根据透明的需要和保护专有信息的需要进行调整。向前迈进的一步是，业界应就基线透明度达成一致，将其作为向所有各方进行一般性披露的一部分。这既涉及模型开发者，也涉及应用部署者。另外，政府和第三方也可以协助制定这样的基线。Greatertransparencytoposepotentiallyhighrisks,suchasadvancedmodelsthathavenationalsecurityorsocietalimplications.Thereisthereforesptodefinethemodelriskthresholds,abovewhichadditionaloversight对于具有潜在高风险的模型，如具有国家安全或社会影响的先进模型，也需要提高对政府的透明度。因此，政策制定者还有空间来确定模型风险阈值，超过阈值将适用额外的监督措施。Therearegenerallytwomainapproachestoevaluategen目前，评估生成式人工智能通常有两种主要方法：testsmodelsagainstdatasetsofquestions/answerstoassessperformance根据问题/答案数据集测试模型，以评估性能和安全性；以及(ii)redteamingwherearedteamactsathemodelandinducesafety,securityandothebenchmarkingandredteamingarecommonlyadoptedtofarshortintermsofgivingarobustasafety(seethesectionon(li)红队(redteaming),即红队作为敌对用户"破坏"模型，诱发安全、保安和其他违规行为。尽管目前普遍采用基准测试和红队测试，但它们在对模型性能和安全性进行可靠评估方面仍有很大差距(见”安全与对齐研发"部分)。Evenwithinthebenchmarkingandredteamingframework,mostevaluationtodayfocuslessaboutitsback-endsafetyformulti-modalmodels),aswellastestingfordangerouscAnotherissueisinconsistency-manytestsandevalubecustomisedtoasp即使在基准测试和红队框架内，目前的大多数评估都侧重于生成式人工智能的前端性能，而较少关注其后端安全性。此外，还缺乏评估工具(如多模式模型)以及危险能力测试。另一个问题是一致性——如今的许多测试和评估都需要针对特定模型进行定制，有时可比性是一个挑战。Thereisthereforeaneedtoworksystematicapproachtosafetyevaluations.Thiswiandcomparableinsights.Toprovideapproachcouldalsoincludeinconsultationwithpolicymakers.因此，有必要采用更加全面和系统的方法来进行安全评估。这将产生更有用、更具有可比性的见解。为了提供额外的保证，标准化方法还可以包括与决策者协商，确定一套所需的安全测试基线。AStartingPointforStandar标准化安全评估的起点standardisedmodelsafetyevaluationsforLLMs,coverfactuality,propensitytobias,toxicitygenerationanddatagovOctober2023.20Thepapracticalguidanceonwhatsafetyevaluationsmayberecommendationshavetobecontinuouslyimproved,giAIVerify基金会和IMDA为LLMs推荐了一套初步的标准化模型安全性评估，涵盖稳健性、事实性、偏差倾向、毒性生成和数据治理。2023年10月发布的题为“LLM评估编目”的文件20中提供了有关可考虑哪些安全评估的全景扫描和实用指南。鉴于生成式人工智能领域的快速发展，这些建议必须不断改进。evaluations(e.g.mandatingstringentaccuracythreshcasessuchasmedicaldiagnosis).Applicationdeployers,cases.Industryandsectoralpolicymakersneedtojoinevaluationbenchmarksandtools,whilebetweenbaselineandsector-specif部门和领域可能有独特的需求，需要额外的评估(例如，对医疗诊断等高风险用例规定严格的准确性阈值)。此外，应用部署者更有可能关注针对其使用案例的特定领域评估。行业和部门决策者需要共同改mSeeaiverilyioundationsg/downloads/Cataloguing进评估基准和工具，同时保持基准要求和部门具体要求之间的一致性。21thereforekey.Thisinturnsupportthroughinsights,remediation即使有最强大的开发流程和保障措施，我们今天使用的任何软件都不可能万无一失。人工智能也是如此。事件报告是一种惯例，包括在电信、金融和网络安全等关键领域。这样可以及时通知和补救。因此，建立实现事件报告的结构和流程是关键所在。这反过来又支持通过洞察、补救和修补来VulnerabilityReporting-IncentivetoActPre-E漏洞报告——激励采取预防性行动Beforeincidentshappen,softwareproductoaspartofanoverallproactivesecurityapproaorindependentresearchsometimesthroughacuratedbug-bountyprogramme.Oncediscodaysbasedonindustrypractice)topathat/independentresearcher.This在事故发生之前，软件产品所有者会将漏洞报告作为整体主动安全方法的一部分。他们与白帽子或独立研究人员合作/支持他们发现软件中的漏洞，告，然后产品所有者就会有时间(根据行业惯例，一般为90天)修补其软件，公布漏洞(如提交CVE--见下文方框),并向白帽子/独立研究人员致谢。这样，软件产品所有者和用户都可以采取积极措施，提高整体安全CommonVulnerabilitiesandExposures常见漏洞和暴露(CVE)计划TheCVEprogramme,managedbytheMITRECorporation,compilesalistofpubliclyknownsecurityvulnerabilitiesandexposures.Thislistiswidreferredtobycybersecurityteamsaroundtheworldtolookfvulnerabilitiesthatmightaffectone'sorganisation.Softwareprodu由MITRE公司管理的CVE计划汇编了一份公开的安全漏洞和暴露清单。世界各地的网络安全团队都会广泛参考这份清单，查找可能会影响组织的新漏洞。软件产品所有者可将漏洞归档为CVE。发现零日CVE的能力也被视为白帽子社区的一项成就。bestpracticesforvulnerabilityreporting,includingatime-windowtoa人工智能开发人员也可以应用类似的概念，为其人工智能系统中发现的安全漏洞提供报告渠道。他们可以采用与漏洞报告相同的最佳实践，包括评估事件、修补和发布的时间窗口。IncidentReporting事件报告Afterincidentshappen,organisationsneedinternalprocessestoreporttheincidentfortimelynotificationandremediation.DepeincidentandhowextensivelyAIwasthepublicaswellasgovemments.Defining"severeAlmaterialitythresholdforformalreportingisthereforcybersecurity,AIincidentscanbereportedtotSharingandAnalysisCentres",whicharetrustedentisharingandgoodpractices,事故发生后，组织需要内部流程来报告事故，以便及时通知和补救。根据事件的影响和人工智能涉及的范围，这可能包括通知公众和政府。因此，定义"严重人工智能事件"或设定正式报告的重要性阈值至关重要。借鉴网络安全的做法，人工智能事件可报告给相当于"信息共享和分析中心“的机构，这些机构是促进信息共享和良好做法的可信实体，也可在法律要求的情况下报告给相关当局。Reportingshouldbeproportionate,whichmeanscomprehensivereportingandpracticality.Thireferencepointforlegalreportingrequirements(报告应适度，即在全面报告和实用性之间取得平衡。这需要根据当地的具体情况进行调整。在这方面，即将出台的欧盟《反诈骗法》为法律报告要求提供了一个参考点(见下文方框)。根据即将实施的欧盟人工智能法案进行事件报告Providersofhigh-riskAIsystemsarerequiredtoreportseriousincidentstothemarketsurveillanceauthoritiesoftheMeoccurred,within15daysaftertheAincident."Seriousincident"AIsystemthatdirectlyorindirectlyleadstothedeathofadamagetoaperson'shealth,seriousandirreversibledisruptionofinfrastructure,breachesoffundamentalrightsunderUnionlaw,or高风险人工智能系统的提供商必须在人工智能系统提供商发现严重事故后15天内向事故发生地成员国的市场监管当局报告。所谓“严重事故”,是指人工智能系统的任何事故或故障直接或间接导致人员死亡、对人员健康造成严重损害、对关键基础设施造成严重且不可逆转的破坏、违反欧盟法律规定的基本权利，或对财产或环境造成严重损害。5.TestingandAssurance测试和保证ecosystem.Wedothistodayinmanydomains,suchastoenableindependentverification.Whilecompaniestypicallyconductdemonstratecompliancewithregulation,morecompaniesarebeginnextemalauditsasausecredibilityandtrustwithend-users22.第三方测试和保证通常在可信生态系统中发挥补充作用。如今，我们在金融和医疗保健等许多领域都这样做，以实现独立验证。虽然公司进行审核通常是为了证明其符合法规要求，但越来越多的公司开始将外部审核视为一种有用的机制，以提供透明度并与最终用户建立更高的可信度和信任togrowtheAIthird-partytestingecosystem.Tfromcomprehensiveandconsistentstandardsaround虽然这是一个新兴领域，但我们可以借鉴已有的审计实践来发展人工智能第三方测试生态系统。第三方测试还将受益于围绕人工智能评估的全面一致的标准(在前面关于可信开发和部署的章节中讨论过)。Fosteringdevelopmentofathird-partytestingecosystem促进第三方测试生态系统的发展涉及两个关键方面：1.Howtotest:Definingatestingmethodolog如何测试：确定可靠、一致的测试方法。2.Whototest:Identifyingtheentitiestoconducttestingthatindependence.Howt谁来测试：确定进