ChatGPT背后的底层技术-DeepLearning(深度学习)

eepeargnnun∗oshuangio∗ofynton习nnun∗oshuangio∗ofyntonstactpaninglowsompuatonalodeshteomposdfultpleroesingaysoenpesnttionsfatathultipeevlsfbstcion.hseehodsavermtialympovedhetaeo-heatnpehcogniion,isulbjetcogntion,bjeteetionndanytherominsuhsugiscovyndenomcs.peningisovesntictetuctuenageaaetsysingheakpopagtionlgoithmonditeowaahinehouldhngetsntrnlaaetshatesedoompuehepesnttionnchayromhepesnttionnherviousay.ponvoluionaletsaveroughtboutrakhroughsnroesingmge,ido,pechnddio,hescuenttsavehoneightnequntilatauchsextndpech.摘要深度学习允许由多个处理层组成的计算模型学习具有多个抽象级别的数据表示这些方法极大地提升了语音识别视觉目标识别目标检测以及许多其他领域的最新技术例如药物发现和基因组学深度学习通过使用反向传播算法来指示机器应如何更新其内部参（从上一层的表示形式计算每一层的表示形式从而发现大型数据集中的复杂结构深层卷积网络在处理图像视频语音和音频方面带来了突破，而递归网络则对诸如文本和语音之类的顺序数据有所启发。正文ahin-ernngehnologyowsanysptsfodenocity:ombechsoontntiteingnociletoksoommndaionsnommrebsits,ndtsnrsinglyrsntnonumeroductsuchsmrsndmatphons.ahin-ernngystmsesdodenifybjctsnmges,rnsrbepehntoex,achestms,ostsrrodutsthses’ntrsts,ndeltlvantsultsfech.nesingly,hesepplctionsakesefalssfehniquslldepening.onvenionalahinleningehniquseimiednherblityorossatultanherwom.oreads,onsrutingaatenrognitionrahin-eningystmquiedeulnginringndonsdeabeomanxpriseoesignaaurextcorhatrnsomedhewatasuhsheixelalusfnmge)ntoauitblentnalpeenttionraurectoromhchheeningubsystm,ftnalssii,ouldettrassfyatensnhenput.epsenatoneningsaetfthodshtlowsachineoedthwatandoutoatcllyiscovrhepesnttionsededortetionrlssiiaion.p-lrnngehodsepesnttionlaningehodsthultipeevlsfpeenttion,btanedyomposngimpleutonlinarodulshtchrnsomhepesnttiontneevlsatingthhewnput)ntoapesnttiontaighr,lightyorebstctevl.ihheompostionfnoughuchrnsomaions,eyompexuntionsneened.orlssiiaionsks,igheraysfpesnttionmpifyspcsfhenputhatempotantorisrmintionndupprssrlvantrition.nmge,orxmpl,omsnheomfnayfixelalus,ndheenedaursnheistayrfpesnttionypialypesnthersncerbsncefdgstatiulrienatonsndoctionsnhemge.hecondayrypialyettsotisypottingatiulrangmntsfdgs,grdessfmllaitionsnhedgeosition.ehidayrayssmbleotisntoagrombnatonshatoespondoatsfmilarbjets,ndubsequntyesoudeetbjcssombnatonsfheseats.heeypetfepeningshthseyesfaurseotesigndyumannginrs:heyeandomatasingaenrlpuposeeningocdur.peningsakngaordvnesnolvingrobemshatavesisedheesttempsfhetiiilntllignceomunityoranyes.tasunedutoeeyoodtiscovingntictetuctusnigh-dmenionaltandshefoepplcbleoanyomansfcene,usinesdovenmnt.nddiionoetingcodsnmgecogntionndpechcogntion,tasatntherahin-eningehniqusteditinghetiviyfotenialrugolculs,alysngatileelaorat,onstuctngriniuits,ndrditingheetsfuttionsnon-odingAnnexpssionndises.ehpsoeupriingly,epeningasroduedxtmeyromsingsultsraiousasksnaurlangugendestnding,atiulryopiclssiiaion,entmentnlysis,uesionnsrngndangugernsltion.ehinkhtepeningllavenyoreucssesnheeruureeausetquieseyittenginringyand,otnsilykedvntgefncassnhemountfvilbleompuatonndat.weninggorthmsndchtetushterntlyingevlopdorepeuletoksllnlyclrtehisrogss.机器学习技术为现代社会的各个方面提供了强大的支持从网络搜索到社交网上的内容过滤再到电子商务网站上的推荐并且它越来越多地出现在诸如相机智能手机之类的消费产品中机器学习系统用于识别图像中的目标语音转录文本，新闻标题、帖子或具有用户兴趣的产品匹配，以及选择相关的搜索结果这些应用程序越来越多地使用一类称为深度学习的技术。传统的机器学习技术在处理原始格式的自然数据方面的能力受到限制几十年来构建模式识别或机器学习系统需要认真的工程设计和相当多的领域专业知识才能设计特征提取器以将原始数（例如图像的像素值转换为合适的内部表示或特征向量，学习子系统（通常是分类器）可以对输入的图片进行检测或分类。表示学习是一组方法这些方法允许向机器提供原始数据并自动发现检测或分类所需的表示深度学习方法是具有表示形式的多层次的表示学习方法它是通过组合简单但非线性的模块而获得的，每个模块都将一个级别（从原始输入开始的表示形式转换为更高更抽象的级别的表示形式有了足够多的此类转换就可以学习非常复杂的功能对于分类任务较高的表示层会放大输入中对区分非常重要的方面并抑制不相关的变化例如图像以像素值序列的形式出现并且在表示的第一层中学习的特征通常表示图像中特定方向和位置上是否存在边缘第二层通常通过发现边缘的特定布置来检测图案而与边缘位置的微小变化无关第三层可以将图案组装成与熟悉的对象的各个部分相对应的较大组合并且随后的层将这些部分的组合作为目标进行检测深度学习的关键在于每层的功能不是由人类工程师设计的，而是通用训练过程从数据中学习的。深度学习在解决多年来抵制人工智能界最大尝试的问题方面取得了重大进展实证明它非常善于发现高维数据中的复杂结构因此适用于科学商业和政的许多领域除了打破图像识别和语音识别中的记录它在预测潜在药物分子活性分析粒子加速器数据重建脑回路和预测非编码A突变对基因表达和疾病的影响方面还优于其他机器学习技术更令人惊讶的是深度学习在自然语言理解中的各种任务上产生了非常有希望的结果，尤其是主题分类、情感分析问答系统和语言翻译。由于深度学习只需要极少的人工操作我们认为其在不久的将来会取得更多的功因此可以轻松地利用增加的可用计算量和数据量的优势目前正在为深度经网络开发的新学习算法和体系结构只会加速这一进展。uprvisdeaningheostomonrmfahineening,eprot,supevisdening.mginehatentouildaystmhatnassfymgessontining,ay,aouse,ar,aesonraet.eistoletargeataetfmgesfouses,r,eoplendes,chablldthtstgoy.ringrining,heahineshownnmgendroduesnutputnheomfaetorfcos,neorchtgory.entheesrdtgoyoaveheighestoreflltgores,uthissnliklyoappneoeainng.eompuenbjetiveuntionhatesuesheorristnc)ewnheutputcosndheeirdatenfcos.hechnehenodiiestsntrnldustabeaaetsoduehisor.hsedustbleamtes,ftnlldights,ealumbrshatneensnobs’hateinehenput–utputnctonfheahin.naypialep-eningystm,heeayeundrdsfillonsfhesedjusableights,ndundrdsfillonsfablldxmplsthhchoanheahin.oroplydjustheighteto,heaninglgoithmompuesardintetorha,orchight,ndiatsyhtountheoroudncaserersefheghtenrsedyainyount.heightetorshndjusednheppositeirtionoherdinteto.hebjetiveuntion,vagdverllheainngampes,neensaindfillyandcpenheighdimnsionlpcefightalus.eegtiverdintetornditesheietionftepstesentnhisandspe,akngtlosroainimu,heheutputorsownvrg.nrcic,ostrcitionssearodurelldtochstcrdintesntG.hsonsitsfhoinghenputetororawampes,ompuingheutputsndheor,mputingheeagerdintorhosexmpls,nddjusingheghtscodingly.heocssspatdoranymaltsfxmplsomheriningetntilhevagefhebjetiveuntiontopsersing.tslldtohasiceausehmaletfxmplsivsaoisystmaefhevagerdintverllxmpls.isimpleroeduesualyindsaoodetfightsupriinglyuiklyhnompedthrorelboateptimitionehniqus.trrining,heeoranefheystmsesuednaifentetfxmplslldaestet.isevsoestheenrlitionilityfheahinetsbiityoroduensiblensrsnewnputshattasevrenuringrining.anyfheuentrciclpplctionsfahineaningseinarlssiisnopfandengneedaurs.Ao-lssinarlssiirmputsaighedumfhetureetoromponnts.fheightdumsboveahrshold,henputslssiidselongngoaatiulrtgory.inehe960seavenonhatinarasifesnnlyrvehernputpaentoeyimplegions,amlyalspasepatdyaypeplne.utroblmsuchsmgendpechognitionquiehenput–utputuntionoensenitiveoelvntaitionsfhenput,uchsaitionsnosition,rinttionrllumnatonfnbjet,raitionsnheithrcntfpech,hleeingeyenstiveoatiulrinuteaitionsorxmpl,heifrneetenahteofndaredfoflikeiteoglldamoyed.theixelve,mgesfomoyedsnifentosesndnifentnvionmntsayeeyifrntomhthe,hesomgesfamoyedndaofnheameositionndnimilrakgroundsyeeyimiarohthe.Ainarlssii,rnytherhalow’lssiirpeaingnwixlsuldotossiblyistingushheatero,ileuttinghereronheametgory.hsshyhalowasifesquieaoodtuextctorhatolvesheeltivity–nvainceilmma-nehatroduespesnttionshateeetiveohespcsfhemgehatempotantorisciinaion,uthatenvaintorlvantspcsuchsheosefhenial.oakelssiisoreowfu,nenseenrcon-lneraurs,sthenelehods,utenrcaursuchshoseisingthheussinenelootlowheeneroenrliellromheriningxmpls.heonvntionlptionsoandesignoodaurextctos,hchquiesaonsidabemountfngnerngkilldominxpris.uthisnlevoiddfoodtuesneenedutoatcllysingaenrlpuposeeningroedu.hssheeydvntgefepening.Aep-eningchtetuesaultiayrtckfimpeoduls,llrost)fhcheubjctoaning,ndanyfhchompueonlinarnput–utputappngs.hodulenhetckrnsomstsnputoncaseothheeltivityndhenvainefhepesnttion.thultipeonlinaryes,ayaepthf5o0,aystmnmplmntxtmeynticteuntionsftsnputshteimutanouslyenstiveoinuteetilsdisinguishingmoydsomhtelvesndnsnsitiveorgeelvntaitionsuhsheakground,ose,ightingnduroundingbjets.监督学习不论深度与否机器学习最常见的形式都是监督学习想象一下我们想建立一个可以将图像分类为包含房屋汽车人或宠物的系统我们首先收集大量的房屋汽车人和宠物的图像数据集每个图像均标有类别在训练过程中机器将显示一张图像并输出一个分数向量每个类别一个我们希望所需的类别在所有类别中得分最高，但这不太可能在训练之前发生。我们计算一个目标函数该函数测量输出得分与期望得分模式之间的误（或距离然后机器修改其内部可更新参数以减少此误差这些可更新的参（通常称为权重是实数可以看作是定义机器输入输出功能“旋钮在典型的深度学习系统中可能会有数以亿计的可更新权重，以及数亿个带有标签的实例，用于训练模型。为了适当地更新权重向量学习算法计算一个梯度向量针对每个权重该梯向量表明如果权重增加很小的量误差将增加或减少的相应的量然后沿与度向量相反的方向更新权重向量。在所有训练示例中平均的目标函数可以在权重值的高维空间中被视为一种丘陵地形负梯度矢量指示此地形中最陡下降的方向使其更接近最小值其中输误差平均较低。在实践中大多数从业者使用一种称为随机梯度下（D的算法这包括示几个示例的输入向量计算输出和误差计算这些示例的平均梯度以及相应更新权重对训练集中的许多小样本示例重复此过程直到目标函数的平均值止下降之所以称其为随机的是因为每个小的示例集都会给出所有示例中平梯度的噪声估计与更复杂的优化技术相比18这种简单的过程通常会出乎料地快速找到一组良好的权重训练后系统的性能将在称为测试集的不同示集上进行测量这用于测试机器的泛化能力机器在新的输入数据上产生好的果的能力，这些输入数据在训练集上是没有的。机器学习的许多当前实际应用都在人工设计的基础上使用线性分类器两类别性分类器计算特征向量分量的加权和如果加权和大于阈值则将输入分为特类别。自二十世纪六十年代以来我们就知道线性分类器只能将其输入空间划分为非常简单的区域即由超平面分隔的对半空间但是诸如图像和语音识别之类的问题要求输入输出功能对输入的不相关变化不敏感例如目标的位置方向或照明的变化或语音的音高或口音的变化对特定的微小变化敏例如白狼与萨摩耶之间的差异萨摩耶是很像狼的白狗在像素级别两幅处于不同姿势和不同环境中的萨摩耶图像可能差别很大而两幅位于相同位置且背景相似的萨摩耶和狼的图像可能非常相似线性分类器或其他任何在其上运行“浅分类器无法区分后两幅图片而将前两幅图像归为同一类别这就是为什么浅分类器需要一个好的特征提取器来解决选择性不变性难题的原因提取器可以产生对图像中对于辨别重要的方面具有选择性但对不相关方（例如动物的姿态不变的表示形式为了使分类器更强大可以使用通用的非线性特征如核方法但是诸如高斯核所产生的那些通用特征使学习者无法从训练示例中很好地概括传统的选择是人工设计好的特征提取器这需要大量的工程技术和领域专业知识但是，如果可以使用通用学习过程自动学习好的功能，则可以避免所有这些情况这是深度学习的关键优势。深度学习架构是简单模块的多层堆叠，所有模块（或大多数模块）都需要学习并且其中许多模块都会计算非线性的输入-输出映射。堆叠中的每个模块都会转换其输入以增加表示的选择性和不变性系统具有多个非线性（例如深为5到0可以实现极为复杂的输入功能这些功能同时对细小的细节敏（区分萨摩耶犬与白狼并且对不相关的大变化不敏感例如背景功能姿势灯光和周围物体。ackropagaionoainltilayrahietrsomhelistaysfatencogntion,heimfsachsasenoplceandengneedaursthrinbleultiayretoks,utesptetssimplicity,thesolutionasnotidelyundestooduntilthemid1980s.sittunsout,ultiayrchtetusnerindyimpletohasicrdintesen.songsheodulseltivlymoothnctonsfhernputsndfhirntrnlights,nenompuerdintssingheakpopagtionroedu.edeahathisouldeone,ndhattokd,sisovedndpendntlyyevalifrntroupsuringhe970snd980s.heakpopagtionroedueoompueherdintfnbjetiveuntionthspctoheightsfaultiayrtckfodulssothingorehnarciclpplctionfheainuleoreivtivs.heynsightshatheeivtiveorrdint)fhebjetivethspctohenputfaoduleneompuedyokingakadsomheadintthspctoheutputfhatoduleorhenputfheubsequntodul)ig.).heakpropgtionqutionneppledpetdlyoropgaeadintshroughlloduls,tatngomheutputtheophreheetokroduestsrdition)llheyoheottomhrehextnalnputsd.neheserdintsveenompued,tstaighfoadoompueherdintsthsptoheightsfchodul.MnyppliationsofdeplrninguseedforadnurlntwokchiteturesFig.),ichenoapaxedsienputorxmpl,nmge)oaixdsieutputorxmpl,arobbilityorchfevaltgoie).ooomneayroheext,aetfnitsompueaghtedumfhirnputsomherviousayrndasshesulthroughaon-lneruntion.trsnt,heostopularon-lneruntionsheciiedinarnitL,hchsimplyhealaveciier)=x(0,.nasteads,eualetssdmoothron-lneitis,uhsanh)r/(1xp(),utheeUypialyensuchstrnetoksthnyays,loingriningfaepupevisdetokthoutnsupevisdrtrining.ntshteotnhenputrutputayreonvntionllylldiddennits.heiddenaysneensistotinghenputnaon-ineryohttgoriseomeinalyepableyheastayrig..nheae990s,eualetsndakpropgtioneaglyoskenyheahin-eningomunityndgnoedyheoputevisionndpecheognitonomunitis.tsdelyhoughthateningseul,ultisag,aurextcorsthi-teriornowedgesnesibl.natiulr,tsomonlyhoughthatimperdintesentoudetappdnooroclinimwightoniguaionsorichomalhngeoudduehevrgeor.nrcic,ooroalinimaeeyaoblemthageetoks.egdlssfhenitilondiions,heystmelyayschsolutonsfeyimilrualty.entheotialndpiiclsutstonglyuggesthatoclinimaeotaeiousssuenenrl.nsed,heandspesakedthaombnatoillyageumberfaddleointsheherdintsro,ndheurceuvspnostimnsionsndrvsownnheminde.ealyssemsohowhataddleointsthnlyawonaduvingirtionsersntneyageumbes,utlostllfhemveeyimilralusfhebjetiveuntion.ne,toesotuhttrihfheseaddleointshegorthmetstukt.ntestnepedoadetokssvivdound006yaroupfsachsroughtogeheryhenadannsituteordvnedeerhIA).esachsnto-dudnsupevisdaningroedushatouldeteaysftueettorsthoutquiingablldat.hebjetiveneningchayrfaureettorssoebleoonstuctrodlhetiviiesfaureettorsorwnputs)nheyerelo.yrtrining’evalaysfrogssivlyoreompexaureettorssinghiscontrutionbjetiv,heightsfaepetokouldenitilidoensblealus.Ainlyerfutputnitsouldhenedddoheopfheetokndheoleepystmouldeintundsingtanddakpropgtion.hsokdmrkblyllorcognzingandittnigitsrorettingedstins,peillyenhemountfbeledataseyimied36.heistjorpplctionfhisrtriningppoahsnpechcogntion,ndtsadeossibleyhedvntfstaphisroesingnitss)hateonvnintoogrmndlowdsachsorintorks0r0imsstr.n009,heppoahssedoaphorteporlndowsfo-iintsxtctdomaoundveoaetfobabiitisorheaiousgmensfpechhatightepesntdyhemenhentefhendow.thivedcodbekingsulsnatanddpechcogntionenhmrkhatsdamalocbu-ayndsuickyevlopdoivecodbekingsutsnaageocbulryask.y012,esionsfheepetom009eeingvelopdyanyfheaorpehroupsndeladyeingeploydnndoidhones.ormaleraats,nsupevisdrtainngelpsorventveitting,edingoigniiantyeterenalztionhnheumbrfablldxmplssmal,rnarnseretingheeveotsfxmplsoromeoure’asksuteywromeagt’aks.neepeningadenhablittd,turnduthathertriningtagesnlyededrmllataet.hes,oev,nertculrypefep,dorrdetokhatsuhsirorinndenrliduheterhantorksthullonncivityetendjentays.hssheonvoluionaleualetokonvNt.thivedanyrciclucesesuringheeiodeneualetokseutfvourndtascntlyendelydoptdyheompuevisionomunity反向传播训练多层架构从模式识别的早期开始研究人员的目的一直是用可训练的多层网络代替手工设计的功能但是尽管它很简单但直到二十世纪八十年代中期才广泛了解该解决方案事实证明可以通过简单的随机梯度下降来训练多层体系结构只要模块是其输入及其内部权重的相对平滑函数，就可以使用反向传播过程来计算梯度二十世纪七十年代和二十世纪八十年代几个不同的小组独立地发现了可以做到这一点并且起作用的想法。反向传播程序用于计算目标函数相对于模块多层堆叠权重的梯度无非是导数链规则的实际应用关键的见解是相对于模块输入的目标的导或梯度可以通过相对于该模块的输（或后续模块的输入的梯度进行反运算来计图1反向传播方程式可以反复应用以通过所有模块传播梯度从顶部的输（网络产生其预测一直到底部的输外部输入被馈送一旦计算出这些梯度就可以相对于每个模块的权重来计算梯度。深度学习的许多应用都使用前馈神经网络体系结（图1该体系结构会将固定大小的输（例如图像映射到固定大小的输（例如几个类别中的每一个的概率）。为了从一层到下一层，一组单元计算它们来自上一层的输入的加权和，并将结果传递给非线性函数目前最流行的非线性函数是整流线性单即半波整流器)mx(0,)在过去的几十年中神经网络使用了更平滑的非线性例如nh()或/(1xp()但eU通常在具有多个层的网络中学习得更快从而可以在无需监督的情况下进行深度监督的网络训练不在输入或输出层中的单元通常称为隐藏单元隐藏的层可以被视为以非线性方式使输入失真以便类别可以由最后一层实现线性分别（图1）。在二十世纪九十年代后期神经网络和反向传播在很大程度上被机器学习领域弃而被计算机视觉和语音识别领域所忽略人们普遍认为在没有先验知识情况下学习有用的多阶段特征提取器是不可行的特别是通常认为简单的梯下降会陷入不良的局部极小值——权重配置对其进行很小的变化将减少平均差。实际上较差的局部最小值在大型网络中很少出现问题不管初始条件如何该系统几乎总是能获得效果非常相似的解决方案最近的理论和经验结果强烈表明局部极小值通常不是一个严重的问题。取而代之的是，景观中堆积了许多鞍点，其中梯度为零并且曲面在大多数维度上都向上弯曲而在其余维度上则向下弯曲分析似乎表明只有少数几个向下弯曲方向的鞍点存在很多但几乎所有鞍点的目标函数值都非常相似。因此，算法陷入这些鞍点中的哪一个都没关系。加拿大高级研究所（FR）召集的一组研究人员在006年左右恢复了对深层前馈网络的兴趣研究人员介绍了无需监督的学习程序这些程序可以创建特检测器层而无需标记数据学习特征检测器每一层的目的是能够在下一层中建或建模特征检测（或原始输入的活动通过使用此重建目预训练层逐渐复杂的特征检测器可以将深度网络的权重初始化为合理的值然后可将输出单元的最后一层添加到网络的顶部并且可以使用标准反向传播对整个度系统进行微调这对于识别手写数字或检测行人非常有效特别是在标记数量非常有限的情况下。这种预训练方法的第一个主要应用是语音识别而快速图形处理单（U出现使编程成为可能并且使研究人员训练网络的速度提高了0或0倍从使之成为可能。在009年，该方法用于将从声波提取的系数的短暂时间窗口映射到可能由窗口中心的帧表示的各种语音片段的一组概率它在使用少量词汇标准语音识别基准上取得了创纪录的结果并迅速发展为大型词汇任上取得了纪录的结果到012年许多主要的语音组织都在开发009年以来的深度网版本并且已经在ndoid手机中进行了部署对于较小的数据集无监督的训练有助于防止过拟合从而在标记的示例数量较少时或在转移设置中对于源任务我们有很多示例而对于某“源任务却很少这会导致泛效果更“目标任务恢复深度学习后事实证明仅对于小型数据集才需进行预训练。但是存在一种特定类型的深层前馈网络它比相邻层之间具有完全连接的网更容易训练和推广。这就是卷积神经网络（onvt）在神经网络未受关注间，它取得了许多实际的成功，并且最近被计算机视觉界广泛采用。onvoltioaleraleorksonvetseesigndorossatahatmenheomfultipeays,orxmpleaolourmgeomposdfhreDaysontiningixelntnsitisnhehreoourhnnes.anyataodaitisenheomfultipeays:Dorignasndequncs,ncudingnguag;Drmgesrudopctogas;ndDorideorolumticmges.heeoureydesehindonveshatakedvntgefheroptisfatulignas:oclonncions,hrdights,oolingndhesefnyays.hechtetuefaypilonvetig.)stuctudsaeisftge.heistwtgeseomposdfoypsfays:onvoluionalyesndoolingays.ntsnaonvoluionalayrergniednaureaps,thinhchchnitsonncedooalachsnhetueapsfherviousayrhroughaetfightslldaiterank.esultfhisoclightdumshenassdhroughaon-lneityuchsae.lnitsnaaureaphrehemeiternk.fenttureapsnaayrseifrntiteranks.heaonrhischtetuesofod.ist,nayatauchsmges,oclroupsfaluseftnighlyoeatd,omingistintiveoclotfshatesilyetted.cond,heocltaistisfmgesndtherignasenvrantooction.ntherrds,faotifnpprnneatfhemge,touldpprnyhr,enehedeafnitstifentoctionshaingheameightsndettingheameatennifentatsfheay.theatclly,heiteingpeaioneormdyaaureapsaiscteonvoluion,eneheam.thoughheolefhenvolutionlayrsoettoclonjuntionsfaursomheeviousay,heoefheoolingayrsorgeemntillyimilraursntone.euseheltiveositionsfhetursomingaotifnayomeht,lablyeetingheotifneoneyas-giningheositionfchaur.Aypialoolingnitompuesheaxmumfaoclathfnitsnneaureapornawtureps).ighbouingoolingnitsakenputomathshatehitedyorehnneowrolun,hebyducngheimnsionfhepeenttionndetingnnvaineomalhitsndistotions.orhretagsfonvoluion,on-lneityndoolingetakd,olowdyoreonvoluionalnduly-onnctdyes.akpopagtingrdintshoughaonvetssimpleshoughagulrepetok,lowngllheghtsnlheltranksoeaind.peualetoksxplotheroptyhatanyatulignaseopositionlierhis,nhchighrlvelaursebtinedyomposngoelevlnes.nmges,oclobinaionsfdgsomotis,otissembentoats,ndatsombjets.imlarierhisxstnpehndxtomoundsohones,honees,yllble,odsndentnes.eoolinglospesnttionsoayeyitlehnlmntsnherviousayrrynositionndppanc.henvolutionlndoolingaysnonvetseirtlynspiedyheasscotionsfimpellsndompexllsnisualeuosien,ndhevealchtetuesminicntfheN-24Tierhynheisualotxentlathy.hnonvetodesndonkysehonheameicur,hetivtionsfigh-evlnitsnheonvtxplinsalffheainefndometsf60euonsnheonkysnfotmporlotx.onvetsaveherootsnheeoogniton,hehitctuefhchsomwhtimia,utidotavenndtoendupevisdleninglgoithmuchsakpopagtion.AriitiveDonvetledaim-dlyeualetssedorhecogntionfhonemsndimpeods.heaveenumeouspliatonsfonvoluionaletoksoingakohery990s,trtngthimdelyeualetoksorpechcogntionndocumntadng.heocuentadngystmsedaonvetrindointlytharobbiliticodelhatmplmntedangugeonstints.yhete990shisystmsadngver0%fllhehqusnhentedtts.Aumberfonvetbsedptialhrtercogntionndanditngcogntionystmseaereploydyirooft.onvetselsoxprmenedthnhely990sorbjeteetionnatulmges,ncudingcsndandsndorcecogntion.卷积神经网络onvets被设计为处理以多个阵列形式出现的数据，例如，由三个二维通道组成的彩色图像其中三个二维通道在三个彩色通道中包含像素强度许多数据式以多个数组的形式出现：一维用于信号和序列，包括语言；D用于图像或频频谱图和D视频或体积图像onvets有四个利用自然信号属性的关键思想：局部连接，共享权重，池化和多层使用。典型的onvet的体系结（图2由一系列阶段构成前几个阶段由两种类的层组成卷积层和池化层卷积层中的单元组织在特征图中其中每个单元过称为滤波器组的一组权重连接到上一层特征图中的局部块然后该局部加权和的结果将通过非线（如e传递特征图中的所有单元共享相同的过滤器组图层中的不同要素图使用不同的滤镜库这种体系结构的原因有两个首先在诸如图像的阵列数据中局部的值通常高度相关从而形成易于检测的独特局部图案其次图像和其他信号的局部统计量对于位置是不变的换句话如果图形可以出现在图像的一部分中则它可以出现在任何位置因此位于不同位置的单元在数组的不同部分共享相同的权重并检测相同的图案。在数学上，由特征图执行的过滤操作是离散卷积，因此得名。尽管卷积层的作用是检测上一层的特征的局部连接但池化层的作用是将语义似的要素合并为一个由于形成图案的特征的相对位置可能会略有变化因此以通过对每个特征的位置进行粗粒度来可靠地检测图案一个典型的池化单元算一个特征图（或几个特征图中的局部块的最大值相邻的池化单元从移了不止一个行或一列的色块中获取输入从而减小了表示的尺寸并为小幅度移位和失真创建了不变性卷积非线性和池化的两个或三个阶段被堆叠随是更多卷积和全连接的层。通过onvet进行反向传播的梯度与通过常规深度网络一样简单，从而可以训练所有滤波器组中的所有权重。深度神经网络利用了许多自然信号是成分层次结构的特性其中通过组合较低的特征获得较高层的特征在图像中边缘的局部组合形成图案图案组装成件而零件形成对象从声音到电话音素音节单词和句子语音和文本也存在类似的层次结构当上一层中的元素的位置和外观变化时池化使表示式的变化很小。卷积网络中的卷积和池化层直接受到视觉神经科学中简单细胞和复杂细胞的经典概念的启发，整个架构让人联想到视觉皮层腹侧通路中的1-24-IT层次结构当onvt模型和猴子显示相同的图片时onvt中高层单元的活解释了猴子下颞叶皮层中60个神经元随机集合的一半方差。onves的源是新认知器其架构有些相似但没有反向传播等端到端监督学习算法称时延神经网络的原始一维onvet用于识别音素和简单单词。卷积网络的大量应用可以追溯到二十世纪九十年代初首先是用于语音识别和档阅读的时延神经网络该文档阅读系统使用了一个onvet并与一个实现言约束的概率模型一起进行了培训到二十世纪九十年代后期该系统已读取美国所有支票的0％以上。icosot随后部署了许多基于onvt的光学字符识别和手写识别系统。在二十世纪九十年代初，还对onvets进行试验，以检测自然图像中的物体，包括面部和手部，以及面部识别。magendrsaningiheponvoluionaleorksincehealy2000s,onvtshvebnppliedthgetsucssohedtetion,egmnttionndcogntionfbjetsdgionsnmges.eeellasksnhchablldaasltivlybundnt,uchsrfcigncogntion,heegmnttionfiologialmgesatcullyronncomis,ndheeetionfcs,ex,edstinsndumanodiesnatulmges.Aaorcntrciclucesfonvetssecogntion.mpotntly,mgesneablldtheixelevl,hchllavepplctionsnehnology,ncudingtonomousobileobosndeldivings.ompnisuchsobilyendIAesinguchonvetbsedehodsnherpcomngisionystmsors.herpplctionsaningmpotanenvolveatulangugendestndingndpehognition.spiteheeuceses,onvetseaglyoskenyheanstemompuevisionndahinleningomunitisntilhemgNtomptiionn012.hnepnvolutionletokseppiedoaaaetfboutaillonmgesomhebhatontind,000ifentlsss,heyhivedpetculrsults,lostalvngheortsfheetomptingppochs.hsucesmeomheicentsefs,es,aewgulrztionehniquelldropout,ndchniqusoenrteoreainngxmplsyeominghexisingnes.hsucssasroughtboutavolutionnompuerision;onvtseowheominntppoahrlostlcogntionndettionsksndppoahumaneormnenomeask.Aenttunningemonsrtionombnesonvetsndcuentetodulsorheenrtionfmgeptionsig.).entonvtchtetusave0o0aysfes,undrdsfillonsfights,ndillionsfonncionsetennits.hrsrininguchageetoksouldaveaknksnlyoersgo,rogssnada,otaendlgoithmaaleiztionaveducdriningimsoawours.heeoranefonve-bsdisionystmsasusdostaorehnologyompnis,ncudingooge,abook,irosot,M,Yhoo,iternddob,sllsauickyroingumbrftatupsonititesachndevlopmntroetsndoeployonvtbasdmgendestndingrodutsndevies.onvetsesilymnbleoicentrdremplmnttionsnhipsrildpogrmmbleateays.AumberfompnisuchsA,obilye,ntl,alommndmsungeevlopingonvethipsonbleltimeisionpplctionsnmatphons,mrs,obotsndeldivings.深度卷积网络的图像理解自二十一世纪初以来，onvts已成功应用于图像中对象和区域的检测、分割和识别这些都是标记数据相对丰富的任务例如交通标志识别生物图像分尤其是用于连接组学以及在自然图像中检测人脸文字行人和人体onvets最近在实践中取得的主要成功是面部识别59。重要的是可以在像素级别标记图像这将在技术中得到应用包括自动驾驶机器人和自动驾驶汽车。obilye和IA等公司正在其即将推出的汽车视系统中使用基于onvet的方法。其他日益重要的应用包括自然语言理解和语音识别。尽管取得了这些成功，但onvet在很大程度上被主流计算机视觉和机器学习领域弃用直到012年mgNt竞赛为止当深度卷积网络应用于来自网络的大约一百万个图像的数据集时，其中包含000个不同的类别，取得了惊人的成绩几乎使最佳竞争方法的错误率降低了一半成功的原因是有效利用了Ue一种称为opout的新正则化技术以及通过使现有示例变形而生成更多训练示例的技术。这一成功带来了计算机视觉的一场革命。现在，onvts是几乎所有识别和检测任务的主要方法并且在某些任务上达到了人类水平最近的一次令人震惊的演示结合了onvets和递归网络模块以生成图像字（图3最新的onvet架构具有0到0层L数亿个权重以及单元之间的数十亿个连接尽管培训如此大型的网络可能仅在两年前才花了几周的时间但是硬软件和算法并行化方面的进步已将培训时间减少到几个小时。基于onvet的视觉系统的性能已引起大多数主要技术公司的发展，其中包括ooge、cbook、irooft、M、hoo、ttr和dobe，以及数量迅速增长的初创公司启动了研究和开发项目，部署基于onvet的图像理解产品和服务。卷积网络很容易适应芯片或现场可编程门阵列中的高效硬件实现。IA、obilye英特尔高通和三星等多家公司正在开发onvet芯片以支持智手机、相机、机器人和自动驾驶汽车中的实时视觉应用。isrbuedprsetaionsadanguageoessngp-lrnngheoyhowshatepetsaveoifrntxponntildvntgesverlssiceninggorthmshatootseistibutdpesnttions.othfhesedvntgesieomheowrfompostionndepndnhendelyingatgenatngistibutionavingnppopiaeomponntiltuctu.ist,eningistibutdpesnttionsnbleenrlitionoewombnatonsfhealusfandaurseyondhoseenurngainngorampe,2nn2nombnatonseossibethnninayaurs.cond,ompoingyesfpesnttionnaepetringsheotenialornoherxponntildvntgexponenialnhepth).heiddnaysfaultiayreualetokenopesntheetok’snputsnayhtakstsyoeditheagtutputs.hssiclyemonsrtdyriningaultiayreualetokorditheextodnaequnceomaoclontxtfrierods.hrdnheontxtsrsntedoheetoksaneo-Neto,hts,neomponntasaaluef1ndheste.nheistay,chodatsaifentatenftivtions,rodetosig.).naangugeode,hetheraysfheetokenoonvrthenputodetosntonutputodetororherditdextod,hchnesedorditherobbiliyornyrdnheocbulryopparsheextod.eetokansodetoshatontinnytiveomponntschfhchnentrptedsaepaeaurefherd,ssistemontrtdnheonextfeningistibutdpesnttionsorymbols.hseemnticaurseotxplcilyrsntnhenput.hyeiscovedyheeningocduesaoodyftoiinghetuctudltionshipsetenhenputndutputymbolsntoultipeiroules’.rnngodetosurndutolsookeyllhnheodequncsomeomaageopusflextndhendividuliroulesenrlibl.hnrindorditheextrdnaestoy,orxmpl,heandodetosorusdynddnesdyeeyimia,seheodetosorednndoay.uhpsenttionselldistibutdpesnttionseauseherlmntshetues)eotutullyxlusivendheranyoniguaionsoespondoheaitionsennhebsevdta.eseodetoseomposdfenedturshateotetmindhadfieyxprs,ututoatcllyiscovedyheurletok.torpesnttionsfodsenedomexteoweydelysednatulangugepplctions.hessuefpesnttionistheertfheebteetenheogi-inpirdndheeua-ntok-nspiedadigmsorogniion.nheogi-inpirdaadgm,nnstncefaymbolsomehingrichhenlyroptyshttsiherdeniclron-dentclotherymbolnstncs.tasontrnltuctuehtslvantotsse;ndoaonthymbols,heyusteoundoheaiblsnudiiouslyhosnulsfnfen.yontst,eualetoksustseigtiviyetos,igightarisdclron-lneitisoeormheypefstntuitve’nfenehtndepinsortessomonsenseaoning.eoehentoductonfeualangugeodes,hetndadppoahotaistilodelingfangugeidotxplotistibutdpesnttions:tssednountngquenisfcuenesfhortymbolequncsfenghpoNaledrms.heumberfossiblermssnherdrf,heVheocbulryie,oakngntoountaonextfoehanaandulfodsoudquieeyageaningopoa.-amsetchodsntoicnit,ohynnotenrlierosemntillyltedequncsfods,heseualnguageodesneausehyssoitechodthaetorfalaludaurs,ndemntillyltdodsdploseochthrnhatetorpceig.).分布式表示和语言处理深度学习理论表明与不使用分布式表示的经典学习算法相比深网具有两个不同的指数优势这两个优点都来自于组合的力量并取决于具有适当组件结构的底层数据生成分布首先学习分布式表示可以将学习到的特征值的新组合推广到训练期间看不到的那些新组（例如使用n个二进制特征可以进行2n个组其次，在一个深层网络中构成表示层会带来另一个指数优势（深度指数）。多层神经