深度学习研究进展

31 7 2014 7 Application Research of Compute,; Vol.31 No.7 Jul. 2014 “ 2掌 102249 、 、 、 、 TPJ81 A 1001- 3695 2014 07-19 21- 10 doi 10.3969/ j . issn.1001-3695.2014.07.001 Research and development on deep learning LIU lian吨， ei LIU Yuan LUO Xiong-Jin R 刷刷咄 阳”扭Ul 1 1roblems to be solv咽l m 硝peels of theorcllcol a 的a lys i s 时p r，弘崎川a 1io n 削tel刷刷lei of da 1 a fentu 附 extradio的 ，.，川岳阳“ Iopti”我剧，on and v 曲e aid, exten剖”“ Key word,: om 垃 m)x 四垣m -iiii:11 品； , RBM fo, h, RBM fo, y nd h, 5 BM 随2 0日N的生成过程 。可见单元 。除根元 3 X /i l 3 RJlM(JJ无ii阁模型 Z=I 守，e 叩吨，警A 、r , ., = L,P 矿 b 。”岭， ， 一 . z 4 p X e - z一一一一 z = I. 啊 ， 。 fr 幌E ner gy x = -l og I刊 咿， 5 到单./!.L = 业主监旦泣 L. ao ao .!. .- . 附咽，主坠 4 旦旦l. - Z “ r ao - 旦旦坠旦且2: i)O L i,/ X 2坠坠草也i iJO 4 5 6 7 。loge X “ 笨， 。 /J X p E ， p BM z、 X-p X 川盘！ 也 L.1 = I 80 J - E, I 边坐 坠旦 旦2:. 1 e l 坐监坠 旦 旦 止 I ao I I “ 8 BM Monte 乓：“。 Markovchain MCMC 16 18 ,t) . 8 . ,tochustic contrastive app,oximat,on procedure SAP div,. : rgcuce CD “ 、 peisi划（：Ill co 的lnl$1.川。 divergence PI) 、 f品 peraistentcon- lrasti、 咆 dive,-gence FPCD 捕 “ MCMC ? 1994-2015 China 八cadcmic Journal Electronic Publishing Ilousc.八II rights reserved. http:.rl w ki. nct 1924 I. I. 3 coder n自M. 4 2也 DBN Oll协明、 C X g 且总丘.！. ,)x r X 31 C X r “ =g ll s Na 】r 苦 品 RBM ， 2 239 Lee t HBM BBM recll自ed Su s,;k jnd OHN LFW 、 fJiolO CUFSF 。 口BN OBN Taylor ” DON DBN DBN Lee J t,ina 00 。 Nair “ DBN BM NORB Jang ., DBN 94 、 、 nov Lecun 11 ii Deng Collobert Olli ., 、POS 、 Salakh u1di- DBN 、 Deselae 吉 电摩 。BN Ngi 刷岭 . CUA Vt: A VLeue 阳 Clorot “ rect ，自 ed 22 、 、 、 3. I RllM 98 3. 2 、 RllM 13 99”IOI f6M ? 1994-2015 China 八cadcmic Journal Electronic Publishing Ilousc.八11 rights reserved. http:.rl w ki. nct 1927 。 97 1928 ROM 、口BN lON 、 3. 3 co 3.4 。 GPU 3.5 DBN-HMM DBN-CRF OtlN 、 白。” DBN 013N GPU 102 . ， 4 31 DBN 、 、 DBN 、 、 、 HINfON C E OSINOEHO S TH Y W. A f ast l eum; n g d 伊 ritl uu for d阔，hc!;cf 时L J Neura l c。mputat i 。n 2006 18 7 1527- 1 5 5 4. 2 OENCIO Y l.AMBUN P POPOVIC! 0掘 。I C 附到 l y bye，.，；辑 tra; n ; n g of , J eep nct wm ts C /A也 onc es ;., N cuml l n fo , nuu; on I ou H 币制g Sy“e“ C a,uhrMge Mil 、 P，制 2007 153- 160. 3 4 5 VINCENT I LAROCHEL LE H BENB10 Y ct al E xnct; ng a n ,I c, , ,np，；，”也风也 f制 with l e n v i ,u1g ， ， 川崎川制 l e暗 C /IP 刊C t m u lt时 a ge “I,; 吨fo , obje ct酣咐，；， ； o 向 C /If 。咽。f1he 121h l n t emalin na l C on fere nce on C o n巾阳 1 ； 时，！.2009 2 1 4 6 - 215 3. 9 LEE H GROSSE II RANGANATH II ., I. C 仙呻 l u H, , n al deep beli e! n et、 or k s fo r 时.lah l e u 阳 up , m . ;,ed I 曲时 ， 驭。f hi emrcM,I mp 民刷刷刷时C II f ， 咽。f the 26山lnle m翩翩，a l c, n fo 咱也 n 凶。”M o 川、ine 咆 Nw Yolk AC乃1 1 峭萄2阳” 6 09-61 6 . ? 1994-2015 China 八cadcmic Journal Electronic Publishing llousc. 八II rights reserved. http :.rl w ki. net 7 IO L H PHAM P u、RGMtlN Y et rJ. U n，”；，ed re,., le , m , ; ng fo, au d; o cl , L s. ; 1 ; c :,t ; on u, ; ng cc nw o l u ,; onal d ee p b cl; e r n1,o,k s C 川Ad, a 时制” 、 N削r.,J l nf o,on,t ; on P n ， 川剧i 吨 Sy剑”；. C o m b, ; ,tge M J I阳性电2 惧” 1096- 1104. 11 I.EE H EKANAllllAM C NC A Y. S p arse d ee p bel;e f net mod el f o , 啪” a l 凶 rea V2 C II Acl,a ”c.-s ; n Nnual lnfunnahon Pn掬 四川 g s . . 刷降 。 C an制d ge MIT P，酬2008 873-880. 12 RJNZATO M POULTNEY C CHOPHA S 例。I Effi den l l eam; n g 。f吨， a n.c t 呵陀盹. .，；.，能 ， ； ，h “ . ， 芭y4川s c d mo del C II Adv创比 四 ”、 Neural Inf,mo1 ; 0，、Pn ：， 町e制”， g Sy, 1 em,. C a n、brid g e MIT P , e 幅 2007 1137-1144. 13 RANZATO M BOUIIEAU Y L 1 ,. -CUN Y. Sp n nae fo a 1 ur c l oam ; n g fo , d 叫 ， b c Ucf nc two,k 总 C II Ad v削盹画 ， ， N e m l l nfo m “ l ion P m cc 甜mg S y ,i向讪良 C an 、bri l ge MIT P时陆2008 1185 -1192 . 14 ERIIAN D BENCID Y COUIIVILL.E A et al. Why de酣 unsu p er 、 1 阳d p rerainm g bd p d ee p J e,u-”每 J。uma l of Mach i ne Leam i ng Research 2010 11 2 625-660. 15 CL.ORr X I JEl!CIO Y. Und ., stam ,li n g t h e. d i ffi cult y o f lrn inin g d e呵， fe,.,lfor,、 ar d ”。”m l nc1.- ork s C / 1 阿附： “the 13th I n t erna t i o na l c。“fe 吨 的. 。” 巾，日 co l l ntelligen 创制I Siat,., i e,. 20!0 249乓2.56. 16 BENC I O Y. U“mmg d树p :u ehi t 肘 t u 附加A l .I . Foundat i ons and Trends t n Machine Learning Z四J9 2 I 1-127. 17 COODFELLOIV I L Q SAXE A 。I M 刷刷nng i n, ar ian e e in 。e叩 ， 、e1w o ,-ks C II tl1 l v，川崎 川 NemI 1 . nfor m ， 剧 。 的 p ， 啊棚”、 g Sys 阳阳C am b r i d g侨 民IIT P res s 2 回到 646 -6 5 4 . 18 lllNTON C t 1 1 m , c1 i ca l 伊 ，id c to trai ning rest r i c ted lloltw , ann ma cl”n e M / /N eur a l N 时，. o ,k. T , i ck., o r the Tr a d e . 8e.J 川 S p n ng c r V erl唔 2 013 5 ” -6 19 . 19 MONTAVON G ORJI GB MULi.Eii K II. Ncum l n创w o , ks ”cks 。 f the tr.,d 。”. Berl; n S p 呐ng e,- V erla g 1998. 20 leCUN Y so1rou L OllR C ll es.,. m 咐，u hckP ”。” II N eu ral N e rwmt民 Tri c k s of 1 1 附 Tr n, l e .日 cr li n Spri n ger- V er l a g 1998 9- 50 21 B EN G IO Y. Pmcti,u en , l l ec O gfl时吨”t; o” 2010 2551- 2558. 29 El1HAN fl COU11VILl.E A llENGIO Y . U 阳 l e.n J J“ ”I A h i g l ,-d”。”吕hput 由而cn i 吨 叩p= c l to di,;oo veo” 8 伊od r，。”sof b i o l 吨i c all y in叩；,ed , i ,uoJ ， 它pr刷刷、阳”。” J PL。s c。 m ulat i 。na l B i o l 。gy 2009 5 川 叫 “回 579 . 31 BENCIO Y DUCIIARME R VINt:NT I . A ncurnl prob ahil,sti c l an gu ag e ”。dd C /A.J，”oos III N e 刷布l lnfon n, , ti o”即刷刷 ，g Sy, i. m,. Ca ml,r i ,l ge. Mfr Pr 酬 2001 933.18. 32 lllfffON G E lcc,mi n0 d i st ri b u t ed ， 誓 pre酣时时i on s o f。” cc pts C II P ro“ .,( t h o 8th Annua l C. nforon -0 u a l Co n fe酬 悦。” M 削loi ue Lc o mi吨，NewYo,k ACM P阳$ 2011 921-928. 35 GOODFELLW I COURVILl.E A BENGIO Y. Spik e吨u ,c l . la b ep a“ C(J(i;ng fo r u o -.u 1 始 i s c d f削t u , ,; d i sco飞叫 C !IP ， 帆 。 f NT的 IV ,r k 何 l圳 、 。 ， ，ClrnU en g袋 n V,1M川、g HierorchicI M , s l el. . 2 01I. 36 BEL L A J SEJNOIVSKJ T J. An ; .,fo rma t i on nmxim is, t i 。”10p p ro ac h to bl m d 自 p ornl i o u aud bli nd , 1 ,ouvoluh ou J Neura l Computa - t i on 1995 7 6 1129- 1 159. 37 HOTE i .UNG H. An“ I 归 ， s o r仰的刷刷刷f刷 t ;,1; ,c ,1) v,im , h l 制 川 内 pn时pal co n 、p on c n Ls J J。um副 。f Educat t 。na l Psycho l 。gy 1933 24 6 417-441 崎8- 520. 38 FUKUSHIMA K. N制仙伊it呻 n ,e l f-,: , rgani ti ng n e ural的 e t咄 咄 ” 。 del for 泊”拢到cl“ o f p a ll 凹n n , co嚣u t” N u,mffc c ksl h y s l ufl ,n p o 副幡 棚 ， . B i olog i cal Cybernellcs 1980 36 4 193- 2112. 39 kClliI Y BOTrou L lf;NGIO Y 例。I Gr础 。由 a 悼I leo，而吨 叩 p l i 例 l . ，阳n t .-.o咱巾io n J Pro四ed i ngs of the IEEE 1998 86 11 2278- 2324. 40 LcCUN Y l lO SER 8 DENKI,民S et al. Ba ckp盹队ag a ti o n up1li ed t o h , mdw r ille n s i 1 、le“gnitio” J Neu 阻I c。 m putation 1989 1 4 541 叫 651. 41 LE () JCIAM J CHEN ZI ， ”窑4 n, ,) et al. 1ibl c ,.,w o l ut呻 川 l ntu rol neiw o rks C II A , fr a ”峙， m N仰的 ， t I nfo“ I时相川、g Sy, t e ms. C am b r id g e M I T P r ，皿略 2 010. 42 BEr电CIO Y DEL,IL LE，飞U O J u由f y ing a m l gc ne ml i ,i ng c on ln施” 、。 di“ lt z r m; nn mad ” es u,i， g a pp ， xi 刷圳恤，、， t o ti崎 likehho, , d gr 剖 lie n C 川Pro o f ti昭 雪5th l川刷nal，。，I C o nfoo 誓n ee 伽B M achi ne l. eurn i n g . N e w Y,wk ACM P ，附国 2008 1064- !071. 45 H日TON C . 1hming I 怡。f “ by 刷刷 ， ll!i i trasthe di,erge nce C /Pr响； of the 26th ,I nn川l 川er noti o na,J C ， nfere n 阳内的 川川、i n l耻，rnmg. New Yo r k ACM P r ，时2009 1033-!040 ? 1994-2015 China 八cadcmic Journal Electronic Publishing llousc. 八II rights reserved. http :.rl w ki. net 1930 47 OES JMU)INS G COURVlllE A BENGIO Y et ,L. P arallel ,.,. pcri n ; f o , lm; n ; n g of 陀stofo1 lv.mnnn m ncl, ; n四巳 / lmc o f th e I :lth h,t cmi,hC ling 川 1 （） 11- c od ers 四pli ci 1 i n rnri 削cc d urin g fe n m re extmcti on C I ll uc o f 1h c 28th lnt e m a li ona l G ” f ereuce o o )h o d,; n c l, amio g 2011 52 BOTlOU L. U -g,-. . ”、时Hil t= l削阳， o1g wi1h , 1 ocha;1ic gra , J i e nt d e 川 C /Pmc of 1 he 19由 ln1crna 1 io n,J C on f ，陀c, o n Co mpu11; on “I S1n1 ; si ; c B.-J;, 5poi n g res en101 ; ons fo r m国，pc rvi侃到 and lnu,;fto- 1 c 凰”。每 C / /P roc of Wo,k;hop。” Uu.u l 阳 v ; scd and Tran s re, r . ，； 鸣。 20 11 17- 37. 61 HE NCIO Y DELll L EAU 0. On h e c xpr 旧时 e I 刷刷 。r ,l ecp a 阶h户 Le ctu res C / I 啊。fthe 14th l ntcn uum na l C on fe re 耐心。 ” l ， s cove ， Sc , cncc. S. d 川 s ， 川自 g e , -V e i- 1 略2011 I. 6 2 IIJNZATO M ollNJM V H 胁 V ON C G e ， 闹剧：“喀则 。 时时 l 时，e mu咚四川乐 in i; gatc,l M l ff 统 I I A drnncc s川 N cu m l l nfo mml ; on l rocc,ss in g S ye le m s . C mufmJ g e MIT I ”咽， 2010 2002-2010. 63 COURVIU, ti IIERCSTltA J 8ENGJO Y. 附， pe r, i咐 ， rn xfo l, o f in u,g 四 lY 叩ikc-, md-s l a b ll l !Ms C I I Pr oc o f l he 2 81h ln l ema l i on ol C o n 岛附n ee 。” M 皿 1, ;, ew mmg 2011 制 POON M DOM 日 GOSP. Su , o 时叫“.，. . o ,k 思；， l ue w d 回 归 川hi l e cture C I IPro c o f IEEE ln 1 e m a1 i on al Confo r m沁 eon Compu l cr v s i on W o ,k s l ,0 1 丽 20 1 I 689-690 65 lfESNTL G DAUPHIN Y GLORr X 110ti 0Ls fo r fa ce阳时 fi c al i on ,i1h cc n vo luti o n a l d ee p b elie f ne t works C I /P roc o f IEEE Co nf，时 相曲m C o mput er v ; , , on 创 hi P all em Re ,gn ;t; , ,n. 2012 2518- 2 525. 70 飞ONG IV K SUN M. l)e Je a, n ; n g 町胆l 时阳 l F , ,t咐阳pp ，哪 J IEEE T ra n s 。 Neu ra l Nelw 。 rks 201 l 22 JO 1668- 1 675. 71 RAIKO T VAUOul H LeCUN Y. ）叫 l e an ， ；吨阳， .l eens ， 的心 y 们， Har o ，” fo,m;l ；伽隙向 t 刷憾 C !IP叭撼 。 f tho 15th lo,tor oa s ，。“a l c, , nfo 附附 c “ A rtific ; al lnt ctJ;gc n ce a，叫 S 1 at i sti c ,. 2012 924- 932. 72 COLIBEllT ll D eep lcannn g fo , cOic ,cn l d , sc d mma,;,c 阳 制8 ln隙。 fthe 1411, L nt cmation n l C cmfo ， ncc cm Artfi c ial l ntcW p 咽四 川， d s . ， 略 ， ； c, 2011 224- 232 73 CHO K RAlKO T JUN A Euh a” “时 grad i e nt and odapt ; ve lcar 。； 、g m 1 0 fo r tmi n in g ， 阳 l r ic t I Boh，刷刷 ， ma chi ne 民 C /P n忧 。f I ha 28th ln l e rn , ufooal Co n fe. re 阳