NLP、多模态智能和机器学习 -深度学习驱动的语言-视觉跨模态语义理解与内容生成-何晓冬

NLP、多模态智能和机器学习深度学习驱动的语言-视觉跨模态语义理解与内容生成何晓冬10.31.20190人工智能的初心及圣杯–语义理解与人机对话图灵测试通过人类和机器之间的对话与交流来判断机器是否具有智能。艾伦.图灵"ComputingMachineryandIntelligence"(1950)2最近一次人工智能的发展浪潮由深度学习驱动GeoffHintonYoshuaBengioYannLeCun3[HintonandSalakhutdinov,“Reducingthedimensionalityofdatawithneuralnetworks.”Science,July2006]深度学习需要从学术界走向工业界NIPS08workshop我们邀请Hinton来做报告并探讨与工业界合作4深度学习率先在大词表语音识别任务上产生突破2010年深度学习将大词表语音识别性能提升20%，2017年在Switchboard上精度达到人类水平！2010年MSR(LiDeng’sgroup)首次在大规模AI核心任务(ASR)上展示了深度学习的威力和潜力5.1%Microsoft2017,Switchboard2017年MSR(XDHuang’sgroup)在Switchboard上精度达到人类水平随后开启了一系列深度学习在人类语言技术（HLT）领域的突破。

[Dahl,Yu,Deng,Acero,"Largevocabularycontinuousspeechrecognitionwithcontext-dependentDBN-HMMS,"ICASSP2011][Xiong,Wu,Alleva,Droppo,Huang,Stolcke,"TheMicrosoft2017conversationalspeechrecognitionsystem,"ICASSP2018]5语言理解/语义槽值提取2013年成功应用RNNforSLU/SlotFilling6[Mesnil,He,Deng,Bengio,InterSpeech2013]语言理解/语义意图分类Introducingself-attentionHierarchicalAttentionNet(HAN)2016年提出的层次化注意力模型(HAN)烤猪，最好吃了能在单词、句子、带子？段落等多个层面来我不建模理解语言，判喜欢断意图，并通过对带子。神经元激活的可视这里的鸡尾酒令人惊叹，化来给出一定程度有趣，味道好的可解释性。下次我再来这个城市时，我一定会再来一次超推荐[Yang,Yang,Dyer, He,Smola,Hovy,“HAN”,NAACL2016]

7语言理解/语义的表征从自然语言中抽取出语义并将其投影到语义空间以帮助搜索、推荐、分类、问答等应用语义空间抽象的语义表征通过深度神经网络逐步抽取语义上的不变性(invariance)

神经H3网络输入自然语言的描述 “小明快递了一袋苹果给外公”语义相似的描述 “外公从小明那收到了袋红富士”语义不同的描述 “小明送给女友最新一代的苹果X”8[Huang,He,Gao,Deng,Acero,Heck,“DSSM”,CIKM2013]DSSM:深度结构化语义模型基于相对相似度的训练目标函数:gradientsComputeCosinesimilaritybetweensemanticvectors}WSemanticvectord=300d=300Ws,4Wt,4d=500d=500Ws,3Wt,3Char-trigramembeddingd=500d=500matrixWs,2Wt,2Char-trigramencodingdim=50Kdim=50Kmatrix(fixed)Ws,1Wt,1Bag-of-wordsvectordim=100Mdim=100MInputword/phrase s:“小明快递了一袋苹果给外公t+:”“外公从小明那收到了袋红富士”

cos(,d=300Wt,4d=500Wt,3d=500Wt,2dim=50KWt,1dim=100Mt-:“小明送给女友最新一代的苹果X”[Huang,He,Gao,Deng,Acero,Heck,“DSSM”,CIKM2013;9Shen,He,Gao,Deng,Mesnil,“CDSSM”,知识推理及问答在连续向量空间表达知识、解析语义、执行推理和应答谁是贾斯汀.比伯的姐姐?贾木尼.比伯.sister语_义of(justin解析_bieber,SQLsibling_of(justin_bieber,x∧搜gender(x,索匹配female10[Yih,He,Meek,ACL2014;Yih,Chang,He,Gao,ACL2015;Golub&He,EMNLP2016;…]对话机器人[Shum,He,Li,“FromElizato11XiaoIce”,FITEE2018]零售全链条智能人机对话与交互服务售前 售中 售后 物流智能导购 智能情感客服 智能情感客服 智能语音外呼（电话）智能语音应答 智能语音应答（电话） （电话）京东智能客服智能调度 智能导航 智能摘要 实时辅助应答 智能质检 智能创事件12从语言理解、问答、到人机对话进展显著“对话机器人不仅需要响应用户的请求，完成任务，还需要满足用户对沟通和情感的需求，与用户建立情感联系。”“我们将成为有史以来第一代与AI共生的人类。”—“从Eliza到小冰：社交对话机器人的机遇和挑战,”沈向洋，何晓冬，李迪。中国工程院院刊FITEE“人工智能2.0：理论与应用”特刊(10.1631/FITEE.1700826)13视觉智能2012年深度学习将大规模图像识别性能提升超过30%,2015年在ImageNet上精度达到人类水平！[Fei-FeiLi+]TorontoGeoffHinton‘sgroup(AlexNet)(1000类物体识别测试)MSRJianSun’sGroup(ResNet)人类物体识别错误率约5%2012前，大都是线性模型 2012后，主流模型是深度神经网络

[Krizhevsky,Sutskever,Hinton,"Imagenetclassificationwithdeepconvolutionalneuralnetworks,"NIPS2012][He,Zhang,Ren,Sun,"Deepresiduallearningforimagerecognition,"CVPR2016] 14语言+视觉15多模态智能:语音,语言,视觉,知识+贝拉克·侯赛因·奥巴马，美国民主党籍政治家，第44任美国总统，为美国历史上第一位非裔美国人（美国黑人）总统。语音 语言知识 视觉16建立多模态语义空间：跨模态表征学习视觉-语言多模态语义空间通过深度结构语义模型（DSSM）把图像和文字均表征成语义空间内的向量在此空间中进行语义相似度计算，生成最匹配图像内容的文字表述 W4H3W3H2W2H1W1InputsFullyconnected图像特征Convolution/pooling

W4H3W3H2W2H1W1Inputt1文字表述:一位男士手拿球拍在网球场上RawImagepixels

[Fang,Gupta,Iandola,Srivastava,Deng,Dollar,Gao,He,etal.,“FromCaptionstoVisualConceptsandBack,”CVPR2015]CNN 17图像描述：理解图像,用语言表达一个棒球 一个棒球运动员abaseballplayerthrowingaball“一个棒球运动员在扔一个球。”一个棒球运动员在扔[Fang,Gupta,Iandola,Srivastava,Deng,Dollar,Gao,He,etal.,“FromCaptionstoVisualConceptsandBack,”CVPR2015]

一个棒球运动员在扔一个球18与实体知识融合Jen-HsunHuang,XiaodongHe,JianSunetal.,thatareposingforapicture.[Guo,Zhang,Hu,He,Gao,"MS-Celeb-1M:Adatasetandbenchmarkforlarge-scalefacerecognition",ECCV2016][Tran,He,Zhang,Sun,etal.,"Richimagecaptioninginthewild,"CVPRDeepVisionWorkshop2016]19可控的语言表达控制语言生成，让AI用语言来表达浪漫或者幽默的风格-StyleNet[Gan,Gan,He,Gao,Deng,“StyleNet”,CVPR2017][Gan,Gan,He,Gao,Deng,“SemanticCompositionalNet”,CVPR2017]20视觉-语言多模态机器问答（VisualQA）Answernaturallanguagequestionsaccordingtothecontentofareferenceimage.VisualQuestionAnswering(VQA)21从图片描述到图文问答：推理能力Toansweraquestionaboutaimage:NeedtounderstandsubtlerelationshipsamongmultipleobjectsNeedtofocusonthespecificregionsthatarerelevanttotheanswer.

SpatialfeaturevectorsofdifferentregionsoftheimageMultiple-stepsofreasoningovertheimagetoinfertheanswer22堆叠注意力网络(StackedAttentionNet)SANsperformmulti-stepreasoningQuestionmodelImagemodelMulti-levelattentionmodelAnswerpredictorEnd-to-endlearningusingSGD[Yang,He,Gao,Deng,Smola,“StackedAttentionNetworks,”CVPR2016]

Spatialfeaturevectorsofdifferentregionsoftheimage23跨模态表征融合与联结(Pooling&Grounding)第一层注意力…

…{}spatialimageAttention1featurevectors…=

MultimodalPooling(level1)attention{}Tothenextattentionlevel24跨模态表征融合与联结(Pooling&Grounding)第二…层注意力spatialimage…featurevectors{}

Attention2

{}attention…Queryvectorfromthe1stlevelattention

Multimodal((=

(=+Pooling(level2)Totheanswerpredictor25Bottom-UpandTop-DownAttention（BUTD）注意力模型的一个新视角Inhumanvisualsystem,therearetwokindsofattentions:Top-downattention:proactivelyinitiatedbythecurrenttask(e.g.,lookforsomething)Bottom-upattention:spontaneouslyemergefromvisualsalientstimuli26Bottom-UpandTop-DownAttention（BUTD）Adoptsimilarterminologytohumans’attentionsystem:attentionmechanismsdrivenbynonvisualortask-specificcontextas‘top-down’purelyvisualfeed-forwardattentionmechanismsas‘bottom-up’.OverallAttentionNetforVQA:Top-down features:fromCNNBottom-upfeatures:fromF-RCNN27VQAChallenge@CVPR2017BecauseofBottom-upAttention

Bottom-UpandTop-DownAttentionforImageCaptioningandVisualQuestionAnswering,CVPR18TipsandTricksforVisualQuestionAnswering:Learningsfromthe2017Challenge,CVPR18此后几乎所有的VQA队伍都使用了“Bottom-UpandTop-Down(BUTD)”注意力模型或其变种。 28视觉-语言多模态导航结合语言理解和对环境的视觉信息建模，智能代理能按指令从一个地方走到另一个地方[Andersonetal.,CVPR2018][Wangetal.,CVPR2019]29理解语言,用绘画来表达(Text-to-Image)Objectivefunction:30[Reedetal.,“Generativeadversarialtext-to-imagesynthesis”,ICML2016]AttnGAN:GANwithAttentionThefinalobjectivefunction: = +31[Xu,Zhang,Huang,Zhang,Gan,Huang,He,“AttnGAN,”CVPR2018]绘画机器人(AttnGAN):精准理解,精确绘制一只红羽毛白肚子的短咀小鸟32[Xu,Zhang,Huang,Zhang,Gan,Huang,He,“AttnGAN,”CVPR2018]更多例子thisbirdhasthisbirdhasawingsthataregreencrownblueandhasablackprimariesredb