深度学习及其应用 课件1

人工智能简史图灵测试（1950年）图灵测试（TheTuringtest）由艾伦·麦席森·图灵发明，指测试者与被测试者（一个人和一台机器）隔开的情况下，通过一些装置（如键盘）向被测试者随意提问。进行多次测试后，如果有超过30%的测试者不能确定出被测试者是人还是机器，那么这台机器就通过了测试，并被认为具有人类智能。图灵测试一词来源于计算机科学和密码学的先驱阿兰·麦席森·图灵写于1950年的一篇论文《计算机器与智能》，其中30%是图灵对2000年时的机器思考能力的一个预测，目前我们已远远落后于这个预测。图灵测试一词来源于计算机科学和密码学的先驱阿兰·麦席森·图灵写于1950年的一篇论文《计算机器与智能》，其中30%是图灵对2000年时的机器思考能力的一个预测，目前我们已远远落后于这个预测。“人工智能”一词的由来1955年8月31日，“人工智能”（artificialintelligence）一词在一份关于召开国际人工智能会议的提案中被提出。该份提案由四位学者联合递交约翰·麦卡锡（达特茅斯学院）马文·明斯基（哈佛大学）纳撒尼尔·罗彻斯特（IBM）克劳德·香农（贝尔电话实验室）一年后，达特矛斯会议召开，这次会议被认为是开辟了人工智能这个研究领域的历史性事件：“我们提议明年（1956年）暑假期间在新罕布什尔州汉诺威的达特茅斯学院进行一次为期2个月、10人参加的人工智能研讨会。”1955年国际人工智能会议提案“我们的研究建立在这样的一种猜想之上，即（人类的）学习的每一方面或者智能的任意一种特征在原则上都能够被精确描述，并可以由机器可以用来模拟学习和智能，我们的研究是建立在这一猜想的基础之上。““我们将试图找到如何让机器使用语言、形成抽象和概念、解决现在人类还不能解决的问题、提升自己等等。”“我们认为,如果一组优秀的科学家在一起工作一个暑假的话，能够在这些问题（一个或多个）中取得一个重大进展。”提议的7个研究领域自动化计算机如何编程，以使计算机具备使用语言的能力？神经元网络计算规模理论自我提升抽象概念随机性与创造性原始预算13500美元，但洛克菲勒基金会只批准了7500美金。6位学者每人1200美元薪水。达特茅斯会议(DartmouthConference)1956年在达特茅斯学院召开的一个夏季讨论班开启了人工智能学科（6位学者）。JohnMcCarthy,会议召集人，达特茅斯学院数学系助理教授（提出α-β搜索法）MarvinLeeMinsky,哈佛大学（1951年世界首个神经元模拟器SNARC）OliverSelfridge,模式识别奠基人，维纳MIT学生,第一个可工作的人工智能程序PandemoniumClaudeShannon,信息论创始人符号派（最早启发式程序逻辑理论家

）：AllenNewell,著名智库兰德公司HerbertSimon,卡内基理工学工业管理系系主任（卡内基梅隆大学的前身），后获得诺贝尔经济学奖在AI领域的基础理论方面没有达成任何一致意见，特别是关于机器学习的基础理论，但所有人都同意，计算机是具有执行智能任务的能力的：“本研究将继续验证这一猜想，就是人类学习和其它智能特性的规律是可以被明确描述出来的，并且可以制造出模仿人类智能的机器。”达特茅斯会议（1956年）HerbertSimon(1916-2001)AllenNewell(1927-1992)MarvinLeeMinsky(1927-2016)OliverSelfridge(1926-2008)JohnMcCarthy(1927-2011)ClaudeShannon(1916-2001)达特茅斯会议（1956年）2006年达特茅斯会议当事人重聚，左起：摩尔（达特茅斯学院教授）、麦卡锡、明斯基、塞弗里奇、所罗门诺夫（当时10位参会者中5位已经仙逝）。人工智能让计算机具有类似人脑的智能1956年提出，2010年以后产业界爆发是获得图灵奖最多的计算机分支之一2018Hinton等三巨头（深度学习）2011JudeaPearl（概率图模型）2010LeslieValiant（PAC理论）1994EdwardFeigenbaum，RajReddy(专家系统)1975AllenNewell,HerbertA.Simon（最早的启发式程序“逻辑理论家”和“通用问题求解器”）1971JohnMcCarthy（人工智能奠基人，LISP语言发明者）1969MarvinMinsky（人工智能奠基人，神经网络先驱）9JohnMcCarthy所有图灵奖主要领域都诞生过巨头公司CPU：Intel，AMD操作系统：微软，SUN，IBM程序设计语言与编译器：Borland，SUN数据库：Oracle,IBM网络：思科图形学：SGI信息安全：赛门铁克，瑞星存储：EMC数值计算：Matlab10人工智能几大流派符号主义（Symbolism）行为主义（Actionism）联结主义（Connectionism）11符号主义（Symbolism）符号主义又叫逻辑主义、心理学派或计算机学派符号主义认为人的认知过程基元是符号，而且认知过程即符号操作过程12根源数理逻辑基元符号A核心知识和以知识为基础的理论体系基础物理符号系统(即符号操作系统)假说(hypothesisofsymboloperationsystem)和有限合理性原理(principleoflimitreasonability)代表人物Newell,Shaw,SimonandNilssonAllenNewell、CliffShaw和HerbertSimon一起开发的信息处理语言（IPL）和逻辑理论机器（LogicTheoryMachine）。行为主义（Actionism）行为主义又叫进化主义、控制论学派行为主义认为智能取决于感知和行为，提出智能行为的感知-动作模式13根源控制论基元感知、行动A核心感知与行动基础控制论与感知-行动模式代表人物Winner,Brooks联接主义(Connectionism)联接主义又叫仿生学派、生理学派联接主义认为人的思维基元是神经元，而非符号处理过程14根源仿生学基元神经核心人工神经网络基础神经网络及神经网络的连接机制与学习算法代表人物Meculloch-Pitts,HopfieldandRumelhart联接主义ConnectionistModel15机器学习发展历程19851990199520002005201020151986BPHinton1995SVMVapnik1997AdaBoostFreund,Schapire2001随机森林Breiman2006深度学习Hinton2012AlexNetHinton1989CNNLeCun1984CARTBreiman1997RNN/LSTMSchmidhuber2015残差网络HeKaiMing2014GANGoodFellow2000流形学习Roweis2016AlphaGoDeepMind1959年，阿瑟·萨缪尔ArthurSamuel(IBM)创造了“机器学习”一词。在文章中他说：“给电脑编程，让它能通过学习比编程者更好地下跳棋。”Samuel,ArthurL.(1959).

"SomeStudiesinMachineLearningUsingtheGameofCheckers".

IBMJournalofResearchandDevelopment.

doi:10.1147/rd.441.02062020机器学习相关基础机器学习是目前人工智能技术的主流逻辑推理，知识库与专家系统1980之前-逻辑推理，人工建立规则、知识库机器学习1980之后-模仿人的学习能力，从实例中进行学习获得经验数据格式结构化数据、非结构化数据、半结构化数据模型输出分类、回归、排序数据标记监督学习（过拟合/正则化）、非(半)监督学习17数据格式-从非结构化数据到定长向量18神经网络将输入图片转换成固定维度的特征向量[1][1]ImageNetClassificationwithDeepConvolutionalNeuralNetworks,NIPS2012[2]DistributedRepresentationsofWordsandPhrasesandtheirCompositionality,NIPS2013神经网络将输入文本转换成固定维度的特征向量[2]人工规则vs机器学习人工规则可以清晰定义从数据出发进行自动学习监督学习监督学习非监督学习机器学习的本质：构建映射函数语音识别：F()=helloworld图像识别：F()=3495678围棋：F()=落子位置XF(X,θ)Y机器学习技术的评测：偏差与方差22深度学习兴起（上）严骏驰上海交通大学副教授图像分析技术突破带来商业应用24深度学习的复兴25Hintonetal.2006AlexNetetal.NIPS2012Nature201526[LeCun,BengioandHinton.DeepLearning.Nature2015.]感知机（第一代人工神经网络）1943年，McCullochandPitts提出基本的人工神经元1958年，Rosenblatt提出感知机模型Perceptron1969年，Minsky-Papert指出感知机无法解决非线性可分问题27FrankRosenblatt1928-1971单层感知机解决不了异或问题28(1,1)(1,0)(0,1)(0,0)多层感知机（第二代人工神经网络）Multi-LayerPerceptron

(MLP)(上世纪80到90年代)配合误差反向传播算法Back-Propagation29神经网络的复兴（深度神经网络/深度学习）深度神经网络DeepNeuralNetworks30GeoffreyHinton深度学习卷积神经网络(CNN)、深度置信网络(DBN)LeNet(Proc.ofIEEE1998),AlexNet(NIPS2012)etc.循环神经网络模型RecurrentNeuralNetwork(RNN)LSTM(NeuralComputation1997)GRU(GatedrecurrentUnit,2014)31卷积神经网络ConvolutionalNeuralNetworks循环神经网络RecurrentNeuralNetworks深度学习-图像32预处理特征设计特征提取原始数据端对端学习、预测分类器此端彼端深度学习兴起（上）严骏驰上海交通大学副教授图像分析技术突破带来商业应用34深度学习的复兴35Hintonetal.2006AlexNetetal.NIPS2012Nature201536[LeCun,BengioandHinton.DeepLearning.Nature2015.]感知机（第一代人工神经网络）1943年，McCullochandPitts提出基本的人工神经元1958年，Rosenblatt提出感知机模型Perceptron1969年，Minsky-Papert指出感知机无法解决非线性可分问题37FrankRosenblatt1928-1971单层感知机解决不了异或问题38(1,1)(1,0)(0,1)(0,0)多层感知机（第二代人工神经网络）Multi-LayerPerceptron

(MLP)(上世纪80到90年代)配合误差反向传播算法Back-Propagation39神经网络的复兴（深度神经网络/深度学习）深度神经网络DeepNeuralNetworks40GeoffreyHinton深度学习卷积神经网络(CNN)、深度置信网络(DBN)LeNet(Proc.ofIEEE1998),AlexNet(NIPS2012)etc.循环神经网络模型RecurrentNeuralNetwork(RNN)LSTM(NeuralComputation1997)GRU(GatedrecurrentUnit,2014)41卷积神经网络ConvolutionalNeuralNetworks循环神经网络RecurrentNeuralNetworks深度学习-图像42预处理特征设计特征提取原始数据端对端学习、预测分类器此端彼端深度学习兴起（中）严骏驰上海交通大学副教授数据标记-监督学习(适合深度学习的大规模标注)Imagenet数据集（自2010年开始举办比赛）44ImageNet核心团队45Fei-FeiLiStanfordJiaDengU.MichKaiLiPrincetonO.RussakovskyCMUAlexBergUNCAlexBergJonathanKrauseStanford数据标记-Imagenet数据集46类别云图47/explore_cloud.php图片和类别目录示意48/synset?wnid=n07942152数据标记-Imagenet数据集49MechanicalTurk的由来50数据标记-众包解决标记问题-工具51数据标记-众包解决标记问题-初选52数据标记-众包解决标记问题-质控53版权问题的处理-原始图像54版权问题的处理-训练好的网络参数55/2015/05/deep-learning-vs-big-data-who-owns-what.html深度学习兴起（下）严骏驰上海交通大学副教授ImageNet上的图像分类问题57深度学习给图像分类带来的巨大变化58深度学习给图像分类带来的巨大变化网络深度越来越深，分类精度越来越高59目标识别问题-包括定位与分类60深度学习给目标识别带来的巨大变化61目标识别的标准深度学习算法流程62Filter响应图63卷积网络响应三维透视图64卷积神经网络历史-LeNet(1989)65卷积层66池化层671124567832101234x6834网络结构的演变-LeNet,AlexNet,VGG68LeNetLeCunBottou,Bengio,Haffner1998AlexNetKrizhevsky,Sutskever,Hinton2012VGGNetSimonyan&Zisserman

2014网络结构的演变-GoogleNet69GoogLeNetSzegedyetal2014网络结构的演变-ResNet,DenseNet70ResNetHeetal2015DenseNetHuangetal2015网络结构的演变-ResNet,DenseNet71MNIST数据集72深度学习相关技术-产生式对手网络GAN产生式对手网络（GenerativeAdversarialNetwork,GAN）73GAN的其他应用74图像放大图像风格转换多视角人脸生成GAN生成文字（创造语法和单词）75深度学习典型场景（上）严骏驰上海交通大学/index.html迈向智能制造操作工人

组装工人质检工人维护工人机器人机械臂自动检测自动维护机器人工业4.0缺陷检测排产优化预防维保工厂智能：实践现有人工智能技术的绝佳场所封闭环境：为智能感知提供了可控的技术边界流程作业：为智能决策提供了清晰的判断边界过程数据：传感器网络提供了海量的日志信息机械化：体力劳动流水线智能化：脑力劳动流水线获取分析利用数据驱动的闭环智能制造机器故障、异常、不稳定产线异常、缺陷增多、新兴缺陷出现智能异常、缺陷感知溯源与因果分析事后修复与改进精细缺陷历史数据库预防性维保计划智能感知：以智能质检自动发现工件缺陷为例效率低、速度慢易出错，难稳定人工质检成为产能瓶颈效率高、速度快精度稳定，无需培训7*24小时，响应速度快挑战1：生产环节和对象的多样性导致的复杂性不同的站点上的不同产品存在比较大的差异性：颜色，背景，底纹，走线和缺陷集合都有可能是不一样的。没有办法使用单个模型或者单种类型的模型来解决所有站点所有产品的需求。图片来自网络挑战2：目标区域分辨率低，颜色纹理不丰富包含缺陷的图像部分相对于整张图片而言一般是非常小的，缺陷本身的特征容易被忽略，给直接应用现有的图像机器学习（包括直接运用主流的深度学习技术）带来了比较大的技术挑战。需要有专门的定制模型，并且通过大量数据反复验证调试。About30*30pixels300*400pixels挑战2：目标区域分辨率低，颜色纹理不丰富56*56pixels17*56pixels不同缺陷类型：挑战3：标记信息弱（只有类别标记，但要定位）现有标准深度学习图像分类、检测训练数据如上图挑战4：缺陷类别动态变化，处理未见过样本现有解决方案大多处理类别封闭数据现有网络对于类别之外的“Others”数据可能产生高置信度NguyenA,YosinskiJ,CluneJ.DeepNeuralNetworksareEasilyFooled:HighConfidencePredictionsforUnrecognizableImages.InComputerVisionandPatternRecognition(CVPR’15),IEEE,2015基于深度学习的面板缺陷检测相关技术深度卷积神经网络频域分析与图像处理大规模消息队列处理热备份与负载均衡物联网传感器与通信大规模存储与文件管理注：示意性图片，非实际生产环境图片缺陷定位+分类系统并非端对端学习分割与分类，而是根据场景特定进行优化！缺陷定位+分类并非端对端学习分割与分类，而是根据场景进行优化！产品A,B,C检测精度(实线)与人工替代率(虚线)曲线产品U,V,W检测精度(实线)与人工替代率(虚线)曲线人工替代率和漏检率之间的权衡100%100%可以接受的（最高漏检率）2%30%50%70%85%M3

–

v1M3

–

v2M3

–

v3M3

–

v4人工替代率（可用率）缺陷检测的其他应用场景生成对抗网络/tkarras/progressive_growing_of_gans用人工智能创造图片（生成对抗网络）Uneven

baseOpenEdge

DamageCircleDeformation原始真实图片生成对抗网络创作的天线图片异常事件的行为学习：预防性维保精细运营预防维保预算规划排班计划优化PredictiveAssetOptimization基于规则效率低、速度慢易出错，难稳定人工质检成为产能瓶颈基于状态效率高、速度快精度稳定，无需培训7*24小时，响应速度快深度学习典型场景（下）严骏驰上海交通大学/index.html异常事件的行为学习：预防性维保精细运营预防维保预算规划排班计划优化PredictiveAssetOptimization基于规则效率低、速度慢易出错，难稳定人工质检成为产能瓶颈基于状态效率高、速度快精度稳定，无需培训7*24小时，响应速度快事件序列事件数据的信息动态信息：时间戳多方信息：各个参与方的信息，单方信息：类型、地点等事件数据的特点时间间隔随机：事件序列（异步）<->时间序列（同步）不独立：序列间相关、序列内相关维度高：事件类型、事件主体、事件相关特征事件序列vs其他序列基因序列时间序列事件序列311离散化典型点过程强度函数形式Poissonprocesses:Terminatingpointprocesses:Self-excitingpointprocesses:Self-correctingprocesses:将点过程模型用于事件预测的天然优势Extractfeatureswindowlabelinducingwindow传统预测算法分类、回归等机器学习模型训练和预测需要指定固定和统一预测窗口预测分辨率局限，历史特征信息提取局限（离散化）基于点过程的方法预测窗口可以在线灵活选择历史特征细粒度提取应用案例-文献引用中长期预测问题背景H-index等只能评价当前和过去的影响力经费分配、人才选拔需要考量未来影响力专利估值定价与引用次数紧密相关论文专利都包含自引和他引平均误差MAPE精度论文引用预测-与Science论文方法对比微软学术图谱数据集Wincase计算机科学物理生物化学期刊会议面向序列的循环神经网络卷积神经网络ConvolutionalNeuralNetworks循环神经网络RecurrentNeuralNetworks卷积神经网络(CNN)、深度置信网络(DBN)LeNet(Proc.ofIEEE1998),AlexNet(NIPS2012)etc.循环神经网络模型RecurrentNeuralNetwork(RNN)LSTM(NeuralComputation1997)GRU(GatedrecurrentUnit,2014)深度学习-循环神经网络104视频中目标跟踪、姿态估计视频分类视频生成文本翻译端对端深度学习的事件序列建模结合时间序列与事件序列的统一框架Timeseries(synchronouswithevenlyspacedintervalasindex)Eventsequence(synchronizedwithrandomtimestamp)Week#tTimeintervalofatimeseries:7daysObservationwindow7*5=35days2014-1-142014-1-282014-2-62014-2-192014-3-122014-2-22014-5-102014-5-202015-6-142345678910111213141516171819202122232425OneweekDate(timestamp)tTypeITypeIITimeseriesRNN(manyunitsareomittedforillustrationpurpose)EventsequenceRNN(needfewerunitstocoverl